Klingenberg var statsråd i Sosialdepartementet i Otto B. Halvorsens første regjering fra 21. juni 1920 til 21. juni 1921, og igjen i Otto B. Halvorsens andre regjering og Abraham Berges regjering fra 6. mars 1923 til 25. juli 1924. Han var også fungerende statsråd i Justis- og politidepartementet fra 24. til 29. mars 1923. Klingenberg var egentlig favoritt til å ta over som statsminister for Høyre etter Otto B. Halvorsens død i 1923, men ble vraket av eget parti til fordel for Abraham Berge fra Frisinnede Venstre. Den svært progressive sosialministeren Klingenberg, som også var partiets sosialpolitiske talsmann, hadde lenge drevet norske næringslivstopper til randen av raseri idet han ofte plasserte Høyre til venstre for koalisjonspartneren Frisinnede Venstre med sin reformlinje. Han møtte også motstand fra Høyre-folk utenfor byene, især på Vestlandet. Med Halvorsen død og Klingenberg på sidelinjen kom kravet om sparepolitikk til uttrykk gjennom Berge, og senere Ivar Lykke, som statsministre.