Klaus var guvernør i Salzburgprovinsen fra 1949 til 1961 og et fremstående medlem av ÖVP. Da kansler Julius Raab trakk seg, styrket Klaus sin innflytelse som representant for de «unge reformistene». Klaus ble finansminister under kansler Alfons Gorbach,og etterfulgte ham som kansler da Gorbach stilte til valg som Østerrikes president. Klaus dannet en ny storkoalisjon med sosialdemokratene. Den nye koalisjonen startet i 1945 og varte til 1966, da ÖVP med Klaus i spissen vant valget med en klar margin. I juni samme år ble de første skrittene mot et medlemskap i EEC tatt, og endte med østerriksk medlemskap i EU i 1995.