Po vojne pracoval ako sudca, v roku 1954 však nastúpil na ministerstvo zahraničia a začala jeho diplomatická kariéra. V rokoch 1967 – 1970 bol veľvyslancom v Československu, z pričom tieto pozície zamieril rovno na post šéfa rakúskej diplomacie do vlády Bruna Kreiskeho. Po štyroch rokoch bol zvolený prezidentom ako nestranícky kandidát sociálno-demokratickej strany (SPÖ) , v roku 1980 bol znovuzvolený (už ako kandidát oboch veľkých strán – SPÖ aj ÖVP) so ziskom 80 percent hlasov – patril k najpopulárnejším politikom rakúskej histórie. V pozícii rakúskeho veľvyslanca v Prahe sa preslávil tým, že v roku 1968, po invázii vojsk Varšavskej zmluvy, umožňoval československým občanom bezproblémový odchod do Rakúska.