Han var utenriksminister og visekansler fra 1969 til 1974 og Tysklands president fra 1974 til 1979. Han fungerte også som kansler fra 7. til 16. mai 1974. Scheel er sammen med Willy Brandt blitt kalt «avspenningspolitikkens far». Deres nye Tysklandspolitikk møtte så stor motstand, både i opposisjonen og i egne partier, at regjeringen tapte sin flertallsstilling i Forbundsdagen som følge av de mange utmeldelsene fra SPDs og FDPs parlamentsgrupper. Senere fikk en lignende politikk likevel vind i seilene.