Schmidt ble Forbundsrepublikken Tysklands 5. kansler den 16. mai 1974 etter at Willy Brandt måtte gå av som følge av spionasjeskandalen. I motsetning til Brandt ble Schmidt regnet for å tilhøre høyrefløyen i SPD.