Sensommeren 1982 var det spenninger i regjeringssamarbeidet i den sosialliberale koalisjon mellom SPD og FDP som Schmidt ledet. Bruddet kom 17. september 1982 da fire FDP-ministre gikk ut av regjeringen: Hans-Dietrich Genscher, Gerhart Baum, Otto Graf Lambsdorff og Josef Ertl. Schmidt og SPD forsøkte å fortsette som mindretallsregjering, hvor Schmidt selv også var utenriksminister, forøvrig som den eneste kansler siden Konrad Adenauer. Etter et konstruktivt mistillitsvotum som fikk stemmer fra CDU og FDP, ble han til slutt tvunget til å gå av den 1. oktober. Helmut Kohl etterfulgte ham som forbundskansler.