I 1977 pekte Schmidt som den første vestlige leder på faren for at terrorbalansen skulle komme ut av likevekt som følge av Sovjetunionens utplassering av de nye SS-20 mellomdistanserakettene i Europa. Han fryktet at Sovjetunionens slagkraft skulle føre til en svekkelse av det vestlige forsvarssystem. Schmidt støttet det såkalte dobbeltvedtaket som innebar et forslag til Sovjetunionen om å trekke deres raketter tilbake, mens det i motsatt fall ville bli utplassert ytterligere amerikanske raketter på det europeiske kontinent. Standpunktet var meget omstridt i den tyske befolkning og i partiet. Partiet De Grønne oppsto i den protesbevegelsen som fulgte. Under SPDs kongress 18. og 19. november 1983 stemte bare 14 av 400 delegerte for dobbeltvedtaket. Blant de som stemte for var Schmidt selv og hans tidligere forsvarsminister Hans Apel. Den 8. desember 1987 ble INF-avtalen om nedbygging av mellomdistanseraketter i Europa undertegnet i Reykjavík.