Etter at han var løslatt fra krigsfangenskapet ble Schmidt medlem av SPD i 1946 og leder av partiets studentorganisasjon fra 1947 til 1948. Han ble medlem av SPDs sentralstyre i 1957 og var fra 1968 til 1984 nestleder av SPD i Tyskland. I motsetning til de to andre forbundskanslere fra SPD Willy Brandt og Gerhard Schröder var Schmidt aldri leder av partiet på nasjonalt plan.