Schmidt var medlem av Forbundsdagen fra 1953 til 19. januar 1962 og fra 1965 til 1987, hele tiden valgt fra en valgkrets i Hamburg. Etter valget i 1965 ble han straks nestleder i SPD-fraksjonen i Forbundsdagen. Fra 1967 til 1969 var han leder av SPDs fraksjon i Forbundsdagen under storkoalisjonen mellom CDU og SPD. Dette var etter hans eget utsagn, den oppgaven han har hatt mest glede av i politikken. Fra 27. februar 1958 til 29. november 1961 var han dessuten medlem av Europaparlamentet.