Erich Mende var først knyttet til CDU, men deltok ved grunnleggelsen av FDP i 1948. Fra 1949 til 1970 var han medlem av Forbundsdagen for FDP, og i perioden 1970 til 1980 for CDU. I 1957 ble han gruppeleder for FDP i Forbundsdagen.