Han var fra 1945 aktiv i lokalpolitikken i Strasbourg og ble innvalgt til Frankrikes nasjonalforsamling. i 1956 ble han leder av MPR, og var borgermester i Strasbourg fra 1959 til 1983. Han var medlem av Europaparlamentet fra 1962 til 1967, og fra 1963 til 1966 president i Europarådets parlamentarikerforsamling. Pflimlin var fra 1978 til 1985 visepresident i Det europeiske folkepartiet. Fra 1979 til 1989 var han igjen medlem av Europaparlamentet og fra 1984 til 1987 Europaparlamentets president.