Politisk engasjerte han seg i det gjenopprettede katolske Zentrumpartiet, tett under og sammen med Carl Spiecker som hadde virket i partiet før Hitler kom til makten i Tyskland og alle andre partier gikk under; og hadde engasjert seg i antinazistisk arbeid i landflyktighet. I 1948 oppstod partiet CDU og det noe mer sosiale (og mer venstrepolitiske) Zentrum fusjonerte inn i dette partiet. Rainer Barzel var minister for fellestyske spørsmål fra 1962 til 1963 i Konrad Adenauers regjering. Han var leder for CDU/CSU-fraksjonen (1964–1973) og formann for CDU (1971–1973).