Rainer Barzel kom fra Braunsberg i Ermland, som var den katolsk-pregede del av det ellers lutherske tyske Østpreussen, og var det femte av syv bar til Candidus Barzel og hans hustru Maria. Han var bare unggutten da faren ble forflyttet til Berlin, og der fikk Rainer sin skolegang. Etter ett år ved det jesuittiske Canisius-Kolleg Berlin, tok han i 1941 nød-abitur ved et humanistisk gymnasium. I skoletiden engasjerte han seg i det katolske ungdoms Bund Neudeutschland.