Rainer Eppelmann vokste opp i Berlin. I hans barndom var byen ennå ikke fullstendig delt, og han gikk på skole i Vest-Berlin. På grunn av byggingen av Berlinmuren ble imidlertid skolegangen der avbrutt. Han utdannet seg til murer mellom 1962 og 1965. I 1966 nektet han å tjenestegjøre i kommunistregimets væpnede styrker og nektet å sverge troskap til kommunistregimet. Han ble da dømt til åtte måneders fengsel av kommunistregimet for «Befehlsverweigerung».