Baberowskis farfar var av polsk opprinnelse, og flyttet senere til Tyskland. Baberowski vokste opp i et katolsk arbeidermiljø, og faren var medlem av Sozialdemokratische Partei Deutschlands.