Bobrowski kom fra en evangelisk-baptistisk og nasjonalkonservativt orientert familie. Faren var jernbanefunksjonær. Han ble født i byen som da het Tilsit, men i 1925 flyttet familien til Rastenburg, og endelig i 1928 til Königsberg, der han gitt på gymnasium. En av hans lærere var Ernst Wiechert. I 1937 begynte han på et kunsthistoriestudium ved Universitetet i Berlin. Som del av Bekennende Kirche hadde Bobrowski kontakt med den tyske motstand mot nasjonalsosialismen.