Han vokste opp i Akersbakken i Gamle Aker. Foreldrene var Karine, født Christiansen, og Otto Hellen Halvorsen, som hadde en nokså beskjeden stilling som sekretær i Storebrand. Farfaren Haagen Halvorsen kom fra enkle kår i Østerdalen, men endte som forvalter på Vækerø bruk. Moren kom fra en skipper- og rederfamilie på Hvaler, i slekt med polfareren Roald Amundsen. Slektsnavnet Bahr fikk han fra sin onkel, bruksinspektør Fredrik August Bahr.