Han vokste opp i Kristiania, nå Oslo. Han kom fra en embedsmannsslekt; han var sønn av høyesterettsadvokat og lagmann Hersleb Vogt og Abigael Olivia Vogt. Foreldrene var tremenninger (se slekten Vogt).