Han vokste opp i Ålesund. Faren, Ivar Waldemar Brøgger sr., var overrettssakfører og byens ordfører. Eldstebroren Kristian Fredrik Brøgger fulgte i farens fotspor. Moren Cecilie, født Hanssen, kom fra en handelsfamilie. Hennes morbror, Ivars grandonkel, var Ole Andreas Devold.