Han vokste opp i Tromsø som sønn av Christian Frederik Brøgger og Agnethe Wilhelmina (Mina), født Bruland. Faren var utdannet jurist og ansatt som kasserer ved Nordlandske kirke- og skolefond. I 1869 ble faren utnevnt til byfogd og politimester i Ålesund.