Brøgger ble født i Stockholm som sønn av geologen og universitetsrektoren W.C. Brøgger. Han fikk to barn med sin kone Inger Ursin: forfatter og oversetter Waldemar Brøgger og kritiker og oversetter Niels Christian Brøgger.