Brøgger ble født den 10. november 1851 i Christiania. Han tok artium ved Christiania Katedralskole i 1869 og anneneksamen i 1870. Deretter studerte han realfag og zoologi under professor Theodor Kjerulf. Hans tidlige forskning ledet til avhandlingen (sammen med Hans Reusch, 1875). Brøgger ble så umiddelbart ansatt i Norges geologiske undersøkelse som assistent og arbeidet vesentlig på Korsika og Elba.