I et notat fra juni 1939 skrev han: «.» Dette skulle senere få personlige konsekvenser for Brøgger. I september 1939 fikk han pakket ned oldsaksamlingens mest verdifulle oldtidsskatter, blant dem Snartemosverdet, og fikk sendt dem i sikkerhet, ut av Oslo. Bare noen ganske få visste hvor de ble lagret, Brøgger selv, understyrer Sigurd Grieg ved oldsaksamlingen og banksjef Thomas Ranheim ved Fagernes Sparebank. Brøgger ble første gang arrestert i juni 1941 som styremedlem i Nationaltheatret, men løslatt igjen få dager senere. 11. september samme år ble oldsaksamlingens ledere arrestert. Grieg ble sendt til Tyskland, mens Brøgger ble overført til Grini fangeleir 30. september og holdt i fangenskap til 22. oktober 1942. Han ble alvorlig syk av tarmslyng, og til slutt innlagt Ullevål sykehus, men kom seg aldri helt.