I september 1941 ble Brøgger arrestert av okkupasjonsmakten, og kom så på Grini. Der satt også hans far. Brøggers mor fikk slag og døde i begynnelsen av desember 1941, men bare hans far fikk permisjon fra Grini for å delta i hennes begravelse.