På Grini satt også hans sønn, Waldemar Brøgger. De ble satt til skogsarbeid som å bære sten eller hugge trær. A.W. Brøgger fungerte hver lørdag som bibliotekar for fangene.