Faren Fredrik Berg begynte som poståpner i 1887, og tilsammen var faren, Asbjørn og to av brødrene poståpnere i 65 sammenhengende år. Han deltok i kampene i Narvik i 1940, ble oppnevnt av NS-myndighetene til varaordfører fra 1941, og ble i august 1943 arrestert under Aktion Polarkreis og satt i tre ulike fangeleire i Tyskland fram til fredsvåren.