I 1938 mistet Berger sin eldste sønn, Even, i en flyulykke, bare 21 år gammel. Dette satte et sterkt preg på familien. De skaffet seg en hytte - «Evens minne» - ved Sundsbarmsvannet i Seljord hvor de også oppholdt seg under krigen. Berger fikk oppført en egen «malerstue» der og fortsatte å arbeide.