Hans andre sønn, Karl ble født i 1918 på Haramsøya. I 1920 gikk virksomheten i Svolvær konkurs og han reiste til Oslo for å søke arbeid. Nok en sønn, Svein ble født. Berger åpnet en fiskehandel på Grefsen med penger han hadde lånt av hustruens familie. Han var ett års tid alene i Oslo for å forsøke å etablere seg på nytt mens resten av familien var på Haramsøya.