Fjell vokste opp i Andorsrud i Skoger, som nå er en del av Drammen kommune. Etter første verdenskrig var det trange tider, og familien ble tvunget til å flytte. Familien fant en stor gård på Hernes utenfor Elverum, Nordby gård, som de flyttet til. Kai ble værende igjen i Drammen for å fullføre middelskolen, men besøkte familien på Nordby i feriene.