Etter at Nilsens far døde når han var seks år gammel, måtte familien flytte fra Svelvik til Kristiania. Der tok moren Lise forefallende arbeid inntil hun ble ansatt som bestyrer for Grønlands børneasyl.