Han vokste opp i Halden, der faren var politibetjent. Faren kom fra gården Stenrød i daværende Berg kommune og tilhørte Norbye-slekten fra Asak. Familien forandret navn fra Stenrød til Norbye i 1921.