Nordløf Knudsen var enebarn og mistet moren allerede som femåring, og faren arbeidet som handelsreisende inntil han giftet seg på nytt i 1923, så derfor vokste han opp hos sin mors slektninger. Faren gikk konkurs i 1928.