Nils Kolberg er sønn av Paul Kolberg (1859–1939) og Olava Marie Hansen (1867–1962). Han ble gift med Helga Lovise Fjeldly (1922–1979) i Yiyang i 1922.