Han var sønn av Thorvald Heyerdahl Stoltenberg (1861–1947)og Gerta, født Andersen (1873–1950). Han var gift med Ingeborg Antonie Andresen (1904–1992), søster av den kjente operasangeren Ivar F. Andresen.