Thorvald Stoltenberg var sønn av Theodor Emil Stoltenberg og Ingeborg Antonie Andresen, som var søster til operasangeren Ivar F. Andresen.