Thorvald Stoltenberg og hans kone Karin Stoltenberg (1931–2012) fikk tre barn: Camilla Stoltenberg (1958–), Jens Stoltenberg (1959–) og Nini Stoltenberg (1963–2014).