Han var svoger til sin etterfølger Johan Jørgen Holst, ettersom Karin Stoltenberg var søster av Holsts kone Marianne Heiberg.