Han er gift med Ingrid Schulerud, og de har to barn, deriblant Catharina Stoltenberg i elektronikaduoen Smerz.