Hans far var Thorvald Stoltenberg (1931–2018), Norges forsvarsminister 1979–1981 og utenriksminister 1987–1989 og 1990–1993. Moren var statssekretær Karin Stoltenberg (1931–2012). Fra 1959 til 1961 bodde familien i Berkeley der Thorvald var visekonsul på generalkonsulatet i San Francisco og Karin studerte statsvitenskap og underviste på Berkeley-universitetet. Fra 1961 til 1964 bodde familien i Jugoslavia da Thorvald var ved ambassaden i Beograd. Jens Stoltenberg lærte da både engelsk og serbokroatisk.