En su juventud se destacó por su coraje; ayudó a muchos refugiados húngaros que huían de la invasión soviética en 1956, y llegó al extremo de arriesgar su propia vida en una riada. Uno de sus compañeros de rescate, el estadounidense Barry Farber, llamó a esto el mayor acto de coraje que hubiera visto en su vida. Stoltenberg mantuvo esta historia en secreto hasta que, en diciembre de 2006, Farber la reveló en el programa televisivo noruego "Først &amp; sist".