Für Schweden nahm Stoltz an den Olympischen Winterspielen 1960 in Squaw Valley, 1964 in Innsbruck und 1968 in Grenoble teil. Bei den Winterspielen 1964 gewann er mit seiner Mannschaft die Silbermedaille. Zudem stand er im Aufgebot seines Landes bei den Weltmeisterschaften 1957, 1958, 1962, 1963, 1965 und 1967. Bei den Weltmeisterschaften 1958 und 1965 gewann er mit seiner Mannschaft jeweils die Bronze-, bei den Weltmeisterschaften 1963 und 1967 die Silbermedaille. Bei den Weltmeisterschaften 1957 und 1962 gewann Stoltz mit Schweden die Goldmedaille. Als bestes europäisches Team wurde die Mannschaft zudem jeweils Europameister.