Stoltz vant en olympisk sølvmedalje i ishockey under vinter-OL 1964 i Innsbruck. Han var med på det svenske laget som kom på andreplass i turneringen bak Sovjetunionen. Det var seksten lag som deltok, etter en kvalifiseringsrunde gikk de åtte vinnerne videre til finalegruppe som spilte en enkeltserie der alle lagene møttes en gang. Sovjetunionen vant alle sju kampene og vant serien med maksimale 14 poeng foran Sverige, Tsjekkoslovakia og Canada alle med ti poeng.