Von Holst ble olympisk mester i skyting to ganger under OL 1912 i Stockholm. Han var med på det svenske laget som vant lagkonkurransen 25 meter rifle, bevegelig mål med 925 poeng foran Storbritannia med 917. De andre på laget var Gustaf Boivie, Eric Carlberg og Vilhelm Carlberg.Von Holst skjøt 238 poeng som var det beste resultatet på det svenske laget samme som Eric Carlberg. I den individuelle konkurransen 25 meter rifle kom han på andreplass bak Vilhelm Carlberg. Han var også med på det svenske laget som vant lagskytingen 30 meter militærpistol.