Herbolzheimer begann seine Karriere bei der Turnerschaft Göppingen. Er wurde mit der deutschen Handballnationalmannschaft im Jahr 1938 Weltmeister. Sein Spitzname war: „Der Mann mit den 1000 Händen“. Vor seinem Tod war er der letzte noch lebende deutsche Spieler der damaligen Weltmeistermannschaft. Zuletzt lebte er in einem Pflegeheim in seiner Heimatstadt Göppingen, wo er nach kurzer, schwerer Krankheit verstarb.