Kaspar vant en olympisk bronsemedalje i kunstløp under vinter-OL 1936 i Garmisch-Partenkirchen. Han kom på tredjeplass bak sin landsmann Karl Schäfer og Ernst Baier fra Tyskland. Kaspar ble verdensmester to ganger, 1937 og 1938.