Schäfer ble olympisk mester i kunstløp under vinter-OL 1932 i Lake Placid. Han vant single herrer foran Gillis Grafström fra Sverige. Fire år senere, under OL 1936 i Garmisch-Partenkirchen vant han sin andre olympiske tittel. I 1928 deltok han i både sommer- og vinter-OL, som svømmer i Amsterdam og han kom på fjerdeplass i kunstløp i St. Moritz.