Schäfer vant en olympisk bronsemedalje i håndball under OL 1936 i Berlin. Han var med på det sveitsiske laget som kom på tredjeplass i håndballturneringen bak Tyskland og Østerrike. Det var første gang som håndball var olympisk sport. Seks lag deltok i turneringen som ble avviklet i perioden 6. og 14. august. Sveits vant to av fem kamper, i finalerunden som besto av fire lag, tapte de mot Østerrike med 6-11 og mot Tyskland med 6-16 men de vant over Ungarn med 10-5. Schäfer spilte en kamp i OL-turneringen.