Karl Schäfer wurde im Haus Mayssengasse 21, nicht weit von der Eisbahn Eduard Engelmanns in Wien-Hernals geboren. Als Eiskunstläufer wurde er mit 11 Jahren von dem Eislauflehrer Rudolf Kutzer entdeckt. 1923 nahm er bereits an einem Schaulaufen in Hernals als Rosenkavalier teil. Schäfer war auch sehr musikalisch und spielte ausgezeichnet Geige. Zwischen 1926 und 1937 war er siebenfacher österreichischer Meister im Brustschwimmen. Er nahm als Brustschwimmer an den Schwimm-Europameisterschaften von 1926 (5. Platz) und 1927 (4. Platz) sowie 1928 an den Olympischen Sommerspielen in Amsterdam teil.