Schwarm vant en olympisk sølvmedalje i aking under vinter-OL 1976 i Innsbruck. Sammen med Hans Brandner kom han på andreplass i toer for menn, bak Hans Rinn og Norbert Hahn fra Øst-Tyskland. Schwarm ble verdensmester i aking 1979 i Königssee i toer for menn.