Im Alter von 26 Jahren wechselte Fasser zum Bobsport. Als Anschieber von Ralph Pichler gewann er 1978 bei der Junioren-WM in Winterberg die Silbermedaille. 1981 wurde er den B-Kader der Schweizer Nationalmannschaft berufen. Ein Jahr später nahm Fasser an seinen ersten Rennen im Weltcup und bei der Weltmeisterschaft teil. 1983 konnte er im Viererbob mit Hans Märchy, Kurt Poletti und Rolf Strittmatter sowohl den Weltmeister- als auch den Europameistertitel gewinnen. Bei den Olympischen Winterspielen 1984 belegte das Quartett im Viererbob-Wettkampf den vierten Platz. In der &lt;a href="Bob-Weltcup%201985/86"&gt;Weltcup-Saison 1985/86&lt;/a&gt; siegte er in der Viererbob-Wertung. Bei den Olympischen Winterspielen 1988 in Calgary starte Fasser mit Kurt Meier, Marcel Fässler und Werner Stocker erneut im Viererbob-Wettkampf. Nach dem ersten Lauf lag der Schweizer Bob jedoch mit über einer halben Sekunde auf dem siebten Platz. Doch in den folgenden zwei Läufen zeigte Fasser zwei gute Läufe. Dank einem schlechten Lauf von Wolfgang Hoppe aus der DDR gingen die Schweizer mit einem Vorsprung von 0,16 Sekunden in den letzten Lauf, verteidigten ihren Vorsprung und krönten sich somit zu Olympiasiegern. Nach dem Wettkampf beendete Fasser seine Karriere als Bobfahrer.