Peter Fischer war Mitglied des SC Oberstdorf. Seine ersten Punkte im Ski-Weltcup gewann er am 9. März 1975 in Jackson Hole in Wyoming, als er beim Abfahrtssieg von Franz Klammer zweitbester Deutscher auf Platz acht war, Michael Veith stand auf der zweiten Stufe des Stockerls. Bei den Kombinationen von Kitzbühel und Garmisch-Partenkirchen 1976 fuhr er in die Top-Ten. Damit sicherte er sich die Nominierung für die Olympischen Spiele 1976 in Innsbruck. Er kam in der Abfahrt zum Einsatz und landete bei Klammers Olympiasieg als bester Deutscher auf Platz fünfzehn. In der &lt;a href="Alpiner%20Skiweltcup%201976/77"&gt;Saison 1976/77&lt;/a&gt; folgten sowohl in der Kombination als auch in der Abfahrt weitere sieben Top-Ten-Platzierungen im Weltcup. Die besten Ergebnisse erreichte er im März im kalifornischen Heavenly Valley, als er in der ersten Abfahrt Vierter wurde und tags darauf in der zweiten Abfahrt den dritten Platz erreichte und damit seinen ersten Podestplatz feierte. Das bedeutete am Ende der Saison Platz zehn im Abfahrtsweltcup und Platz 23 in der Gesamtwertung. Nach diesem Winter fuhr Fischer allerdings nicht mehr in die Weltcuppunkteränge. Dennoch wurde er für die Alpine Skiweltmeisterschaft 1978 in Garmisch-Partenkirchen nominiert, wo er den fünfzehnten Rang im Abfahrtslauf belegte. 1976 war er Deutscher Vizemeister im Abfahrtslauf. Peter Fischer ist seit 2006 Vorsitzender des Skiclub Garmisch und gehörte zur Geschäftsleitung beim Organisationskomitee für die Alpine Skiweltmeisterschaft 2011 in Garmisch-Partenkirchen.