Die Ergebnisse des Vorjahres konnte Pfaffenbichler im &lt;a href="Alpiner%20Skiweltcup%201981/82"&gt;Winter 1981/82&lt;/a&gt; nicht bestätigen. Ein neunter Platz zum Auftakt in Val-d’Isère blieb sein bestes Resultat. Zwar fuhr er weitere fünfmal unter die besten 15, doch Pfaffenbichler musste vor Weltcuprennen immer öfter in die ÖSV-interne Ausscheidung, um sich innerhalb der starken Abfahrtsmannschaft für weitere Weltcupstarts zu qualifizieren. Ein Ticket für die Weltmeisterschaft 1982 in Schladming konnte er mit seinen Ergebnissen nicht lösen. Die &lt;a href="Alpiner%20Skiweltcup%201982/83"&gt;Saison 1982/83&lt;/a&gt; begann noch schlechter als die Vorherige. Bei drei Starts in den ersten sieben Saisonabfahrten belegte er die Plätze 16, 17 und 19 und kam damit nie in die Punkteränge. Durch zwei verletzungsbedingte Ausfälle im österreichischen Team erhielt er aber auch für die Abfahrt in Sarajevo am 28. Jänner 1983 einen Startplatz. Dort feierte er gänzlich unerwartet den größten Erfolg seiner Karriere, als er vor dem Kanadier Steve Podborski und Franz Klammer die Generalprobe für die Olympischen Winterspiele im nächsten Jahr gewann. Im März folgten noch zwei Top-10-Plätze in Aspen und Lake Louise, womit er wie im Vorjahr 16. des Abfahrtsweltcups wurde. Bei den Olympischen Spielen 1984 fehlte Pfaffenbichler jedoch. Ein fünfter Platz in Val-d’Isère als bestes Weltcupergebnis der &lt;a href="Alpiner%20Skiweltcup%201983/84"&gt;Saison 1983/84&lt;/a&gt; sowie ein elfter Platz in Laax und ein zehnter Rang in Kitzbühel reichten nicht für die Qualifikation.