In der &lt;a href="Alpiner%20Skiweltcup%201980/81"&gt;Saison 1980/81&lt;/a&gt; konnte Walcher nicht mehr mit der absoluten Weltspitze mithalten. Ein fünfter Platz in St. Anton am Arlberg war sein bestes Ergebnis. Im nächsten Winter kam er nur noch zweimal unter die besten zehn und er verpasste auch die Weltmeisterschaft in seinem Heimatort Schladming. Am Ende der Saison gab Walcher seinen Rücktritt bekannt.