Negli anni successivi la carriera di Klammer subì un netto calo di rendimento, dovuto anche a gravi problemi familiari; non partecipò ai XIII Giochi olimpici invernali di e ai Mondiali di Schladming 1982 si classificò 7º nella discesa libera. Tornò alla vittoria in Coppa del Mondo il 20 dicembre 1982 in Val Gardena e chiuse la stagione 1982-1983 aggiudicandosi la sua quinta (record tuttora imbattuto) e ultima Coppa del Mondo di discesa libera, con 3 punti di vantaggio sullo svizzero Conradin Cathomen.