Il 21 gennaio 1984 vinse nuovamente la discesa libera di Kitzbühel, divenendo così il secondo atleta a raggiungere il traguardo delle quattro vittorie sulla Streif dopo Karl Schranz; quel successo fu l'ultimo conquistato da Klammer in Coppa del Mondo mentre l'ultimo podio, sempre in discesa libera, fu quello che ottenne il 28 gennaio seguente a Garmisch-Partenkirchen (3º). Ai Olimpiadi di , suo congedo olimpico, fu per la seconda volta portabandiera dell'Austria durante la cerimonia di apertura e chiuse la gara di discesa libera al 10º posto. Al congedo iridato, Bormio 1985, si piazzò 5º nella discesa libera; il suo ultimo piazzamento in carriera fu il 10º posto ottenuto nella discesa libera di Coppa del Mondo disputata a Bad Kleinkirchheim il 14 febbraio dello stesso anno.