Høydahl vertegenwoordigde zijn vaderland tweemaal op rij bij de Olympische Spelen: in 1996 (Atlanta) en 2000 (Sydney). Zijn beste olympische prestatie was de elfde plaats die Høydahl behaalde in Atlanta, waar hij op ruim tien minuten finishte van winnaar Bart Brentjens uit Nederland.