На Олимпийских играх 1924 года в Шамони выступал в лыжных гонках, двоеборье и прыжках с трамплина. В двоеборье завоевал золотую медаль, на 0,687 бала обойдя своего соотечественника Торальфа Стрёмстада. В лыжных гонках выступал в обеих дисциплинах программы, гонках на 18 км и 50 км. В гонке на 18 км завоевал золотую медаль, 1 минуту и 20 секунд выиграв у ставшего вторым Йохана Грёттумсбротена. В гонке на 50 км так же стал победителем, около 2-х минут выиграв у Торальфа Стрёмстада. В прыжках с трамплина стал соучастником одного из самых курьёзных и в то же время драматичных эпизодов в истории олимпийского движения. Первоначально Хёуг был объявлен бронзовым призёром, но спустя 50 лет норвежский историк спорта Якоб Хаге обнаружил ошибку в судейских протоколах, в результате чего Хёуг стал четвёртым, а бронзовым медалистом стал американец норвежского происхождения Андерс Хауген. Бронзовая медаль была передана 86-летнему Хаугену, дочерью Хёуга (так как сам Хёуг к тому времени был давно мёртв) 12 сентября 1974 года на специально организованной церемонии в Осло.