На Олімпійських іграх 1924 року в Шамоні виступав у лижних перегонах, двоборстві та стрибках з трампліна. У двоборстві завоював золоту медаль, на 0,687 бала обійшовши свого співвітчизника Торальфа Стремстада. У лижних перегонах виступав в обох дисциплінах програми, перегонах на 18 км і 50 км. У перегонах на 18 км завоював золоту медаль, на 1 хвилину 20 секунд вигравши Йогана Греттумсбротена. У перегонах на 50 км так само став переможцем, майже на дві хвилини випередивши Торальфа Стремстада. У стрибках з трампліна став співучасником одного з найбільш курйозних і в той же час драматичних епізодів в історії олімпійського руху. Спочатку Геуг був оголошений бронзовим призером, але через 50 років норвезький історик спорту Якоб Вог виявив помилку у суддівських протоколах, в результаті чого Геуг став четвертим, а бронзовим медалістом став американець норвезького походження Андерс Гауген. За свідченням іншого норвезького лижника, Нарве Бонни, Геуг сам визнавав що бронзову медаль потрібно було присудити Гаугену. Бронзова медаль була передана 86-річному Гаугену, дочкою Геуга (так як сам Геуг до того часу був давно мертвий) 12 вересня 1974 року на спеціально організованої церемонії в Осло.