Największy sukces osiągnął jednak dwa lata później, podczas igrzysk olimpijskich w Oslo, gdzie zdobył złoty medal. Simon zwyciężył w skokach i prowadzenia nie oddał w biegu. Ostatecznie wyprzedził drugiego w konkursie Heikkiego Hasu o ponad 4 punkty, a swego rodaka Sverre Stenersena, który zajął trzecie miejsce, o ponad 15 punktów. Na norweskich igrzyskach wystąpił także w biegu na 18 km techniką klasyczną, kończąc rywalizację na piętnastym miejscu. Wystąpił także na mistrzostwach świata w Falun w 1954 roku, gdzie był piąty, chociaż po skokach zajmował trzecią pozycję.