Olsen, der für den Lillehammer Skiklub startet, lief im Februar 2004 in Hommelvik seine ersten Rennen im Continental-Cup. Dort belegte er den 82. Platz über 10 km klassisch und den 73. Rang über 15 km Freistil. Bei den Nordischen Junioren-Skiweltmeisterschaften 2006 in Kranj gewann er die Goldmedaille mit der Staffel. Zudem wurde er dort Achter über 10 km klassisch und Siebter im Skiathlon. Im folgenden Jahr holte er bei den Nordischen Junioren-Skiweltmeisterschaften in Tarvisio die Goldmedaille im Skiathlon. Sein erstes von insgesamt drei Weltcuprennen absolvierte er im März 2009 in Trondheim. Er kam dabei auf den 22. Platz im 50-km-Massenstartrennen und holte damit seine ersten und einzigen Weltcuppunkte. In der Saison 2009/10 erreichte er mit vier Top-Zehn-Platzierungen, darunter Platz drei über 15 km klassisch in Åsarna, den zehnten Platz in der Gesamtwertung des Scandinavian Cups. Bei den U23-Weltmeisterschaften 2010 in Hinterzarten errang er den neunten Platz über 15 km klassisch.