I 1938 var Olsen tilbake i førstelagstroppen til Fredrikstads fotballavdeling, og vant både Ligaen i Norge 1937–38 og Norgesmesterskapet i fotball i 1938. Olsen var også en del av laget som vant den norske ligaen i sesongen 1938–39 og Norgesmesterskapet i fotball i 1940. I NM-finalen i 1940 mot Skeid ble Olsen kåret til en av Fredrikstads beste spillere sammen med Gunnar Andreassen av Fredriksstad Blad.