Olsen spilte alle tre kampene mot Lyn da Fredrikstad tapte NM-finalen i fotball i 1945. Etter at han la opp, var Olsen hovedtrener for Østsiden IL mellom 1948 og 1951, og i 1954. Han var også hovedtrener for Fredrikstad i 1963.