Olsen ble født i Fredrikstad og debuterte for Fredrikstad FK i 1931. Etter en skade begynte han å spille for Fredrikstad FKs bandylag. Han scoret to mål i den aller første bandykampen som ble spilt i Fredrikstad i 1935 og var en del av Fredrikstad-laget som vant kretsmesterskapet i bandy i 1936 .