Martin Olsen utmerket seg i flere idretter. Han spilte allerede som 17-åring på Drafns A-lag i fotball. I 1939 spilte han en B-landskamp. Etter krigen gikk han over i Lyn og spilte om lag 100 kamper for klubben, hvorav 35 i hovedserien i perioden 1949–1953. I bandy ble Olsen norgesmester for Drafn i 1938. Han debuterte samme år for det norske landslaget og spilte totalt 12 landskamper, blant annet under OL i Oslo i 1952 da bandy var demonstrasjonsgren.Mottok også Norges Bandyforbunds Bragdmerke.