Olsen deltok for Norge under Sommer-OL 1924 i Paris med en delt femteplass i vektklassen Bantamvekt (58 kg).