Olsen var født i Kvæfjord i Troms, men flyttet etter hvert til Trondheim der han som et sentralt medlem av Fagopposisjonen av 1911 bidro til å radikalisere arbeiderbevegelsen under den første verdenskrig. I 1918 ble han sekretær og i 1919 formann for Norsk jern- og metallarbeiderforbund. I denne rollen inntok han raskt en mer forsiktig samarbeidslinje, men på tross av at han ble regnet som tilhørende høyrefløyen fulgte han med Norges Kommunistiske Parti ved splittelsen i 1923. Han ble imidlertid ekskludert året etter for sin motstand mot jernstreiken og forble partiløs til Norges Socialdemokratiske Arbeiderparti og Det norske Arbeiderparti sluttet seg sammen i 1927. I og med at han ble valgt til AFL-formann i 1925 er han den hittil eneste AFL/LO-lederen som har blitt valgt uten å være medlem av Arbeiderpartiet.