Forholdet til ledelsen i partiet, og særlig Martin Tranmæl, var imidlertid svært anstrengt. På tross av sin posisjon i AFL oppnådde han lite gjennomslag i partiet, og i 1934 ble han kastet som AFL-formann da han gikk inn for mye av det samme som kort tid etter skulle danne grunnlaget for Hovedavtalen. Ved utbruddet av den annen verdenskrig var Olsen en av flere faglig tillitsvalgte som grunnla Fagopposisjonen av 1940, som inntok en samarbeidslinje overfor okkupanten. Mens mange medlemmer av Fagopposisjonen kort tid etter endret standpunkt fortsatte Olsen samarbeidet og virket som konsulent først for Jens Tangen, deretter for den av NS-utpekte AFL-formannen Odd Fossum. Olsen ble også medlem av NS og ble etter krigen dømt for landssvik.