Olsen var medlem i RV, men da hans parti ikke stilte liste ved kommunevalget i Lødingen i 2003, stilte han på SVs liste og ble valgt til ordfører. Han var for øvrig kandidat på RVs fylkesvalgliste samme år.