Han ble leder i Troms AUF i 1982, og ble valgt inn på Troms fylkesting året etter. Som fylkespolitiker var han blant annet leder for fylkesskolestyret, likestillingsutvalget og plan- og næringsutvalget. I 1991 ble Olsen valgt til fylkesordfører i Troms, men fratrådte året etter, da han ble utnevnt til statsråd i Fiskeridepartementet i Gro Harlem Brundtlands tredje regjering.