Han var medlem av Troms fylkesting fra 1988 til 2015. Han var leder i Høyres fylkestingsgruppe fra 1988 til han ble valgt til fylkesordfører i 2007. Fylkestinget hadde en parlamentarisk styreform, så den utøvende makten lå hos fylkesrådet. I 2011 ble Olsen fylkesråd for samferdsel og miljø. I 2013 ville ikke Høyres fylkestingsgruppe stille seg bak fylkesrådets budsjettforslag, og Olsen og Magnus Mæland måtte gå av som fylkesråder.