Olavsen var formann i Bodø Høyre 1978–1982 og 1993–1995, medlem av Bodø bystyre 1992–2003 og Bodøs ordfører 1995–1999. Han var medlem av Nordland fylkesting og leder i Høyres fylkestingsgruppe 2003–2013 og fylkesråd for utdanning 2013–2015. Han var leder i Nordland Høyre 1997–2010 og medlem av hovedstyret i KS.