Olsen ble innvalgt på Stortinget fra Aust-Agder i 2001. Etter fire år på Stortinget gikk Olsen tilbake sitt opprinnelige yrke som rektor på Sunde ungdomsskole i Gjerstad kommune.