Olsen var i perioden 2005–2013 vararepresentant til Stortinget for Sogn og Fjordane. Han møtte på Stortinget i 291 dager.