Han har møtt som vararepresentant på Stortinget i perioden 2005-2009, hvor han har sittet i kommunalkomiteen. Olsen har spesielt markert seg til støtte for dobbeltspor på Vestfoldbanen. Han er nestleder i Vestfold Arbeiderparti og medlem av Arbeiderpartiets Landsstyre. Fra 1991-1992 var han leder av AUF i Vestfold.