Olsen startet sin journalist-karriere som freelancer for og avisen i Bodø før han i 1983 begynte i en deltidsstilling i NRK. Han debuterte som radioreporter i NRK Østfold i Fredrikstad. Deretter var han i NRK Østlandssendingen før han i 1987 begynte i P2s Oslo-redaksjon. Han var også en kort periode i aktualitetsprogrammet . I 1990 ble han programleder i det tv-sendte debattprogrammet . I 1991 begynte han som reporter i , og markerte seg blant annet med en reportasje fra krigen i Bosnia som blant annet vant Gullruten i 1997. Sammen med blant andre Claus Wiese jobbet han som reporter under OL på Lillehammer i 1994 og OL i Nagano i 1998. Fra 1999 til 2002 var han programleder i debattprogrammet . Her huskes han spesielt fra en diskusjon med Kjell Inge Røkke i 1999 og en annen med Jarle Synnevåg i 2001. Fra 2002 til 2006 var han programleder for debattprogrammet på NRK2. I 2007 ble han en av programlederne i debattprogrammet før han i 2008 returnerte til og var her til han ble sykmeldt høsten 2010. Han deltok også i flere valgsendinger og ledet flere av NRKs folkemøter i forbindelse med valgene (2003–2007).