Han startet sin journalist-karriere som freelancer for "Klassekampen" og avisen "Nordlands Framtid" i Bodø før han i 1983 begynte i en deltidsstilling i NRK. Han debuterte som radioreporter i NRK Østfold i Fredrikstad, fortsatte i NRK Østlandssendingen i 1987 og i P2s Oslo-redaksjon. Han var også en kort periode i aktualitetsprogrammet "Her og nå". I 1990 gikk han til TV og debattprogrammet "Antenne Ti", sammen med blant andre Ole Kristen Harborg, Finn H. Andreassen, Per Ståle Lønning og Viggo Johansen. I 1991 begynte han som reporter i "Dagsrevyen", og markerte seg blant annet med en prisbelønt reportasje fra krigen i Bosnia som blant annet vant Gullruten i 1997. Sammen med blant andre Claus Wiese jobbet han som reporter under OL på Lillehammer i 1994 og OL i Nagano i 1998. Fra 1999 til 2002 var han programleder i debattprogrammet "Redaksjon 21". Her huskes han spesielt fra en diskusjon med Kjell Inge Røkke i 1999 og en annen med Jarle Synnevåg som var i studio høsten 2001 på bakgrunn av å ha skrevet en rekke krenkende innlegg om islam og muslimer på nettet. Fra 2002 til 2006 var han programleder for debattprogrammet "Brød og Sirkus" på NRK2. I 2007 ble han en av programlederne i debattprogrammet "Standpunkt" før han i 2008 returnerte til "Dagsrevyen" og var her til han ble sykmeldt høsten 2010. Han deltok også i flere valgsendinger og ledet flere av NRKs folkemøter i forbindelse med valgene (2003–2007). Olsen ledet over 1000 direktesendinger på TV i løpet av sin tid i NRK, blant dem maratonsendingen da USAs president Barack Obama mottok Nobels Fredspris i 2009.