Tre år etter, i 1994, gikk han til svenske Djurgården, hvor fansen i 1995 kåret ham til «». Han ble et år kåret til årets keeper i Sverige. Han tilbragte tre måneder hos AaB i 1998. I 1999 ble han hentet inn for seks måneder av IFK Norrköping i skadefraværet til Eddie Gustafsson. Han la opp i 2004. Fram til dette hadde han vært spillende trener for Mo IL, men Olsen gikk etter dette over i en full trenerrolle. Høsten 2007 ble han løst fra sin kontrakt med Mo IL. Våren 2008 var han en kort periode vikar for Per Harry Steiro i Stålkameratene, og høsten samme år ble han presentert som hjelpetrener i samme klubb. Fra og med sesongen 2009 har han overtatt som hovedtrener i klubben. Høsten 2010 ble det offentliggjort at han fra 2011 igjen skulle trene moderklubben Mo IL.