På begynnelsen av 2004-sesongen flyttet Viking til ny stadion i Jåttåvågen, Viking Stadion. Viking skuffet i Olsens første sesong som trener og åpnet årets sesong med 0-4 for Tromsø noe som førte til at han gav seg som trener. Han trakk seg «av personlige årsaker», og at han ikke klarte å finne drivkraft til å fortsette. 9. august 2007 ble han presentert som ny talentsjef, mens Svein Fjælberg ble talentutvikler i Viking samtidig.