I januar 2000 hentet ham på lån ut sesongen. Til tross for at sesongen endte med nedrykk for Sevilla valgte Olsen å inngå treårs-kontrakt med klubben. Sesongen 2000/01 endte Sevilla på toppen av tabellen i Segunda División, og rykket dermed opp igjen på første forsøk. Med Joaquin Caparros som ny trener mistet imidlertid Olsen i sesongens gang plassen mellom stengene til Antonio Notario. Olsen fikk kun spille én kamp for Sevilla i 2001/02-sesongen. Med manglende spilletid på klubbnivå, mistet han også plassen på landslaget.