Olsen deltok i OL i 2000 i Sydney, men kvalifiserte seg ikke til finalen. Olsens gjennombrudd kom i 2002, da han tok sølv både i innendørs-EM i Wien og i utendørs-EM i München. I 2003 kom han til finalen i innendørs-VM, men endte på 8.-plass. Han deltok også i utendørs-VM i Paris samme år, men kvalifiserte seg ikke til finalen. Som trener i de påfølgende årene hadde han Vésteinn Hafsteinsson 2003–2007 og Simon Patrick Stewart 2007–2009.