2004 gewann Olsen Bronze bei den Hallenweltmeisterschaften in Budapest und ursprünglich bei den Olympischen Spielen in Athen, wo er mit 21,07 m hinter Jurij Bilonoh und Adam Nelson lag. 2012 bekam er nachträglich die Silbermedaille überreicht, da Bilonoh gedopt war.