Efter den aktiva karriären har Olsen varit tränare för Brøndby IF, 1. FC Köln och AFC Ajax innan han blev dansk förbundskapten. Under hans tid som förbundskapten kvalade Danmark in till fyra slutspel: VM 2002 (åttondelsfinal) EM 2004 (kvartsfinal), VM 2010 samt EM 2012.