Etter at han la opp har Olsen vært trener for blant annet 1. FC Köln og AFC Ajax. I hans tid som landslagstrener har Danmark kvalifisert seg til VM i 2002, EM i 2004, VM i 2010 og EM i 2012.