Dopo due qualificazioni consecutive per le fasi finali degli ultimi due campionati del mondo, la Danimarca non si qualificò per i mondiali del 2014 in Brasile e nemmeno per gli europei del 2016, eliminata il 17 novembre 2015 dalla Svezia dopo i due incontri di spareggio. Nei giorni successivi Olsen si accordò con la federazione per la risoluzione del contratto dopo 15 anni sulla panchina della nazionale, che lo hanno fatto diventare il commissario tecnico durato più a lungo nella storia della nazionale danese. I migliori piazzamenti della sua gestione furono gli ottavi di finale ai Mondiali 2002 e i quarti di finale a Euro 2004.