Il quel periodo Laudrup divenne il tecnico del Brøndby IF e Olsen scelse come nuovo assistente Keld Bordinggaard. Anche agli europei del 2004 la Danimarca uscì al primo turno degli scontri diretti, sconfitta 3-0 nei quarti dalla Repubblica Ceca. Malgrado la squadra non si fosse qualificata per i mondiali di Germania, Olsen prolungò il contratto fino al 2010, impegnandosi a seguire anche le giovanili e assumendosi in tal modo una larga responsabilità sul futuro del calcio danese.