В 2004 году Ольсен достиг со сборной первой стадии плей-офф на чемпионате Европы, в ноябре 2005 года Ольсен вновь переподписал контракт со сборной до 2010 года, хотя имел предложения от нескольких клубов, а Дания, к тому моменту, уже потеряла шансы на выход в финальную часть чемпионат мира. 28 марта 2008 года Ольсен сказал, что в 2010 году хотел бы видеть Микаэля Лаудрупа своим преемником в сборной, а самому возглавить какой-нибудь клуб. Дания, под руководством Олсена, вышла в финальную часть чемпионата мира 2010, заняв в своей группе первое место и опередив сильную сборную Португалии, при этом команда потерпела лишь 1 поражение. После этого, 8 января 2010 года, Олсен продлил контракт со сборной ещё на 2 года.