Ольсен не покинул сборную Норвегии, однако попытка вывести её на чемпионат Европы 2012 года провалилась. Победы над сильной Португалией со счётом 1:0 не хватило даже для стыковых матчей: Дания уверенно заняла первое место и вышла напрямую на Евро, а португальцы отправились в стыковые матчи.