Sin embargo anunció su retirada del cargo, el 18 de noviembre de 2015, tras quince años en el puesto, minutos después de que su equipo perdiese la eliminatoria para la Eurocopa 2016 contra al empatar en la vuelta (2-2). La Federación Danesa de Fútbol (DBU) y Olsen habían anunciado en marzo que el veterano técnico, de 66 años, se retiraría a más tardar después de la Eurocopa de Francia, si su selección se clasificaba.