Pero lo peor estaba por venir para Vogts cuando Walter Smith tomó el mando de la Selección de fútbol de Escocia el 2 de diciembre de 2004 y el equipo cambió inmediatamente su suerte; varios jugadores con un alto perfil como David Weir y Barry Ferguson dijeron a la prensa que el equipo bajo el mando de Vogts sufría una "falta de dirección" y una "pobre gestión".