En 2004, Toshack se hizo por segunda vez en su carrera con la dirección de la Selección de fútbol de Gales. Al contrario de su anterior experiencia, esta vez sí que tuvo continuidad en su trabajo. Tras haberse quedado Gales a puertas de clasificarse para la Eurocopa 2004, un mal inicio en la fase de clasificación del Mundial 2006 por parte de Gales con 2 derrotas y 2 empates en sus primeros partidos, forzó la dimisión del seleccionador Mark Hughes. El 12 de noviembre de 2004, Toshack era designado sustituto de Hughes. El objetivo de Toshack al frente de la modesta selección de su país era clasificarla para una gran competición internacional, algo que no conseguía Gales desde el Mundial de fútbol de 1958, aunque de forma realista este objetivo no se planteaba ya para el Mundial 2006, sino para la Eurocopa 2008 o el Mundial 2010. Gales completó una mala fase de clasificación siendo derrotada en otros 4 encuentros más y ganando sólo sus dos últimos partidos frente a las modestas y .