Después de no ser elegido como ayudante del seleccionador de Alemania, cargo que recayó en Joachim Löw; Rangnick fue contratado por FC Schalke 04, después que Jupp Heynckes se marchara a las pocas semanas de la temporada 2004/05.