Heynckes gjorde et comeback i Bundesliga i sesongen 2003/04, da han tok over Schalke 04, men kontrakten ble opphevet i september 2004.