I 1982 begynte han overgangen til fotballtrener og ble i 1988 trener på heltid. Som trener klarte Van Marwijk å få det vesle laget til Fortuna Sittard til finalen i KNVB Cup i 1999. I 2002 ledet han Feyenoord til seier i UEFA-cupen 2001/02. I juli 2004 ble han manager for Borussia Dortmund og ble etterfulgt av Ruud Gullit som Feyenoord-trener.