Com a entrenador, va començar al Reial Madrid juvenil, el 2003 va passar al Getafe CF, equip que debutava a la primera divisió. Després d'una gran temporada amb aquest equip va ser fitxat pel València CF, tornant així a l'equip on havia jugat la major part de la seua carrera. A les acaballes del mes d'octubre de 2007 fou destituït del seu càrrec com a entrenador del primer equip de futbol, probablement per discrepàncies amb la directiva del club, essent substituït pel tècnic neerlandès Ronald Koeman. Entre 2009 i 2011 va entrenar l'Atlético de Madrid, equip amb què va guanyar una Europa League el 2010, una Supercopa d'Europa el 2010 i amb què fou finalista de la Copa del Rei 2009-10.