Nel 1989 si ritirò dall'attività agonistica e cominciò ad allenare le formazioni juniores del Real Madrid. In seguito guidò Rayo Vallecano, Espanyol, Siviglia, Spagna (con cui raggiunge i quarti di finale sia a Euro 2000 che ai Mondiali 2002), Benfica dove con quest'ultimo è riuscito a vincere l'unico trofeo della sua carriera, la Coppa di Portogallo nel 2004 contro il Porto di José Mourinho aggiudicandosi la finale per 2-1 ed evitando alla squadra del portoghese di conseguire il Treble. In due brevi periodi distinti, ha allenato anche il suo club di sempre, il Real Madrid.