Il 24 ottobre 2009 diventa allenatore dell'Atletico Madrid, in sostituzione dell’esonerato Abel Resino. Riesce in quella stagione ad arrivare a ben due finali: quella di Coppa Uefa, una finale europea che al club dei "Colchoneros" mancava da 24 anni, e quella di Copa del Rey, che mancava da 10 anni. Il 12 maggio 2010, battendo il Fulham per 2-1, vince l'Europa League mentre la Coppa nazionale sfumerà per una sconfitta contro il Siviglia. Il 27 agosto arriva pure la Supercoppa europea conquistata ai danni dell'Inter. Lascia l'Atletico al termine della stagione 2010-2011.