Hned po ukončení kariéry hráče se stal trenérem Atlética, dovedl ho mj. k titulu mistrů Španělska v roce 1977 a k vítězství v Interkontinentálním poháru 1974. Trénoval i Barcelonu, která v jediné sezóně pod jeho vedením získala španělský pohár, a další španělské kluby. V letech 2004 až 2008 trénoval španělskou fotbalovou reprezentaci, s kterou získal titul na Mistrovství Evropy 2008, první velký titul pro svou zemi od roku 1964. Španělsko na tento úspěch navázalo i po jeho odchodu z lavičky, když ovládlo další dva velké turnaje, mistrovství světa 2010 a Euro 2012.