Va entrenar el primer equip del Futbol Club Barcelona durant quatre anys, amb el qual aconseguí un triplet històric la temporada 2008-2009 (Copa del Rei, Lliga i Copa d'Europa), en el seu primer any com a màxim responsable tècnic, i que acabaria fent un històric sextet en ampliar-lo en la següent temporada amb la Supercopa d'Espanya, Supercopa d'Europa de futbol i el Campionat del Món de Clubs de futbol. Entre 2013 i 2016 fou l'entrenador del Bayern de Munic. Des de 2016 entrena el Manchester City.