Tras formar parte de varios cuerpos técnicos de equipos de élite como entrenador asistente, debutó como primer entrenador en el Benfica, durante la temporada 2000-01. En julio de 2001 fichó por el Leiria, siendo contratado a mitad de temporada 2001-02 por el Oporto, club con el que fue campeón de Europa en 2004. En junio de 2004 hizo su primer desembarco en la Premier League, para liderar el proyecto multimillonario del Chelsea de Abramóvich, donde a lo largo de tres temporadas, colocó al club londinense en la élite de Inglaterra y Europa. En 2008 recaló en la Serie A, al fichar por un Inter de Milán, que buscaba trasladar a Europa su dominio nacional en Italia. Tras lograr el «Scudetto» en su primera temporada, en la segunda realizó su mejor temporada como técnico al lograr proclamarse campeón de Europa por segunda vez en su carrera y lograr el «triplete» («Scudetto», «Coppa» y Liga de Campeones). Después de este éxito, fichó por el Real Madrid en mayo de 2010, permaneciendo en el club madridista tres temporadas, en las que logra Copa, Liga y Supercopa de España, y alcanzó tres semifinales consecutivas en Liga de Campeones. En junio de 2013, comenzó su segunda etapa como entrenador del Chelsea, en la que logró el título de Premier League su segunda temporada y que finalizó mediado su tercer año, al ser destituido por los malos resultados. Desde mayo de 2016 hasta diciembre de 2018 dirigió a su segundo club en Inglaterra, el Manchester United, habiéndose generado un ambiente de gran expectación en la ciudad, por la coincidencia en el banquillo «Citizen» de Guardiola, con quien tuvo una gran rivalidad Barça-Real en España. Dirigió al Tottenham Hotspur de la Premier League hasta el 19 de abril de 2021.