După retragerea sa ca jucător, Guardiola a devenit antrenorul lui FC Barcelona B. Pe 8 mai 2008, președintele Barcelonei Joan Laporta a anunțat că Guardiola îl va succeda pe Frank Rijkaard ca antrenor al primei echipe. A semnat contractul său pe 5 iunie 2008. În primul său sezon ca antrenor, Barcelona a câștigat tripla: La Liga, Copa del Rey și Liga Campionilor. Făcând asta, Guardiola a devenit cel mai tânăr antrenor care a câștigat Liga Campionilor UEFA. Următorul sezon, Guardiola și Barcelona au câștigat Supercopa de España împotriva Athletic Club Bilbao, Supercupa Europei împotriva lui Șahtior Donețk, și Campionatul Mondial al Cluburilor FIFA împotriva lui Estudiantes. În data de 27 aprilie 2012, într-o conferință de presă, și-a anunțat plecarea de la FC Barcelona.