Ritiratosi dal calcio giocato, ha intrapreso la carriera da allenatore, distinguendosi come uno dei migliori tecnici della sua generazione e vincendo numerosi trofei: quattro Coppe Italia (record condiviso con Massimiliano Allegri e Sven-Göran Eriksson), due Supercoppe italiane, tre campionati italiani con l'Inter, vincendo nel 2006 un campionato a 17 anni di distanza dall'ultimo; un campionato inglese, nel 2012, a distanza di 44 anni dall'ultimo, una FA Cup e una FA Community Shield alla guida del Manchester City; una Coppa di Turchia alla guida del Galatasaray e, alla guida della nazionale italiana, il , a 53 anni di distanza dall'ultima affermazione (Italia 1968). Nel 2015 è stato inserito nella "Hall of Fame del calcio italiano", nella categoria "Allenatore italiano".