À Milan, il remporte plusieurs titres : Ligue des champions à deux reprises, Coupe d'Italie, Supercoupe de l'UEFA (2003), la Coupe du monde des clubs (2007), et à nouveau le "Scudetto" en 2004. Sa complémentarité avec Paolo Maldini, Jaap Stam et Cafú font de la défense milanaise la meilleure de la saison 2004-2005, ce qui n'empêchera pas une double désillusion: en finale de Ligue des Champions 2005 remportée par Liverpool et quelques jours plus tôt, une défaite à domicile face à la Juventus alors que les deux équipes comptaient le même nombre de points.