Nel novembre 2001 il Milan passa sotto la guida di Carlo Ancelotti e per il club rossonero inizia un nuovo ciclo vincente, di cui Kaladze è tra i protagonisti. È infatti il terzino sinistro titolare della squadra che raggiungerà la finale della UEFA Champions League 2002-2003 contro la Juventus e batterà i bianconeri ai tiri di rigore all'Old Trafford di Manchester, vincendo il prestigioso trofeo per la sesta volta nella storia del club rossonero. Kaladze vince anche la Coppa Italia 2002-2003 e la Supercoppa europea 2003. Ha, invece, un ruolo marginale nella squadra che nel 2003-2004 si aggiudica lo scudetto, anche a causa di una serie di guai fisici.