Pero poco después, en noviembre de 2001, fue fichado por el AC Milan para sustituir a Fatih Terim en la dirección técnica del primer equipo. Con Ancelotti en el banquillo, y con jugadores como Andriy Shevchenko, Manuel Rui Costa y Paolo Maldini, el conjunto "rossonero" logró ganar la Liga de Campeones de la UEFA en 2003, tras derrotar en la tanda de penales a la Juventus; y también ganó la Copa de Italia, esta vez frente a la Roma (resultado global de 6-3). Al año siguiente logró el "Scudetto" (2004), y en 2005 vio cómo se le escapó el título de campeón de Europa tras ir ganando por 3-0 al Liverpool, y al final, tras una heroica remontada del equipo inglés, el Milan cayó en la tanda de penaltis. En 2007 se repitió la misma final de la Champions League y esta vez sí se impuso el Milan al Liverpool, tomándose la revancha por 2-1 y conquistando así Ancelotti su segundo título de la máxima competición europea.