אנצ'לוטי מונה למאמן מילאן ב-6 בנובמבר 2001, כמחליפו של פתיח טרים שפוטר עקב סדרה לא טובה של תוצאות. הוא הגיע למילאן לאחר שלא זכתה באף תואר, מקומי או אירופי, מאז האליפות בעונת . עם תחילת עונת , עונתו המלאה הראשונה של אנצ'לוטי במילאן, ספג ביקורת מבעלי הקבוצה, סילביו ברלוסקוני, בעקבות טקטיקה הגנתית מדי לטעמו. אמנם, אנצ'לוטי ערך מספר שינויים בהרכב הקבוצה, ביניהם קידומו של דידה לתפקיד השוער הראשון של הקבוצה, שינוי תפקודו של אנדראה פירלו מקשר תוקף לקשר הגנתי והצבתו מאחורי רוי קוסטה, ושילובם של החלוצים הדינמיים פיליפו אינזאגי ואנדריי שבצ'נקו בחוליית ההתקפה. שינויים אלו הובילו להצלחה גדולה של הקבוצה באותה העונה, עם ניצחון בגמר ליגת האלופות 2003 בפנדלים מול קבוצתו הקודמת יובנטוס לאחר 0:0 בתום הארכה. בנוסף, השלימה הקבוצה זכייה בקופה איטליה של אותה עונה עם ניצחון 6:3 על רומא בסיכום שני משחקי הגמר, וזכייה בתואר הסופר קאפ האירופי עם ניצחון 1:0 על פורטו, אותה הדריך אז ז'וזה מוריניו, שהייתה מחזיקת גביע אופ"א. עונה אחר כך זכה אנצ'לוטי בתואר האליפות הראשון שלו כמאמן, כשהוביל את מילאן לזכייה בתואר לראשונה מזה חמש שנים. בשתי העונות שאחר כך סיימה מילאן שנייה בטבלה, פעמיים אחרי יובנטוס, והגיעה בפעם השנייה בעידן אנצ'לוטי לגמר ליגת האלופות בעונת , שם הפסידה בפנדלים לליברפול לאחר 3:3 בסיום ההארכה. מילאן הובילה 3:0 במחצית, אך נכנעה בסיום. אנצ'לוטי ומילאן השיגו את הנקמה הספורטיבית שנתיים לאחר מכן, בגמר ליגת האלופות 2007, אז ניצחו את ליברפול 2:1 וזכו בתואר בפעם השנייה בעידן אנצ'לוטי. היה זה תואר האלופות הרביעי של אנצ'לוטי עם מילאן, לאחר שצבר גם שתי זכיות כשחקן. בזכות הזכייה הבטיחה הקבוצה את השתתפותה באליפות העולם לקבוצות 2007. היא זכתה בתואר לאחר ניצחון 4:2 בגמר על בוקה ג'וניורס, והייתה לקבוצה האירופית הראשונה בהיסטוריה שזוכה בתואר. כשעה לאחר הניצחון 2:0 על פיורנטינה במחזור האחרון של עונת , הודיע אנצ'לוטי כי הוא מסיים את דרכו בקבוצה.