La stagione successiva parte male, con la sconfitta ai rigori nella finale di Supercoppa italiana disputata negli Stati Uniti contro la Juventus. Ancelotti si riscatta qualche settimana dopo vincendo la Supercoppa europea (1-0 allo Stadio Louis II contro il Porto di José Mourinho). Il Milan vincerà con largo anticipo lo scudetto dopo un duello con la Roma, deciso proprio dalla vittoria dei rossoneri nello scontro diretto del 2 maggio 2004 (i rossoneri avevano sbancato anche l'Olimpico a gennaio). Non riesce, però, a conquistare a dicembre la Coppa intercontinentale, battuto ai rigori a Tokyo dal Boca Juniors (1-1 dopo i tempi regolamentari), né a bissare il successo in Champions League, a causa della rimonta subita dal Deportivo La Coruña: la squadra galiziana, dopo il 4-1 subito a Milano, ribalta il risultato, vincendo per 4-0 la gara di ritorno al Riazor.