Di Milan ia membuat langkah besar dalam perkembangannya untuk menjadi pemain kelas dunia, dan salah satu "deep-lying playmaker" yang terbaik dan spesialis "set-piece" di dunia. Bersama Milan, ia memenangkan dua gelar Serie A dan merupakan bagian integral dari lini tengah Rossoneri; ia juga memenangkan dua Liga Champions pada 2003 dan 2007 (memberi assist untuk gol pertama Filippo Inzaghi) di bawah pelatih Carlo Ancelotti, dan juga mencapai final pada tahun 2005. Selama periode ini, Milan juga finis sebagai runner up di Serie A di musim 2004-05 dan musim 2005-06 (sebelum pengurangan 30 poin karena keterlibatan mereka dalam skandal Calciopoli 2006), serta menjadi runner-up Supercoppa Italiana 2003, di mana Pirlo mencetak gol penalti pada perpanjangan waktu dan pada babak adu penalti. Dalam turnamen Liga Champions 2004-05, Pirlo menjadi salah satu pengumpan gol kedua tertinggi dengan empat assist. Ia juga memenangkan Coppa Italia, satu Supercoppa Italiana dan dua Piala Super UEFA selama waktunya dengan Milan antara 2003 dan 2007, serta gelar pertama mereka di Piala Dunia Antarklub FIFA pada tahun 2007. Insiden yang paling tidak bisa dilupakan adalah ketika ia gagal mencetak gol lewat titik penalti pada Final Liga Champions UEFA 2005, tendangannya diselamatkan oleh Jerzy Dudek, mereka kalah dalam adu penalti atas , setelah sebelumnya Liverpool sukses mencetak tiga gol penyeimbang kedudukan di babak kedua waktu normal. Padahal Pirlo sebelumnya, memberi assist bagi gol pembuka Paolo Maldini di laga final, setelah 50 detik pertandingan belangsung lewat umpan dari tendangan bebasnya.