Pirlo è stato convocato da Trapattoni per l'Europeo 2004 in Portogallo, dove indossa la maglia numero 21, che lo accompagnerà anche nelle competizioni degli anni successivi. Alla vigilia della competizione, tuttavia, non parte tra i titolari e viene impiegato per la prima volta solo nella seconda sfida della fase a gironi, il pareggio per 1-1 contro la il 18 giugno allo Stadio do Dragão. Disputa da titolare anche la terza e ultima gara del girone contro la , che malgrado la vittoria per 2-1 sancisce la prematura eliminazione dell'Italia dal torneo.