Nel 2004 fu inserito nella lista dei convocati per il campionato europeo organizzato proprio dal Portogallo. Rui Costa disputò quattro partite, segnando un gol contro la Russia (2-0) nella fase a gironi e uno contro l'Inghilterra nei quarti di finale (2-2 dopo i tempi supplementari, 6-5 ai calci di rigore). In finale il Portogallo perse per 1-0 contro la Grecia. Al termine della competizione, Rui Costa decise di lasciare la nazionale.