Als feste Größe in Rehhagels Mannschaft wurde Karagounis 2004 in den Kader für die Europameisterschaft in Portugal berufen und erzielte im Eröffnungsspiel gegen die gastgebende Mannschaft bereits in der sechsten Minute die 1:0-Führung. Von den insgesamt sechs EM-Begegnungen verpasste Karagounis aufgrund von Gelbsperren zwei – darunter auch das für Griechenland erfolgreiche Finale gegen Portugal.