Beliau menjadi kunci utama skuad Greece yang layak ke UEFA Euro 2004 dan berjaya menjaringkan gol pada perlawanan pembukaan kejohanan menentang tuan rumah, Portugal. Selepas menjuarai kejohanan Eropah 2004, Karagounis meneruskan bermain untuk Greece di Piala Konfederasi 2005, kempen kelayakan Piala Dunia 2006 dan UEFA Euro 2008. Pada 26 Mac 2008, Karagounis mengambil bahagian dalam satu perlawanan persahabatan antara Greece dan Portugal di Düsseldorf, Jerman. Skuad Greece berjaya juga pada perlawanan kali ini iaitu 2-1.