Karagounis var kapten för Greklands U21-lag i U21-EM 1998, en turnering som Grekland var nära att vinna efter en finalförlust mot Spanien. Efter det blev han snart given i Greklands landslagstrupp. Han gjorde sin debut mot El Salvador och var även med i kvalet till VM 2002. Men det största ögonblicket i Karagounis karriär var guldet i EM-slutspelet 2004. Han gjorde Greklands första mål i öppningsmatchen mot Portugal, efter endast sex minuter. Efter EM-guldet 2004 fortsatte Karagounis få mycket speltid och medverkade i Confederations Cup 2005, kvalet till VM 2006 samt EM 2008. Som kapten i landslaget ledde han sitt lag till sin första vinst i ett VM-slutspel någonsin när Nigeria slogs tillbaka med 2-1 i VM 2010. Den 12 oktober 2010 spelade Karagounis sin 101:a landskamp och blev därmed den grek som spelat näst flest landskamper efter Theodoros Zagorakis.