Onder leiding van bondscoach Vasilis Daniil speelde Karagounis op 20 augustus 1999 tegen El Salvador zijn eerste wedstrijd in het Griekse nationale team. Daarmee werd hij vijf jaar later Europees kampioen, waarbij hij zelf het eerste Griekse doelpunt van het toernooi maakte. Hij maakte ook deel uit van de selectie die op het EK 2008 de titel probeerde te verdedigen, maar strandde in de poulefase.