Karagounis debuterte for i 1999 i en vennskapskamp mot , og siden har han vært et vanlig syn på landslaget. Han var med på laget som sensasjonelt vant EM-gull i Portugal i 2004. Her scoret han i åpningskampen mot vertsnasjonen og også turneringens første mål. Siden da har han også deltatt i EM i 2008 i Sveits og Østerrike, og han ble tatt ut til Fotball-VM 2010 i Sør-Afrika.