Karagounis ha esordito in nazionale nel 1999, in una partita amichevole contro . Agli Europei del 2004 ha segnato il primo gol della Grecia, nella partita vinta 1-2 contro il . Al termine del torneo si è laureato Campione d'Europa, dopo la finale vinta per 1-0 sempre contro i lusitani. Nel 2005 ha partecipato alla Confederations Cup tenutasi in Germania, dove la sua squadra è stata eliminata al primo turno.