Nell'estate 2007 Karagounis ritorna di nuovo al , il club che lo ha lanciato, dove ritrova, tra gli altri, Giannīs Gkoumas, Panagiōtīs Fyssas, Kōstas Katsouranīs e Geōrgios Seïtaridīs, suoi ex compagni di Nazionale con cui ha vinto l'Europeo 2004. Karagounis diventa titolare e capitano dei "leoni verdi". In Champions League segna un gol nella stagione 2008-2009, nella partita vinta per 3-0 in casa del . Sempre in Champions League, il 27 novembre 2008 vince con la sua squadra a San Siro contro l'Inter. La stagione successiva guida i "leoni verdi" agli ottavi di finale a spese della (3-2 allo Stadio Olimpico di Atene e poi 2-3 allo stadio Olimpico di Roma). Nel 2010 vince il campionato greco conquista anche la Coppa di Grecia contro l'Aris Salonicco allenata dall'ex interista Héctor Cúper. Nell'estate 2012, dopo aver disputato il campionato europeo con la Nazionale greca, il Panathinaikos decide di non rinnovargli il contratto a causa di problemi economici che attraversano il club ateniese. Alcuni club in Grecia mostrano interesse per Karagounis come l'OFI di Creta ma il giocatore esprime il desiderio di rimanere legato alla squadra del Panathinaikos e decide di non firmare per un'altra squadra greca.