1999 debütierte Goumas erstmals bei einem Länderspiel gegen Finnland für die griechische Nationalmannschaft. Zuvor absolvierte er zwischen 1995 und 1997 insgesamt 21 Länderspiele für die griechische U-21. Seitdem gehörte er regelmäßig zum Kader und gehörte somit auch zu der Mannschaft, welche 2004 in Portugal sensationell unter Trainer Otto Rehhagel Fußball-Europameister wurde, wo er aber nicht eingesetzt wurde.