Gute Vorstellungen für AEK Athen brachten Kapsis eine Nominierung in den Kader der griechischen Nationalmannschaft der Qualifikation für die Europameisterschaft 2004 für die entscheidenden Spiele gegen Spanien und die Ukraine ein; er deckte bei diesen beiden Siegen hervorragend Raúl und Andrij Schewtschenko. Er war auch stets präsent, als Griechenland bei der Euro 2004 Europameister wurde, und blieb Stammspieler in der Qualifikation für die FIFA Fußball-Weltmeisterschaft 2006