אפוסטולקיס ערך את הופעת הבכורה שלו בשורות נבחרת יוון ב-17 בינואר 1986, עוד בטרם מלאו לו 22, כאשר המאמן מילטוס פאפאפוסטולו העניק לו את חולצת ההרכב בניצחון 0–1 בדוחא על במשחק ידידות. את הופעותיו הרשמיות הראשונות ערך במוקדמות יורו 1988, אז ערך שש הופעות במסגרת הטורניר אך לא הצליח לסייע לנבחרתו להעפיל לטורניר הגמר. אפוסטולקיס הפך במהרה לשחקן משמעותי בסגל הנבחרת היוונית, וב-17 בינואר 1990, בהופעתו ה-32 במדי הנבחרת, כבש אפוסטולקיס את שערו הראשון במדיה, בניצחון 0–2 על במשחק ידידות, ובאותן השנים היה שותף לניסיונותיה הכושלים של יוון להעפיל מטורנירי מוקדמות מונדיאל 1990 ומוקדמות יורו 1992.