אמפנזה שיחק בנבחרות הצעירות של בלגיה, וערך את הבכורה בנבחרת בלגיה הבכירה בשנת 1997. את שערי הבכורה שלו במדים הלאומיים הבקיע בניצחון 6-0 על נבחרת סן מרינו במוקדמות מונדיאל 1998, במשחק בו הבקיע צמד. אמפנזה זומן לסגל הבלגי למונדיאל 1998 עצמו, ונכנס כמחליף בכל שלושת המשחקים של בלגיה בשלב הבתים, ממנו הודחה בלגיה לאחר שסיימה את שלושת משחקיה בתיקו. אמפנזה ונבחרת בלגיה היו פטורים מהשתתפות במוקדמות יורו 2000 משום שבלגיה אירחה את יורו 2000 בצוותא עם הולנד. את יורו 2000 פתחו אמפנזה ונבחרת בלגיה היטב, כאשר ניצחו 2-1 במשחק הפתיחה של הטורניר את נבחרת שוודיה, כשאמפנזה מבקיע את השער השני. עם זאת, המשך הטורניר היה מאכזב מאוד עבור בלגיה, שהפסידה בתוצאה 2-0 לנבחרות איטליה וטורקיה, והודחה כבר בשלב הבתים על אף היותה נבחרת מארחת. במהלך טורניר מוקדמות מונדיאל 2002 הבקיע אמפנזה שני שערים וסייע לבלגיה להעפיל למונדיאל 2002 עצמו, אך החמיץ את הטורניר עצמו בגין פציעות רבות מהן סבל באותה עונה. אמפנזה המשיך לשחק בנבחרת בלגיה לאחר מכן, והבקיע צמדים בניצחון 4-1 על נבחרת בוסניה במוקדמות מונדיאל 2006 ובניצחון 2-0 על נבחרת טורקיה במוקדמות מונדיאל 2010. עם זאת, נבחרת בלגיה לא הצליחה להעפיל עם אמפנזה לטורנירים נוספים מאז מונדיאל 2002. בשנת 2009 ערך אמפנזה את הופעתו הבינלאומית ה-57 והאחרונה, בהפסד 2-0 לנבחרת אסטוניה, במשחק שנערך במוקדמות מונדיאל 2010, ארבעה ימים לאחר שאמפנזה הבקיע את הצמד מול נבחרת טורקיה. לזכותו של אמפנזה 19 שערים במדים הלאומיים.