בשנת 2000 השתתף בייה עם תוניסיה בגביע אפריקה לאומות 2000, אותו סיימה תוניסיה במקום הרביעי. בשנת 2002 השתתף בייה עם תוניסיה בגביע אפריקה לאומות 2002, ממנו הודחה תוניסיה בשלב הבתים, ובמונדיאל 2002, שגם אותו סיימה תוניסיה כבר בשלב הבתים, כאשר בייה נכנס בטורניר זה בשלושת המשחקים כמחליף. לאחר מונדיאל 2002, פרש בייה מהנבחרת, לאחר שהבקיע 27 שערים ב-81 הופעות.