Ο Αντεμπαγιόρ αν και επιλέξιμος για την εθνική Νιγηρίας εκπροσώπησε τελικά το Τόγκο, πραγματοποιώντας το ντεμπούτο του το 2000. Ήταν μέλος της εθνικής Τόγκο η οποία συμμετείχε στο Μουντιάλ 2006, τη πρώτη και μοναδική έως τώρα εμφάνιση της χώρας σε Μουντιάλ. Ο Αντεμπαγιόρ ήταν ένας από τους παίκτες που βρίσκονταν στο λεωφορείο που δέχθηκε πυροβολισμούς στο Κύπελλο Εθνών Αφρικής το 2010, από το οποίο αποσύρθηκε. Όμως επέστρεψε για το Κύπελλο Εθνών Αφρικής το 2013, βοηθώντας το Τόγκο να φτάσει μέχρι τα προημιτελικά, καθώς και το 2017. Έχει πραγματοποιήσει 87 συμμετοχές με το εθνόσημο και με 32 γκολ είναι ο πρώτος σκόρερ της εθνικής Τόγκο.