En 1963, lors de l'édition suivante de la CAN, qualifiée d'office en tant que tenante du titre, l'équipe éthiopienne termine à la quatrième place, après avoir perdu 3-0 le match de classement face à l'équipe de République arabe unie. La CAN 1965 est une désillusion pour les "Walya", étant éliminés dès le premier tour et terminant derniers de leur poule derrière la Tunisie et le Sénégal avec aucune victoire, un seul but marqué (par Luciano Vassalo face au Sénégal) et surtout neuf encaissés en deux rencontres. La même année, la deuxième campagne de qualification pour la Coupe du monde de l'histoire de la sélection, pour celle de 1966 en Angleterre, tourne court. Comme pour l'ensemble des nations africaines engagées, l'Éthiopie (à l'origine opposée au Gabon) décide de se retirer, pour protester contre la décision de la FIFA de n'attribuer qu'une seule place en phase finale pour l'ensemble des équipes d'Afrique, d'Asie et d'Océanie.