Eleito membro da comissão de atletas da International Association of Athletics Federations (IAAF) em 2003, neste ano ele conquistou a medalha de prata nos 10.000m do Campeonato Mundial de Atletismo de Paris, perdendo para aquele que tornou-se seu sucessor nas provas de fundo, seu compatriota e protegido, Kenenisa Bekele, que a partir dali começava seu reinado. A admiração e respeito dos atletas etíopes por Haile, que é um herói nacional da Etiópia, ficou marcado para todo mundo na tocante final dos 10.000 m nos Jogos de Atenas, em 2004, a última olimpíada disputada por ele. Bekele e Sileshi Sihine, outro etíope da nova geração, lideraram a prova por boa parte do tempo junto a Haile, até que nas últimas voltas, a recente contusão no tendão de Aquiles e a idade (31 anos) do "Imperador", começaram a pesar e ele não conseguia acompanhar o ritmo dos dois compatriotas, que começavam a disparar na frente, deixando para trás os demais quenianos e marroquinos da disputa. Vendo que Haile não mais conseguia acompanhá-los, os dois propositalmente diminuíam o ritmo, olhavam para trás para Haile, voltavam a acelerar e diminuíam, permitindo inclusive a aproximação dos adversários, de maneira a que ele pudesse voltar à frente e conseguir um pódio tríplice da Etiópia. O gesto porém não deu resultado, Haile não manteve o ritmo alucinante dos outros dois, e Bekele disparou para a medalha de ouro com Sihine em segundo, restando a Haile o quinto lugar em sua corrida de então programada despedida das pistas de atletismo.