На своїх других Олімпійських іграх у Сіднеї він знову побіг дистанцію 10 000 метрів. Як і чотири роки тому в Атланті, головним конкурентом був кенієць Пол Тергат. Протягом усього забігу Хайле Гебреселассіє тримався в групі лідерів. На позначці 9800 метрів Тергат вийшов на перше місце і зробив спробу відірватися від конкурентів. Ефіоп підтримав його темп і продовжив боротьбу на другому місці. Фінішним спуртом він вирвав перемогу на останніх метрах дистанції і знову залишив кенійського стаєра зі срібною медаллю. У Сіднеї йому вдалося випередити срібного призера лише на 0,09 секунди. Також він став третім в історії легкоатлетом, після Еміля Затопека і Лассе Вірена, якому вдалося виграти 10 000 метрів на двох олімпійських іграх поспіль. Після Ігор у Сіднеї він вперше вийшов на старт лише в серпні 2001 року на чемпіонаті світу в Едмонтоні, де посів третє місце на 10 000 метрів. Пропустив зимовий сезон через травму ахіллового сухожилля. У жовтні вперше у своїй кар'єрі взяв участь у бігові по шосе, вигравши Чемпіонат світу з напівмарафону в Брістолі з часом 1:00.03. Допоміг організувати в рідній Аддис-Абебі пробіг серії "Great Run" — 10-кілометровий "Великий ефіопський забіг" (). 26 листопада 2001 року став його першим переможцем.