Leo døde av dysenteri den 18. januar 474, 73 år gammel. Han hadde da noe overraskende utnevnt sin sju år gamle dattersønn Leo II, og ikke Leos far Zenon, til sin etterfølger. Leo II døde imidlertid etter bare ni måneder og ble etterfulgt av Zenon.