Ezzard Charles døde den 27. mai 1975 i et pleiehjem for eldre og uføre. Han var da 54 år gammel og hadde ingen eiendeler eller penger igjen fra alt det han hadde tjent i løpet av den 19-årige karrieren.