Etter det andre tapet for Marciano visste Charles at det var lang vei tilbake til VM-posisjon. Han hadde fått sjansen mot den nye mesteren to ganger og kommet til kort begge gangene. Etter nærmere 100 proffkamper bak seg, merket han dessuten at hans beste dager nå ikke lenger lå foran ham. I tillegg var han med sine 82-83 kg en av de minste tungvekterne i klassen og måtte presse seg maksimalt hver gang han var oppe i ringen. 1955 begynte bra da han slo Charley Norkus over 10 runder, men han merket tydelig at han hadde lagt igjen noe av seg selv på kanvasen i Marciano-kampen. To måneder senere ble han slått ut av John Holman, og selv om han vant returoppgjøret på poeng, var det helt tydelig for alle som så på at Ezzard Charles nå var på hell. I juli 1955 slo Charles sin siste rangerte motstander, Paul Andrews. Deretter kom tap på tap helt frem til han la opp for godt i 1959.