Allerede ett år etter han la opp var Joe Louis ruinert. Under krigen hadde han gått en rekke oppvisningskamper til inntekt for diverse veldedige formål. Selvfølgelig hadde han ikke betalt skatt av beløpene som ble donert, noe som senere kom til bli en enorm belastning. I 1950 kom de amerikanske skattemyndighetene med et krav om å få innbetalt et millionbeløp i skatter som Louis ikke hadde betalt av beløpene han donerte under krigen. Den gamle mesteren hadde ikke noe annet valg enn å gjøre comeback. På bakgrunn av tidligere meritter fikk Louis umiddelbar VM-kamp mot Ezzard Charles. De to møttes i Madison Square Garden i New York i september 1950. Den gamle mesteren var tydelig rusten og utbrent, Charles vant 10 av de 15 rundene. Men det som skulle bli en av Charles største øyeblikk i ringen ble alt annet enn det han hadde forventet seg. Louis var en høyt elsket superstjerne blant amerikanere. De hatet å se ham tvunget tilbake til ringen pga. av økonomiske problemer og ydmyket på den måten som Charles gjorde. Publikum vendte Charles ryggen. Etter sin største seier i ringen var plutselig Charles mer upopulær enn noen gang.