Ellis fikk sin sjanse til å vinne WBA tittelen da Muhammad Ali nektet å delta i Vietnamkrigen og derfor endte opp i fengsel og mistet tittelen. Ellis beseiret Jerry Quarry i finalen på Råsunda stadion i Stockholm 1968 som Ellis vant mot Floyd Patterson og forsvarte tittelen. Ellis tapte senere tittelen mot Joe Frazier i 1970. Jimmy Ellis var en tid sparringspartner for Muhammad Ali. Som Ali hadde han Angelo Dundee som trener.