Boksekommisjonen hadde andre planer derimot, de ville at han skulle forsvare tittelen mot Harold Johnson. Johnson var en meget god bokser, problemet var bare at han og Moore hadde kjempet mot hverandre fem ganger før og Moore hadde vunnet fire av oppgjørene. Moore var ikke interessert i å møte Johnson for sjette gang og nektet boksekommisjonens krav. De svarte med å strippe ham for tittelen. Etter å ha vært rangert som verdens beste lett-tungvekter i over 11 år, og regjert som verdensmester i 10 av dem, ble Moore fratatt tittelen fordi han ikke ville forsvare tittelen sin mot en bokser han allerede hadde slått 4 ganger. Avgjørelsen skapte furore i bokseverden, tok Moores parti. Moore svarte med å ta steget opp i tungvekt i håp om å sikre seg noen lukrative kamper før han la opp. Blant de mest kjente motstanderne hans de siste årene han bokset var Willie Pastrano (siste kamp som verdensmester, ikke tittelkamp) og Cassius Clay, som stoppet ham i 4. runde. Vi vet alle hva som senere ble av Clay. Archie Moore gikk sin siste kamp i 1963, 47/50 år gammel. Etter boksekarrieren jobbet han som trener, og blant elevene hans var George Foreman og Earnie Shavers.