Sitt neste forsvar av tittelen gjorde han mot Tony Anthony, som Moore slo ut i 7. runde og viste at selv om han ikke var verdens beste tungvekter, så var han i hvert fall verdens beste i lett-tungvektsklassen. Sitt tøffeste forsvar av tittelen hadde han i 1958 da han reiste til utfordrerens hjemby, Montreal, Canada, for å forsvare tittelen mot Yvon Durelle. Enda en gang skulle fighterhjerte hans settes på prøve da han tok tre tellinger allerede i første runde og én i femte. Men Moore, blodig og utmattet, bet det i seg og gikk til krig mot kanadieren. Etter flere brutale runder greide endelig Moore å slå ham ut i 11. runde. Durelle var sønderknust av skuffelse, men visste at han hadde greid seg bra nok til at han ville få en returkamp. Men returmøtet var ingen kamp. Moore hadde lært seg Durelless boksestil å kjenne og plukket ham fra hverandre i løpet av bare tre runder. I 1960 tapte Moore en ikke-tittel kamp mot italieneren Giulio Rinaldi i Roma, men revansjerte tapet med en 15 runders poengseier i New York. Moore innså nå at hans dager i ringen snart var talte og ønsket en utfordrer som ville gi ham en stor utbetaling.