Han bokset mot Muhammad Ali to ganger. Den første kampen ble bokset på Wembley Stadium i 1963. Dette er en meget berømt kamp fordi den kunne påført Muhammad Ali et ekstraordinært tap. I sluttsekundene av fjerde runde traff Cooper med en av sine berømte venstre hook slag, «Enrys hammer», og Ali gikk i canvasen. Før dommeren rakk å fullføre tellingen gikk gongen. I ringhjørnet utvidet Alis trener, Angelo Dundee, en sprekk i Alis hanske og bad dommeren om tid til å bytte den. Cooper hevdet senere at dette tok fra 3-5 minutter, og hindret han fra å slå ut Ali i begynnelsen av femte runde. I femte runde angrep Ali det svake punktet til Cooper; utstående ben rundt øvre øyebue. Kampen ble avblåst av dommer Tommy Little, etter at Cooper fikk et kutt i huden over øvre øyebue. Blodet rant ned i Coopers øye, og hindret han i å se. Etter kampen sa Ali at han var truffet så hardt av Coopers venstre hook, at hans forfedre i Afrika hadde kjent det.