Clay hadde sin debut som amatørbokser i 1954 mot Ronnie O’Keefe. Han vant ved delt dommeravgjørelse. Han fortsatte med å vinne seks titler i Kentuckys Golden Gloves, to nasjonale Golden Gloves-titler, den nasjonale Athletic Union-tittelen og lett tungvekt-gullmedaljen under Sommer-OL i Roma 1960. Clays amatørrekord var 100 seire med fem tap. Ali skrev i sin selvbiografi fra 1975 at han kort tid etter at han kom tilbake fra OL i Roma kastet gullmedaljen i Ohio-elven etter at han var blitt nektet adgang til en restaurant. Ali mottok en erstatningsmedalje ved en seremoni under 1996-OL i Atlanta.