Clay vokste opp i raseskillets tid i USA. Hans mor fortalte om en episode da han ble nektet et glass vann i en butikk: «De ville ikke gi ham det på grunn av hudfargen hans. Det gikk virkelig innpå ham.» Han ble også rystet av mordet på Emmett Till i 1955, noe som førte til at unge Clay og en venn ga utløp for sin frustrasjon gjennom vandalisering. venstre|miniatyr|Cassius Clay (andre fra høyre og senere Ali) under 1960-OL. Clay ble introdusert for boksing av Louisville-politimannen og boksetreneren , som møtte den tolv år gamle Clay etter at han kom for å klage over at en tyv hadde stjålet sykkelen hans. Han fortalte offiseren at han skulle «ta» tyven. Politimannen fortalte Clay han det nok var best om han lærte å bokse først. Clay tok ikke opp Martins tilbud, men etter å ha sett amatørboksere på det lokale TV-bokseprogrammet ble han interessert i mulighetene som en boksekarriere kunne åpne for. De siste fire årene av Clays amatørkarriere ble han trent av trenerlegenden .