Carter vokste opp i Paterson, New Jersey. Som 11-åring ble han for første gang arrestert for å ha knivstukket en angivelig pedofil mann som la an på en av Carters barndomsvenner. Da han var 19 år rømte Carter fra fengselet og meldte seg inn i hæren. Da han kom ut av hæren ble Carter umiddelbart arrestert igjen, men hadde ikke mye sonetid i fengselet. I hans tid i fengsel skrev han en selvbiografi, The sixteenth round som ble utgitt i 1974. Det var i hæren at Rubin Carter lærte seg å bokse. Stjernenavnet «The Hurricane» fikk Carter etterhvert som han ble kjent for sin styrke og hurtighet i bokseringen.