Hans barndomsopplevelser ledet ham inn i en kriminell bane som resulterte i fengselsstraff. Han hadde et dårlig rykte, men hjemme var han elskverdig og vennlig. Og hans slette og lite imøtekommende opptreden i intervjuer skyldtes helt enkelt at han var sjenert. Da han ble dømt for væpnet ran av en bensinstasjon, ble hans boksetalent oppdaget av en romersk-katolsk prest som besøkte fengselet. Boksingen bidrog til at han raskere kom ut av fengselstilværelsen. Han ble løslatt på halloween-aften i 1952, og etter en kort amatørkarriere på under ett år vant han mange priser blant annet Golden Gloves.