Han ble født av fattige foreldre og var en av elleve søsken i familien. Etter en turbulent barndom med tyverier og småkriminalitet ble han sendt til spesialskole i tiårsalderen. Han begynte å bokse i fjortenårsalderen. Kun 17 år gammel vant han olympisk gull som mellomvekter i OL 1952 i Helsingfors.