Han reiste til sjøs seksten år gammel i 1917, men gikk i land i Nederland allerede samme år. Her begynte han med boksing, og i årene som fulgte bokset han både i Nederland og Frankrike. I februar 1919 beseiret han den senere verdensmester Battling Siki. Han kom til Brooklyn i USA i 1920, og talentet vekket oppsikt i boksemiljøet. Han vant sensasjonelt New York State Championship i 1921, og senere samme år vant han United States Championship (det amerikanske amatørmesterskapet) i lett tungvekt i Boston.