Tapte sin første kamp i 1943, i returmøtet med Jake La Motta. Tapte ikke en eneste kamp igjen før i 1951, da på poeng mot Randy Turpin. Robinson slo Turpin via TKO i 10. runde i returkampen.