Barboza var sønn av portugisisk-amerikanske emigranter fra Lisboa, Portugal som bosatte seg i New Bedford, Massachusetts. Faren hans var bokser og moren hans var en syerske. Josephs far var en konstant skjørtejeger som til slutt forlot sin kone og fire barn da Joe var tolv år gammel. Barboza er kjent for å ha drept minst 26 mennesker i hans levetid, men ingen av disse mordene ble noen gang bevist. Joseph begynte som profesjonell tungvektsbokser og var medlem av USA Boxing Association for en kortere periode før hans første boksekamp, som ble gjennomført den 18. april 1949 mot Rocky Lucero i El Paso, Texas og hans siste boksekamp ble avholdt 23. september 1961 mot Don Bale i Boston, Massachusetts. Han kjempet med en ortodoks holdning under sine boksekamper.