Toppen av Browns karriere var mellom 1929 til 1935 hvor han forsvarte sine titler internasjonalt i New York, Paris, Montreal, Marseilles, Toronto, Milan, London, og Tunis. Rett før starten av andre verdenskrig i 1939 pensjonerte han seg fra boksing og flyttet tilbake til Harlem, New York hvor han forsøkte å finne seg arbeid som kabaret danser, men endte opp med å bokse igjen, denne gangen som sparringpartner til yngre boksere. Han bokset fram til 1942, og ble kort tid etter arrestert for bruk av kokain, for så å ha blitt deportert til Panama. Han dro tilbake til New York i 40-årene hvor han tilbrakte resten av sitt liv. I løpet av sin profesjonelle karriere som bokser deltok Brown i 163 kamper, hvor han vant 129 av de, tapte 19 ganger, 12 av gangene endte med uavgjort, og tre kamper hvor det ikke ble bestemt resultat. Brown døde av tuberkulose den 11. april på Sea View hospital i New York. Brown ble en del av The International Boxing Hall of Fame i 1990.