Armstrong gjorde en flott amatørkarriere og slo seg til topps på alle amatørrankinger i fjærvektsklassen. Han hadde vunnet 85 amatørkamper på rad da han overraskende tapte den amerikanske OL kvalifiseringen i 1932. Ettersom han trengte penger for å bidra til familieforsørgingen, debuterte han nok en gang som proff. Armstrongs proffkarriere fikk en litt vaklende start da han tapte sine to første kamper, han hadde tidligere tapt en proffkamp da han kjempet som «Melody Jackson», så man kan jo bare tenke seg at han må ha hatt lyst til å legge opp nærmest før han kom i gang. Fargede boksere var ikke verdt mye på 1930-tallet dersom de ikke vant,det hele var en kamp om den sterkestes rett. Men ting tok seg opp etter hvert som Armstrong fant seg mer til rette med proffstilen, noe som han senere skulle sette en standard for innen perfeksjonisme.