I november 1934 ble Armstrong matchet mot sin første topp 10 rangerte motstander, mexicaneren Baby Arizmendi på sistnevntes hjemmebane i Mexico by. Selv om Armstrong tapte en poengseier, gjorde han en bra figur og det ble arrangert en returmatch. Den 2. januar 1935 møttes de to igjen, men resultatet forble det samme, Armstrong tapte en poengseier. En måned senere gikk Armstrong på en ny nedtur, han ble diskvalifisert i 4. runde mot en annen mexicaner, Rodolfo Casanova, også denne gangen på motstanderens bane i Mexico by. Lite vites om kampen, man vet ikke engang hvorfor Armstrong ble disket. Imidlertid vet man at boksere har flere ganger blitt bortdømt mot mexicanere i Mexico, spesielt på den tiden da kampleder var eneste dommer. På denne tiden var det ikke uvanlig at en dommer gav hjemmebokseren seieren i en del kamper for å unngå bråk, opptøyer etc. Når man ser på hva Armstrong gjorde i sin karriere sammenlignet med Casanova, er det enkelte som vil hevde at det er sannsynlig at Armstrong var i ferd med å overkjøre ham og at dommeren stoppet kampen og hevdet at Armstrong slo lavt, skallet, etc. bare for å unngå bråk.