Etter å ha kjempet flere kamper på rad i weltervektsklassen, fikk Armstrong problemer med å klare vektgrensen da han skulle forsvare lettvektstittelen sin i returkampen mot Lou Ambers. Dehydrert og tappet for krefter klarte han ikke å overmanne Ambers denne gangen og tapte lettvektstittelen sin via en 15 runders poengavgjørelse. Etter alle problemene han hadde med å klare lettvektsgrensen innså Armstrong at det ikke ville være verdt forsøket å prøve å forsvare fjærvektstittelen sin. Han valgte heller å si den fra seg. I stedet for å forsøke seg igjen mot Ross, begynte han å se mot enda tyngre vektklasser. En tidligere motstander, Ceferino Garcia, var nå VM-mester i mellomvekt, og Armstrong likte sjansene sine. I mars 1940 møttes de to i Los Angeles og kjempet en meget jevn kamp, som ble dømt uavgjort av poengdommerne. Det betød at Garcia beholdt tittelen sin. Så nære var Armstrong ved å bli kronet VM-mester i sin 4. vektklasse.