Armstrong returnerte til weltervektsklassen og gjorde ytterligere 4 forsvar av tittelen før han overraskende tapte tittelen via poeng til Fritzie Zivic. Da de to møttes til returkampen 3 måneder senere ble Armstrong like overraskende slått ut i 12. runde. Armstrong bestemte seg for å ta seg en pause etter flere hektiske år med mange tøffe kamper. I juni 1942 gjorde han comeback etter 17 måneder borte fra ringen. Ting så nesten ut som før da han slo Richard Rangel over 10 runder, men i sin neste kamp gikk han på en skrell mot ukjente Reuben Shank. Likevel fortsatte han mot er eller mindre ukjente motstandere i 7 kamper til før han slo topp 10 rangerte Juan Zurita og fikk en viss revansje mot Fritzie, Zivic som i mellomtiden hadde tapt tittelen sin til Freddie Cochrane. Selv om Armstrong slo Zivic, var det tydelig at han ikke var den samme som før. Alle kampene mot verdens beste boksere hadde begynt å ta ham igjen. Han slo flere topp-10 rangerte motstandere i sine siste år som proffbokser, men de beste han møtte, deriblant Sugar Ray Robinson og Beau Jack ble for mye for den slitne bokseren.