Byen ble grunnlagt i 1764–1766 av tyske nybyggere som kolonien (russisk: Бальцер). Koloniens andre navn var (russisk: Голый Карамыш), etter elva den lå ved. I 1914 ble bosetningen offisielt omdøpt til Golyj Karamysj. Den fikk bystatus i 1918 og navnet ble i 1927 endret tilbake til Baltser. I 1942 fikk byen sitt nåværende navn, Krasnoarmejsk, under utrenskningen av tyske stedsnavn.