Han begynte da å arbeide på et automatvåpen på sykehuset, og konstruerte en maskinpistol. Selv om dette ikke ble godkjent til tjenestebruk, ble myndighetene klar over hans talent, og han ble tilknyttet Den røde armés avdeling for utvikling av skytevåpen. Der laget han flere innretninger for stridsvogner, blant annet en teller for antall avfyrte skudd. I løpet av noen år jobbet han seg opp til overingeniør, og ble tildelt flere ressurser. I 1947 utviklet han automatgeværet AK-47, kanskje det mest kjente våpenet av sin type.