1941年6月22日苏德战争爆发，他曾作为T-34坦克指挥官在军队中服役，在1941年10月严重受伤。卡拉什尼科夫在医院疗伤时，打听着伤员们常在一起抱怨苏联枪械的拙劣性能和前线德军使用的自动武器，于是萌发了设计轻武器的念头。回家养伤期间，他设计出第一支冲锋枪，引起军方的注意。1943年，他进入正规学校，并被分配到武器试验场担任技术员（而不是一般人所想像的是一名技工）。 1944年，卡拉什尼科夫根据7.62×39毫米M43中间型威力枪弹设计了一支半自动卡宾枪。他设计的闭锁机构日后成为卡拉什尼科夫系列枪械的核