Riflens opprinnelse kommer fra tidlig på 1930-tallet, da Fedor Tokarev ga opp forsøket med å lage en rekyldrevet automatisk rifle, og heller konsentrerte seg om å designe en gassoperert. I 1935 ble det holdt en designkonkurranse for den sovjetiske hæren, Tokarev tapte, Sergei Simonov vant, og fikk sin AVS-36 rifle approbert. Riflen fungerte imidlertid dårlig, og en ny konkurranse ble holdt, denne gang vant Tokarev med sin rifle. Produksjonen startet hos Tula arsenalet i 1939, og det var forventet en produksjon på to millioner rifler pr år innen 1942.