Arzamas ble grunnlagt i 1578 av Ivan den grusomme på landområder som på den tid var befolket av mordvinske folk. I 1737 bodde over 7 000 mennesker i Arzamas, og byen var et viktig transitsted på veien fra Moskva til Russlands østre deler. Byen var kjent for sine tamgjess og løker, og også sitt lærhåndverk.