Zarajsk oppsto på 1100-tallet som landsbyen er der dermed en av de eldste byene i Moskva oblast. Landsbyen tilhørte imidlertid på den tid fyrstene i Rjazan. I 1237 ble landsbyen ødelagt av troppene til Batu Khan. Den ble gjenoppbygd på 1300-tallet under navnet . Fra 1528 og fremover ble den kalt , og det var ikke før først på 1600-tallet at den fikk sitt nåværende navn Zarajsk. Før 1900-tallet var byen en del av Rjazan gubernija, og byens arkitektur og dialekt synes å ligge nærmere Rjazan enn til Moskva.