Byen fikk sitt opprinnelige navn ettersom den lå ved Sarovaklosteret ved elva Sarovka, hvis vann ble ansett å ha helbredende kraft. I 1664 bosatte munken Theodosius seg på Sarovfjellet. Den første kirken i bosetningen Sarov ble grunnlagt i 1706. Sankt Serafim bodde i Sarov fra 1778 til 1833. I 1903 ble byen besøkt av den russiske tsar-familien. På den tid hadde byen ni kirker, inkludert en underjordisk. Omtrent 320 munker bodde i klosteret.