До радянської окупації року в місті діяло п'ять православних храмів: Свято-Успенський, Свято-Миколаївський, Свято-Покровський, Троїцька гімназійна церква та церква кладовища. Найбільшою серед них була Свято-Покровська церква, що була освячена 29 жовтня 1896 року. Її було збудовано за чотири роки (закладена 19 липня 1892), на Провіантській площі міста (нині Покровська площа). Це була цегляна споруда на гранітному фундаменті, яка мала хрестоподібну форму з чотирма прибудовами й візантійським куполом; до неї була прибудована дзвіниця з високим шпилем, у яку вели масивні двері з заходу, південного-заходу, та південного-сходу.