К югу от Петропавловской церкви находилась зимняя Владимирская церковь — двухэтажное здание с престолами Воздвижения Честного Креста (верхний этаж, освящён в 1815 году) и Владимирской Божьей Матери (нижний этаж, освящён в 1817). Иконостасы в обоих пределах — одноярусные. Строительство церкви велось на пожертвования горожан в ознаменование победы над Наполеоном.