Церковь Александра Невского была поставлена в память спасения царской семьи во время крушения поезда под Харьковом в 1888 году. В 1889 году на собрании попечительского совета Николаевской церкви, числившейся при тюрьме, его председатель Владимир Тилень внёс предложение о строительстве новой церкви. Данное предложение встретило поддержку у министра внутренних дел и руководства главного тюремного управления в Санкт-Петербурге. Благодаря ходатайству смоленского губернатора Сосновского на строительство было выделено 2 тысячи рублей из денег главного тюремного управления.