Построен в память покорения Кавказа. Был расположен в центре города, по Головинскому проспекту, на Гунибской площади (на месте нынешнего нижнего корпуса Дома правительства). Представлял собой восьмикупольное здание с колокольней. Вмещал до 1000 человек. Собор трёхпрестольный: главный — во имя благоверного великого князя Александра Невского, правый — Архистратига Михаила, левый — святителя Николая Чудотворца.