Первая хоральная синагога в Москве была торжественно освящена 1 июля 1870 года. Московское правление Еврейской общины арендовало большой двухэтажный дом на Солянке для молитвы и религиозно-просветительских учреждений. При синагоге были открыты училище и приют "Талмуд-Тора" для детей-сирот и еврейское ремесленное училище имени Александра II. В 1886 году председатель еврейской общины Лазарь Поляков приобрел в Спасоглинищевском переулке участок земли, на котором по проекту архитектора Семена Эйбушитца было возведено новое здание хоральной синагоги.Синагогу предполагалось освятить в марте 1891 года, но новый московский генерал-губернатор Великий князь Сергей Александрович начал правление с выселения еврейского населения из столицы. В течение двух лет после этого московское еврейство сократилось в десять раз и к 1893 году составляло 7 тысяч человек. Это были купцы первой гильдии, промышленники, дипломированные специалисты и солдаты-отставники, получившие право на жительство при Николае I.По первоначальному плану, синагогу должен был украшать купол. Но он возведен не был. По существующей легенде, Великий князь Сергей Александрович, проезжая по городу, увидел строящийся купол и, решив, что идет строительство церкви, перекрестился. Когда генерал-губернатору разъяснили его ошибку, он пришел в неописуемую ярость и приказал купол убрать.