Дом был закончен в 1916 году, но уже через год свершилась революция, и в 1924 году в доме был размещён художественный отдел историко-художественного музея. За время своего существования музей несколько раз менял своё название и приобрёл широкую известность. Однако к концу XX века дом изветшал и требовал ремонта, и в 1992 году музей был вывезен в Кремлёвский Губернаторский дом.