Матвей Казаков проживал в усадьбе с 1782 по 1812 год, когда переехал в Рязань во время наступления наполеоновской армии. За период проживания в усадьбе он разработал проекты Дворянского собрания (Дом Союзов), Голицынской больницы, здания Сената. Кроме того, в это время архитектор создал «фасадический» план Москвы, на котором планировалось изобразить все здания в пределах Земляного города.