Усадьба была построена в 1774—1776 годах для князя Сергея Гагарина по проекту архитектора Матвея Казакова. В 1786—1790-х годах владельцем дома является Сергей Сергеевич Гагарин, после него дом перешёл к сыновьям — Николаю и Сергею. В период с 1802 по 1812 годы усадьба была сдана в аренду Английскому клубу. В 1806 году в здании усадьбы был устроен обед в честь князя Петра Багратиона после победы под Шенграбеном. Картину того вечера по воспоминаниям современников восстановил писатель Лев Толстой в романе «Война и мир». После захвата Москвы французами усадьбу занял штаб главного интенданта наполеоновской армии. В числе интендантских офицеров был известный французский писатель Анри Бейль (Стендаль), который отмечал, что у них на родине нет ни одного клуба, который мог бы сравниться с Английским в Москве. После ухода французов из Москвы дом сильно выгорел в пожаре. С 1828 года Гагарины более не владели усадьбой