Das Haus wurde in den Jahren 1784 bis 1786 als Wohnhaus durch den Architekten Wassili Baschenow im Auftrag des Offiziers a. D. Pjotr Paschkow erbaut. 1812 wurde es beim Stadtbrand während des Krieges gegen Napoleon schwer beschädigt. Daraufhin erfolgte zunächst eine unvollständige Renovierung durch die damaligen Eigentümer, bevor 1839 der Staat das Haus kaufte. Dieser schuf daraus nach aufwendiger Restaurierungsarbeit und Umbauten ein Haus für allgemeine Zwecke. Zuerst diente es als Adelsinstitut und später als Gymnasium. Dann wurde es das Rumjanzew-Museum, das das erste öffentliche Museum Moskaus war. Ab 1925 beherbergte das Gebäude Teile der Lenin-Bibliothek (heute: Russische Staatsbibliothek). Bis heute gehört es zum Komplex der Staatsbücherei.