В 1799—1917 — дом губернатора Минской губернии. Во время войны 1812 года, в здесь останавливался французский маршал Луи Николя Даву. В 1821—1822 гг. в его библиотеке бывал декабрист М. М. Муравьев, который написал в Минске первый вариант будущей конституции Российского государства («Северная правда»).