У 1830-х роках садиба належала фельдмаршалу Фабіану Остен-Сакену, який придушив антиімперське Листопадове повстання 1831 року в Київській, Подільській і Волинській губерніях. З другої половини ХІХ сторіччя будинок займав цивільний губернатор. Згодом тут тимчасово розмістився Інститут шляхетних панянок.