В 1783 году обветшавший дворец купил канцлер великий литовский Александр Михаил Сапега, полностью отремонтировавший и украсивший здание. После ноябрьского восстания в 1831 году дворец был конфискован царскими властями за участие в восстании тогдашнего владельца генерала Францишека Сапеги. В конфискованном дворце расположилась резиденция губернатора Литовско-Виленской губернии.