После шестилетней оккупации Вильны русскими войсками (1655—1661) дворец остался в развалинах и был на 150 лет заброшен. Когда город вошёл в состав Российской империи (1795), царские власти распорядились снести неприглядные руины. Разборка дворцового ансамбля была завершена в 1801 году. На его месте построил свой дом еврейский купец Авраам Шлосберг. Во время Второй мировой войны здесь находилась штаб-квартира немецкого командования, а в советское время — дом пионеров.