Со времён Яна Казимира правители литовско-польского государства пользовались дворцом во время пребывания в городе, до тех, пока не был восстановлен пострадавший во время войны 1654—1667 годов Нижний замок..