Хотя дворец по прежнему принадлежал Радзивиллам, Каролю Станиславу стоило большого труда отобрать его обратно у артистов, после его возвращения в Варшаву. Дворец принадлежал ему до 1790 года, а в 1791—1792 годах в период четырёхлетнего сейма, во дворце проводились заседания .