Наступним власником замку став Костянтин Вишневецький, дочка якого Олена передала замок як придане у 1636 році Станіславові Варшицькому із Данкова. Він розбудував його і у 1651 році спорудив потужні укріплення, що оточували замок, у тому числі шість мурованих бастіонів з казематами, з'єднаних куртиновими мурами та оточених 20-метровим ровом, завдяки чому замок став сучасною на той час фортецею. Незважаючи на це, у 1655 році, під час Шведського потопу, замковий комплекс був ненадовго окупований шведськими військам під командуванням Ліндорна. Однак вже незабаром Варшицькому вдалося його відбити, після чого він відновив замок від завданих пошкоджень. У 1705 році шведські війська знову захопили замок. У 1731 році остання представниця родини Варшицьких, Емеренціяна Почейова, продала замок Марії з Весселів Собеській (вдові королевича Константія Владислава Собеського), яка перебудувала його у стилі бароко. У 1753 році вона передала Пілицю своєму племіннику Теодору Весселю і пішла до монастиря Сакраменток у Варшаві.