Cung điện này sau đó thuộc về Konstanty Wiśniowiecki. Vào năm 1636, con gái ông là Helena kết hôn với Stanisław Warszycki, và cung điện ở Pilica trở thành của hồi môn trong cuộc hôn nhân này. Stanisław Warszycki đã chuyển đổi cung điện thành lâu đài. Ông cũng cho xây dựng nhiều công sự khổng lồ bao quanh lâu đài vào năm 1651. Tuy nhiên, bốn năm sau, trong trận Đại hồng thủy, quân đội Thụy Điển thành công chiếm đóng quần thể lâu đài này một thời gian ngắn. Năm mươi năm sau, họ một lần nữa chiếm được lâu đài.