За часів, коли ойцовським старостою був молодший із синів — Стефан, стався Шведський Потоп. Шведські війська зайняли замок та використовували його як склад їжі і зброї. Швидше всього, саме завдяки цьому замок і зберіг своє існування. Після того, як шведи відступили Стефан знову розпочав ремонт замку.