У XVII столітті замок почав поступово занепадати: внаслідок пожежі, яка сталася у 1629 році та пізнішої Шведської навали. Іншим фактором, що посприяв цьому, була застарілість замку як житлового об'єкту, внаслідок чого Липовець перестав бути резиденцією краківських єпископів, які спорудили поруч нову дерев'яну садибу, яка мала виконувати цю функцію.