В XVII веке замок стал постепенно приходить в упадок: вследствие пожара 1629 года и более позднего Шведского нашествия. Другим фактором, который способствовал этому, было устаревание замка как жилого объекта, в результате чего Липовец перестал быть резиденцией краковских епископов, которые построили рядом новую деревянную усадьбу, которая должна была исполнять эту функцию.