XVII w. nie był dla zamku zbyt łaskawy: zniszczenia w wyniku pożaru zamku w 1629 r. i później najazdu szwedzkiego z lat 50., rozpoczęły stopniowy proces upadku Lipowca. Innym czynnikiem powodującym powolny zmierzch budowli była jego przestarzałość jako obiektu mieszkalnego, nie spełniającego już wymogów barokowych rezydencji – tym samym Lipowiec przestał już być siedzibą biskupów krakowskich, którzy w pobliżu niego wznieśli nowy, drewniany dwór, który miał spełniać tę funkcję.