Za třicetileté války byl hrad 1639 obležen švédským vojskem generála Banéra. Švédové pobořili městské hradby, ale hrad se nepodařilo dobýt. Teprve po vítězné bitvě u Jankova roku 1645 vojsko generálmajora Douglase zvítězilo nad císařskou posádkou, a obsadilo hrad i městečko až do roku 1648, kdy obojí zanechalo zpustošené. Lipnické panství pak získali Vernierové, kteří zde nebydleli. Správu přenechali své vrchnosti, její úředníci obývali na hradě jen několik bytů.