Вторжение шведов в 1655 году положило конец процветанию замка. Его превратили в продовольственный склад, костел был разрушен, а город разграблен. С середины XVIII века замок стал собственностью короля Августа II Сильного, а впоследствии его сына Августа III Фридриха. Они лишь осуществили определенные попытки ремонта замка. После первого раздела Речи Посполитой в 1772 году замок и город перешли во власть Австрии. Австрийцы изменили облик замка, превратив его в казармы, и разобрали третий этаж, укрепили стены контрфорсами. Со второй половины XIX века до Первой мировой войны замок выполнял жилые и складские функции. В межвоенный и послевоенный период замок был общественным объектом. После Второй мировой войны здание постепенно стало приходить в упадок. В 1991 году замок стал собственностью гмины Неполомице, с того же времени начались комплексные работы по его реновации. Ремонтные работы были завершены в 2007 году.