В 1581 году замок снова перешел к шведам. Также в 1602 и 1608 гг. здесь состоялись столкновения во время шведско-польской войны. В 1602 году после трехмесячной осады Пайде захватили польские войска, в 1604 произошла безуспешная попытка шведов отбить город, и в июне 1608 г. они добились своего. В результате всех военных действий от замка остались лишь руины. Cледующие 2 века остатки замка простояли заброшенными.