В ходе продолжительной шведско-польской войны (1600 — 1629 годы) замок подвергся сильнейшим разрушениям. В данном контексте примечательны результаты скрупулёзной ревизии, проведённой шведскими военными чиновниками в подчинённом крае в 1624 году — в ней было указано, что Зегевальдский замок уже является необитаемым и неприспособленным для обитания. Через короткое время, в 1627 году, шведский король Густав II Адольф передаёт замок и поселение вокруг него своему предприимчивому и инициативному фавориту Акселю Габриэлю Уксеншерне, который принялся за обустройство заброшенного форпоста. Уже во второй половине XVII века при Карле XI, провозгласившего себя абсолютным монархом, ограничив функции ригсдага в 1680 году, началась редукция (изъятие) земельных владений по всей территории шведской Ливонии, что привело к фактическому возвращению замка под крыло шведской короны.