За сваю гісторыю замак быў шматкрот разбураны і адбудаваны. У час Лівонскай вайны з 1577 па 1579 гады быў захоплены войскам Івана Грознага, а ў 1601 (Вайна Рэчы Паспалітай са Швецыяй (1600—1611)) і 1625—1626 гадах (Паўночная вайна (1655—1660)) — шведскай арміяй. У 1656 годзе быў цалкам разбураны, а ў 1660 г. адбудаваны як умацаванне Інфлянцкага ваяводства. З цягам часу страціў ваеннае значэнне і з 1712 года знаходзіцца ў руінах.