Während des Livländisches Krieges wurde die Burg 1558 stark beschädigt. Sie verlor in der Folgezeit ihre militärische Bedeutung und verfiel. Im Friedensvertrag von Teusina im Mai 1596 verzichteten die Russen auf alle Rechte an der Festung.