Während der Regierungszeit von Iwan III. wurde Burg Rujen wiederholt von russischen Truppen angegriffen. Während des Livländischen Krieges 1560 wurde die Burg vom litauischen Adel besetzt, geplündert und verbrannt, aber danach wiederhergestellt. Die Besatzung der Burg ergab sich 1575 König Magnus, doch im Herbst 1575 gelang es den Deutschen, sie wieder einzunehmen. Rujen wurde 1582 geschleift, wurde aber 1554 noch als Schloss bezeichnet.