Während des Livländischen Krieges 1560 wurden Stadt und Ordensburg teilweise zerstört. Im Polnisch-Russischen Krieg, Anfang des 17. Jahrhunderts, folgte dann die weitestgehende Zerstörung der Anlage. Von der damaligen Pracht zeugen heute nur noch die am See gelegenen Schlossberge mit teilweise unversehrt gebliebenen Mauern.