El castell va ser arrasat i reconstruït diverses vegades. Entre 1577 i 1579 va ser ocupat pel tsar Ivan IV de Rússia, i després de la guerra es va convertir en part del Ducat de Livònia. Durant la guerra polonosueca el 1601 i novament entre 1625 i 1626, el castell de Rēzekne va ser ocupat per l'exèrcit suec durant la Segona Guerra del Nord. El castell va ser finalment destruït a la batalla que va tenir lloc el 1656. Va anar perdent la seva importància militar i abandonat completament el 1712 va acabar en ruïnes.