In 1561 kwam het onder het hertogdom Lijfland, om opnieuw te worden vernietigd in 1654 tijdens de Pools-Russische Oorlog (1654-1667), door troepen onder bevel van Alexis van Rusland. De verwoesting was zo omvangrijk dat het kasteel werd verlaten en in puin bleef.