Во время Ливонской войны замок частично разрушен войсками Ивана Грозного, а с начала XVIII века заброшен.