В русско-польскую войну 1654—1667 годов замок был разрушен. Его остатки сохранились в месте впадения реки Уллы в Двину.