Относился к великокняжеским, а затем частным владениям. В начале XVI в. Высокое принадлежало Яну Литтавору Хрептовичу и его жене Ядвиге Гольшанской. Принадлежал Иодковичам, великому князю, затем феодалам Хлевицким, Войнам. В 1647 г. имение вместе с деревнями Лумно, Статычи, Расно, Зубаче и Войновка купил у Лукаша Войны за 60 тыс. злотых гетман ВКЛ Павел Ян Сапега: с этого времени начинается новый период в жизни города и его жителей, связанный в немалой степени со строительством и существованием высоковского замка. Место для замка было выбрано на правом берегу реки Пульвы при впадении в него ручья. Наиболее укреплённой частью замка была въездная брама, фланкированная по сторонам треугольными бастионами. К расположенному в юго-западной стороне двору примыкал регулярный парк. Замок сильно пострадал во время русско-польской войны 1654—67 годов и Северной войны 1700—21 годов, но был восстановлен. Позже город перешёл к Потоцким.