Построен на месте «двора» Зеновича (юго-западная часть местечка). Замок указан на карте М. Струбича «Театр войны за Инфлянты» (1589 г.). Описание замка того периода неизвестно, но, по-видимому, он не отличался от традиционных тогдашних сооружений с земляным валом, деревянными стенами и башнями. Во время русско-польской войны 1654-1667 гг. под стенами замка 30 июня 1654 г. произошел бой между отрядами армии ВКЛ и русскими войсками во главе с думным дворянином Ж. В. Кондыревым. Согласно историческим источникам, 2 августа 1654 г. замок был сожжен дотла, а руководитель обороны замка полоцкий подкоморий Беганский попал в плен. В 1658 г. отряд войска полковника ВКЛ В. Воловича взял штурмом замок и сжег его, а захваченные пушки отвез в Долгиново. Позже замок был восстановлен и просуществовал до конца 18 в. В 1700 г. во время Северной войны замок сильно пострадал от большого пожара. Постепенно замчище было застроено, ул. Замковая еще упоминалась в документах конца 18-19 в.