У XIV ст. замак меў драўляныя ўмацаванні. Хроніка Стрыйкоўскага згадвае, што ў 1386 годзе замак спаліў полацкі князь Андрэй Альгердавіч, які выступаў супраць Крэўскай уніі.