Місце замку (75 х 50 м) має овальну форму і здіймається на 6-7 м над поверхнею озера і оточене кільцевим валом. 3 поверх північного та східного боків, його висота близько 5 м, від озера — 1-1,5 м. Осердя валу закладене на рубежі нової ери. Протягом X—XVI ст. вал підсипали 4 рази з вимощенням внутрішнього схилу камінням. Наприкінці XIV — поч. XV століття на острові стояв «двір Дрисвятів» великого князя Великого князівства Литовського Вітовта, згодом — короля Олександра. У письмових джерелах замок згадується в 1514 р., з 1542 р. ним володів маршалок Великого князівства Литовського Іван Глібович. Документи 1557, 1561 рр., Лівонської війни 1558-83 рр. та свідки того часу відзначали значний гарнізон у Дрисвятському замку. Зберігся опис замку 1662 року: «на горі над озером Дрисвятським є три вежі без дахів, впалі, гнилі, з боку фільварку є кілька стін, але навіть ті гнилі та руйнуються». 3 вогнепальної зброї згадують 2 гаківниці та 1 штурмачок. Під захистом замку на острові стояли двір і містечко Дрисвяти з ринком, трьома вулицями, але без укріплень. 3 берегом замок з'єднували 2 мости. На 2 половині XVII ст. Дрисвятський замок припинив своє існування, а мешканці поселення після пожежі переселилися з острова на східний берег озера.