Пляцоўка замка (75 х 50 м) авальнай формы ўзвышаецца на 6—7 м над паверхняй возера і абкружана кальцавым валам. 3 напольных паўночнага і ўсходняга бакоў вышыня яго каля 5 м, з боку возера — 1—1,5 м. Ядро вала насыпана на рубяжы новай эры. На працягу X—XVI ст. вал 4 разы падсыпаўся з выбрукоўкай унутранага схілу камянямі. У канцы XIV — пач. XV ст. на востраве стаяў «двор Дрысвяты» вялікага князя ВКЛ Вітаўта, пазней — караля Аляксандра. У пісьмовых крыніцах замак згадваецца ў 1514, з 1542 ім валодаў маршалак ВКЛ Ян Юр'евіч Глябовіч. Дакументы 1557, 1561, часоў Лівонскай вайны 1558—83 і тагачасныя сведкі адзначылі ў Дрысвяцкім замку значны гарнізон. Захавалася апісанне замка за 1662: «на гары над возерам Дрысвяцкім ёсць тры вежы без дахаў, апалыя, згнілыя, ёсць трошкі сцен з боку фальварка, але і тыя трухлявыя і разбураюцца». 3 агнястрэльнай зброі ўпамінаюцца 2 гакаўніцы і 1 штурмачок. Пад аховай замка на востраве стаялі двор і мястэчка Дрысвяты з рынкам, трыма вуліцамі, але без абарончых збудаванняў. 3 берагам замак злучалі 2 масты. У 2-й пал. XVII ст. Дрысвяцкі замак перастаў існаваць, а жыхары паселішча пасля пажару перабраліся з вострава на ўсходні бераг возера.