Zamek został zbudowany prawdopodobnie przez księcia Olgierda, który zbudował też zamek w Lidzie. W 1381 roku na zamku przebywał Jagiełło, wygnany przez swojego stryja Kiejstuta, którego następnie w Krewie kazał zamordować w roku 1382. W 1385 roku na zamku podpisano unię Litwy i Polski. W 1391 roku ustanowiono na zamku starostwo. W 1503-1506 roku zamek poważnie zniszczyli Tatarzy. W XVI wieku został opuszczony. W XIX wieku na dziedzińcu wybudowano drewniany ratusz miejski. Zamek bardzo ucierpiał podczas I wojny światowej ponieważ przez 3 lata stał na linii frontu. 21 lipca 1917 roku został prawie całkowicie zburzony przez rosyjski ostrzał artyleryjski. W latach 1929-1930 władze polskie zaczęły prace konserwatorskie. Za czasów sowieckich zamek ulegał zniszczeniu. W 2017 r. rozpoczęto restaurację wieży książęcej. W 2018 r. zainicjowano akcję zbiórki kamieni potrzebnych na odbudowę.