W 1349 r., po dziewięciu dniach oblężenia, zdobył go król Kazimierz Wielki, jednak na mocy traktatu z 1351 wrócił do Litwy, co potwierdził też traktat z 1366. W 1379 zdobyli go Krzyżacy. W początku grudnia 1409 r. odbył się na nim zjazd króla Władysława Jagiełły, księcia Witolda Kiejstutowicza, wodza Tatarów z Kipczaku Dżalal ad-Dina i podkanclerzego koronnego Mikołaja Trąby w celu zaplanowania wojny z zakonem krzyżackim. W 1500 zamek wytrzymał oblężenie 15 tys. Tatarów pod wodzą chana krymskiego Mengli I Gireja. W XVI wieku drewniane wieże i ściany zamku nadal zwieńczone były blankami i hurdycjami. W końcu XVI w. zamek został wzmocniony ziemnymi bastionami i włączony do systemu obronnego miasta.