Po zniszczeniach wojennych zamek został szybko odbudowany i rozbudowany. Obu mostów prowadzących na wyspę strzegły ceglane wieże obronne oraz kilka rzędów palisad i ostrokołów. Prawdopodobnie wówczas powstało obronne podzamcze położone na wschód od głównego budynku zamkowego. Posiadało ono fortyfikacje drewniane - palisady - oraz zabudowania złożone z dużego budynku ceglanego i mniejszych drewnianych. Ostatnie badania archeologiczne odsłoniły zachowane fragmenty palisad dębowych chroniących dostępu do wyspy oraz otaczające podzamcze. Ciekawostką było też odkrycie na podzamczu budynku drewnianego o posadzce wyłożonej ściśle ułożonymi przy sobie kaflami garnczkowymi. Główny budynek zamkowy został wyremontowany, a być może także podwyższony. Skuteczność nowych fortyfikacji zweryfikowała wojna polsko-krzyżacka (1519-1521). W 1520 r. wojska mazowieckie dwa razy szturmowały zamek w marcu, a od połowy czerwca do 7 lipca był również nieskutecznie oblegany. W 1541 r. na zamku gościł książę Albrecht Hohenzollern (1490–1568) w związku ze sporem granicznym jaki toczył wówczas z Polską. Z tego czasu pochodzi najstarszy widok zamku i miasta przedstawiony na mapie granicznej sygnowanej datą 1541. Przedstawiony tam zamek obejmuje zabudową całą wyspę. Nad zespołem dominuje główny budynek zamkowy, na lewo od niego znajduje się nieco niższy duży gmach ceglany. Poniżej zaznaczono liczną zabudowę i fortyfikacje, w tym wieże ceglane strzegące mostów.