Pierwotnie umocnienia istniały już w czasach przedhistorycznych. Zamek murowany został zbudowany w drugiej połowie XIV wieku z inicjatywy książąt Jerzego i Aleksandra Koriatowiczów i Spytka II z Melsztyna. Ostatecznie na stałe w granicach Królestwa Polskiego znalazł się od 1432 roku. Umocniony po klęsce warneńskiej przez wysłanych z rozkazu Kazimierza Jagiellończyka Jana z Tęczyna, Dzierżysława z Rytwian i Jana Ostroroga. W dużej części do umocnienia zamku przyczyniły się fundacje papieży: Mikołaja V, Juliusza II i Leona X. W 1494 roku zamek posiadał dwie bramy: Miejską od zachodu i Polną od wschodu. W 1542 roku powstała basteja w południowo-wschodnim narożniku. Rozpoczęto też budowę nowej Bramy Polnej. Kolejną przebudowę z rozkazu Zygmunta Starego prowadził architekt królewski Hiob Bretfus (Pretfus), który w 1544 sporządził także dokładny opis zamku. Bretfus poszerzył zamek w kierunku wschodnim, budując w 1544 Basztę Nową Wschodnią w formie pięcioboku, która broniła dostępu do bramy zamkowej od strony miasta i kryła w swoim wnętrzu studnię. Od zachodu zbudowano Małą zachodnią basztę i za nią potężną Basztę Nową Zachodnią (św. Michała) także pięciokątną (przebudowana przez Turków po zniszczeniach z 1672). Pretfus wzniósł też Bramę Polną. W 1585 król Stefan Batory nakazał modernizację starej baszty przystosowując ją do broni palnej. Dawniej na dziedzińcu, blisko bramy, stał niewielki murowany kościółek św. Stanisława, zamieniony po 1672 przez Turków na meczet i później rozebrany. Zamek został odzyskany przez Polskę po pokoju w Karłowicach (1699). W XVIII wieku przeprowadzono kolejne modernizacje pod kierunkiem Andrzeja Glovera. W 1762 Christian Dahlke zaprojektował dziedziniec południowy. W 1783 odbudowano Bramę Polną według projektu Jana de Witte. W 1790 zbudowano zamkowe kazamaty i północny dziedziniec według projektu Stanisława Zawadzkiego.