W latach 1551–1554 zamek został przebudowany przez starostę Wojciecha Korycińskiego, który zamek wyremontował i polecił przebić nową bramę w zachodnim murze, obok dawnej wieży bramnej, wzmocnionym przedbramiem. Nadbudowano też okrągłą wieżę renesansową attyką. Sądzić należy, że wieża po przebudowie z XVI wieku była otynkowana, ponieważ opisywano ją jako "Wieżę Białą," w opozycji do prostokątnej ceglanej "Wieży Czerwonej," w której przed przebudową znajdowała się stara brama zamkowa. Dawną wieżę bramna nadbudowano o dwie kondygnacje w konstrukcji ryglowej, które mieściły komory i pokład strzelecki. . U podnóża wzgórza zamkowego znajdowały się zabudowania gospodarcze podzamcza zwane "Przygródkiem", gdzie znajdowała się kuźnia, stajnia na 48 koni, wozownia, obora, browar, kancelaria itp. Zamek nie został zniszczony w czasie Potopu szwedzkiego, jednak jako coraz mniej wygodny dla urzędujących starostów ulegał coraz większej rujnacji. W 1766 i 1789 roku zamek opisano jako bardzo zniszczony. W 2 połowie XVIII wieku na Przygródku u stóp zamku zbudowano kryty dachówką parterowy pałacyk starosty Jakuba Zygmunta Kretkowskiego.