Stare Miasto otoczone było częstokołem i szeroką fosą. Miasta broniły wysokie na 6–7 m mury zbudowane z ubitej gliny, wzmocnione basztami narożnymi. Umocniony Szigetvár był w 1556 r. oblegany przez budzińskiego paszę Alego, ale udało mu się zdobyć tylko obrócone w perzynę Stare Miasto. W 1558 r. rozpoczęto zakrojone na szeroką skalę prace fortyfikacyjne. W okresie dowodzenia zamkiem przez Nikolę Šubića Zrinskiego (1561–1566) założono również Nowe Miasto (Újváros). W czasie oblężenia Szigetváru w 1566 r. zniszczeniu uległa średniowieczna wieża. Po zdobyciu zamku Turcy natychmiast rozpoczęli odbudowę miasta. Najpierw umocnili zamek, a potem wybudowali budynki publiczne miasta. Miasto za czasów tureckich najpierw było stolicą sandżaku w wilajecie budzińskim, a następnie w kanizsańskim.