Na mieste dnešného zámockého areálu stál pôvodne panský dvorec, postupne prestavaný na kamenný hrádok, zmieňovaný po prvé v roku 1374. V roku 1562 zachvátil mesto požiar, ktorý zasiahol i tento vtedajší hrad. Vilém z Rožmberka preto poveril staviteľa Antonína Ericera rozsiahlymi prestavbami starých budov na renesančný zámok. Túto prestavbu dokončil v dobe Petra Voka ďalší významný architekt Dominik Cometta. Po smrti posledného z Rožmberkovcov (r. 1611) zdedili zámok Švamberkovci, ktorí prišli o väčšinu svojho majetku po bitke na Bielej hore.