Po roce 1404 se stalo město majetkem pánů z Hradce. V období husitských bouří stálo město na straně táboritů i proti vlastní vrchnosti. Roku 1459 koupil panství rod pánů z Kocova, město získalo právo pořádat svatohavelské výroční trhy.