V následujících letech se majitelé Hrádku rychle střídali, až se v roce 1534 stal majitelem Jindřich Frišic z Nabdína. Při této příležitosti je poprvé hrádek označen jako zámek. V roce 1540 koupil hradecké panství Smil Myška ze Žlunic. Po jeho smrti bylo panství rozděleno mezi jeho dvě dcery a devět synů. Panství opět zcelil v roce 1595 Jan Kryštof Myška ze Žlunic. Za spoluúčast ve vzpouře proti Ferdinandovi II. propadl v roce 1622 majetek králi. V roce 1623 koupil panství Václav Kinský z Vchynic. V srpnu 1634 vypálilo saské vojsko Hrádek a okolí. Hradecké panství pustlo. Bílou horou a za třicetileté války končí období největšího rozmachu zdejšího panství.