Hrádek na Zderaze stával na Břežské skále pod kostelem svatého Václava. Byl postaven Václavem IV. kolem roku 1380. V době husitských bouří sloužil jako rezidence legáta basilejského koncilu. V 16. století značně zpustl. Roku 1627 je získal řád bosých augustiniánů od kostela svatého Václava, kteří jej připojili ke svým pozemkům a přestavěli na klášter. Roku 1890 zde vznikla trestnice a v letech 1901–1905 bylo vše zbořeno a hradní skála byla odlámána.