Březhrad patřil klášteru až do husitských válek, kdy byl klášter v roce 1421 vypálen a zbořen, což vedlo k útěku benediktinů a ves krátce vlastnil Hradec Králové. Po skončení husitských válek patřila králi Jiřímu z Poděbrad. 5. dubna 1465 byly všechny klášterní vsi převedeny na jeho syny Viktorína, Jindřicha staršího a mladšího, knížata Minsterberská, a Bočka z Kunštátu. Březhrad ale zůstal v rukou Hradce Králové jako zástava za 5000 kop českých grošů. Faktickým vlastníkem Březhradu město bylo až do roku 1472.