Prvním spolehlivě známým majitelem Egerberka byl až Vilém z Chýš, který se roku 1317 psal "z Chýš a na Egerberku." V roce 1322 se po hradu psal také jeho mladší bratr Fricek (Bedřich), který roku 1332 získal od krále Jana Lucemburského do zástavy Pětipsy, kde založil tvrz, jejíž zdivo se dosud částečně zachovalo ve zdech zříceniny zámku. Později Fricek doprovázel Jana Lucemburského do bitvy u Kresčaku, ve které také zahynul. Na počest jeho statečnosti nechal Karel IV. vystavit erb Pětipeských u králova hrobu. Vilémovi synové, Vilém starší a Vilém mladší, založili před rokem 1342 městečko Vilémov. V období 1346 až 1349 byl Vilém královským purkrabím kadaňského hradu a zároveň správcem Žateckého kraje. Kolem roku 1350 prodal Vilém mladší Egerberk pánům ze Šumburka a poté egerberská větev rodu z dějin mizí.