Základ rodovému majetku položili Ota starší z Bergova, jenž si vzal Anežku z Vartenberka, a Ota mladší z Bergova, jenž se oženil s jednou dcerou z rodu pánů ze Žeberka, a stal se majitelem hradů Starý Žeberk a Nový Žeberk, které mu patřily až do roku 1383, kdy je prodal Těmovi z Koldic. Jiný Ota mladší z Bergova (1399–1452) přepadl a vyloupil Opatovický klášter. Později se přidal k odpůrcům husitů a dokázal před nimi uhájit rodový hrad Trosky. Na základě této události vznikla pověst o tom, že je v hradu ukryt značný poklad. Jan z Bergova naproti tomu v bitvě u Lipan bojoval na straně husitů. Po jejich porážce odešel na hrad Sion, po jehož dobytí byl spolu s s Janem Roháčem z Dubé zajat. V severních Čechách pánům z Bergova patřily také hrad Borek (1377), Nové Sedlo nad Bílinou nebo Horní Jiřetín.