Die Burg Chlumec wurde wahrscheinlich zum Ende der Regentschaft Karls IV. errichtet. Ihre erste schriftliche Erwähnung erfolgte 1382 im Zusammenhang mit dem Burggrafen Zbyněk. Im Jahre 1385 überließ König Wenzel IV. die Burg Chlumec mit den zugehörigen Dörfern Chlumec und Víska seinem Günstling Purkart Strnad von Janovice erblich. Peter von Janovice gehörte 1405 zu den Unterzeichnern der Protesturkunde des böhmischen Adels an das Konstanzer Konzil gegen die Verbrennung von Jan Hus; in der Schlacht bei Lipan kämpfte er 1434 auf Seiten der gemäßigten Koalition. Kaiser Sigismund verpfändete ihm danach mehrere, früher dem Kloster St. Georg auf der Prager Burg gehörige Dörfer um Chlumec. In der Mitte des 15. Jahrhunderts umfasste die Chlumetzer Herrschaft zwei Güter, 16 erbliche Dörfer und mehrere Wälder. Jan Burkart Jenec ("Johann Burkhard Genetz") von Janovice und Petersburg verkaufte die Herrschaft Chlumec 1469 an Bedřich Ojíř von Očedělice. Dieser veräußerte die Burg Chlumec mit dem Städtchen Sedlec und den zugehörigen Dörfern 1474 an Johann Popel von Lobkowiczs Witwe Anna, geborene Švihovská von Riesenberg. Nachfolgend hielt der Chlumetzer Zweig der Popel von Lobkowicz den Besitz über fünf Jahrhunderte und baute die Herrschaft zu einer der größten in Böhmen aus.