Es wird angenommen, dass die Burg zum Ende der Regentschaft Karls IV. entstand. Die erste schriftliche Erwähnung erfolgte 1382 im Zusammenhang mit dem Burggrafen Zbyněk. Im Jahre 1385 überließ König Wenzel IV. die Burg Chlumec mit den zugehörigen Dörfern Chlumec und Víska seinem Günstling Purkart Strnad von Janovice erblich. Peter von Janovice gehörte 1405 zu den Unterzeichnern der Protesturkunde des böhmischen Adels an das Konstanzer Konzil gegen die Verbrennung von Jan Hus; in der Schlacht bei Lipan kämpfte er 1434 auf Seiten der gemäßigten Koalition. Kaiser Sigismund verpfändete ihm danach mehrere, früher dem Kloster St. Georg auf der Prager Burg gehörige Dörfer um Chlumec. In der Mitte des 15. Jahrhunderts umfassten die Chlumetzer Güter zwei Güter, 16 erbliche Dörfer und mehrere Wälder. Jan Burkart Jenec ("Johann Burkhard Genetz") von Janovice und Petersburg verkaufte die Herrschaft Chlumec 1469 an Bedřich Ojíř von Očedělice. Dieser veräußerte die Burg Chlumec mit dem Städtchen Sedlec und den zugehörigen Dörfern 1474 an Johann Popel von Lobkowiczens Witwe Anna, geborene Švihovská von Riesenberg. Ihr Sohn Děpolt, der die Herrschaft ab 1476 besaß, konnte die ehemaligen Klosterdörfer auch erblich gewinnen und erwarb zudem von den Herren von Rosenberg pfandweise die Güter Sedlčany und Křepenice hinzu, die später wieder ausgelöst wurden. Im Jahre 1490 erfolgte eine Besitzteilung zwischen Děpolt Popel von Lobkowicz und seinen Brüdern Václav und Ladislav, bei der letztere die Güter Sedlčany und Miličín sowie die Hälfte von Chlumec erhielten. Děpolt erwarb 1502 die nordböhmische Herrschaft Bílina und verlegte seinen Sitz dorthin; Ladislav verstarb 1505, so dass Václav Popel von Lobkowicz alleiniger Besitzer von Chlumec wurde.