Der Platz soll schon ums Jahr 800 n. Chr. eine Grenzwarte gewesen sein. 805 und 806 werden die Biliner Župane als Herren der Geiersburg erwähnt, die den Ort stark besetzt hielten. 1004 wurde die Burg von den Kriegern König Heinrichs II. erobert (im Kampfe gegen Boleslaw III., der seine beiden erbberechtigten Brüder vertrieben hatte). 1039–1041 bemächtigten sich der Erzbischof Bardo von Mainz und der Markgraf Ekkehard von Meißen der Geiersburg. Kaiser Lothar erlitt mit seinem Heer, als er sich des aus Mähren vertriebenen Boriwog annehmen wollte, durch Sobieslaw I. am 18. Februar 1126 in der Zweiten Schlacht bei Chlumec unweit der Geiersburg eine schwere Niederlage. In der folgenden Zeit wechselten häufig die Besitzer des Schlosses (die Herren von Riesenburg, der Wladik Kojata, die Prager Erzbischöfe).