Die Ursprünge der auf der so genannten Grillenburger Lichtung erbauten Jagdhausanlage reichen nachweislich bis in das 13. Jahrhundert zurück. Sie werden nach archäologischen Untersuchungen von 1935–1937 (Walter Bachmann, Hans Nadler) und 1980–1983 (Reinhard Spehr) sowie den noch vorhandenen Kellergewölben als Abtei/Grablege, staufische bzw. markmeißnische Jagdpfalz bzw. Pilgerhospiz am Heiligen Weg bzw. Weg der Jakobspilger gedeutet. Offensichtlich bestand ein enger Zusammenhang mit der benachbarten Burg Tharandt sowie den Meißner Markgrafen Dietrich und Heinrich. Erstmals dürfte die Anlage 1289 als "castrum tharant cum foresta..." und zusammen mit der Burg Tharandt 1294 als "…Tarant, duo castra…" urkundlich genannt sein. Eine frühe Siedlung wird auch dadurch belegt, dass u. a. die Goldene Pforte am Freiberger Dom St. Marien 1225 aus "Grillenburger Sandstein" hergestellt wurde, den man noch bis Anfang des 20. Jahrhunderts für Mühlsteine abbaute, und die nahe Wüstung Warnsdorf, welche bereits auf das Jahr 1162 (dendro) zurückgeht. Die ursprünglichen Anlagen auf der gesamten Fläche zwischen den Grillenburger Teichen wurden wahrscheinlich 1429/30 in den Hussitenkriegen bzw. 1447/50 in den nachfolgenden Sächsischen Bruderkriegen bis auf die Grundmauern zerstört.