Ein Egensbacher Ministerialengeschlecht erscheint erstmals in einer aus dem Jahr 1243 stammenden Urkunde Ulrichs Il. von Königstein wo die beiden Brüder Heinrich I. und Konrad von Egensbach als beglaubigte Zeugen bei der Gründung des Klosters Engelthal genannt werden. Um 1300 wurden die Egensbacher von den Forchheimern zu Offenhausen abgelöst und 1339 verfügte Marquard von Forchheim auch über das Rittergut in Birkensee (Turmhügel Birkensee). 1445 vererbte ein jüngerer Marquard von Forchheim den Burgsitz an Jörg von Mistelbeck d. Ä. zu Lintach, vermutlich identisch mit dem gleichnamigen Teilnehmer an der Schlacht bei Hiltersried gegen die Hussiten. Vermutlich wurde der Burgsitz 1449 im Zuge des Ersten Markgrafenkrieges zerstört und wurde bezeugt Anfang 1504 wieder in Stand gesetzt. Im frühen 16. Jahrhundert war der Sitz nachweislich abgegangen. Der Burgsitz wurde 1508 bei einem durch Verkauf bedingten Wechsel der Grundherrschaft über Egensbach letztmals erwähnt.