Ein erster kleiner Herrensitz in Absberg, in Hanglage unterhalb der heutigen Ortsdurchfahrt, ist erstmals 1343 überliefert, war aber zweifellos älter; das Adelsgeschlecht der Absberger ist schon 1238 nachweisbar. 1349 erhielt der Ritter "Goswin von Absberg" die (nachträgliche?) Erlaubnis von Kaiser Karl IV., eine Burg zu errichten. 1372 erhielt Absberg das Marktrecht. Der Sitz in der Nähe der Kirche und des Marktplatzes wurde im Dritten Städtekrieg 1449 und nach einem Wiederaufbau erneut 1461 durch den Einfall von Ludwig dem Reichen in markgräfliches Gebiet unter Albrecht Achilles zerstört.