Die Totzenbacher, ein ritterliches Geschlecht, das sich nach seinem Wohnsitz in Totzenbach nannte, ist seit dem Jahr 1147 urkundlich belegt. Als die Herren von Totzenbach im Jahr 1394 ausstarben, kam die Herrschaft an die Polheimer. Es folgten diverse weitere Wechsel, zu denen unter anderem 1438 Georg Steiner und 1465 Mathias Graßer gehörten, ehe die damalige Burg samt Herrschaft im Jahr 1513 an David von Trauttmansdorff kam. Im Ersten Österreichischen Türkenkrieg unversehrt, wurde sie durch Davids Nachfahr Job Hartmann von Trauttmansdorff unter Beibehaltung des mittelalterlichen Bergfrieds und Palas die Anlage in den Jahren 1588 bis 1594 zu einem vierflügeligen Schloss im Stil der Renaissance erweitert. Dieses blieb – im Gegensatz zur umliegenden Ortschaft – auch im Großen Türkenkrieg 1683 vor Zerstörungen bewahrt.