Von 1300 bis 1525 besaßen die Mautner aus Burghausen das Lehen. Auf diese folgten die Schwarzenstein. Nach dem Tod von Hans Wolf von Schwarzenstein 1595 erbte dessen Schwiegersohn, Graf Burkhard von Taufkirchen, den Besitz, zu dem neben Schloss Katzenberg auch fast das gesamte Gebiet der heutigen Gemeinde Gurten gehörte. Unter seinen Nachkommen wurde die Burg in ein Schloss verwandelt und im 17. Jh. barockisiert. 1629 kam es im Schloss durch einen Brand zu schweren Schäden. Im bayerischen Volksaufstand von 1705 wurde Katzenberg von den Bauern eingenommen. 1798 kaufte Graf Josef Albert Matthias von Taufkirchen die Herrschaften Forchtenau und Aurolzmünster, die er mit Katzenberg vereinigte.