Unter dem Nachfolger Hammerspachs, Hans von Zwingenburg, wurden 1510/12 die Brunnenleitung erneuert und Bauschäden ausgebessert. Aber die nächsten Pfleger, Nikolaus Mathias und Peter von Rada, beklagen wieder schwere Mängel. 1547 wurde die Burghut von Christian Schwärzel übernommen, erste unter ihm begonnene Bauarbeiten wurden diese nach einer Unterbrechung von seinem Nachfolger 1560 Alexander Gabelowitsch gen. Sandri fortgesetzt. Während des Einfalles des Kurfürsten Moritz von Sachsen in Tirol war die Burg in einem guten Verteidigungszustand. Die Burg wurde zwar nicht eingenommen, aber das eigene Kriegsvolk hat hier vieles verwüstet. Noch 1560 wurde als neuer Pfleger Martin Fuchs eingesetzt, der wieder eine Menge an Eingaben wegen der Baumängel an die landesfürstliche Kammer macht. Diese enden unter dem nächsten Pfleger, Johann Gwarientis (seit 1569), da Erzherzog Ferdinand von Tirol die Burg 1586 mit allen Besitztümern der Pfarre Seefeld überschreibt. Die Pfarre wurde 1604 dem Augustiner-Eremiten Kloster in Seefeld inkorporiert und auf der Burg war nur mehr ein Wächter wohnhaft.