Nach dem Aussterben der Schweppermann übernahmen die Freudenberger 1433 die Burg, die im ersten Markgrafenkrieg von Nürnberger Truppen belagert und beschädigt wurde. 1481 folgten die Truchseß von Pommersfelden, die im Dienst der Wittelsbacher standen. Im Landshuter Erbfolgekrieg wurde die Burg von Nürnberger Truppen niedergebrannt und fiel 1504 an die Reichsstadt Nürnberg. Diese verpachtete 1506 das komplette Gut an den Nürnberger Kaufmann Wilhelm Rauscher. Dieser trat später den Besitz an seinen Gläubiger Hans Durnhöfer ab und musste ihn schließlich wegen Zahlungsunfähigkeit 1518 wieder an den Rat der Stadt zurückgeben. 1529 kaufte der Nürnberger Patrizier Friedrich Behaim das komplette Gut für 3000 Gulden und verpflichtete sich, die Burg dem Rat der Stadt Nürnberg zu öffnen und ausschließlich an Nürnberger Bürger zu verkaufen oder zu vererben. Die Behaim führten aber nur teilweise Erneuerungen durch, und die Burg galt bereits vor den Brandschäden im zweiten Markgrafenkrieg von 1552 immer noch als Ruine. 1556 erwarb die "Erbare Familie" Oertel das Anwesen und baute die Burg wieder auf; seither wurde der Besitz bis heute stets weitervererbt. Die Behebung der Schäden aus beiden Kriegen zog sich einige Jahre hin. 1561 wurde die dreigeschossige Hauptkemenate fertiggestellt.