König Rudolf I. verlieh Freyenstein in der Folge an Konrad von Sommerau, der auch die Burg Werfenstein von ihm zu Lehen erhalten hatte. Konrad erhielt die Belehnung als Dank für geleistete Dienste, denn er hatte den König bei seinen Bemühungen, dem Reich entfremdete Güter und Rechte zurückzuführen, unterstützt; unter anderem 1278 bei der entscheidenden Schlacht auf dem Marchfeld gegen Rudolfs größten Widersacher, den böhmischen König Ottokar II. Přemysl. Weil der Sommerauer angeblich Überfälle auf Kaufleute auf der Donau verübte, griff Rudolfs Sohn, Herzog Albrecht I., die Burg Freyenstein 1284 an und eroberte sie. Nachdem sich der Burgherr an einem Aufstand gegen den Landesfürsten beteiligt hatte, wurde die Anlage 1295 als Strafmaßnahme durch die Obrigkeit zerstört, und Konrad musste zu Adolf von Nassau fliehen.