Lord Rhys
Anfang November 1165 gelang es schließlich dem Herrscher von Deheubarth, Rhys ap Gruffydd die Burg durch den Verrat eines Dieners namens Rigewarc zu erobern und den Constabler der Burg, Robert FitzStephen, den Sohn und Nachfolger des Constabler Stephen, gefangen zu nehmen. Die hölzerne Burg wurde zerstört und von Rhys ap Gruffydd, der später Lord Rhys genannt wurde, als steinerne Burg wieder aufgebaut. Nach Vollendung der Burg feierte Lord Rhys Weihnachten 1176 ein aufwändiges Fest in der Burg, zu dem der die walisischen Barden und Poeten sowie walisische Musiker zu einem Wettbewerb einlud. Dieses Fest gilt als das erste walisische Eisteddfod.