Lord Rhys
Als erster Bauherr der Anlage gilt Lord Rhys, unter dem das Fürstentum Deheubarth um 1180 seine größte Bedeutung erlangte und der Dinefwr Castle als seine Residenz erbaute. Seine Burg bestand vermutlich aus einem steinernen Ringwall mit zwei Toren. Nach seinem Tod 1197 kämpften seine Söhne um die Nachfolge und in dem Bruderkrieg wechselte die Burg mehrfach den Besitzer. Nach 1208 war die Burg im Besitz von Rhys Gryg, dem jüngsten Sohn von Lord Rhys. 1213 wurde sie nach einer Belagerung und nach heftigen Kämpfen von seinem Neffen Rhys Ieuanc erobert. Letztlich konnte sich keiner der Nachfahren Lord Rhys durchsetzen, so dass 1216 der Fürst von Gwynedd, Llywelyn ab Iorwerth das Abkommen von Aberdyfi durchsetzte, in dem das Fürstentum Deheubarth in drei von ihm abhängige Herrschaften aufgeteilt wurde. Dinefwr Castle fiel an Rhys Gryg, der die Burg in den relativ friedlichen Jahren bis zu seinem Tod 1234 weiter ausbaute und vor allem den mächtigen Keep errichtete. Die Söhne von Rhys Gryg teilten das Land nach seinem Tod weiter unter sich auf und erlangten keine überregionale Bedeutung mehr. Dinfewr Castle fiel zeitweise direkt an Llywelyn ab Iorwerth, bevor es wieder in den Besitz der Nachfahren von Rhys Gryg kam.