Da Rhys ap Gruffydd døde ble festningen gitt videre til hans sønn Rhys Gryg, og de tidligste delene av dagens festning er tenkt å komme fra denne perioden. Llywelyn den store av Gwynedd strakte nå sin innflytelse til dette området, og Rhys, som ikke hadde mye å stille opp med, oppga og demonterte festningen. Llywelyn fikk det derimot bygget opp igjen og holdt det fram til sin død i 1240. I 1255 ga Llywelyn den siste Dinefwr til Rhys Fychan som senere ga den til Maredudd ap Rhys før den igjen ble levert tilbake til Rhys Fychan. Maredydd allierte seg med kong Edvard I av England og hjalp den engelske kongen å erobre Dinefwr i 1277. Maredydd hadde tilsynelatende blitt lovet Dinefwr i bytte for sin hjelp, men Edvard hold ikke sitt løfte og fikk isteden Maredudd henrettet i 1291.