Llywelyn el Grande, rey de Gwynedd comenzó a extender su influencia hacia Deheubarth en el siglo XIII, y Rhys, que no consiguió resistir su poder, se vio obligado a desmantelar el castillo.