A la muerte de Rhys ap Gruffydd el castillo pasó a su hijo Rhys Gryg, y las partes más antiguas conservadas del castillo proceden de este período.