Más tarde, sobre las torres derruidas conocidas como Torres de Pay Arias, un descendiente de dicha familia, Pay Arias de Castro, propietario de aquella heredad, levanta un castillo a finales del siglo XIII.