En el año 1368 el castillo es posesión de Don Álvaro Pires de Castro, hermano de Inés de Castro, representante en Galicia de Pedro I de Castilla, el Cruel, que después del triunfo de Enrique II se ve obligado a refugiarse en Portugal, donde recibe en nombre del rey Fernando I de Portugal los condados de Arraiolos y de Viana de Foz de Lima.