Su padre, Pedro Fernández de Castro, primer Señor jurisdiccional de Monforte de Lemos, precursor de la saga del Condado de Lemos y nieto del rey Sancho IV de Castilla, pertenecía a una de las familias más antiguas e ilustres de Galicia; su madre, Aldonza Lorenzo de Valladares, era descendiente del rey Alfonso VI de León.