Era nieto por parte paterna de Esteban Fernández de Castro, señor de Lemos y Sarria, y de su esposa, Aldonza Rodríguez de León, nieta del rey Alfonso IX de León.