Cuando falleció su padre, Fernando Rodríguez de Castro, en 1304 en un combate contra el infante Felipe de Castilla, su madre le envió al reino de Portugal y lo entregó al noble Lorenzo Suárez de Valladares quien fue su ayo.