En el verano de 1554, el niño fue llevado al castillo de don Luis de Quijada, en Villagarcía de Campos (Valladolid) donde permaneció durante 5 años.