La madre y los dos hijos restantes, Francisco y el propio Juan, sufren una acuciante pobreza por lo que se ven obligados a trasladarse primero a Arévalo, donde viven durante cuatro años, y en 1551 a Medina del Campo.