Pero tras su muerte en 1528, su hijo Pedro le relevó en su misión, trasladándolos al Castillo de Castilnovo, y más tarde al de Pedraza de la Sierra, ambos propiedad de su mujer Juliana Ángela, quien se sabe vigiló personalmente por su bienestar.