Por esos días se casó con Ana de Velasco, de la Casa de los Condestables de Castilla, mujer de genio fuerte con quien vivió en Burgos hasta que las noticias de nuevas turbulencias ocurridas en el Perú, lo sacaron de su retiro.