Estando preso en dicho castillo, a la edad de 50 años,se casó con su sobrina Francisca Pizarro Yupanqui (n.1534-1598), hija de Francisco Pizarro y de Inés Huaylas.