Su designación provocó el recelo de los aristócratas ante la probabilidad de influir directamente en las decisiones militares del rey, por lo cual acabó trasladándose a Jaén en 1459, donde años antes había desposado a María Teresa de Torres y Portugal, hija del señor de Villadompardo y Escañuela, con quien tuvo dos hijos, Luisa y Luis Lucas de Torres Navarra.