El prestigioso arquitecto Andrés de Vandelvira se supone el encargado de transformar esta fortaleza medieval en un palacio de corte renacentista, a petición de su propietario, al que conoció en Italia, el poderoso don Francisco de los Cobos, secretario personal de Carlos V y luego también de su hijo, el emperador Felipe II.