Fue modificado en 1535 bajo su mandato y encargó la dirección de las obras al arquitecto Alonso de Covarrubias, Francisco de Villalpando y Juan de Herrera.