El presidente de la Casa de Contratación, Juan Jiménez Montalvo, propuso que se construyese frente a la Puerta de Jerez, en un terreno conocido como haza de San Telmo, que pertenecía al Tribunal de la Inquisición.