Según los historiadores, principalmente, Luis Alernar, cuenta que durante la llegada del Segundo Almirante y virrey Diego Colón y la sobrina-nieta del Rey Fernando el Católico, María de Toledo, así como también miembros importantes de la sociedad y jerarquía de España, y damas importantes de la época, tomaron como lugar de residencia la Calle de la Fortaleza.