Construido por el Conde de O'Reilly, gobernador de Cádiz, en 1784 se tienen noticias de que las casas particulares que forman las manzanas de toda esta zona están siendo elevadas.