En 1503 comenzó la construcción, en unas casas cercanas a la Puerta de Jerez.