El actual palacio se alza sobre el antiguo palacio de las Dos Torres, residencia del citado marquesado, que quedó integrado en la estructura a partir de un diseño de Ventura Rodríguez realizado en 1763.