Originalmente fue el palacio residencial de los Condes de Buenavista de la Victoria, de ahí su denominación.