El palacio original se edificó en el siglo XVI en la Real finca conocida como "Altillo de Buenavista" (de ahí el nombre).