Fue construido en 1920 como casa-museo, para albergar la colección de arte de José María del Palacio y Abárzuza (1866-1940), tercer conde de Las Almenas (Real Decreto de 15 de junio de 1904) y primer marqués del Llano de San Javier (Real Decreto de 22 de enero de 1896), su promotor, autor del proyecto y propietario inicial.