Fue propiedad en el siglo XIX de los marqueses de Villaseca pasando después, en 1901, a los marqueses de Viana y siendo sustancialmente mejorado en sus colecciones artísticas por el segundo marqués José de Saavedra y Salamanca, importante personaje de la corte alfonsina.