Ya existía antes de la construcción de dicho palacio otro en la cercana población de Valsaín.