El palacio de Soto Fermoso fue construido originalmente como fortaleza templaria, pasando a ser sobre el siglo XII o XIII la abadía cisterciense que le dio nombre al pueblo y, por último, palacio de la Casa de Alba.