En 1444, con la llegada de Fernán Álvarez de Toledo, conde de Alba, la abadía cisterciense se amplió pasando a ser el actual Palacio de Sotofermoso o de " Soto Fermoso" construido originalmente como fortaleza templaria, pasó a ser sobre el siglo XII o XIII la abadía cisterciense que le dio nombre al pueblo y, por último, palacio de la Casa de Alba.