La torre estuvo en posesión de los Duques de Villahermosa hasta finales de los años 1970s en que la cedió la Duquesa, Dª.