El castillo fue propiedad de los condes, hasta José Isidro Osorio y Silva-Bazán, el conocido Duque de Sesto y además X conde de Villanueva de Cañedo, que tuvo que venderlo a principios del siglo XX.