Por fallecimiento de Don Baltasar, le sucedió, el 1º de Diciembre de 1854, su hija Doña María Luisa, y a la muerte de esta cuarta poseedora, en octubre de 1870, heredó el título con todas las pertenencias anejas, su joven hijo Don Jesús Sáiz Albornoz y Alvarez de Toledo.