Diego Gómez Sarmiento tras su fallecimiento a inicios del siglo XVI, continuaría en posesión de su familia hasta el siglo XVIII, si bien de forma conjunta con los Duques de Híjar al haberse emparentado miembros de ambas familias.