A partir de 1798, como establecían las cláusulas testamentarias del XXIII Señor, le sucedió Diego Fernández de Velasco, XII Duque de Frías y XXIV Señor de Moguer.