El I Barón falleció en 1791 siendo su heredero, su sobrino menor de edad, José de Guzmán y Saldaña, hijo de su hermano Vicente. Durante la insurrección de los esclavos de Saint Domingue, San Miguel de la Atalaya fue arrasada y el II Barón se refugió en Cuba, donde vivió hasta su muerte, sumido en la miseria.