El primer vizconde falleció en 1791 siendo su heredero, su sobrino menor de edad, José de Guzmán y Saldaña, hijo de su hermano Vicente. Durante la insurrección de los esclavos de Saint Domingue, San Rafael de la Angostura fue arrasada y el II Vizconde se refugió en Cuba, donde vivió hasta su muerte, sumido en la miseria.