En 1804, cuando se encontraba regresando a España, buques ingleses atacaron su barco, de resultas de lo cual fallecieron todos los miembros de su familia, excepto él y su hijo Carlos María.