Más abruptas fueron las mudanzas en junio de 1812, cuando Napoleón invadió Rusia. El ministro español fue inmediatamente expulsado de San Petersburgo, y partió hacia un incierto viaje. La muerte le sorprendió el 1.º de noviembre de 1812 en la ciudad letona de Riga, donde permanece enterrado.