Su segunda época en Rusia, sin embargo, estuvo marcada por la tragedia: un incendio en San Petersburgo en 1771 le costó su casa y casi su vida, y en 1773 perdió a su esposa Katharina Gsell, después de 40 años de matrimonio.