沈复被司事裁员。嘉庆八年（1803年），婢女阿双席卷逃跑，是年三月，妻陈芸病死于扬州。嘉庆十一年（1806年）夏天，儿子逢森病死，卒年十八岁。这年石韫玉赠送沈复一位小妾。嘉庆十二年（1807年），二月，居住莱阳。秋天随石韫玉到北京。之后行迹已不可考。嘉庆十三年（1808年）撰写《浮生六记》第四卷，为其自述平生。林语堂在《浮生六记》英译本后序说：“沈三白之妻芸娘，乃是人家最理想的女人。”