“兄弟参商，宗族诟谇”，视之为败家子，“乡里传为子弟戒”。雍正十一年（1733年）二月，与续弦叶氏移家金陵秦淮水亭，住在秦淮河畔的白板桥西，家境已困，仍好交友，“四方文酒之士，推为盟主”。干隆元年（1736年），安徽巡抚赵国麟、江宁巡导唐时琳，和学政郑江力荐他前去参加博学鸿词科廷试，他因消渴加剧拒绝，堂兄吴檠、友人程廷祚则落选而归。晚年生活困顿，要靠买文和朋友接济度日，“囊无一钱守，腹作千雷鸣”，以至以书易米。每年一到冬天，气温苦寒，与朋友在晚上到城外绕行，歌吟啸唿，称之为“暖足”。密友程晋芳在《文木先