雲室
また同じ頃、江戸大火で居宅を焼失し浦賀の浄誓寺に仮寓。このころ浦賀や藤沢など各地で儒学の講義を行なっている。天明8年(1788年)、上尾宿で二賢堂をたて「聚正義塾」を開き、郷党の指導にあたった。寛政2年(1790年)に昌平黌の助教授を辞任。甲州に遊歴したとき学友の森島子輿に出会い、彼の援助を受けて同4年(1792年)40歳のとき、江戸西久保光明寺(現東京都港区虎ノ門)の住職となり二十六世を嗣ぐ。
住職を務めながら余暇に儒学の講義、詩作、画作などを続けた。寛政12年(1800年)に詩文結社・小不朽吟社を結ぶ。この結社では詩作と画作を奨励し結果として文人画の普及に一役買うことになる。盟主に広瀬台山を迎え、渡辺玄対・片桐桐隠・鏑木梅渓・渡辺赤水・大西圭斎・春木南湖・谷文晁・柏木如亭・金井烏洲など錚々たるメンバーが連なった。その他に亀田鵬斎・大窪詩仏・沢田東江・鈴木芙蓉などの交際が知られる。
文政10年(1827年)、光明寺で遷化。行年75歳。