党人不相往来，晚年在北京琉璃厂荣宝斋南纸店挂笔单鬻字为生，其中信远斋由其题匾，遗迹尚存。着有笔记《南斋纪略》、《宸垣纪要》以及医书《引痘新法》等，但在文革中遭到焚毁，所剩无几。
遗迹.其故居花塘官厅于大革命时期被改为列宁学校，胡耀邦早年曾在此工作，为萍乡市重点文物保护单位。