咸丰三年（1853年）太平军席卷东南，占领南京，工部侍郎吕贤基奏请与赵畇、给事中袁甲三和李鸿章创办团练，制定《团练章程》六条。咸丰六年（1856年）出任广东惠潮嘉道。同治元年（1862年）其母病逝长沙，与赵文楷合葬于仙人打坐山。借居安庆李蕴章家中。同治三年（1864年）辞官归里，主讲于安庆敬敷书院，奖掖后进。同治四年（1865年）妻子韦氏、长媳、次媳相继去世。光绪三年（1877年）病逝于安庆。着《遂园诗抄》十卷、《遂园诗律诗抄》四卷、《重修潘刘堤碑》一卷，编有《遂翁自订年谱》。