其反对僧格林沁撤北塘备，意见不合，辞官还乡。同治元年（1862年），应李鸿章邀请任苏松督粮道，后升两淮盐运使。同治二年（1863年），署理广东巡抚；次年，太平天国南京被攻克，其上书陈述因镇压太平天国而临时设立之地方集资制度（厘金）的危害；后卷入毛鸿宾、瑞麟先后两任两广总督的官场摩擦，于同治六年（1866年）6月解任，再次归乡闲居。光绪元年（1875年），授福建按察使，未上任，又入直总理各国事务衙门；期间发生马嘉理事件；他曾弹劾云南巡抚岑毓英失职；次年，授兵部侍郎，出使英国道歉，成为首任出使英国钦