就只给他为临武营外委，彭玉麟不愿就任。
湘军生涯.1853年，随曾国藩创办湘军水师，对太平军作战，次年于湘潭之战击败太平军，任知县。后随军攻陷岳州，升同知（正五品）。在武汉、田家镇连败太平军水师。1855年2月在江西湖口为石达开所败。于是整顿水师，配合陆师于1856年败太平军于樟树镇、临江等地，升广东惠潮嘉道道员。1857年，同杨载福等攻湖口，继夺九江、安庆。后授安徽巡抚，力辞，遂改任为水师提督，晋兵部左侍郎。1862年（同治元年）率水师策应曾国荃陆师沿江东下，堵截天京护城