“凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力”，并派人赴广东购买西洋火炮，筹建水师。咸丰四年（1854年），发佈《讨粤匪檄》，率师出征，不久在靖港水战中被太平军石祥祯部击败，投水自尽，被部下所救。休整后，重整旗鼓，是年攻佔岳州、武昌。咸丰帝大喜过望，令曾国藩署理湖北巡抚。然而，大学士祁隽藻进言，称“曾国藩以侍郎在籍，犹匹夫耳，匹夫居闾里，一唿，蹶起从之者万余人，恐非国家福也。”咸丰帝收回成命，仅赏曾国藩兵部侍郎头衔。咸丰六年（1856年）坐困南昌。9月2日，洪秀全与杨秀清发生内讧，史称