亲戚、好友等复杂的人际关系，以湖南同乡为主，仿傚已经成军的楚勇，建立了一支地方团练，并整合湖南各地武装，称湘军。咸丰三年（1853年）八月，曾国藩获准在衡州练兵，“凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力”，并派人赴广东购买西洋火炮，筹建水师。咸丰四年（1854年），发佈《讨粤匪檄》，率师出征，不久在靖港水战中被太平军石祥祯部击败，投水自尽，被部下所救。休整后，重整旗鼓，是年攻佔岳州、武昌。咸丰帝大喜过望，令曾国藩署理湖北巡抚。然而，大学士祁隽藻进言，称“曾国藩以侍郎在籍，犹匹夫耳，匹夫