湘军長期缺乏稳定的饷源，九江破城前，胡林翼称“水师、鲍营、义渠各营尚欠十二三万两”，只得纵容官兵掠夺财物，以维系军心，在攻破九江之後，“屍涌長江水不流”。湘軍軍紀最壞要屬曾國荃的吉字營與鮑超的霆軍。同治三年（1864年）五月，曾国荃部攻陷天京，施展杀戒，“沿街死尸十九皆老者，其幼孩未满二、三岁者亦斫戮以为戏”，“自湘軍平賊以來，南民如水益深，如火益熱。”，“一破城，见人即杀，见屋即烧，子女玉帛扫数入于湘军，而金陵遂永穷矣。至今，父老言之，犹深愤恨”。彭玉麟痛恨曾國荃的殘暴，兩次勸曾國藩殺弟以大義滅親，又指責湘軍紀律日壞、曾氏治軍無方。曾國藩回信說：“舍弟並無管、蔡叛逆之跡，不知何以應誅？不知舍弟何處開罪閣下，憾之若是？”又說，“鄙人在軍十年，自問聾聵不至於此。”鲍超雖作戰勇猛，但軍紀敗壞，郭嵩焘说他“所过残灭如项羽”。陕西巡抚刘蓉曾写信给曾国藩，庆幸“霆军”不入陕：“鲍军无意西来，所过又多残暴，诚不愿其复至，恐如梳如篦，遂至如剃，则困苦尤所难堪。”抢掠与放纵卻严重的削弱了湘军的战斗力，更堅定了太平軍决战到底的決心，湘军為此付出了惨痛的代价，例如李续宾部在九江屠城后，在三河被太平军全歼，又如南京城破後，李臣典“戮絕妖男，虜盡良女”，日夜宣淫，一夜“连御十女”而暴亡。可以說晚期的湘軍在腐敗已經超過了綠營，“大都帶勇專為牟利，其虛籍克餉，智計百出，視綠營又加厲焉”。湘軍將領中，“朱品隆、唐義訓、李榕諸將皆以持重不戰，全軍為上，及李續宜諸將成大吉、毛有銘等，專求自全。湘軍鋒銳始頓”。曾国藩深知湘军已是强弩之末，以“湘军作战年久，暮气已深”为由，主动向朝廷请旨裁减湘军。