因袭湘军旧制，体制存在不少矛盾与弊端。平时归还乡村农业庄稼耕作为生，遇有征伐，军队临时成军，号令不一、训练不齐，只能各自为战。1884年中法战争时，淮军在安南北圻地区败退，潘鼎新戴罪立功，指挥清军在镇南关大败法军。1894年中日甲午战争时，淮军将领丁汝昌指挥的北洋海军和叶志超、卫汝贵的陆军都遭到惨败，淮军势力遂逐渐衰落。后来袁世凯小站练兵，训练“新建陆军”，广招淮军旧将，成为清末的主力，即是民初北洋军阀的雏形。