取了寿春，但后来晋将刘牢之击败了驻洛涧的梁成部队，并水陆并进攻向秦军，张蚝虽在淝水南击败谢石军，但面对谢玄等人列阵待战，张蚝无法击溃晋军，只有退至淝水北岸，并与于淝水南岸的晋军对峙。后苻坚应晋军要求，命前秦军队后退以让两军决战，却令到秦军自行溃败，终于淝水之战大败。
并州辅主.苻坚率败军至洛阳时，命张蚝率五千羽林军北戍并州。次年，慕容垂叛变并围攻邺城（今河北临漳县），守邺城的长乐公苻丕曾向张蚝及并州刺史王腾求救，但二人皆以兵少而不能出兵救援。至建元二十一年（385年），苻丕弃邺城西