谢玄命刘牢之率精兵五千人进攻领兵二万驻守洛涧的梁成。梁成虽在刘牢之于十里以外时就已在洛涧边陈兵等待，但刘牢之直接率兵渡水进攻，大败前秦军并斩杀梁成，及后更分兵绝前秦残兵归路，于是前秦军崩溃，争相渡过淮河，斩获万多人，尽收其器械。因着刘牢之大胜，征讨大都督谢石就率诸军前进，与前秦天王苻坚率领的前秦军隔着淝水对峙，及后东晋就大败前秦军，成功消除了这一场危机。
谢玄北伐.太元九年（384年），前秦在淝水之战中大败后国内发生叛乱，刘牢之攻克谯城，迁龙骧将军、彭城内史，并以功封武冈县男。同年