刺史时就已为其部将，后因故离开军府，至此再应募入仕；刘牢之父亲刘建更曾仕晋为征虏将军，曾参与升平四年（359年）谢万溃败的那次北伐行动。
君川之役.谢玄于广陵募集成北府军后翌年即遇到前秦的军事考验，太元三年（378年）前秦长乐公苻丕率兵进攻襄阳，秦兖州刺史彭超就奏请前秦天王苻坚进攻彭城以配合苻丕行动，遂与俱难、毛盛、邵保等攻淮南一带，并围攻彭城。谢玄在前秦攻襄阳时就已大发三州兵众，命何谦领游军在淮泗一带干扰前秦，彭城则由龙骧将军、沛郡太守戴逯坚守。太元四年（379年）二月，谢玄率领