on::::北府军团.太元二年（377年），谢玄就任兖州刺史，镇守广陵。鑑于北方前秦的军事威胁，谢玄就大肆招募兵勇，刘牢之与孙无终、何谦等人都以骁勇而获选，并得谢玄任用为其参军，率领精兵作为前锋。太元四年（379年）前秦将领俱难南侵，攻陷淮阴；不久再与彭超、毛当等进攻淮南，攻陷盱眙并围困离广陵仅百里的三阿，震动京师。谢玄于是亲自率军营救三阿，刘牢之亦随军，并在三阿解围后进攻盱眙，成功攻取前秦军在盱眙的辎重，并获得其运输船。谢玄于君川大败俱难和彭超后，获加领徐州刺史，移镇京口，刘牢之则升鹰扬将军，接替谢玄任