当等进攻淮南，攻陷盱眙并围困离广陵仅百里的三阿，震动京师。谢玄于是亲自率军营救三阿，刘牢之亦随军，并在三阿解围后进攻盱眙，成功攻取前秦军在盱眙的辎重，并获得其运输船。谢玄于君川大败俱难和彭超后，获加领徐州刺史，移镇京口，刘牢之则升鹰扬将军，接替谢玄任广陵相。因京口又被称为「北府」，这支包括刘牢之在内，由谢玄所统的军队就有「北府军」之名。
淝水之战.太元八年（383年），荆州刺史桓沖派十万兵北伐前秦，宣城内史胡彬亦率兵向寿阳以作声援，刘牢之亦领二千兵作为胡彬后继。桓沖于当年七月退兵后