难和彭超后，获加领徐州刺史，移镇京口，刘牢之则升鹰扬将军，接替谢玄任广陵相。因京口又被称为「北府」，这支包括刘牢之在内，由谢玄所统的军队就有「北府军」之名。
淝水之战.太元八年（383年），荆州刺史桓沖派十万兵北伐前秦，宣城内史胡彬亦率兵向寿阳以作声援，刘牢之亦领二千兵作为胡彬后继。桓沖于当年七月退兵后，前秦就于八月派二十五万前锋南侵，准备消灭东晋，谢玄等人受命领兵抵抗。十月，苻融攻陷寿阳，胡彬与刘牢之率兵抵抗但不敢前进，退屯硖石。十一月，谢玄命刘牢之率精兵五千人进攻领兵二万驻守洛