因兵败而被征还。后以龙骧将军守淮阴，后又改驻彭城，领彭城太守。
保衞北境.太元十四年（389年），彭城人刘黎在皇丘称帝，刘牢之率军平定。后前秦将领张遇攻破金乡，围攻太山太守羊迈，刘牢之派向钦之救援并击退张遇，然而丁零首领翟辽派子翟钊率兵救张遇，刘牢之于是退军，而翟钊退军时，刘牢之就先平定太山郡，又追击翟钊，令翟钊退归河北而且俘虏张遇。接着又在滑台击败翟辽，令叛将张愿归降。太元十八年（393年），司马徽在马头山聚众，刘牢之又派部将竺朗之平定。但太元十九年（394年）时，后燕南侵，攻掠