泽时就争相抢夺燕军辎重，因而被慕容垂大败，刘牢之只身骑马逃走，因苻丕后继到来才安然无恙。刘牢之及后收集亡散，恢复部份军力，但因兵败而被征还。后以龙骧将军守淮阴，后又改驻彭城，领彭城太守。
保衞北境.太元十四年（389年），彭城人刘黎在皇丘称帝，刘牢之率军平定。后前秦将领张遇攻破金乡，围攻太山太守羊迈，刘牢之派向钦之救援并击退张遇，然而丁零首领翟辽派子翟钊率兵救张遇，刘牢之于是退军，而翟钊退军时，刘牢之就先平定太山郡，又追击翟钊，令翟钊退归河北而且俘虏张遇。接着又在滑台击败翟辽，令叛