4年），前秦在淝水之战中大败后国内发生叛乱，刘牢之攻克谯城，迁龙骧将军、彭城内史，并以功封武冈县男。同年东晋开始北伐，由谢玄作为前锋都督领军。及后刘牢之就进攻前秦兖州刺史张崇，张崇弃鄄城逃走，刘牢之就进据鄄城，黄河以南一带城堡多数都前来归附。同时，慕容垂建立的后燕正在扩张其势力，据守邺城的苻丕困逼，而当时刘牢之已经据有黄河边的重镇碻磝，东晋其他北伐军队亦已在滑台和滑台以北的黄河北岸驻紥，苻丕于是向谢玄求援。原本苻丕所写的信表示他欲求粮西赴长安，并以邺城献给东晋；并开条件若长安失守，要让他据兵守邺城。杨膺