牢之调离京口，转为会稽太守，刘牢之为被免削军权而欲领兵与在广陵的广陵相高雅之会合，在当地起兵反抗桓玄。刘牢之的计划因为他失去僚属支持而失败，出逃时因回京口迎接家眷的刘敬宣迟到而在绝望中自杀，敬宣随后北奔广陵。刘敬宣和高雅之其时就与同不为桓玄所容的晋宗室司马休之出奔后秦，并派宗族子弟到长安当人质请求后秦支援，后秦天王姚兴则命他们到关东募兵，聚集到数千人后再回彭城一带以他们在当地的人脉势力招集部众。桓玄当时亦在杀害北府将领，高素及冀州刺史刘轨弟刘袭和刘季武皆被桓玄杀害，高雅之、刘敬宣等人遂与刘轨共据山阳抵抗桓玄