晋宗室司马休之出奔后秦，并派宗族子弟到长安当人质请求后秦支援，后秦天王姚兴则命他们到关东募兵，聚集到数千人后再回彭城一带以他们在当地的人脉势力招集部众。桓玄当时亦在杀害北府将领，高素及冀州刺史刘轨弟刘袭和刘季武皆被桓玄杀害，高雅之、刘敬宣等人遂与刘轨共据山阳抵抗桓玄朝廷，但仍无法抵抗桓玄所派之北府将孙无终的讨伐，在部众离散下只得选择出奔南燕。刘敬宣等人在南燕仍未放弃对抗正要篡晋的桓玄，最初高雅之就上表南燕皇帝慕容德请他派兵讨伐桓玄，但因朝廷众臣反对作罢。及后他们联结青州地区的大姓崔氏、封氏及鲜卑大人免逵