监江北诸军事、兖州刺史、广陵相，镇广陵；王蕴出任徐州刺史；谢安亦以司徒加都督扬豫徐兖青五州及幽州之燕国诸军事。至此完成了诸镇的势力重整。东晋朝廷于太元元年（376年）冬季已下令迁淮北流民到淮南，谢玄到广陵上任后便着手选拔骁勐人士组建北府军，彭城郡人刘牢之、东海郡人何谦、琅邪郡人诸葛侃、乐安郡人高衡、东平郡人刘轨、西河郡人田洛及晋陵郡孙无终等人都获挑选为将。其中何谦其实昔日在庾希任徐兖二州刺史时就已为其部将，后因故离开军府，至此再应募入仕；刘牢之父亲刘建更曾仕晋为征虏将军，曾参与升平四年（359年）谢万溃