太元二年（377年），广陵缺乏良将防守，谢安不顾他人议论，极力举荐自己的侄子谢玄出任兖州刺史，镇守广陵，负责长江下游江北一线的军事防守。谢安则自己都督扬州、豫州、徐州、兖州、青州五州军事，总管长江下游。谢玄不负叔父重托，在广陵挑选良将，训练精兵，选拔了刘牢之、何谦等人，并训练出了在当时的整个中国最具战斗力的精兵——北府兵。
第一阶段：淮南之战.太元三年（378年）四月，前秦征南大将军苻丕率步骑7万人进攻襄阳。苻坚又另派10万多人，分三路合围襄阳，总计投入兵力17万。襄阳守将朱序死守