扬州、豫州、徐州、兖州、青州五州军事，总管长江下游。谢玄不负叔父重托，在广陵挑选良将，训练精兵，选拔了刘牢之、何谦等人，并训练出一支在当时的整个中原最具有战斗力的精兵——北府兵。
第一阶段：淮南之战.378年四月，前秦征南大将军苻丕率步骑7万人进攻襄阳。苻坚又另派10万多人，分三路合围襄阳，总计投入兵力就是17万。襄阳守将朱序死守近一年后，于太元四年（379年）二月城破被俘。苻坚又派彭超围攻彭城，秦晋淮南之战爆发。谢安在建康布防，又令谢玄率5万北府兵，自广陵起兵，谢玄4战4胜，全歼