江两州刺史的机会，改以桓氏子弟出任，缓和了桓谢两大士族的关系，为东晋接下来的大规模北伐稳定了后方。太元九年（384年）八月，谢安起兵北伐。东路的谢玄领北府兵自广陵北上，一路收复了兖州青州司州豫州，中路和西路的桓氏则出兵攻克了鲁阳和洛阳，并收复了梁州和益州。至此，淝水之战前秦晋以淮河－汉水－长江一线为界的局面改成了以黄河为界，整个黄河以南地区重新归入了晋朝的版图，见右图。北伐节节胜利以后，司马氏和部分朝臣对谢安非常猜忌，世人也有怀疑谢安会像王莽那样篡位夺权。谢安“素退为业”，主动交出手上权力，于太