州在经过刁彝及王坦之短暂任职后在宁康三年（375年）由解扬州刺史予谢安的桓沖以都督徐兖豫青扬五州军事兼徐州刺史继接。再至太元二年（377年），因应当时前秦刚在上一年灭前凉，统一了北方，并且频频侵边，朝廷正讨论有何良将能抵抗北方巨大的军事威胁，谢安欲以侄儿谢玄为之，就再重新调整徐兖二州势力，先解桓沖徐州刺史及徐兖扬青四州都督，改授都督豫江二州之六郡军事，以车骑将军转镇姑熟，以准备随后由外戚王蕴以徐州刺史出镇京口；原兖州刺史朱序亦调任梁州刺史镇襄阳，准备让时任荆州刺史桓豁司马之谢玄接任。至八月桓豁去世，谢安就直