当时有人劝桓沖诛除时望，以专掌权力都被桓沖拒绝。宁康三年（375年），当时尚书仆射谢安辅政，声望极重，群情所归，桓沖自以气量和涵养都不及谢安，而且自己是将领，军事才能不见用于宰相职，于是打算解任扬州刺史并让给谢安，自求出镇。这个决定被当时桓氏党众所反对，郗超亦大力劝阻，但桓沖心意已决，完全没有为放弃扬州刺史这个掌握京畿，权位极重的职位感到可惜，只尽心匡国。当年就改都督徐豫兖青扬五州诸军事、徐州刺史，以北中郎府并入中军将军府，出镇京口。太元元年（376年），因谢安打算以外戚王蕴出镇，于是让桓沖解任徐州刺史