家族的王国宝等人联手谤毁谢安，迫使谢安离开朝廷，出镇广陵。不久，晋孝武帝又乘谢安派出的北伐军被慕容垂击败之机，削夺谢安的军权，任命司马道子为扬州刺史、假节、都督中外诸军事，原来谢安卫将军府的文武部属皆拨入了骠骑将军府。再后来，谢安之侄谢玄的北伐军在中原因丁零人翟辽的势力而陷入胶着，谢玄上疏谢罪，朝廷于是就作慰问并让他还镇淮阴，不久又改任他为会稽内史。陈郡谢氏的势力因而被大大削弱，东晋皇室的中央集权一度得到了切实的加强。但是，由于司马道子放肆弄权、贪腐无度，招致许多朝臣的不满，晋孝武帝担忧长此以往将会失去