桓温虽然政治立场不一致，但仍然非常相得，彼此都很推崇对方。后来桓温到了因立场相左而打算杀掉谢安的时候，仍然对旁人称赞谢安不已。谢安在桓温幕府不久，谢万去世，谢安以服丧为由辞职，不久又被丞相司马昱推荐为吴兴太守，任内百姓安居乐业。几年后，升为侍中。太和六年（371年），桓温废司马奕，改立司马昱为帝，族诛陈郡殷氏、颍川庾氏两家三支士族，贬斥武陵王为庶人，实际控制了东晋的所有州府，声势如日中天。谢安与另外两家大士族——太原王氏和琅琊王氏的王坦之、王彪之等人联合，与之周旋，并于咸安元年（372年）七月简文帝