由辞职，不久又被丞相司马昱推荐为吴兴太守，任内百姓安居乐业。几年后，升为侍中。太和六年（371年），桓温废司马奕，改立司马昱为帝，族诛陈郡殷氏、颍川庾氏两家三支士族，贬斥武陵王为庶人，实际控制了东晋的所有州府，声势如日中天。谢安与另外两家大士族——太原王氏和琅琊王氏的王坦之、王彪之等人联合，与之周旋，并于咸安元年（372年）七月简文帝病重之时，逼简文帝改写遗诏，阻止了简文帝打算将政权拱手让给桓温的打算。桓温得知以后，大怒，率军入京，欲“诛王谢，移晋鼎”，太后褚蒜子命谢安与王坦之去新亭迎接，王坦之慌乱不已