议命令刘牢之去下手，以测试其忠心。但司马元显不听从，反而想借助桓谦父桓沖在荆州的威望去安抚荆州人，于是调桓谦为都督荆益宁梁四州诸军事、西中郎将、荆州刺史。
桓楚重臣.同年，桓玄消灭司马道子、司马元显势力，掌握朝政，就以桓谦为尚书左仆射，领吏部，加中军将军，甚得桓玄倚仗。后改封宁都侯，升任尚书令，加散骑常侍，不久再迁任侍中、衞将军、开府、录尚书事。元兴二年（403年），桓玄篡位称帝，桓谦加领扬州刺史，封新安郡王。元兴三年（404年），刘裕起兵讨伐桓玄，并进攻建康，桓玄于是命桓谦与