元显的谘议参军及司马。元兴元年（402年），司马元显要讨伐荆州刺史桓玄，司马元显心腹张法顺认为桓谦是桓玄在朝中的的耳目，应该除去，又建议命令刘牢之去下手，以测试其忠心。但司马元显不听从，反而想借助桓谦父桓沖在荆州的威望去安抚荆州人，于是调桓谦为都督荆益宁梁四州诸军事、西中郎将、荆州刺史。
桓楚重臣.同年，桓玄消灭司马道子、司马元显势力，掌握朝政，就以桓谦为尚书左仆射，领吏部，加中军将军，甚得桓玄倚仗。后改封宁都侯，升任尚书令，加散骑常侍，不久再迁任侍中、衞将军、开府、录尚书事。