郡都有人起兵响应孙恩，桓谦闻乱出奔无钖（今江苏无钖）。后桓谦获征召入朝担任尚书，不久又先后转任骠骑大将军司马元显的谘议参军及司马。元兴元年（402年），司马元显要讨伐荆州刺史桓玄，司马元显心腹张法顺认为桓谦是桓玄在朝中的的耳目，应该除去，又建议命令刘牢之去下手，以测试其忠心。但司马元显不听从，反而想借助桓谦父桓沖在荆州的威望去安抚荆州人，于是调桓谦为都督荆益宁梁四州诸军事、西中郎将、荆州刺史。
桓楚重臣.同年，桓玄消灭司马道子、司马元显势力，掌握朝政，就以桓谦为尚书左仆射，领吏