他初以父亲的功劳封宜阳县开国侯，历次升迁官拜辅国将军、吴国内史。隆安三年（399年），孙恩率众进攻下会稽，并杀太守王凝之，三吴诸郡都有人起兵响应孙恩，桓谦闻乱出奔无钖（今江苏无钖）。后桓谦获征召入朝担任尚书，不久又先后转任骠骑大将军司马元显的谘议参军及司马。元兴元年（402年），司马元显要讨伐荆州刺史桓玄，司马元显心腹张法顺认为桓谦是桓玄在朝中的的耳目，应该除去，又建议命令刘牢之去下手，以测试其忠心。但司马元显不听从，反而想借助桓谦父桓沖在荆州的威望去安抚荆州人，于是调桓谦为都督荆益宁梁四州诸军事、西