子、司马元显势力，掌握朝政，就以桓谦为尚书左仆射，领吏部，加中军将军，甚得桓玄倚仗。后改封宁都侯，升任尚书令，加散骑常侍，不久再迁任侍中、衞将军、开府、录尚书事。元兴二年（403年），桓玄篡位称帝，桓谦加领扬州刺史，封新安郡王。元兴三年（404年），刘裕起兵讨伐桓玄，并进攻建康，桓玄于是命桓谦与何澹之出屯东陵（今南京九华山东北），与屯于覆舟山西的卞范之一同抵御刘裕。但因桓谦等军主要也是北府军出身，面对北府军将领出身的刘裕并没斗志，于是桓谦等大败。及后随桓玄西奔江陵（今湖北荆州市荆州区）。Sectio