元兴三年（404年），刘裕起兵讨伐桓玄，并进攻建康，桓玄于是命桓谦与何澹之出屯东陵（今南京九华山东北），与屯于覆舟山西的卞范之一同抵御刘裕。但因桓谦等军主要也是北府军出身，面对北府军将领出身的刘裕并没斗志，于是桓谦等大败。及后随桓玄西奔江陵（今湖北荆州市荆州区）。
继续抗晋.同年五月，桓玄败死，江陵亦被晋军收复，桓谦藏匿在沮中。不久桓振袭取江陵，桓谦亦召集部众响应，至闰五月己丑日（6月26日）重夺江陵，并俘虏仍在江陵的晋安帝。当时桓振打算杀害晋安帝，在桓谦竭力劝止下，终保存了晋