屯于覆舟山西的卞范之一同抵御刘裕。但因桓谦等军主要也是北府军出身，面对北府军将领出身的刘裕并没斗志，于是桓谦等大败。及后随桓玄西奔江陵（今湖北荆州市荆州区）。
继续抗晋.同年五月，桓玄败死，江陵亦被晋军收复，桓谦藏匿在沮中。不久桓振袭取江陵，桓谦亦召集部众响应，至闰五月己丑日（6月26日）重夺江陵，并俘虏仍在江陵的晋安帝。当时桓振打算杀害晋安帝，在桓谦竭力劝止下，终保存了晋安帝的性命，又与江陵群臣奉还玉玺给晋安帝。桓谦于是复任侍中、衞将军，加江、豫二州刺史。桓振夺江陵后纵情酒色，肆