并没斗志，于是桓谦等大败。及后随桓玄西奔江陵（今湖北荆州市荆州区）。
继续抗晋.同年五月，桓玄败死，江陵亦被晋军收复，桓谦藏匿在沮中。不久桓振袭取江陵，桓谦亦召集部众响应，至闰五月己丑日（6月26日）重夺江陵，并俘虏仍在江陵的晋安帝。当时桓振打算杀害晋安帝，在桓谦竭力劝止下，终保存了晋安帝的性命，又与江陵群臣奉还玉玺给晋安帝。桓谦于是复任侍中、衞将军，加江、豫二州刺史。桓振夺江陵后纵情酒色，肆意诛杀，当时桓谦劝桓振率兵出战，自己留守江陵，但因桓振向来轻视桓谦而没有听从。义熙元年