群臣奉还玉玺给晋安帝。桓谦于是复任侍中、衞将军，加江、豫二州刺史。桓振夺江陵后纵情酒色，肆意诛杀，当时桓谦劝桓振率兵出战，自己留守江陵，但因桓振向来轻视桓谦而没有听从。义熙元年（405年），晋军反攻江陵，桓振留桓谦及冯该守江陵，亲自率兵进攻南阳太守鲁宗之，但当时刘毅已于江陵城外二十里的豫章口击败冯该，桓谦于是弃城出逃，刘毅于是成功收复江陵，桓振见此亦自溃。桓谦与桓怡、桓蔚、何澹之及温楷等人于是投奔后秦。义熙三年（407年），西蜀君主谯纵向后秦称藩，后更上表以讨伐刘裕为名向后秦借兵，又求后秦派桓谦入蜀