，自己留守江陵，但因桓振向来轻视桓谦而没有听从。义熙元年（405年），晋军反攻江陵，桓振留桓谦及冯该守江陵，亲自率兵进攻南阳太守鲁宗之，但当时刘毅已于江陵城外二十里的豫章口击败冯该，桓谦于是弃城出逃，刘毅于是成功收复江陵，桓振见此亦自溃。桓谦与桓怡、桓蔚、何澹之及温楷等人于是投奔后秦。义熙三年（407年），西蜀君主谯纵向后秦称藩，后更上表以讨伐刘裕为名向后秦借兵，又求后秦派桓谦入蜀协助。当时后秦天王姚兴就特别问桓谦意见，桓谦也同意入蜀，然而姚兴却说：「小水池容不下大鱼，若果谯纵他凭自己力量可成事，也