陵城外二十里的豫章口击败冯该，桓谦于是弃城出逃，刘毅于是成功收复江陵，桓振见此亦自溃。桓谦与桓怡、桓蔚、何澹之及温楷等人于是投奔后秦。义熙三年（407年），西蜀君主谯纵向后秦称藩，后更上表以讨伐刘裕为名向后秦借兵，又求后秦派桓谦入蜀协助。当时后秦天王姚兴就特别问桓谦意见，桓谦也同意入蜀，然而姚兴却说：「小水池容不下大鱼，若果谯纵他凭自己力量可成事，也就不必请你去协助他了。你最好还是自求多福吧。」桓谦到成都后虚心招引蜀地士人，终惹来谯纵怀疑，安置他于龙格（今四川双流），并命人监视他。义熙六年（410年