意入蜀，然而姚兴却说：「小水池容不下大鱼，若果谯纵他凭自己力量可成事，也就不必请你去协助他了。你最好还是自求多福吧。」桓谦到成都后虚心招引蜀地士人，终惹来谯纵怀疑，安置他于龙格（今四川双流），并命人监视他。义熙六年（410年），当时东晋正在镇压卢循的叛乱，谯纵于是趁机向后秦请兵进伐东晋，桓谦于是获谯纵任命为荆州刺史，与谯道福共率二万进攻东晋荆州。桓谦在道上招集当地支持桓氏的民众，又招得了二万人，并屯驻于枝江（今湖北枝江西南），一度威胁江陵，江陵人民甚至向桓谦报告城内状况。东晋荆州刺史刘道规决定水陆并进，