派殷遹北屯以防杨佺期。杨佺期亦只得无奈解兵。至隆安三年（399年）十二月，桓玄乘殷仲堪因荆中大水而开粮仓赈济饥民的机会讨伐殷、杨二人，于是声称救援洛阳，又写信给殷仲堪，威胁他与自己一同讨伐杨佺期，杀死杨广；否则江陵将被攻击。殷仲堪当时就收捕了桓玄兄长桓伟作人质，又派殷遹率七千水军至江西口。不过不但殷遹被打败，连积存粮食的巴陵都被桓玄攻陷，震惊江陵。殷仲堪见此，只得用芝麻给予军队作军粮，并急召杨佺期入援。当时杨佺期因粮食问题要殷仲堪弃守江陵，到襄阳与他一起防守。不过殷仲堪想保全荆州辖境和军队，不愿弃城，更