为江东其他士族根本比不上他家，于是对桓玄十分不满，更打算袭杀桓玄，可是因殷仲堪顾忌桓玄死后无法控制杨佺期兄弟才阻止。当时桓玄亦知杨佺期想杀死自己，于是有了消灭杨佺期的意图，更屯驻夏口，并以始安太守卞范之为谋主。隆安三年（399年）请求扩大其辖区，而司马元显亦想以此离间桓玄与殷、杨二人的关系，故此加桓玄都督荆州长沙郡、衡阳郡、湘东郡及零陵郡四郡诸军事，并改以桓玄兄桓伟代杨佺期兄杨广为南蛮校尉。此举触怒了杨佺期兄弟，杨佺期更以支援后秦围攻的洛阳为名起兵，但皆被殷仲堪阻止。当年荆州有大水，殷仲堪开仓赈济灾民，