辖地后，桓玄身为江州刺史，殷仲堪畏惧其跋扈，于是与杨佺期联为姻亲，以之为援。当时杨佺期仍不放弃消灭桓玄，屡次想攻伐他，但殷仲堪皆阻止。桓玄对殷、杨二人亦深感不安，担心终会被二人联手消灭，于是上请朝廷扩大其统辖范围。当时朝廷其实亦打算离间他们，于是掌政的司马元显就加荆州四郡给桓玄都督，又以桓玄兄桓伟接替杨佺期兄杨广任南蛮校尉。杨广当打算抵抗桓伟但被殷仲堪外调，杨佺期堂弟杨孜敬亦被桓玄派兵袭击，被对方纳为谘议参军。杨佺期对这一连串变动十分愤恨，于是以援救被后秦所围的洛阳为由举兵，实质想与殷仲堪联手攻打桓玄。不过