势力，于是巴讨好他，胡藩遂向仲堪指出桓玄志向不凡，劝请仲堪不要过份亲任他。不过，胡藩见仲堪听后不甚高兴，回去后就向罗企生表示殷仲堪早晚会败在桓玄手中，劝他快点计划离开。胡藩后参桓玄的后军军事，隆安三年（399年），时为江州刺史的桓玄出兵消灭殷仲堪及杨佺期，吞併二人分领的荆雍二州，胡藩亦有参与，而罗企生终也没听胡藩的劝言，在此事中被杀。元兴元年（402年）桓玄击败司马道子父子，入朝主政，胡藩亦随之先后转参太尉、大将军及相国军事。元兴三年（404年），刘裕起兵讨伐先前已篡位称帝的桓玄，击败桓楚军队并逼近建康