弟成婚后才参郗恢征虏军事。郗恢时任雍州刺史，驻镇襄阳（今湖北襄阳市），而当时的荆州刺史是殷仲堪，胡藩表兄罗企生就是仲堪的参军。一次胡藩请假还乡，经过荆州治所江陵（今湖北荆州市荆州区）时就探望他。殷仲堪此时邀请胡藩和其见面，相当厚待他，当时殷仲堪怯于南郡公桓玄一族于荆州的势力，于是巴讨好他，胡藩遂向仲堪指出桓玄志向不凡，劝请仲堪不要过份亲任他。不过，胡藩见仲堪听后不甚高兴，回去后就向罗企生表示殷仲堪早晚会败在桓玄手中，劝他快点计划离开。胡藩后参桓玄的后军军事，隆安三年（399年），时为江州刺史的桓玄出兵消