居丧期间就因极度哀痛而得人称许，时豫章太守韩伯见此亦向胡藩叔叔胡少广说胡藩日后应当时义烈闻名。胡藩后来得到州府辟命为官，但胡藩却不肯应召，等到两个弟弟成婚后才参郗恢征虏军事。郗恢时任雍州刺史，驻镇襄阳（今湖北襄阳市），而当时的荆州刺史是殷仲堪，胡藩表兄罗企生就是仲堪的参军。一次胡藩请假还乡，经过荆州治所江陵（今湖北荆州市荆州区）时就探望他。殷仲堪此时邀请胡藩和其见面，相当厚待他，当时殷仲堪怯于南郡公桓玄一族于荆州的势力，于是巴讨好他，胡藩遂向仲堪指出桓玄志向不凡，劝请仲堪不要过份亲任他。不过，胡藩见仲堪听后