此更加愤怒，要命令左右杀掉胡藩，胡藩于是被逼登岸，用刀柄击打岸边岩石，造出一些仅仅够手脚抓住的位置借刀攀登，后面其他士兵见胡藩成功上攀亦渐渐跟随。成功登岸后就对岸上的休之军发动进攻，对方竟然不能抵抗，被逼撤退，众军于是乘势进击，让司马休之等溃败，被逼北归后秦。义熙十二年（416年），刘裕北伐后秦，由于大军循黄河西上进攻关中，令势力南至黄河一带的北魏警惕，并派军在黄河北岸防御。一次胡藩军有一辎重船被暴风吹到黄河北岸，于是被防守的魏军掠夺，胡藩十分愤怒，就带着身边十二人乘小船到北岸。胡藩到岸后面对的是一支约