刘就命军队进攻，大败燕军，乘胜进围燕都广固（今山东青州市），终于翌年灭燕。攻下广固前夕，刘裕的佐吏齐集，突然有一只鹅那样大的黑色飞鸟闯进刘裕帐中，众人都大惊，认为是不祥之兆，但胡藩就说黑色是胡人的颜色，此象是「胡虏归我」大吉之兆。在攻南燕时，广州刺史卢循乘机在东晋国内起事，先后击败江州刺史何无忌及豫州刺史刘毅，逼近建康。刘裕灭燕后快速回军，共及时在建康布防，成功逼退卢循，解建康之危。期间胡藩在左里抵抗卢循有功，获封吴平县五等子。后转正员散骑侍郎，宁远将军、鄱阳太守。义熙八年（412年），刘毅上任荆州