二军皆散走。英布遂率军西向，前196年十月与汉军在蕲西会战。布兵精甚，刘邦驻扎庸城，见英布之布阵皆如项羽的阵法，刘邦对此感到愤怒。刘邦于两军对垒时遥对英布曰：“你何苦造反呢？”英布对曰：“我想当皇帝罢了！”，刘邦大骂之。两军遂战，结果英布战败而走。而齐国国相曹参率领的齐兵也赶到，对淮南军队进行夹击，淮南军队接连失利。刘邦遣别将追击，大败英布于洮水南、北，英布逃脱，仅得数百人渡江南。长沙王吴臣因为吴芮是英布的妻舅，写信给英布，伪称要与之俱逃于越。英布信以为真，遂入番阳，结果在番阳兹乡（今日鄱阳湖湖区）