后吴亚终亦自归顺州（今广西靖西市）逃入越南北部。吴亚终随后向越南阮朝投降，获得嗣德帝阮福时的允许。然而不久之后，吴亚终便举兵反叛阮朝。1868年，刘永福攻盘踞陆安州的盘文二（一作盘文义），联合其部将覃采元以计杀之。后又攻灭盘踞兴化省水尾县保胜（今属老街省）一带的广东土匪何均昌，佔领了其地盘。刘永福便以保胜为根据地，将部众更名为中和团黑旗军，在此处开山设寨、辟田屯兵，并逐渐兼併周围的中国山贼势力。1870年，吴亚终在攻打北宁省城的时候，被越南的剿抚使击毙。其部众分裂为三支，分别是刘永福的黑旗军、黄崇英