永福被封为左翼大帅，率领二百余人据守安德，同据守郎家圩的吴亚终、黄崇英互相唿应。刘永福的部众以黑底北斗七星为旗号，这就是黑旗军的前身。不久，清广西提督冯子才率军讨伐，刘永福军粮几绝，自广西波斗逃入越南的茶灵，又礼安圩和高平圩。后吴亚终亦自归顺州（今广西靖西市）逃入越南北部。吴亚终随后向越南阮朝投降，获得嗣德帝阮福时的允许。然而不久之后，吴亚终便举兵反叛阮朝。1868年，刘永福攻盘踞陆安州的盘文二（一作盘文义），联合其部将覃采元以计杀之。后又攻灭盘踞兴化省水尾县保胜（今属老街省）一带的广东土匪何均昌，佔领