1863年）六月，自逐卜入下雷州的化峒，投王士林部。同治四年（1865年）正月，左江和右江皆为天地会势力所据，各路势力共推吴亚终为首领、小张三为副首领。刘永福被封为左翼大帅，率领二百余人据守安德，同据守郎家圩的吴亚终、黄崇英互相唿应。刘永福的部众以黑底北斗七星为旗号，这就是黑旗军的前身。不久，清广西提督冯子才率军讨伐，刘永福军粮几绝，自广西波斗逃入越南的茶灵，又礼安圩和高平圩。后吴亚终亦自归顺州（今广西靖西市）逃入越南北部。吴亚终随后向越南阮朝投降，获得嗣德帝阮福时的允许。然而不久之后，吴亚终便举兵反叛阮朝