会的起义军，响应太平天国运动。但太平天国运动最终失败，刘永福于1863年随吴亚终（又名吴鲲）退往归顺州（今广西靖西县），为广西提督冯子才所败。1865年，刘永福又随吴亚终逃往中国与越南边境一带，据守兴化省水尾州保胜（今越南老街省）一带，向越南阮朝投降。嗣德帝准其投降。吴亚终等人便在保胜建立根据地，开辟山林、耕地。刘永福召集三百名部将，以北斗七星为战旗组建军队，成为黑旗军的前身。1868年，吴亚终反叛阮朝，攻打高平、北宁等地，成为阮朝在北圻的一大祸患。1871年，吴亚终在北宁阵亡，其部众被阮朝剿抚使击溃。