随吴亚终逃往中国与越南边境一带，据守兴化省水尾州保胜（今越南老街省）一带，向越南阮朝投降。嗣德帝准其投降。吴亚终等人便在保胜建立根据地，开辟山林、耕地。刘永福召集三百名部将，以北斗七星为战旗组建军队，成为黑旗军的前身。1868年，吴亚终反叛阮朝，攻打高平、北宁等地，成为阮朝在北圻的一大祸患。1871年，吴亚终在北宁阵亡，其部众被阮朝剿抚使击溃。吴亚终的余党分为三部：以刘永福为首的黑旗军据保胜；以黄崇英为首的黄旗军据宣光省河杨；梁文利、盘文二为首的白旗军据宣光省陆安州。不久，刘永福攻破陆安州，兼併了白旗军