凌云在与清军交战中阵亡，其子吴亚终逃到归顺府（今靖西市），同黄崇英合兵，据归顺府的郎家圩，与客练黄泽宏暗中往来。1868年，广西提督冯子才率军围剿，吴亚终战败，黄崇英随吴亚终一起率军逃入越南境内，向越南阮朝投降，但不久复叛。1869年，吴亚终在攻打北宁省城的时候中枪身亡，部众分为黄旗军、黑旗军、白旗军三支。其中，黄旗军由黄崇英领导，黑旗军由刘永福领导，白旗军由盘文二、梁文利领导。翌年，黄崇英在水尾州保乐白苗界内再次举起反清大旗，并佔据了越南的河杨。黄旗军和黑旗军佔据着越南北部山区，设置关卡、向百姓征收税