逐渐兼併周围的中国山贼势力。1870年，吴亚终在攻打北宁省城的时候，被越南的剿抚使击毙。其部众分裂为三支，分别是刘永福的黑旗军、黄崇英的黄旗军和梁文利的白旗军。而吴亚终的外甥黄崇英则盘踞河江一带，与黑旗军同为这一带的两大山贼势力。黑旗军和黄旗军在宣光、太原一带争夺地盘，并在各自辖境之内征收赋税。而当时越南北部山贼和叛军林立，阮朝根本无法制之。嗣德帝派段寿为总督北圻军务，赴谅山指挥镇压，但不久遭到另一路起义军首领苏泗（苏国汉）擒杀。嗣德帝在无奈之下派遣驸马黄继炎为谅平宁太统督军务大臣，会同山西赞襄尊室