永福得知后向阮朝效忠，并协助阮朝攻打黄旗军。1872年，法国商人涂普义溯湄公河而上，前往中国云南贸易。对于这些法国商队，黄崇英给予放行。翌年，安邺大尉率法军突袭北圻，黄崇英派黄旗军前去带路，最终攻破了河内，是为北圻变故。1874年，清朝广西巡抚刘长佑派刘玉成、赵沃出兵越南，协助阮朝镇压黄旗军。翌年，赵沃连破底定县、襄安府，进兵至保乐，当地土民及白苗投降。黄崇英战败，丧失了其在河杨的根据地，逃往永祥府朱尚乡。尊室说率阮朝官军前去讨伐，大破之，将其擒获诛杀。此后，黄旗军势力逐渐瓦解。