但事实上，红河上游被黑旗军控制，外国人的贸易受到黑旗军的阻拦。1882年，法国海军上校李威利以剷除黑旗军为名义来到北圻，攻破河内、南定等地，拉开了北圻远征的序幕。嗣德帝希望内以黑旗军为援、外以清朝为援抗击法国，便派范慎遹出使清朝求援，清朝派唐景崧、徐延旭出兵驻扎北圻。另一方面，奉黄继炎之命，刘永福担任先锋，率黑旗军驻扎怀德府。李威利率军攻打怀德府，在纸桥被黑旗军击毙。这一战震惊了法国，法国政府派南圻的少将率兵前往北圻，攻打黑旗军于望乡。在三天的战斗之后，黑旗军被迫退驻冯屯。波滑虽胜，但无力继续攻打黑旗军