督黄桂兰知其熟悉安南地理，便招其至麾下，派其守卫兴安、水东等地。翌年，法国军队进功南定，张锦芳先发制人，率部离开防区出击，但战败。上级未加责备，派其赴狗头山、海圻等地招兵，编成应字营、良字营、岳字营、润字营这4个营，任命他为岳字营帮带兼营务处文案，驻安南北宁，相机帮助黑旗军。光绪九年八月（1883年），法军攻占安南顺化，迫使安南签订了《顺化条约》。同年十二月中旬，法军进攻驻安南的中国军队，中法战争爆发。山西、北宁相继被法军占领。张锦芳率岳字营在大部队撤退时殿后，退驻谅山公馆圩，在清花江观音桥设伏，“毙敌