在中国国民党的资助与协助训练下，建立军队，在越南进行游击战。1944年12月22日负责组织“越南解放军宣传队”，三天后在高平省的费克和那银首战告捷，任北圻革命军事委员会委员，越南解放军总指挥。1945年8月随胡志明进驻河内，越南民主共和国成立后，任国防部部长。1946年12月19日，抗法战争爆发，任国家军队和民兵自卫队总指挥。至1950年，武元甲已建立起一支包含4个步兵师的正规部队，总兵力达1万人。1953年12月，集中4万多人进攻奠边府，共歼灭法军1.6万人，1954年法国不得不与越南签订《日内瓦停战