939年，法属印度支那政府宣布印度支那共产党为非法政府，开始逮捕其中成员，武元甲与胡志明一同逃往中国，在广西一带活动。1941年5月，第一届第八次中央会议在高平省原平县的北坡林区举行，决定成立越南独立同盟会，简称越盟。武元甲负责越盟总部军事委员会，在中国国民党的资助与协助训练下，建立军队，在越南进行游击战。1944年12月22日负责组织“越南解放军宣传队”，三天后在高平省的费克和那银首战告捷，任北圻革命军事委员会委员，越南解放军总指挥。1945年8月随胡志明进驻河内，越南民主共和国成立后，任国防部部长。