ホアン・ヴァン・タイは1915年、ダイホアン總アンカン村（現在のタイビン省ティエンハイ県タイアン）に生まれた。本名はホアン・ヴァン・シエン（）。別名、ムオイ・カン（）。1938年、インドシナ共産党に参加。1941年、バクソン救国軍の部隊指揮官となる。軍事学校を卒業後、1945年の八月革命において日本軍への抵抗運動を開始した。彼は34人の兵士の1人として、1944年12月22日の「ベトナム解放軍宣伝隊」（ベトナム人民軍の前身）設立会議に参加した。