Hans far, Nguyen Sinh Huy, var en konfutsiansk lærd, og Ho fikk selv en streng konfutsiansk oppdragelse. Han fikk sin gymnasutdannelse ved en skole i Huế som brukte det franske utdanningssystem, den samme skole som hans senere disipler Pham Van Dong og Võ Nguyên Giáp gikk på. I 1915 reiste han til England for å studere kokkekunst, og ble der kjent med kommunismen. Han fortsatte studiene i Paris fra 1917 til 1923. Under forhandlingene i Versailles etter første verdenskrig oppfordret han stormaktene til gjøre noe med situasjonen i fransk Indokina, men han ble ignorert. Etter dette deltok han i å stifte Det franske kommunistparti, og tilbrakte en del tid i Moskva.