Allerede i ungdomsårene engasjerte han seg i revolusjonære organisasjonen. Etter Indokinakrigens avslutning og den derpå følgende deling av Vietnam grep Pham Van Khai sjansen til å reise til det kommunistiske nord.