I de neste 21 årene hadde ikke Diệm noen formell stilling, men bodde sammen med familien. Men under den japanske okkupasjonen under andre verdenskrig, forsøkte han i 1942 å få japanerne til å erklære vietnamesisk uavhengighet, uten å lykkes. Han dannet en hemmelig politisk gruppe, men da den franske administrasjonen oppdaget dette i 1944, flyktet han til Saigon, forkledd som japansk offiser.