Diệm var født i Nguyễn-dynastiets hovedstad Huế hvor faren Ngô Đình Khả var mandarin hos keiser Thành Thái, hvor han steg i gradene og ble til slutt sjef for hoffet. Da keiser Thành Thái i 1907 ble avsatt av de franske kolonimaktene etter at han hadde protestert mot kolonistyret, trakk også Ngô Đình Khả seg fra sine stillinger og ble jordbruker. Diệm vokste deretter opp i landsbyen Phu Cam i det sentrale Vietnam.