廷瑾是阮朝成泰皇帝的大臣吴廷可6个儿子中的第5个。吴廷可抗议法国人废黜成泰皇帝，辞职回乡务农。吴廷瑾的大哥吴廷魁和三哥吴廷琰都担任法国殖民政府的省长。不过，吴廷琰像父亲一样，也在1933年辞职。1945年，吴廷魁因拒绝与越共合作，被胡志明政府杀害。二哥吴廷俶成为一名罗马天主教神职人员，后来强烈影响了家族的宗教政策。四哥吴廷瑈后来成为家族中最重要的政治策略家，而六弟吴廷练在吴氏家族执掌南越政权后成为一名外交官。