Phyllis Piddington era la mayor de las dos hijas de William James, un óptico establecido en Melbourne, y Lilian Ethel Aird.