Edward Douglass Whites familie drev en stor sukkerrørplantasje og et raffin eri i det sørlige Louisiana. Blant hans forfedre var en US-Marshal, en kongressdelegat og advokat. Hans far Edward Douglass White Sr. hadde vært guvernør i Louisiana og hansd bestefar var kongressmedlemmet James White.