El bisabuelo paterno de William Du Bois fue un franco-estadounidense blanco llamado James Du Bois de Poughkeepsie, Nueva York, que tuvo varios hijos con amantes esclavas.