El bisabuelo materno de Du Bois fue Tom Burghardt, un esclavo nacido en África occidental alrededor de 1730, que fue propiedad del holandés-estadounidense Conraed Burghardt.