Du Bois' foreldre var Alfred Du Bois og Mary Silvina Burghardt Du Bois. Han vokste opp i Great Barrington, som hovedsakelig er en anglo-amerikansk by i Massachusetts. Deres familie stammet opprinnelig fra nederlandske og afrikanske forfedre. Tom Burghardt, en slave født i Vest-Afrika rundt 1730, fikk sin frihet ved tjeneste i 1780 under den amerikanske revolusjonen som en menig soldat i kaptein John Spoors kompani. Ifølge Du Bois var flere av hans mors forfedre spesielt involvert i hjemstedets regional historie.