哈特·杜波依斯于1868年2月23日出生于马萨诸塞州大巴灵顿，父母是阿尔弗雷德（Alfred）和玛丽·希尔维娜（Mary Silvina）（娘家姓伯格哈特）杜波依斯夫妇。玛丽·希尔维娜·伯格哈特的家族属于大巴灵顿少有的自由黑人，拥有长期土地所有权；她具有荷兰、非洲和英国血统。 杜波依斯的高外祖父汤姆·伯格哈特是（1730年左右出生在西非）一个荷兰殖民者康拉德·伯格哈特的奴隶，美国独立战争期间汤姆在大陆军中服役，并因此获得了自由。 汤姆的儿子杰克·伯格哈特是奥赛罗·伯格哈特的父亲，奥赛罗是玛丽·希尔维娜·伯格