米莉·狄更生的曾祖父为安默斯特学院的创办人之一。祖父塞缪尔狄更生几乎凭借一己之力创办了安默斯特学院。在1813年，他建造了自己的宅第，位于市中心主干道的大宅第，这也成为狄更生家族在那个世纪最好阶段的象征。塞缪尔狄更生的大儿子，埃米莉的父亲爱德华为有名望的律师，担任安默斯特学院的司库接近40年，也曾供职麻州普通法院，以及担任许多届麻州参议院、美国众议院议员，并且代表汉普郡区出席了美国代表议会。1828年5月6日，爱德华迎娶了来自蒙森的埃米莉诺克罗斯。他们有3个孩子：埃米莉有一兄一妹，年轻时跟兄长奥斯汀