Đại gia đình Sedgwick gắn liền với lịch sử của Massachusetts. Cụ cố của họ, Robert Sedgwick, sinh ra tại Anh và là người Quản lý đầu tiên của Vịnh thuộc địa Massachusetts vào năm 1635. Hầu hết gia đình Sedgwick đều được sinh trưởng tại Stockbridge, Massachusetts nơi mà cụ cố của cô là thẩm phán Theodore Sedgwick sống sau Cách mạng Hoa Kỳ. Theodore cưới Pamela Dwight từ dòng họ Dwight danh giá, cháu gái của Abigail (Williams) Dwight, vậy nên Ephraim Williams – người sáng lập ra trường Đại học Williams – cũng là cụ cố của Edie. Theodore Sedgwick chính là người đầu tiên đệ đơn và bảo vệ thành công một nguyên đơn da màu của lịch sử nước Mỹ, Elizabeth Freeman, chiếu theo việc Tuyên bố về Quyền con người của bang Massachusetts đã ghi mọi người sinh ra đều có quyền sống và bình đẳng. Mẹ của Edie là con gái của Henry Wheeler de Forest (chủ tịch của hãng vận tải Southern Pacific Railroad và là hậu duệ của Jessé de Forest, người đã thành lập nên Công ty Tây Ấn Hà Lan tại Tân Amsterdam). Những người khác trong gia đình Sedgwick còn có thể kể tới nhà văn, luật sư Henry Dwight Sedgwick III, bà cố Susanna Shaw – em gái của Robert Gould Shaw, một tướng trong thời kỳ Nội chiến Hoa Kỳ, ông cố Robert Bowne Minturn sở hữu chiếc thuyền Flying Cloud và là một trong những người xây dựng nên Công viên Trung tâm ở New York. Ngoài ra, còn phải kể tới một cụ cố khác trong gia đình cô là William Ellery – một trong những tác giả của Tuyên ngôn độc lập Hoa Kỳ.