Мать Седжвик была дочерью Генри Вилера Дe Лес (президента и председателя правления Южной Тихоокеанской Железной дороги и прямого потомка Джесси Дe Лес, чья Голландская Вест-Индская компания помогла построить Новый Амстердам). Джесси Дe Лес был также седьмым прадедом Эди. Её дедушка по линии отца был историк ; её прабабушка, Сюзанна Шоу, была сестрой , американского полковника времён Гражданской войны; её прапрадед, , был совладельцем клипера «Flying Cloud», и ему приписывается создание и продвижения Центрального парка в Нью-Йорке. Прапрапрадед Эди, , был одним из тех, кто подписывал Декларацию независимости Соединенных Штатов. Она была кузиной актрисы Киры Седжвик, а также актёра Роберта Седжвика — Кира, отец Роберта и Эди были кузенами. Эди Седжвик в 1963—1964 г. обучалась в Кембриджском университете на факультете искусств по специальности скульптор.