Nacido en Chicago, sus padres, Helen Dunham y Edward Lee Gorey, se divorciaron cuando él contaba once años y se volvieron a casar en 1952, cuando ya tenía veintisiete.