Avery Dulles var sønn av den protestantiske politiker John Foster Dulles (USAs utenriksminister 1953-1959, som Washington Dulles International Airport er oppkalt etter) og hans hustru Janet Pomeroy Avery Dulles. Hans onkel var Allen Welsh Dulles, som var sjef for CIA (1953–1959). Både hans oldefar John W. Foster og hans grandonkel Robert Lansing hadde srt USAs statssekretærer (U.S. Secretary of State). Bestefar på farssiden, Allen Macy Dulles, var medlem av fakultetet på Auburn Theological Seminary og publiserte innen det teologiske fagområde ekklesiologi.