Allen Walsh Dulles kom fra en diplomatfamilie. Han var et av fem barn til den presbyterianske pastor Allen Macy Dulles og hans hustru Edith ( Foster) Dulles. Han var fem år yngre enn sin bror John Foster Dulles, som ble president Dwight D. Eisenhowers statssekretær (utenriksminister) og forman og seniorpartner hos Sullivan & Cromwell, og to år eldre enn sin søster, diplomaten Eleanor Lansing Dulles. Hans morfar, John W. Foster, var statssekretær under Benjamin Harrison, mens hans onkel ved ekteskap, Robert Lansing var statssekretær under Woodrow Wilson.