Douglas Harriman Kennedy er det tiende barn av justisminister og presidentkandidat Robert F. Kennedy (1925-1968) og hans hustru Ethel Skakel Kennedy (1928-2024). Hans mellomnavn er en oppkallelse etter W. Averell Harriman, en venn av familien, forretningsmann og ambassadør, og tidligere guvernør i delstaten New York.