Edward Kennedy ble født i Dorchester-nabolaget i Boston. Han var den yngste av barna til Joseph P. Kennedy sr. og Rose Fitzgerald, som begge kom fra prominente katolske irsk-amerikanske familier i Boston. Han vokste opp blant annet i Brookline i Massachusetts sammen sine tre brødre (den senere president John F. Kennedy, den senere justisminister Robert F. Kennedy og storebroren Joseph Patrick Kennedy jr. som falt under annen verdenskrig) og seks søstre. Familien flyttet ofte, og som barn bodde han også i kortere perioder i Bronxville i New York, Hyannis Port i Massachusetts, Palm Beach i Florida samt i London. Han hadde gått på ti forskjellige skoler før han fylte elleve år. Som syvåring mottok han sin første kommunion (nattverd) av pave Pius XII i Vatikanet.