Ethel Kennedys mor var katolikk med irske røtter, og hennes far protestant med nederlandsk bakgrunn. Hun hadde seks søsken, og barneflokken ble oppdratt som katolikker. Hennes far bygde opp et selskap i kullbransjen, The Great Lakes Carbon Corporation, og ble med tiden en av USAs mest formuende personer. Da hun var fem år gammel flyttet familien østover. De hadde flere bosteder før de slo seg ned i Greenwich i Connecticut.