Joseph og Rose Kennedy sørget for at barna fikk en god skolegang, slik de selv hadde fått av sine foreldre. Joseph Kennedy var sønn av Patrick Kennedy (1858–1929), som var politiker i Boston. Selv om mange av barna gjorde suksess innen politikken var det like mye på grunn av alle tragediene i familien at Kennedy-navnet ble kjent. Joseph og Rose opplevde å miste to barn i flyulykker, og to andre ble offer for attentat (henholdsvis i 1963 og 1968). Et femte barn, datteren Rosemary, var født lettere tilbakestående og ble under krigen offer for en mislykket lobotomering, noe som førte til at hun tilbrakte resten av livet på institusjon. I 1961 ble Joseph rammet av slag og kom seg aldri helt igjen. Han døde i 1969, 81 år gammel.