Han var far til president John F. Kennedy, senator og justisminister Robert F. Kennedy, senator Edward M. Kennedy, offiseren Joseph P. Kennedy jr., handikappidrettsforkjemperen Eunice Kennedy Shriver og ambassadør Jean Ann Kennedy Smith.