パトリック・ジョセフは、貧しいカトリック系移民のパトリック・ケネディとブリジット・ケネディ（旧姓マーフィー）夫妻の5人目の子供として生まれた。両親はアイルランドのウェックスフォード県ニューロスの出身であったが、カトリック教徒が資産を所有する、教育を受けることなどを禁じたカトリック罰則法（クラレンドン法典）と飢饉が脅威となって、アメリカへの移住を決めた。そして大西洋を横断し、マサチューセッツ州のボストンにたどり着いた。