1961年12月19日、ジョーは自宅で脳梗塞の発作を起こした。一命は取り留めたものの、失語症および右半身不随となった。以降はジョーにとって悲痛な晩年となった。大統領の座に押し上げた息子のジャックは1963年11月22日に遊説中に暗殺され、兄の後を次いで大統領を目指したボビーまで1968年6月6日に暗殺された。末っ子のテッドも上院議員となり、兄たちの果たせなかった夢を果たそうとしたが、1969年7月18日に起こしたチャパキディック事件で大統領への道を絶たれた。1969年11月18日、波乱の生涯を送ったジョーは家族に見守られながら静かに息を引き取った。81歳であった。妻ローズは長命で、1995年に104歳でこの世を去った。
自身の政治家生命が絶たれたあと、ジョーの望みは息子たちをアメリカ大統領の座につかせることだった。そのため、ジョーは戦後、自分は表に出ずに陰から息子たちをバックアップするようになった。ジョーは大使時代の失態や相場師としての悪評、密輸ビジネス、マフィアとの関係、ルーズベルト大統領への批判、マッカーシー議員との親密さなどジャックの大統領選挙活動にとってマイナスになることが多すぎたため、裏に隠れざるを得なかった。しかし、ジャックの大統領選挙活動もあって実際に中心にいるのがジョーであることは誰の眼にも明らかだった。ジョーは選挙資金を出すだけでなく、メディアの利用の仕方、政治家たちとの駆け引き、裏社会との交渉、自己イメージの演出法など己の人生で得た知識のすべてをジャックに叩き込んだ。大統領を目指すジャックにとって父親は最強のブレーンであり、サポーターであった。1961年1月20日、ジョン・F・ケネディは第35代アメリカ合衆国大統領に就任。弟のボビーは司法長官として入閣した。しかし、ジョーがフィクサーとしてアメリカ合衆国を自らの手でコントロールできる喜びに浸れたのもつかの間だった。
ジョーは共和党のジョセフ・マッカーシー上院議員と親しかった。二人の間にはアイリッシュという共通点があった。ジョーはマッカーシーを気に入り、1940年代から自宅によく招いていた。マッカーシーが1950年代に「赤狩り」で名をはせると、ジョーはマッカーシーに資金援助を行い公然とこれを支持した。ジョーは息子のボビーを上院政府活動委員会常設調査小委員会の主任弁護士とさせようとしたが、マッカーシーはロイ・コーンを主任弁護士としてボビーは補佐弁護士とした。マッカーシーのやり方が信用を失い1954年12月2日に上院で彼の問責決議が行われたとき、ジャックは民主党の上院議員として賛成票を投ずべき立場だったが、入院中ということで投票を放棄し、マッカーシーとの友情を守った。
ジョー・ケネディの権力基盤は莫大な財産と幅広いコネクション、特にアイルランド系アメリカ人コミュニティーがその基盤となった。特にボストン、ニューヨーク、シカゴ、ピッツバーグといった大都市のアイルランド人コミュニティーに築いた強固な基盤は息子ジャックのホワイトハウス入りの大きな推進力となった。
ジョーの生涯の信条の一つに反ユダヤ主義があった。ジョーの友人やビジネス・パートナー、重要な取引相手に多くのユダヤ人がいることと、自身が反ユダヤ主義を再三表明したり、ユダヤ人を「カイク」と蔑称することは、彼にとってまったく矛盾でなかった。大使時代には在英国ドイツ大使ヘルベルト・フォン・ダークセンと親しく語り、ナチスによるユダヤ人迫害政策を支持するような発言や「アメリカには非常に強い反ユダヤ主義的傾向がある」などと発言した。また、ジョーは英国大使時代にレディ・アスター（ナンシー・アスター）を中心とする反ユダヤ主義の政治サロン（アスター邸の地名から「クリブデン・セット」と称された）と親しくなり、その反ユダヤ主義発言をエスカレートさせた。そのグループには有名な飛行家でナチスのシンパとして知られたチャールズ・リンドバーグもいた。大使時代、新聞や雑誌のインタビューでしばしば反ユダヤ的発言を繰り返し、「ユダヤ人への迫害は自業自得」「合衆国の民主主義はユダヤ人の作品」「ユダヤ人が合衆国を動かしている」などと発言して、各方面から顰蹙を買った。結果的にこのような極端な反ユダヤ主義的言動がジョーの政治生命を終わらせる原因の一つになった。
若頭補佐には、山本健一、山本広、中山美一、白神英雄（白神一朝とも名乗った）、小田秀臣、小田芳一（小田吉一とも名乗った）が任命された
同年6月、田岡一雄は、兵庫県警から、神戸芸能社の無許可営業について、臨床尋問を受けた
同年、山健組組員が有馬温泉の賭場で勝ち、一部の儲けを山本健一に上納した
山本健一は、山健組組員で山健組の拳銃管理担当だった松下靖男（後の五代目山口組若中）に指示して2丁の拳銃を出させ、山健組若頭・東徳七郎に指示して、上納金を納めた山健組組員に、拳銃2丁を贈答した
その後、拳銃をもらった山健組組員は、喧嘩を起こし、山本からもらった拳銃で相手を殴り倒して、大阪府警に逮捕された
大阪府警は、拳銃の入手先を追及したが、自供しなかった
しかし、大阪府警は、逮捕した山健組組員の妻から、拳銃が山本健一から渡ったものだという供述を引き出した
1969年3月、山本健一、東徳七郎ら山健組組員5人が銃砲刀剣類所持等取締法違反で逮捕された
山本の舎弟・尻池実や松下靖男ら山健組組員4人が指名手配された
同年4月14日から同年4月17日まで、神戸地裁は、関西労災病院で、田岡一雄を取り調べた
同年4月25日、梶原清晴が、恐喝容疑で兵庫県警に逮捕された
同日、神戸地裁は、田岡一雄を、恐喝や威力業務妨害容疑で在宅起訴した
しかし、兵庫県警は、田岡一雄を刑務所に送ることはできなかった