ジョセフ・P・ケネディ
その直後の1929年8月、パンテイジスはユーニス・プリングル(Eunice Pringle)なる女性を強姦しようとしたという罪で訴えられる。パンテイジスは濡れ衣であると言い張り、最終的に無罪を勝ち取るが、社会的な信用を失って、会社も結局ジョーのものになった。プリングルは死の床で、すべてはジョーに指示されてやった狂言だったと証言したという。
ハリウッドで、ジョーは当時の人気女優グロリア・スワンソンと浮名を流した。スワンソンは自身の映画制作会社の資金繰りに困っているときにジョーを紹介されたのだった。二人とも既婚者であったが、すぐに情事を重ねるようになり、やがてジョーは自らが製作にあたり、エリッヒ・フォン・シュトロハイム(Erich von Stroheim)を監督にたてて、スワンソンの主演映画『クイーン・ケリー』(Queen Kelly、1929年)を撮り始めた。しかし製作は途中で頓挫、制作費60万ドルが無駄になった。大作映画のプロデューサーとして歴史に名前を残したいというジョーの目論見は終わった。
彼はあきらめず、『侵入者』(The Trespasser、1929年)、『陽気な後家さん』(What a Widow! 1930年)とスワンソン映画の製作を続けたが、スワンソン自身がジョーに愛想を尽かし始めていた。そのきっかけはスワンソンが自分の口座から引き落とした金でジョーが人にプレゼントをしているのに気がついたことだった。