グロリア・スワンソン
ハリウッドで、ジョーは当時の人気女優グロリア・スワンソンと浮名を流した。スワンソンは自身の映画制作会社の資金繰りに困っているときにジョーを紹介されたのだった。二人とも既婚者であったが、すぐに情事を重ねるようになり、やがてジョーは自らが製作にあたり、エリッヒ・フォン・シュトロハイム（Erich von Stroheim）を監督にたてて、スワンソンの主演映画『クイーン・ケリー』（Queen Kelly、1929年）を撮り始めた。しかし製作は途中で頓挫、制作費60万ドルが無駄になった。大作映画のプロデューサーとして歴史に名前を残したいというジョーの目論見は終わった。