Stable Diffusion
OpenAIが提供する画像生成AIはディープフェイクに悪用されないように、特定のリクエストの入力をブロックするような対策がされている一方で、Stable Diffusionは名目上ポルノ生成を抑止するような方策が取られているものの、実際にはそれを回避した性的なコンテンツの生成が可能である。カリフォルニア大学バークレー校教授のハニー・ファリドによれば、インターネット上に公開された何億もの画像データを学習する過程で、女性を性的に扱うバイアスが反映されるため、モデルの出力を100%制御することは困難であるとされる。
Kickstarterでは、Stable Diffusionによるポルノの作成を目指す出資プロジェクトが、集めた資金で既存の画像を学習データとして利用することが、多くのアーティストから批判されていることを受け、AIアートに関する条項を変更し、プロジェクトをブロックした。
生成AIの負の側面として、詐欺や思考誘導、世論操作を行う目的で、捏造した顔画像や映像、フェイク音声、フェイク文章といったフェイクメディアを流通させる可能性が懸念されている。すでに国内においてもStable Diffusionを使って捏造された災害画像が拡散する事例もあり、AIを悪用した詐欺や詐称、名誉毀損は現実の脅威となっている。このため国内外で対策のための研究が進められている。