生成的人工知能
生成AIは、詐欺や思考誘導や世論操作を行う目的で、捏造した顔画像や映像、フェイク音声、フェイク文章などを作成し流通させるために悪用される可能性がある。すでに日本国内においてもStable Diffusionを使って捏造された災害画像が拡散した事例もあり、AIを悪用した詐欺や詐称、名誉毀損は現実の脅威となっている。このため国内外でディープフェイク対策のための研究が進められている。
日本赤十字社東京都支部が、2023年8月26日から9月7日にかけて、関東大震災の体験記などを生成AIに読み込ませることで、新たな「証言」を作成し展示する企画展を計画した。ところが、この計画に対し、SNS上で「記録の捏造である」などの批判が殺到し、同支部は企画展の中止に至った。専門家からは「生成AIは情報の信頼性が担保されておらず、これを使って史実を伝えようとしたことは問題」との指摘が出ている。
2023年、同年夏頃に生成AIを利用して制作されたと推測される日本の内閣総理大臣である岸田文雄の偽動画が動画投稿サイトやSNSに投稿・拡散された。この動画には日本テレビ運営のニュース専門チャンネル「日テレNEWS24」の番組ロゴや「BREAKING NEWS(ニュース速報)」といったテロップもあり、同局は「放送や番組ロゴをこのような形で悪用されたことは到底許すことはできない。