ディープフェイク

ディープフェイク（英: deepfake）とは、「ディープラーニング（深層学習）」と「フェイク（偽物）」を組み合わせた造語。詐欺などを目的に悪意を持って本物のように合成された偽画像、偽音声、偽映像を指す。 この用語は人工知能を応用したメディア合成技術全般を指して使用されることもあるが、悪意を持って使われた場合にのみディープフェイクと呼び、そうでない場合には合成メディア（英語版）として区別することもある。 ディープフェイクによるフェイクニュース、デマ、プロパガンダは、民主的な意思決定を妨げ、民主主義の機能や規範を損なう可能性があると指摘されており、規制を求める意見が増えている。ほかにも詐欺、いじめ、児童ポルノ、フェイクポルノ、リベンジポルノなどへの利用が懸念されている。 技術的には「敵対的生成ネットワーク（GANs）」を使用して、既存の画像や映像を、ある意図に沿った別の画像または映像に重ね合わせて（スーパーインポーズ）結合する手法や、生成的人工知能を用いたテキストなどのプロンプトから生成する手法などがある。 写真の偽造は歴史上数多く存在していたが、精巧な偽造は手間がかかり、動画の偽造はより困難だった。しかし、ディープフェイク技術の進化により偽造のコストが低下し、さらに偽の動画を作成することが可能となってきている。 ディープフェイクは偽情報の拡散だけでなく、標的が絞られた名誉毀損、なりすまし、デマやリベンジポルノなどの犯罪応用が想定されている。ディープフェイクはデータに対する疑念を生み出し、社会的な課題の特定、問題の議論、決定、政治的意志の行使による問題の解決など、社会における民主的機能を妨害する可能性があると指摘されている。 また、ディープフェイクは真偽の判断の難しいメディアや信念に影響を与えるのに十分に説得力のあるメディアを作成することで、世論に悪影響を与えることができる。 著名人や政治家の肖像を用いディープフェイクを作成して投資詐欺、金融詐欺の嘘の信頼性を向上させることや、声を含めた個人情報がフィッシング、特殊詐欺などの巧妙化に悪用されている。 ディープフェイク音声（英語版）は、詐欺などに悪用されている。2023年の時点では、数秒から1分ほどの音声データから個人の声を複製できるディープフェイク技術と、テキスト生成ツールの組み合わせにより、友人や家族のデジタルクローンを作成して被害者を狙うなりすまし詐欺を自動化することが可能になった。 有名人の肖像を悪用してフェイクポルノ動画が作成されることがある。エマ・ワトソン、スカーレット・ヨハンソン、テイラー・スウィフトなど女性有名人がフェイクポルノ被害に遭っている。また、ディープフェイク技術により、既存の児童ポルノから新たな児童性的虐待コンテンツ（CSAM）を作成したり、存在しないCSAMを作成できるようになった。ディープフェイクで作成された児童ポルノは名誉毀損、グルーミング、恐喝、いじめなどの子供に現実的な悪影響を与えることが懸念されている。 ディープフェイクは、冤罪を生み出すために使用される可能性がある。合衆国議会調査局の報告書は、スパイ行為等を目的に政治家や機密情報にアクセスできる人物を脅迫するためにディープフェイクが使用される可能性があると警告した。 ディープフェイクは、オンラインを含むメディアで架空のデータやメディアを用いたフェイクニュースや架空の人物（ソックパペット）を作成するために使用され、政治的な虚偽報道や悪意のあるでっち上げを作成するためにも使用される 。選挙運動で対立候補を陥れるネガティブ・キャンペーン、政権政党への批判、戦時下における扇動などの工作にも使われている。 2019年、英国のエネルギー企業のCEOが音声ディープフェイク技術により同社の親会社の最高経営責任者の声になりすました人物から電話を受け、ハンガリーのある銀行口座に22万ユーロを送金した。 2023年、日本テレビは同局で製作・放送されているニュース番組や同局所属のアナウンサーを生成AIで加工して投資を呼びかける偽動画（なりすまし広告）が確認されているとして、同局は同動画の制作に関与しておらず、投資の推奨も行っていないことを表明する事態になった。 2024年、香港でディープフェイクを使った詐欺事件が発生した。ディープフェイクを使って上司および複数の会社員になりすまし、従業員に送金を要求することに成功した。 2023年ごろから著名人（森永卓郎、堀江貴文など）が主催していると偽り架空のインターネット投資講座の広告を打ち出し、ディープフェイクによる著名人の偽音声で投資アプリに誘導して振り込まれた金銭を横領する詐欺が増えた。この投資アプリも表示上儲かっているように見せるだけで実際には投資が行われていないと見られる。 テイラー・スウィフト、トム・ハンクス、オプラ・ウィンフリー、イーロン・マスクなどの有名人が、提示した金額より大幅に高額な料金を請求するダイエットグミ、偽のiPhoneのプレゼント企画、詐欺的な情報商材、投資ネタ、および暗号通貨の儲け話などを推奨しているかのように見せるフェイク動画が詐欺広告としてYouTube、Facebook、TikTokの広告に掲載されていた。これらの有名人を用いたディープフェイクのひとつでは、数千のビデオが作成され1億9500万回以上視聴されているなど広く拡散された。 セキュリティソフトメーカーのマカフィーが2023年5月15日に発表した調査では、調査対象の7,000 人のうち4人に1人の割合で自分もしくは知人が被害に遭遇した経験があるとし、被害者の77 %が騙されて金銭を支払ったと回答した。 2024年1月頃には歌手のテイラー・スウィフトが性的なディープフェイクを画像生成AIで作成されてソーシャルメディア上で拡散する事案があった。この画像はマイクロソフトの画像生成AI「マイクロソフト・デザイナー」により作成された疑いがある。 サイバーセキュリティ会社「DeepTrace」の2019年10月の調査によると、過去7か月で1万4,678件のディープフェイク動画が確認され、1年で倍増しており、その96 %がポルノ動画だった。 アルゼンチン大統領のマウリシオ・マクリの顔はアドルフ・ヒトラーの顔に、そしてアンゲラ・メルケルの顔はドナルド・トランプの顔に置き換えられた。 トランプが中国を訪問していた2017年11月に中国企業のiFlytek（英語版）は流暢な中国語を話して自社とAIを褒めたたえるトランプのディープフェイクを披露して波紋を呼んだ。 2018年4月、ジョーダン・ピールとジョナ・ペレッティ（英語版）は、ディープフェイクの危険性に関する公共広告として、バラク・オバマを使ったディープフェイクを作成した。 2019年1月、KCPQは、オーバルオフィス（大統領執務室）におけるトランプの演説のディープフェイクを放映し、彼の外観と肌の色をあざけった。 2020年9月29日、超党派の政治団体RepresentUsが作成した北朝鮮の指導者金正恩とロシアのウラジーミル・プーチン大統領のディープフェイクがYouTubeにアップロードされた。 金とプーチンのディープフェイクは、外国勢力による米国選挙への干渉は米国の民主主義に有害であるという考えを伝えるコマーシャルとして一般に放映されることを意図していた。このコマーシャルはまた、アメリカ人に民主主義がいかに脆いものであるか、またメディアやニュースが信頼性に関係なく国の進路にいかに大きな影響を与える可能性があるかを認識させ、ショックを与えることを目的としていた。コマーシャルには映像が本物ではないことを説明するコメントが含まれていたが、混乱を恐れた結果、最終的に放送されなかった。 2022年3月16日、2022年のロシアによるウクライナ侵攻の最中、ウクライナ大統領のヴォロディミル・ゼレンスキーが兵士らに武器を捨てて降伏するよう指示しているかのような様子を描いた1分間のディープフェイク動画がソーシャルメディア上で拡散された。ロシアのメディア企業がそれを拡散したが、フェイクが暴かれた後に削除された。ツイッターは、フェイクであることを明示したツイートで動画を投稿することを許可したが、騙す目的で投稿された場合は削除するとの方針を示した。ハッカーらはウクライナのテレビ局のニューススクロールにゼレンスキーが首都キーウから逃亡したとする虚偽の情報を挿入し、そのビデオは同局のウェブサイトに一時的に掲載された。ディープフェイクを作成した犯人はすぐには明らかにならなかったが、ゼレンスキーは自身の動画で「武器を放棄するつもりはない。勝利するまでは」と述べた。 2022年から始まったロシアのウクライナ侵攻では、当初からディープフェイクとみられる複数の映像が拡散されている 2023年、AI技術を駆使しニュース番組の画面に見せかけた上で当時の日本の内閣総理大臣岸田文雄が卑猥な言葉を発してるように見せたディープフェイク動画がSNSで拡散された。 2023年6月5日、謎の情報源により複数のラジオおよびテレビでプーチン大統領のディープフェイクが放送された。この映像では、プーチン大統領がロシアの侵攻を発表し、軍の総動員を呼びかける演説を行っているように見せていた。 2023年3月、匿名の人物がMidjourneyを利用して、バレンシアガの白いジャケットを着たローマ教皇フランシスコの偽画像を作成した。この画像は急速に広まり、2000万回以上の閲覧数を記録した。作家のライアン・ブロデリックはこれを「初の本格的な大衆レベルのAI誤報事件」と呼んだ。 オンラインメディアのSlateから相談を受けた専門家は、この画像は洗練されていないとして、「5年前ならPhotoshopで作成できたかもしれない」と述べた。 オリバー・テイラーという架空の人物は、新聞に意見記事を投稿し、オンラインメディアでイギリスのある法学者とその妻を「テロリストの同調者」として攻撃する活動を行った。この学者は2018年、イスラエルのスパイウェア企業NSO Groupの電話ハッキング技術の被害者であるとされるメキシコ人を代表して、NSO Groupに対してイスラエルで訴訟を起こし国際的な注目を集めた。ロイターはオリバー・テイラーに関するわずかな記録しか見つけられず、「彼の」大学には所属を示す記録が存在しなかった。プロフィール写真がディープフェイクであることについて多くの専門家の意見が一致した。新聞社は、同人物によるとされる記事を撤回したり、ウェブサイトから削除した。このような手法が偽情報の新たな戦場となることが懸念されている。 ソーシャルネットワーク上の存在しない人物のディープフェイクは、イスラエル右派プロパガンダの一環として展開されている。 フェイスブックのページ「シオニストの春」には、その架空の人物がいかにして左派から右派に転向したのかを説明すると称する「証言」とともに、実在しない人物の写真が掲載されており、そのページにはイスラエルのベンヤミン・ネタニヤフ首相とその息子、そして他のイスラエル右翼筋からの情報が多数掲載されていた。写真の多くは、実在の人物の写真からデータを取得して、存在しない人物のリアルな合成画像を生成するディープフェイクによるものと見られる。 「証言」の多くでは、右派を支持する理由として、ネタニヤフに対する暴力への扇動を知ったショックが挙げられている。イスラエルの右派メディアは、実在しない人物であるにもかかわらず、これらの「証言」を放送した。他のフェイスブックの架空のプロフィールには、右派の政治家に対する攻撃を促しているとも見れる内容が含まれており、これに反応してネタニヤフは首相殺害計画があったと訴えた。 ハリウッドの名作映画の俳優を別人に入れ替える際にディープフェイクを用いることで、笑いを取るものがある。コントローラーシフトフェイスというYouTuberは映画『ホーム・アローン』の主演であるマコーレ・カルキンをシルバー・スタローンに入れ替えた動画を作成したり、ダープフェイクスというYouTuberが映画『サウンド・オブ・ミュージック』から『ファイト・クラブ』まで出演者の顔をニコラス・ケイジの顔に替えた映画を集めた「ニコラス・ケイジ・メガ・ミックス」を作成した。 日本赤十字社東京都支部が、関東大震災から100年に際しての体験記などを生成AIに読み込ませることで、新たな「証言」を作成し展示する企画展を計画した。ところが、この計画に対し、SNS上で「記録の捏造である」などの批判が殺到し、同支部は企画展の中止に至った。 2024年3月、欧州議会は偽情報対策のため生成AIで作成したコンテンツに明示義務を課すAI法（人工知能法）を可決した。違反したプロバイダには巨額の制裁金が課せられる。 アメリカでは選挙介入やフェイクニュースに利用される懸念があり、ディープフェイクの問題に対して立法の動きが見られる。 2018年に悪意のあるディープフェイクを禁止する法案が上院に提出され、2019年にディープフェイク責任法が下院に提出された。バージニア州、テキサス州、カリフォルニア州、ニューヨーク州など、いくつかの州でもディープフェイクに関する法を導入している。 2019年10月3日、カリフォルニア州知事ギャビン・ニューサムは法案第602号および第730号に署名した。法案第602号は、同意なしに作成された性的なディープフェイクの標的となった個人に対し、コンテンツの作成者に対する訴訟請求権を規定する。法案第730号は、選挙期間の60日間における公職への立候補者をターゲットにしたディープフェイク音声またはディープフェイク動画の配布を禁止する。なりすまし、サイバーストーカー、リベンジポルノのようなさまざまなものが告発する包括的な法令の制定を目指す動きもある。 2019年11月、中国では政府のサイバースペース管理局が、ディープフェイクやその他の偽造された映像にはフェイクであることを明示する必要があると発表し、従わない場合は犯罪とみなされる可能性があると通知した。中国政府は、規則を遵守しないユーザーとプラットフォームの両方を訴追する権限を有する可能性がある。 イギリスでは、”嫌がらせ目的”としてでしかディープフェイクの製作者を起訴できず、ディープフェイクそれ自体を犯罪に指定することが求められている。 オーストラリアはフェイクポルノの温床となっているディープフェイクの製作を規制する法律を設けている。 AI研究者のアレックス・シャンパンダルは、ディープフェイク技術によって世界がいかに早く混乱するかが知られるべきであり、この問題は技術的な問題ではなく、むしろ情報とジャーナリズムへの信頼によって解決されるべき問題であると述べた。問題はメディアの内容が真実かどうかを判断できない時代に人類が陥る可能性であるとした。 南カリフォルニア大学のコンピューター科学者ハオ・リーは、ディープフェイク技術の認識を広めるために何もしなければ、フェイクニュースなどの悪意のある使用のために作成されたディープフェイクはさらに有害になるだろうと述べている。リーは、人工知能とコンピューターグラフィックスの急速な進歩により、2019年10月の時点で、早ければ半年以内には本物の動画とディープフェイクの区別がつかなくなるだろうと予測した。 グーグルで詐欺対策に従事していたシュマン・ゴーセマジュムダー（英語版）は、ディープフェイクを「社会的問題」の領域とし、ディープフェイクは必然的に自動生成の段階まで進化し、個人がその技術を利用して何百万ものディープフェイク動画を制作できる可能性があると述べた。 スイスに本社を置く新聞社であるAargauer Zeitung（英語版）は、人工知能を使った画像やビデオの操作は、危険な大量のメディアがあふれることになる可能性があると述べている。しかし、画像やビデオの改ざん自体は、動画編集ソフトウェアや画像編集ソフトウェアの登場よりもずっと古いものであり、このたびのディープフェイクの場合、新しい側面はそのリアリズムにあると主張している。 Twitter（現・X）やGfycatなどのいくつかのウェブサイトでは、ディープフェイクのコンテンツを削除し、その発行元をブロックすると発表している。以前、チャットプラットフォームのDiscordは、有名人のフェイクポルノビデオのチャットチャンネルをブロックした。ポルノグラフィのウェブサイトの Pornhubもそのようなコンテンツをブロックする予定であるが、その禁止を強制していないと報告されている 。 Redditでは、2018年2月7日に「不本意のポルノ」のポリシー違反により、subreddit（Redditのサブフォーラム）が一時停止されるまで、初期の状態が削除されないまま残っていた 。2018年9月、グーグルは、誰もが自分の本物あるいは偽物ヌードのブロックを要求でき、その禁止リストに「不本意の合成ポルノ画像」を追加した。 2018年1月、FakeAppというデスクトップのアプリケーションが発表された。このアプリケーションでは、ユーザーが顔を入替えた動画を簡単に作成および共有できる 。 2018年8月、カリフォルニア大学バークレー校の研究者は、人工知能を使って子供をプロのダンサーに置き換えることができるフェイクダンスアプリケーションを紹介する論文を発表した。 2019年8月、中国で1枚の顔写真でディープフェイクを作成できるZAOというアプリケーションが発表されて同年9月にApp Storeの人気ランキングで1位になるもユーザーの同意なしにデータを使用される可能性があるプライバシーポリシーが物議を醸した、 ^ a b ディープフェイクの衝撃―ＡＩ技術がもたらす破壊と創造 笹原 和俊【著】p.46-47 ^ a b ディープフェイク　ニセ情報の拡散者たち　ニーナ・シック【著】p.7-9 ^ AI vs.民主主義 : 高度化する世論操作の深層 (NHK出版新書) p.46 ^ a b c Pawelec, M (2022). “Deepfakes and Democracy (Theory): How Synthetic Audio-Visual Media for Disinformation and Hate Speech Threaten Core Democratic Functions.”. Digital Society: Ethics, Socio-legal and Governance of Digital Technology 1 (2): 19. doi:10.1007/s44206-022-00010-6. PMC 9453721. PMID 36097613. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9453721/.  ^ Ghoshal, Abhimanyu (2018年2月7日). “Twitter, Pornhub and other platforms ban AI-generated celebrity porn” (英語). The Next Web. 20 December 2019時点のオリジナルよりアーカイブ。2019年11月9日閲覧。 ^ a b Clarke, Yvette D. (2019年6月28日). “H.R.3230 - 116th Congress (2019-2020): Defending Each and Every Person from False Appearances by Keeping Exploitation Subject to Accountability Act of 2019”. www.congress.gov. 17 December 2019時点のオリジナルよりアーカイブ。2019年10月16日閲覧。 ^ Banks, Alec (2018年2月20日). “What Are Deepfakes & Why the Future of Porn is Terrifying” (英語). Highsnobiety. オリジナルの14 July 2021時点におけるアーカイブ。. https://web.archive.org/web/20210714032914/https://www.highsnobiety.com/p/what-are-deepfakes-ai-porn/ 2018年2月20日閲覧。  ^ Christian, Jon. “Experts fear face swapping tech could start an international showdown” (英語). The Outline. 16 January 2020時点のオリジナルよりアーカイブ。2018年2月28日閲覧。 ^ Roose, Kevin (2018年3月4日). “Here Come the Fake Videos, Too” (英語). The New York Times. ISSN 0362-4331. オリジナルの18 June 2019時点におけるアーカイブ。. https://web.archive.org/web/20190618203019/https://www.nytimes.com/2018/03/04/technology/fake-videos-deepfakes.html 2018年3月24日閲覧。  ^ Schreyer, Marco; Sattarov, Timur; Reimer, Bernd; Borth, Damian (October 2019). "Adversarial Learning of Deepfakes in Accounting" (英語). arXiv:1910.03810 [cs.LG]。 ^ Schwartz, Oscar (12 November 2018). “You thought fake news was bad? Deep fakes are where truth goes to die” (英語). The Guardian. https://www.theguardian.com/technology/2018/nov/12/deep-fakes-fake-news-truth 14 November 2018閲覧。  ^ a b c “Wenn Merkel plötzlich Trumps Gesicht trägt: die gefährliche Manipulation von Bildern und Videos”. az Aargauer Zeitung (2018年2月3日). 13 April 2019時点のオリジナルよりアーカイブ。9 April 2018閲覧。 ^ Künstliche Intelligenz: Selfies sind eine gute Quelle, Die Zeit, (2018-01-26), ISSN 0044-2070, http://www.zeit.de/digital/internet/2018-01/kuenstliche-intelligenz-deepfakes-porno-face-swap/seite-2  ^ Bateman, Jon (2020). “Summary”. Deepfakes and Synthetic Media in the Financial System: 1–2. オリジナルの20 April 2021時点におけるアーカイブ。. https://web.archive.org/web/20210420005800/https://www.jstor.org/stable/resrep25783.6 28 October 2020閲覧。.  ^ “Weaponised deep fakes: National security and democracy on JSTOR” (英語). www.jstor.org. 22 October 2020時点のオリジナルよりアーカイブ。2020年10月21日閲覧。 ^ a b Cerullo, Megan (January 9, 2024). “AI-generated ads using Taylor Swift's likeness dupe fans with fake Le Creuset giveaway”. CBS News. https://www.cbsnews.com/news/taylor-swift-le-creuset-ai-generated-ads/ January 10, 2024閲覧。  ^ Statt, Nick (5 Sep 2019). “Thieves are now using AI deepfakes to trick companies into sending them money”. オリジナルの15 September 2019時点におけるアーカイブ。. https://web.archive.org/web/20190915151504/https://www.theverge.com/2019/9/5/20851248/deepfakes-ai-fake-audio-phone-calls-thieves-trick-companies-stealing-money 13 Sep 2019閲覧。  ^ Brown, Dalvin (2021年8月22日). “AI gave Val Kilmer his voice back. But critics worry the technology could be misused.” (英語). Washington Post. 2023年5月19日閲覧。 ^ “Voice deepfakes are calling – here's what they are and how to avoid getting scammed”. The Conversation (17 March 2023). 2024年3月17日閲覧。 ^ “Hundreds of sexual deepfake ads using Emma Watson's face ran on Facebook and Instagram in the last two days” (英語). NBC News (2023年3月7日). 2024年3月8日閲覧。 ^ Filipovic, Jill (2024年1月31日). “Anyone could be a victim of 'deepfakes'. But there's a reason Taylor Swift is a target” (英語). The Guardian. ISSN 0261-3077. https://www.theguardian.com/commentisfree/2024/jan/31/taylor-swift-ai-pictures-far-right 2024年3月8日閲覧。  ^ Kirchengast, T (2020). “Deepfakes and image manipulation: criminalisation and control.”. Information & Communications Technology Law 29 (3): 308–323. doi:10.1080/13600834.2020.1794615.  ^ Tayler, Kelley M.; Harris, Laurie A. (8 June 2021). Deep Fakes and National Security (Report). Congressional Research Service. p. 1. 2021年7月19日閲覧。 ^ “Experts fear face swapping tech could start an international showdown” (英語). The Outline. 2018年2月28日閲覧。 ^ Roose, Kevin (2018年3月4日). “Here Come the Fake Videos, Too” (英語). The New York Times. ISSN 0362-4331. https://www.nytimes.com/2018/03/04/technology/fake-videos-deepfakes.html 2018年3月24日閲覧。  ^ Damiani, Jesse. “A Voice Deepfake Was Used To Scam A CEO Out Of $243,000” (英語). Forbes. 14 September 2019時点のオリジナルよりアーカイブ。2019年11月9日閲覧。 ^ “Deepfakes, explained” (英語). MIT Sloan (5 March 2024). 2024年3月17日閲覧。 ^ 日本放送協会 (2023年11月1日). “生成AIでニュース番組に似せた偽広告 日本テレビ“注意を””. NHKニュース. 2023年11月4日閲覧。 ^ 日本テレビ (2023年11月1日). “生成AIでニュースを偽造? 日テレ番組悪用の詐欺広告 一体どうやって？ #みんなのギモン”. 日テレNEWS NNN. 2023年11月4日閲覧。 ^ 徳光一輝 (2023年11月2日). “女子アナが「もう働く必要ない」と偽投資広告 生成AI悪用か、日テレのニュース番組を加工”. 産経新聞. 2023年11月4日閲覧。 ^ “Data Points: The latest in AI from Feb. 8 to Feb 14, 2024” (英語). Data Points: The latest in AI from Feb. 8 to Feb 14, 2024 (2024年2月14日). 2024年2月14日閲覧。 ^ “「全財産がパーに」偽のホリエモンにだまされ1900万円の被害 利益が上がったように見えても現金は引き出せず…有名人かたるニセ広告で広がる投資詐欺【news23】 | TBS NEWS DIG (1ページ)”. TBS NEWS DIG (2024年3月6日). 2024年3月19日閲覧。 ^ (日本語) 森永卓郎さんの「フェイク音声」も… 株価4万円超や新NISA、高まる“投資熱”の裏で手口が巧妙化 有名人をかたる投資詐欺【news23】｜TBS NEWS DIG, https://www.youtube.com/watch?v=XhAblr3GwfM 2024年3月19日閲覧。  ^ a b c Hsu, Tiffany; Lu, Yiwen (January 9, 2024). “No, That's Not Taylor Swift Peddling Le Creuset Cookware”. The New York Times: p. B1. https://www.nytimes.com/2024/01/09/technology/taylor-swift-le-creuset-ai-deepfake.html January 10, 2024閲覧。  ^ a b Britta Bauchmüller, "Fake-App": Mit diesem Programm kann jeder im Porno landen – ob er will oder nicht!, Berliner-Kurier.de, https://www.berliner-kurier.de/ratgeber/digital/-fake-app--mit-diesem-programm-kann-jeder-im-porno-landen---ob-er-will-oder-nicht--29578018  ^ a b Johnson, Kirsten (December 11, 2023). “Arizona woman falls victim to deepfake scam using celebrities on social media”. ABC 15 Arizona. https://www.abc15.com/news/let-joe-know/arizona-woman-falls-victim-to-deep-fake-scam-using-celebrities-on-social-media January 10, 2024閲覧。  ^ a b Kulundu, Mary (January 4, 2024). “Deepfake videos of Elon Musk used in get-rich-quick scam”. Agence France-Presse. https://factcheck.afp.com/doc.afp.com.349D4AG January 10, 2024閲覧。  ^ a b Rosenblatt, Kalhan (October 3, 2023). “MrBeast calls TikTok ad showing an AI version of him a 'scam'”. NBC News. https://www.nbcnews.com/tech/mrbeast-ai-tiktok-ad-deepfake-rcna118596 January 10, 2024閲覧。  ^ Bucci, Nino (November 27, 2023). “Dick Smith criticises Facebook after scammers circulate deepfake video ad”. The Guardian. https://www.theguardian.com/australia-news/2023/nov/27/dick-smith-criticises-facebook-after-scammers-circulate-deepfake-video-ad January 10, 2024閲覧。  ^ Lomas, Natasha (July 7, 2023). “Martin Lewis warns over 'first' deepfake video scam ad circulating on Facebook”. TechCrunch. https://techcrunch.com/2023/07/07/martin-lewis-deepfake-scam-ad-facebook/ January 10, 2024閲覧。  ^ Lim, Kimberly (December 29, 2023). “Singapore PM Lee warns of 'very convincing' deepfakes 'spreading disinformation' after fake video of him emerges”. South China Morning Post. オリジナルのJanuary 9, 2024時点におけるアーカイブ。. https://web.archive.org/web/20240109054044/https://www.scmp.com/week-asia/politics/article/3246701/singapore-pm-lee-warns-very-convincing-deepfakes-spreading-disinformation-after-fake-video-him January 10, 2024閲覧。  ^ Lopatto, Elizabeth (January 3, 2024). “Fun new deepfake consequence: more convincing crypto scams”. The Verge. https://www.theverge.com/2024/1/3/24024262/youtube-twitter-x-crypto-solana-deepfake-scam January 10, 2024閲覧。  ^ a b Koebler, Jason (January 9, 2024). “Deepfaked Celebrity Ads Promoting Medicare Scams Run Rampant on YouTube”. 404 Media. https://www.404media.co/joe-rogan-taylor-swift-andrew-tate-ai-deepfake-youtube-medicare-ads/ January 10, 2024閲覧。  ^ Koebler, Jason (January 25, 2024). “YouTube Deletes 1,000 Videos of Celebrity AI Scam Ads”. 404 Media. https://www.404media.co/youtube-deletes-1-000-videos-of-celebrity-ai-scam-ads/ February 2, 2024閲覧。  ^ Bunn, Amy (2023年5月15日). “Artificial Imposters—Cybercriminals Turn to AI Voice Cloning for a New Breed of Scam” (英語). McAfee Blog. 2023年5月19日閲覧。 ^ “AI悪用の音声詐欺が世界で急増、被害者の8割は金銭被害も”. ITmedia ビジネスオンライン. 2023年5月19日閲覧。 ^ https://eiga.com/news/20240201/18/ ^ Hatachi, Kota. “日本人アイドルも被害に。96％がポルノ動画の「ディープフェイク」政治的な悪用も”. BuzzFeed. 2020年1月15日閲覧。 ^ a b “Wenn Merkel plötzlich Trumps Gesicht trägt: die gefährliche Manipulation von Bildern und Videos”. az Aargauer Zeitung (2018年2月3日). 2019年1月26日閲覧。 ^ Patrick Gensing (2018年2月22日). “Deepfakes: Auf dem Weg in eine alternative Realität?”. 2019年1月26日閲覧。 ^ Thatsmags.com (2017年11月10日). “Here's a Creepy Video of Trump Speaking Chinese via AI”. 2019年9月3日閲覧。 ^ ニューヨーク・タイムズ (2017年12月3日). “China’s A.I. Advances Help Its Tech Industry, and State Security”. 2019年9月3日閲覧。 ^ Romano (April 18, 2018). “Jordan Peele’s simulated Obama PSA is a double-edged warning against fake news”. Vox. September 10, 2018閲覧。 ^ Swenson (January 11, 2019). “A Seattle TV station aired doctored footage of Trump’s Oval Office speech. The employee has been fired.” (英語). The Washington Post. January 11, 2019閲覧。 ^ a b c “Deepfake Putin is here to warn Americans about their self-inflicted doom” (英語). MIT Technology Review. 30 October 2020時点のオリジナルよりアーカイブ。2020年10月7日閲覧。 ^ Allyn, Bobby (March 16, 2022). “Deepfake video of Zelenskyy could be 'tip of the iceberg' in info war, experts warn”. NPR. March 17, 2022閲覧。 ^ “投降呼びかけるゼレンスキー氏の偽動画　米メタが削除”. 日本経済新聞 (2022年3月17日). 2023年12月7日閲覧。 ^ “【解説動画】ウクライナ情勢 拡散する「ディープフェイク」”. NHK (2022年3月18日). 2023年12月7日閲覧。 ^ “ウクライナ大統領の偽動画は、ディープフェイクが戦争の“武器”となる世界を予見している”. WIRED (2022年3月19日). 2023年12月7日閲覧。 ^ “ウクライナ軍トップの偽動画がネット上で拡散…「ゼレンスキーは我が国の敵」とディープフェイク”. 読売新聞 (2023年11月9日). 2023年12月7日閲覧。 ^ “みんなで語る未解決事件（旧名）on Twitter: "やったぜ。投稿者：変態糞総理 https://t.co/zxMnM5vVGT" / Twitter”. web.archive.org (2023年7月12日). 2023年11月16日閲覧。 ^ 日本テレビ. ““岸田首相の声”のフェイク動画拡散…ニュース画面に見せかけ｜日テレNEWS NNN”. 日テレNEWS NNN. 2023年11月16日閲覧。 ^ Sonne, Paul (5 June 2023). “Fake Putin Speech Calling for Martial Law Aired in Russia”. The New York Times. https://www.nytimes.com/2023/06/05/world/europe/putin-deep-fake-speech-hackers.html June 6, 2023閲覧。  ^ “Pope Francis in Balenciaga deepfake fools millions: 'Definitely scary'”. New York Post. (28 March 2023). https://nypost.com/2023/03/27/pope-francis-in-balenciaga-deepfake-fools-millions-definitely-scary/ 16 June 2023閲覧。  ^ Lu, Donna (31 March 2023). “Misinformation, mistakes and the Pope in a puffer: what rapidly evolving AI can – and can't – do”. The Guardian. https://www.theguardian.com/technology/2023/apr/01/misinformation-mistakes-and-the-pope-in-a-puffer-what-rapidly-evolving-ai-can-and-cant-do 16 June 2023閲覧。  ^ Murphy, Heather Tal (29 March 2023). “The Pope in a Coat Is Not From a Holy Place”. Slate. https://slate.com/technology/2023/03/pope-coat-midjourney-puffer-jacket-balenciaga-explained.html 16 June 2023閲覧。  ^ Reuters, 15 July 2020, Deepfake Used to Attack Activist Couple Shows New Disinformation Frontier Archived 26 September 2020 at the Wayback Machine. ^ 972 Magazine, 12 August 2020, "'Leftists for Bibi'? Deepfake Pro-Netanyahu Propaganda Exposed: According to a Series of Facebook Posts, the Israeli Prime Minister is Winning over Left-Wing Followers--Except that None of the People in Question Exist" Archived 14 August 2020 at the Wayback Machine. ^ The Seventh Eye, 9 June 2020, הפורנוגרפיה של ההסתהתומכי נתניהו ממשיכים להפיץ פוסטים מזויפים בקבוצות במדיה החברתית • לצד הטרלות מעלות גיחוך מופצות תמונות שקריות על מנת להגביר את השנאה והפילוג בחברה הישראלית Archived 18 August 2020 at the Wayback Machine. ^ a b ニーナ・シック, ナショナルジオグラフィック & 片山美佳子 2021, p. 42. ^ 生成AIで関東大震災「新証言」を作成…「捏造」批判受け日赤の企画展中止 読売新聞 2023年9月3日 ^ https://mainichi.jp/articles/20240313/k00/00m/030/355000c ^ “中国で人気”偽動画作成アプリ” 米 選挙への影響懸念”. NHK. (2019年9月5日). https://web.archive.org/web/20190905063638/https://www3.nhk.or.jp/news/html/20190905/k10012064311000.html 2019年9月5日閲覧。  ^ Sasse, Ben (2018年12月21日). “S. 3805–115th Congress (2017-2018): Malicious Deep Fake Prohibition Act of 2018”. www.congress.gov. 16 October 2019時点のオリジナルよりアーカイブ。2019年10月16日閲覧。 ^ “'Deepfake' revenge porn is now illegal in Virginia” (英語). TechCrunch (July 2019). 14 July 2021時点のオリジナルよりアーカイブ。2019年10月16日閲覧。 ^ Iacono Brown, Nina (2019年7月15日). “Congress Wants to Solve Deepfakes by 2020. That Should Worry Us.” (英語). Slate Magazine. 16 October 2019時点のオリジナルよりアーカイブ。2019年10月16日閲覧。 ^ a b “Bill Text - AB-602 Depiction of individual using digital or electronic technology: sexually explicit material: cause of action.”. leginfo.legislature.ca.gov. 17 November 2019時点のオリジナルよりアーカイブ。2019年11月9日閲覧。 ^ a b “Bill Text - AB-730 Elections: deceptive audio or visual media.”. leginfo.legislature.ca.gov. 31 October 2019時点のオリジナルよりアーカイブ。2019年11月9日閲覧。 ^ a b “Fake-porn videos are being weaponized to harass and humiliate women: ‘Everybody is a potential target’”. The Washington Post (Harrell). 2019年1月1日閲覧。 ^ “China seeks to root out fake news and deepfakes with new online content rules”. Reuters.com. Reuters (2019年11月29日). 17 December 2019時点のオリジナルよりアーカイブ。2019年12月17日閲覧。 ^ Statt, Nick (2019年11月29日). “China makes it a criminal offense to publish deepfakes or fake news without disclosure”. The Verge. 22 December 2019時点のオリジナルよりアーカイブ。2019年12月17日閲覧。 ^ Call for upskirting bill to include 'deepfake' pornography ban ガーディアン ^ NHKスペシャル取材班 2020, p. 53. ^ a b “Perfect Deepfake Tech Could Arrive Sooner Than Expected” (英語). www.wbur.org (2 October 2019). 30 October 2019時点のオリジナルよりアーカイブ。2019年11月9日閲覧。 ^ Sonnemaker, Tyler. “As social media platforms brace for the incoming wave of deepfakes, Google's former 'fraud czar' predicts the biggest danger is that deepfakes will eventually become boring”. Business Insider. 14 April 2021時点のオリジナルよりアーカイブ。2021年4月14日閲覧。 ^ “Pornhub hasn't been actively enforcing its deepfake ban” (英語). Engadget. https://www.engadget.com/2018/04/18/pornhub-still-has-many-deepfake-videos/ 2018年4月21日閲覧。  ^ “Pornhub Banned Deepfake Celebrity Sex Videos, But The Site Is Still Full Of Them” (英語). BuzzFeed. https://www.buzzfeed.com/charliewarzel/pornhub-banned-deepfake-celebrity-sex-videos-but-the-site 2018年4月21日閲覧。  ^ Markus Böhm (2018-02-07), "Deepfakes": Firmen gehen gegen gefälschte Promi-Pornos vor, Spiegel Online, http://www.spiegel.de/netzwelt/web/deepfakes-online-plattformen-wollen-fake-promi-pornos-loeschen-a-1192170.html  ^ barbara.wimmer, Deepfakes: Reddit löscht Forum für künstlich generierte Fake-Pornos, https://futurezone.at/digital-life/deepfakes-reddit-loescht-forum-fuer-kuenstlich-generierte-fake-pornos  ^ “Reddit verbannt Deepfake-Pornos” (2018年2月8日). 2019年1月26日閲覧。 ^ Eike Kühl (2018-01-26), Künstliche Intelligenz: Auf Fake News folgt Fake Porn, Die Zeit, ISSN 0044-2070, http://www.zeit.de/digital/internet/2018-01/kuenstliche-intelligenz-deepfakes-porno-face-swap  ^ heise online, Deepfakes: Neuronale Netzwerke erschaffen Fake-Porn und Hitler-Parodien, https://www.heise.de/newsticker/meldung/Deepfakes-Neuronale-Netzwerke-erschaffen-Fake-Porn-und-Hitler-Parodien-3951035.html  ^ Farquhar, Peter (2018年8月27日). “An AI program will soon be here to help your deepfake dancing – just don't call it deepfake” (英語). Business Insider Australia. https://www.businessinsider.com.au/artificial-intelligence-ai-deepfake-dancing-2018-8 2018年8月27日閲覧。  ^ “Deepfakes for dancing: you can now use AI to fake those dance moves you always wanted”. The Verge. https://www.theverge.com/2018/8/26/17778792/deepfakes-video-dancing-ai-synthesis 2018年8月27日閲覧。  ^ “China’s Red-Hot Face-Swapping App Provokes Privacy Concern”. ブルームバーグ. (2019年9月2日). https://www.bloomberg.com/news/articles/2019-09-02/china-s-red-hot-face-swapping-app-provokes-privacy-concern 2019年9月3日閲覧。  ^ “顔写真1枚で簡単にディープフェイク映像を作成できる無料アプリ登場、中国で大人気に”. GIGAZINE. (2019年9月3日). https://gigazine.net/news/20190903-iphone-deepfake-app-zao/ 2019年9月3日閲覧。  ニーナ・シック、ナショナルジオグラフィック、片山美佳子『ディープフェイク ニセ情報の拡散者たち』日経ナショナル ジオグラフィック、2021年。ISBN 9784863135130。  NHKスペシャル取材班『やばいデジタル“現実”が飲み込まれる日』講談社〈講談社現代新書〉、2020年。ISBN 9784065219546。  バーチャル俳優、デジタルクローン（英語版） セクストーション（英語版） ‐ ディープフェイクによって作成された猥褻画像による脅迫・強要について。 バトルランナー (映画) 劇中で主人公のディープフェイク映像がテレビで放送される。