{{위키데이터 속성 추적}}
[[파일:Petition Deepfake Pornos stoppen - HateAid Berlin 2023-10-17 17.jpg|섬네일|독일 시민단체 {{임시링크|헤이트에이드|de|HateAid}}가 독일 연방 디지털교통부에 딥페이크 포르노그래피 방지 청원을 전달하고 청사 앞에서 시위를 벌이고 있다.]]
'''딥페이크 포르노그래피'''({{llang|en|Deepfake pornography}}) 혹은 '''딥페이크 성착취물'''은 [[딥페이크]] 기술을 사용해 기존 [[포르노그래피]] 영상물에 타인의 얼굴을 합성하는 방식으로 만들어지는 합성 포르노그래피의 한 종류다. 딥페이크 포르노그래피는 여성 유명인들과 같이 동의하지 않은 개인들이 등장하는 사실적인 영상들이 제작되어 공유되고 [[리벤지 포르노]]로도 사용되어 논란이 되고 있다. 이러한 윤리적 문제들을 해결하기 위해 법률적 또는 기술적 접근 방식을 통한 노력이 이루어지고 있다.

== 역사 ==
"딥페이크"는 '딥러닝'과 영상이 진짜가 아니라는 뜻인 '페이크'의 합성어로 2017년 [[레딧]]에서 사용자들이 기계 학습 알고리즘을 사용하여 만든 변조된 포르노 영상을 일컫는 용어로 처음 등장했다.<ref name="crc1">{{인용|last1=Gaur |first1=Loveleen |title=DeepFakes |date=2022-07-27 |url=http://dx.doi.org/10.1201/9781003231493-7 |pages=91–98 |access-date=2023-04-20 |place=New York |publisher=CRC Press |isbn=978-1-003-23149-3 |last2=Arora |first2=Gursimar Kaur |doi=10.1201/9781003231493-7 |archive-date=2024-03-06 |archive-url=https://web.archive.org/web/20240306051459/https://www.taylorfrancis.com/chapters/edit/10.1201/9781003231493-7/deepfakes-loveleen-gaur-gursimar-kaur-arora |url-status=live }}</ref>

딥페이크 포르노그래피는 처음에는 [[기계 학습 알고리즘 목록|기계 학습 알고리즘]], 컴퓨터 비전 기술, [[인공지능]]을 사용해 사람의 얼굴에 대한 대량의 원 자료(이미지와 비디오 모두 포함)를 수집해 딥러닝 모델을 사용하여 [[생성적 적대 신경망]]을 훈련시켜 포르노 배우의 몸에 원 자료의 얼굴을 바꿔치기 하는 방식으로 소규모 개인들에 의해 만들어졌다. 그러나 2018년 이후로 대부분의 과정을 자동화한 여러 공개 앱들이 등장하면서 생산 프로세스가 상당히 발전했다.<ref>Azmoodeh, Amin, and Ali Dehghantanha. "Deep Fake Detection, Deterrence and Response: Challenges and Opportunities." arXiv.org, 2022.</ref>

=== 딥누드 ===
2019년 6월, GAN을 사용하여 여성 이미지에서 옷을 제거하는 DeepNude라는 다운로드 가능한 [[마이크로소프트 윈도우]] 및 [[리눅스]] 애플리케이션이 출시되었다. 앱에는 유료 버전과 무료 버전이 있었으며 유료 버전의 가격은 50달러였다.<ref name=":30">{{웹 인용|url=https://www.vice.com/en_us/article/kzm59x/deepnude-app-creates-fake-nudes-of-any-woman|제목=This Horrifying App Undresses a Photo of Any Woman with a Single Click|성=Cole|이름=Samantha|성2=Maiberg|이름2=Emanuel|날짜=26 June 2019|웹사이트=Vice|보존url=https://web.archive.org/web/20190702011315/https://www.vice.com/en_us/article/kzm59x/deepnude-app-creates-fake-nudes-of-any-woman|보존날짜=2 July 2019|url-status=live|확인날짜=2 July 2019|성3=Koebler|이름3=Jason}}</ref> 6월 27일, 앱 제작자는 해당 애플리케이션을 삭제하고 소비자에게 환불했지만 무료와 유료를 포함한 다양한 앱 사본이 계속 나오고 있다.<ref name="theverge.com">{{웹 인용|url=https://www.theverge.com/2019/7/3/20680708/deepnude-ai-deepfake-app-copies-easily-accessible-available-online|제목=DeepNude AI copies easily accessible online|성=Vincent|이름=James|날짜=3 July 2019|웹사이트=The Verge|보존url=https://web.archive.org/web/20210208095902/https://www.theverge.com/2019/7/3/20680708/deepnude-ai-deepfake-app-copies-easily-accessible-available-online|보존날짜=8 February 2021|url-status=live|확인날짜=11 August 2023}}</ref> [[깃허브]]에서는 "open-deepnude"라는 이 프로그램의 [[오픈 소스 모델|오픈소스]] 버전이 삭제되었다.<ref>{{뉴스 인용|url=https://www.vice.com/en_us/article/8xzjpk/github-removed-open-source-versions-of-deepnude-app-deepfakes|제목=GitHub Removed Open Source Versions of DeepNude|성=Cox|이름=Joseph|날짜=July 9, 2019|출판사=[[Vice Media]]|보존url=https://web.archive.org/web/20200924083833/https://www.vice.com/en_us/article/8xzjpk/github-removed-open-source-versions-of-deepnude-app-deepfakes|보존날짜=September 24, 2020|url-status=live|확인날짜=December 15, 2019}}</ref> 오픈 소스 버전은 더 많은 누드 이미지 데이터 세트로 훈련을 받아 결과 누드 이미지의 정확도 수준을 높일 수 있었다.<ref name="Cisco DeepNude is back">{{뉴스 인용|url=https://blogs.cisco.com/analytics-automation/deepnude-is-back|제목=DeepNude- the AI that 'Undresses' Women- is Back. What Now?|성=Redmon, Jennifer|날짜=July 7, 2019|출판사=[[Cisco]]|언어=en-US|보존url=https://web.archive.org/web/20230301114127/https://blogs.cisco.com/analytics-automation/deepnude-is-back|보존날짜=March 1, 2023|url-status=live|확인날짜=March 11, 2023}}</ref>

=== 딥페이크 텔레그램 봇 ===
2019년 7월, 메시징 앱 [[텔레그램]]에서 AI 기술을 사용해 여성의 누드 이미지를 만드는 딥페이크 봇 서비스가 출시되었다. 이 서비스는 무료이며 사용자 친화적인 인터페이스를 갖추고 있어, 사용자들이 사진을 제출하면 수분 내에 조작된 누드 이미지를 받을 수 있다. 이 서비스는 봇을 호스팅하는 주 채널, 기술 지원, 이미지 공유 채널 등 7개의 텔레그램 채널과 연결되어 있다. 총 사용자 수는 알려지지 않았지만, 주 채널의 회원 수는 45,000명이 넘는다. 2020년 7월 기준으로, 이미지 공유 채널들을 통해 약 24,000개의 조작된 이미지가 공유된 것으로 추정된다.<ref>{{웹 인용|url=https://www.technologyreview.com/2020/10/20/1010789/ai-deepfake-bot-undresses-women-and-underage-girls/|제목=A deepfake bot is being used to "undress" underage girls|성=Hao|이름=Karen|날짜=2020-10-20|웹사이트=MIT Technology Review|언어=en|보존url=https://web.archive.org/web/20230420045217/https://www.technologyreview.com/2020/10/20/1010789/ai-deepfake-bot-undresses-women-and-underage-girls/|보존날짜=2023-04-20|url-status=live|확인날짜=2023-04-20}}</ref>

== 주요 사례 ==
딥페이크 기술은 유명 여성의 동의 없이 음란한 이미지와 동영상을 만드는 데 사용되었다. 가장 초기의 사례 중 하나는 2017년에 레딧 사용자가 [[갈 가도트]]의 딥페이크 포르노 영상을 만들어 온라인으로 빠르게 퍼뜨린 것이며, 그 이후로 [[엠마 왓슨]], [[내털리 포트먼]], [[스칼렛 요한슨]] 등 다른 여성 유명인을 표적으로 삼은 유사한 딥페이크 콘텐츠 사례가 수없이 발생했다.<ref>{{웹 인용|url=https://variety.com/2018/digital/news/deepfakes-porn-adult-industry-1202705749/|제목=Porn Producers Offer to Help Hollywood Take Down Deepfake Videos|성=Roettgers|이름=Janko|날짜=2018-02-21|웹사이트=Variety|언어=en-US|보존url=https://web.archive.org/web/20190610220204/https://variety.com/2018/digital/news/deepfakes-porn-adult-industry-1202705749/|보존날짜=2019-06-10|url-status=live|확인날짜=2023-04-20}}</ref> 요한슨은 2018년 12월 이 문제에 대해 공개적으로 언급하며 비판했지만 인터넷에 이러한 것들이 존재하는 것은 불가피하다는 것과 각국마다 초상권과 관련된 법률이 다르다는 점 때문에 법적조치는 하지 않겠다고 밝혔다.<ref>{{뉴스 인용|url=https://www.washingtonpost.com/technology/2018/12/31/scarlett-johansson-fake-ai-generated-sex-videos-nothing-can-stop-someone-cutting-pasting-my-image/|제목=Scarlett Johansson on fake AI-generated sex videos: 'Nothing can stop someone from cutting and pasting my image'|성=Harwell|이름=Drew|날짜=2018-12-31|뉴스=The Washington Post|언어=en-US|issn=0190-8286|보존url=https://web.archive.org/web/20190613160558/https://www.washingtonpost.com/technology/2018/12/31/scarlett-johansson-fake-ai-generated-sex-videos-nothing-can-stop-someone-cutting-pasting-my-image/|보존날짜=2019-06-13|url-status=live|확인날짜=2023-04-20}}</ref>

=== 테일러 스위프트 ===
{{본문|테일러 스위프트 딥페이크 포르노그래피 논란}}
2024년 1월, AI가 생성한 미국 가수 [[테일러 스위프트]]의 노골적인 성적 이미지들이 [[트위터|X(구 트위터)]]에 게시되었고, [[페이스북]], [[레딧]], [[인스타그램]] 등 다른 플랫폼으로 퍼졌다.<ref>{{뉴스 인용|url=https://www.fastcompany.com/91016953/deepfake-taylor-swift-ai-dangers|제목=The explicit AI-created images of Taylor Swift flooding the internet highlight a major problem with generative AI|성=Stokel-Walker|이름=Chris|날짜=January 25, 2024|뉴스=[[Fast Company]]|보존url=https://web.archive.org/web/20240126011706/https://www.fastcompany.com/91016953/deepfake-taylor-swift-ai-dangers|보존날짜=January 26, 2024|url-status=live|확인날짜=January 26, 2024}}</ref><ref name=":0">{{웹 인용|url=https://arstechnica.com/tech-policy/2024/01/fake-ai-taylor-swift-images-flood-x-amid-calls-to-criminalize-deepfake-porn/|제목=X can't stop spread of explicit, fake AI Taylor Swift images|성=Belanger|이름=Ashley|날짜=2024-01-25|웹사이트=[[Ars Technica]]|언어=en-us|보존url=https://web.archive.org/web/20240125204714/https://arstechnica.com/tech-policy/2024/01/fake-ai-taylor-swift-images-flood-x-amid-calls-to-criminalize-deepfake-porn/|보존날짜=2024-01-25|url-status=live|확인날짜=2024-01-25}}</ref><ref>{{웹 인용|url=https://www.cnn.com/2024/01/25/tech/taylor-swift-ai-generated-images/index.html|제목=Explicit, AI-generated Taylor Swift images spread quickly on social media {{!}} CNN Business|성=Kelly|이름=Samantha Murphy|날짜=2024-01-25|웹사이트=[[CNN]]|언어=en|보존url=https://web.archive.org/web/20240125210152/https://www.cnn.com/2024/01/25/tech/taylor-swift-ai-generated-images/index.html|보존날짜=2024-01-25|url-status=live|확인날짜=2024-01-25}}</ref> 이미지가 포함된 한 트윗은 삭제되기 전에 4,500만 번 이상 조회되었다.<ref name=":1">{{웹 인용|url=https://www.theverge.com/2024/1/25/24050334/x-twitter-taylor-swift-ai-fake-images-trending|제목=Trolls have flooded X with graphic Taylor Swift AI fakes|성=Weatherbed|이름=Jess|날짜=2024-01-25|웹사이트=[[The Verge]]|언어=en|보존url=https://web.archive.org/web/20240125170548/https://www.theverge.com/2024/1/25/24050334/x-twitter-taylor-swift-ai-fake-images-trending|보존날짜=2024-01-25|url-status=live|확인날짜=2024-01-25}}</ref><ref name=":0" /> 인터넷 매체 [[404 미디어]]에 따르면 이미지는 [[마이크로소프트 코파일럿|마이크로소프트 디자이너]]와 같은 도구를 사용해 생성되어 [[텔레그램]] 그룹에서 최초로 유포된 것으로 보이며, 콘텐츠 필터를 해결하기 위해 오타와 키워드 해킹을 사용했다.<ref>{{웹 인용|url=https://www.404media.co/ai-generated-taylor-swift-porn-twitter/|제목=AI-Generated Taylor Swift Porn Went Viral on Twitter. Here's How It Got There|성=Maiberg|이름=Emanuel|성2=Cole ·|이름2=Samantha|날짜=2024-01-25|웹사이트=[[404 Media]]|언어=en|보존url=https://web.archive.org/web/20240125173515/https://www.404media.co/ai-generated-taylor-swift-porn-twitter/|보존날짜=2024-01-25|url-status=live|확인날짜=2024-01-25}}</ref><ref>{{웹 인용|url=https://arstechnica.com/tech-policy/2024/01/drastic-moves-by-x-microsoft-may-not-stop-spread-of-fake-taylor-swift-porn/|제목=Drastic moves by X, Microsoft may not stop spread of fake Taylor Swift porn|성=Belanger|이름=Ashley|날짜=2024-01-29|웹사이트=Ars Technica|언어=en-us|보존url=https://web.archive.org/web/20240129222757/https://arstechnica.com/tech-policy/2024/01/drastic-moves-by-x-microsoft-may-not-stop-spread-of-fake-taylor-swift-porn/|보존날짜=2024-01-29|url-status=live|확인날짜=2024-01-30}}</ref> 해당 게시물이 올라온 뒤 스위프트의 팬들은 딥페이크 영상이 검색되는 것을 막기 위해 콘서트 영상과 사진을 게시했고, 딥페이크 영상을 게시한 계정을 신고하기도 했다.<ref name=":2">{{웹 인용|url=https://www.thecut.com/2024/01/taylor-swift-ai-deepfake-trending-social-media.html|제목=The Swiftie Fight to Protect Taylor Swift From AI|성=Zhang|이름=Cat|날짜=2024-01-26|웹사이트=[[The Cut (website)|The Cut]]|언어=en|보존url=https://web.archive.org/web/20240130163639/https://www.thecut.com/2024/01/taylor-swift-ai-deepfake-trending-social-media.html|보존날짜=2024-01-30|url-status=live|확인날짜=2024-03-06}}</ref> [[트위터|X]]에서 일시적으로 스위프트를 검색하는 것을 차단하고 오류 메시지가 반환되도록 설정했다.<ref>{{잡지 인용|last=Spangler |first=Todd |date=2024-01-27 |title=X/Twitter Blocks Searches for 'Taylor Swift' as a 'Temporary Action to Prioritize Safety' After Deluge of Explicit AI Fakes |url=https://variety.com/2024/digital/news/x-twitter-blocks-searches-taylor-swift-explicit-nude-ai-fakes-1235889742/ |access-date=2024-01-29 |magazine=[[Variety (magazine)|Variety]] |archive-date=2024-01-28 |archive-url=https://web.archive.org/web/20240128055704/https://variety.com/2024/digital/news/x-twitter-blocks-searches-taylor-swift-explicit-nude-ai-fakes-1235889742/ |url-status=live }}</ref> 허위 정보 연구 회사인 [[Graphika]]는 이미지가 [[4chan]] 커뮤니티에서 만들어졌다고 추적했다.<ref>{{뉴스 인용|url=https://www.nytimes.com/2024/02/05/business/media/taylor-swift-ai-fake-images.html|제목=Fake and Explicit Images of Taylor Swift Started on 4chan, Study Says|성=Hsu|이름=Tiffany|날짜=February 5, 2024|뉴스=[[The New York Times]]|보존url=https://web.archive.org/web/20240209144437/https://www.nytimes.com/2024/02/05/business/media/taylor-swift-ai-fake-images.html|보존날짜=February 9, 2024|url-status=live|확인날짜=February 10, 2024}}</ref><ref>{{웹 인용|url=https://arstechnica.com/tech-policy/2024/02/4chan-daily-challenge-sparked-deluge-of-explicit-ai-taylor-swift-images/|제목=4chan daily challenge sparked deluge of explicit AI Taylor Swift images|성=Belanger|이름=Ashley|날짜=2024-02-05|웹사이트=Ars Technica|언어=en-us|보존url=https://web.archive.org/web/20240209035029/https://arstechnica.com/tech-policy/2024/02/4chan-daily-challenge-sparked-deluge-of-explicit-ai-taylor-swift-images/|보존날짜=2024-02-09|url-status=live|확인날짜=2024-02-09}}</ref>

스위프트와 가까운 소식통은 《[[데일리 메일]]》에 법적 조치를 고려하고 있다고 말하며, "법적 조치를 취할지 여부는 결정 중이지만, 한 가지 분명한 것은 이 가짜 AI 생성 이미지들이 학대적이고, 모욕적이며, 착취적이고, 테일러의 동의나 인지 없이 이루어진 것이다"라고 말했다.<ref name=":2">{{웹 인용|url=https://www.thecut.com/2024/01/taylor-swift-ai-deepfake-trending-social-media.html|제목=The Swiftie Fight to Protect Taylor Swift From AI|성=Zhang|이름=Cat|날짜=2024-01-26|웹사이트=[[The Cut (website)|The Cut]]|언어=en|보존url=https://web.archive.org/web/20240130163639/https://www.thecut.com/2024/01/taylor-swift-ai-deepfake-trending-social-media.html|보존날짜=2024-01-30|url-status=live|확인날짜=2024-03-06}}</ref><ref>{{웹 인용|url=https://www.vogue.com/article/taylor-swift-deepfake-x-possible-legal-action|제목=If Anyone Can Stop the Coming AI Hellscape, It's Taylor Swift|성=Specter|이름=Emma|날짜=2024-01-26|웹사이트=[[Vogue (magazine)|Vogue]]|언어=en-US|보존url=https://web.archive.org/web/20240206223948/https://www.vogue.com/article/taylor-swift-deepfake-x-possible-legal-action|보존날짜=2024-02-06|url-status=live|확인날짜=2024-03-06}}</ref>

[[카린 장-피에르]] [[백악관 대변인]],<ref>{{뉴스 인용|url=https://www.theguardian.com/music/2024/jan/28/taylor-swift-x-searches-blocked-fake-explicit-images|제목=Taylor Swift searches blocked on X after fake explicit images of pop singer spread|날짜=2024-01-29|뉴스=[[The Guardian]]|통신사=[[Reuters]]|보존url=https://web.archive.org/web/20240129004152/https://www.theguardian.com/music/2024/jan/28/taylor-swift-x-searches-blocked-fake-explicit-images|보존날짜=2024-01-29|url-status=live|확인날짜=2024-01-29}}</ref> [[사티아 나델라]] [[마이크로소프트]] CEO,<ref>{{잡지 인용|url=https://variety.com/2024/digital/news/taylor-swift-ai-fake-images-microsoft-ceo-1235889371/ |title=Taylor Swift Explicit AI-Generated Deepfakes Are 'Alarming and Terrible,' Microsoft CEO Says: 'We Have to Act' |last=Spangler |first=Todd |magazine=[[Variety (magazine)|Variety]] |date=2024-01-26 |access-date=2024-01-29 |archive-date=2024-01-28 |archive-url=https://web.archive.org/web/20240128235516/https://variety.com/2024/digital/news/taylor-swift-ai-fake-images-microsoft-ceo-1235889371/ |url-status=live }}</ref> {{임시링크|강간·학대·근친상간 전국 네트워크|en|Rape, Abuse & Incest National Network}},<ref>{{뉴스 인용|url=https://abcnews.go.com/US/white-house-calls-legislation-regulate-ai-amid-explicit/story?id=106718520|제목=Fake explicit Taylor Swift images: White House is 'alarmed'|성=Travers|이름=Karen|성2=Saliba|이름2=Emmanuelle|날짜=2024-01-27|뉴스=ABC News|보존url=https://web.archive.org/web/20240128222818/https://abcnews.go.com/US/white-house-calls-legislation-regulate-ai-amid-explicit/story?id=106718520|보존날짜=2024-01-28|url-status=live|확인날짜=2024-01-29}}</ref> [[SAG-AFTRA]]<ref>{{잡지 인용|url=https://www.rollingstone.com/music/music-news/sag-aftra-taylor-swift-ai-images-legislation-1234955473/ |title=AI-Generated Explicit Taylor Swift Images 'Must Be Made Illegal,' Says SAG-AFTRA |last=Millman |first=Ethan |magazine=[[Rolling Stone]] |date=2024-01-26 |access-date=2024-01-29 |archive-date=2024-01-29 |archive-url=https://web.archive.org/web/20240129124355/https://www.rollingstone.com/music/music-news/sag-aftra-taylor-swift-ai-images-legislation-1234955473/ |url-status=live }}</ref>는 이 사건을 비판했다. 여러 미국 정치인은 딥페이크 포르노그래피에 대한 연방 법률 제정을 촉구했다.<ref>{{뉴스 인용|url=https://www.theguardian.com/music/2024/jan/26/taylor-swift-deepfake-pornography-sparks-renewed-calls-for-us-legislation|제목=Taylor Swift deepfake pornography sparks renewed calls for US legislation|성=Beaumont-Thomas|이름=Ben|날짜=2024-01-27|뉴스=[[The Guardian]]|보존url=https://web.archive.org/web/20240129031352/https://www.theguardian.com/music/2024/jan/26/taylor-swift-deepfake-pornography-sparks-renewed-calls-for-us-legislation|보존날짜=2024-01-29|url-status=live|확인날짜=2024-01-29}}</ref> 그 달 말에 미국 상원의원 {{임시링크|딕 더빈|en|Dick Durbin}}, [[린지 그레이엄]], [[에이미 클로버샤]] 및 {{임시링크|조쉬 홀리|en|Josh Hawley}}는 피해자가 유포를 목적으로 "디지털 위조물"을 제작하거나 소지한 사람, 또는 비동의로 제작된 것을 알고도 받은 사람을 상대로 소송을 제기할 수 있도록 하는 초당적 법안을 발의했다.<ref>{{웹 인용|url=https://www.theguardian.com/technology/2024/jan/30/taylor-swift-ai-deepfake-nonconsensual-sexual-images-bill|제목=Taylor Swift AI images prompt US bill to tackle nonconsensual, sexual deepfakes|성=Montgomery|이름=Blake|날짜=January 31, 2024|보존url=https://web.archive.org/web/20240131021340/https://www.theguardian.com/technology/2024/jan/30/taylor-swift-ai-deepfake-nonconsensual-sexual-images-bill|보존날짜=January 31, 2024|url-status=live|확인날짜=January 31, 2024}}</ref>

=== 대한민국의 딥페이크 피해 ===
전세계 딥페이크 포르노그래피의 25%는 한국인을 대상으로 하며, 그 중 절반은 [[K-pop]] 스타들이다.<ref name="Dickson-2019">{{잡지 인용|url=https://www.rollingstone.com/culture/culture-news/deepfakes-nonconsensual-porn-study-kpop-895605/|title=Deepfake Porn Is Still a Threat, Particularly for K-Pop Stars|last1=Dickson|first1=E. J.|date=2019-10-07|magazine=Rolling Stone|access-date=2019-11-09|archive-date=30 October 2019|archive-url=https://web.archive.org/web/20191030165258/https://www.rollingstone.com/culture/culture-news/deepfakes-nonconsensual-porn-study-kpop-895605/|url-status=live}}</ref> 2020년 6월부터 2023년 8월까지 [[대한민국 방송통신심의위원회|방송통신심위원회]]에는 딥페이크를 활용한 성적 허위 영상물 9,006건이 신고되어 이 중 8,595건이 접속 차단되고 411건이 삭제되었다.<ref>{{저널 인용|제목=딥페이크 기술을 활용한 디지털 성범죄에 관한 연구 |성=신성원|저널=한국치안행정논집|url=https://doi.org/10.25023/KAPSA.20.4.202311.147|날짜=2023-11|권=20|호=4|쪽=147–168|doi=10.25023/KAPSA.20.4.202311.147 |doi-access=free}}</ref>

2024년 8월에는 [[전국교직원노동조합]]이 전국 초중고 교사와 학생들을 대상으로 한 성착취물 피해로 인한 2500건의 신고가 접수되었다고 밝혔다.<ref>{{뉴스 인용 |제목=교원단체, "딥페이크, 교육영역 넘어섰다…강력한 수사·처벌 필요" |url=https://www.segye.com/newsView/20240829506812|성1=고예은 |날짜=2024-08-29 |확인날짜=2024-08-29 |뉴스=세계일보}}</ref> 대학생 연합단체 여성혐오폭력규탄공동행동이 9월 21일 [[마로니에공원|마로니에 공원]] 앞 도로에서 주최한 시위에 주최측 추산 5천명이 참가하였으며, 딥페이크 성착취물 유통에 관여한 자와 소지한 자 모두 처벌할 것을 촉구하였다.<ref>{{뉴스 인용|url=https://www.yna.co.kr/view/AKR20240921045900004?input=1195m|제목="가담자 모조리 처벌하라" 대학로서 딥페이크 엄벌촉구 시위|뉴스=연합뉴스|성1=홍준석|날짜=2024-09-21|확인날짜=2024-09-24}}</ref>

== 윤리적 고려 사항 ==
=== 딥페이크 CSAM ===
딥페이크 기술로 [[아동 포르노|아동 성적 학대 영상]] (CSAM), 즉 아동 포르노를 이전보다 빠르고 쉽게 제작할 수 있게 되었다. 딥페이크 기술은 기존 자료를 이용해 새로운 아동 성 착취물을 제작하거나, 실제로 성적 학대를 당하지 않은 아동들을 대상으로 아동 포르노를 만드는 데 사용될 수 있으며, 명예 훼손, 그루밍, 협박, 괴롭힘 등 아동들에게 실제적이고 직접적인 영향을 미칠 수 있다.<ref>{{저널 인용|제목=Deepfakes and image manipulation: criminalisation and control.|저널=Information & Communications Technology Law|성=Kirchengast|이름=T|날짜=2020|권=29|호=3|쪽=308–323|doi=10.1080/13600834.2020.1794615}}</ref>

=== 동의 ===
대부분의 딥페이크 포르노에 사용되는 얼굴들은 초상권자에게 동의받지 않고 만들어진다. 2023년, 신원 인증 회사인 센서티(Sensity)는 "96%의 딥페이크가 성적으로 노골적이며, 해당 콘텐츠의 제작에 동의하지 않은 여성들이 등장한다"고 밝혔다.<ref>{{웹 인용|url=https://www.nbcnews.com/tech/internet/deepfake-porn-ai-mr-deep-fake-economy-google-visa-mastercard-download-rcna75071|제목=Found through Google, bought with Visa and Mastercard: Inside the deepfake porn economy|날짜=2023-03-27|웹사이트=NBC News|언어=en|보존url=https://web.archive.org/web/20231129145930/https://www.nbcnews.com/tech/internet/deepfake-porn-ai-mr-deep-fake-economy-google-visa-mastercard-download-rcna75071|보존날짜=2023-11-29|url-status=live|확인날짜=2023-11-30}}</ref> 딥페이크 포르노그래피는 종종 [[리벤지 포르노]]와 유사하게 주로 여성을 모욕하거나 고통을 주기 위해 사용된다.

== 딥페이크 포르노 퇴치 노력 ==
=== 기술적 접근 방식 ===
최근 몇 년간 가짜 영상과 이미지의 확산이 더욱 만연해짐에 따라 딥페이크 탐지가 점점 더 중요한 연구 분야로 대두되고 있다. 딥페이크를 탐지하는 한 가지 유망한 접근법은 합성곱 신경망(CNN)의 사용이다. CNN은 실제 이미지와 가짜 이미지를 구별하는 데 높은 정확도를 보여주었다. 딥페이크 탐지를 위해 특별히 개발된 CNN 기반 알고리즘 중 하나는 DeepRhythmd으로, 98%의 확률로 딥페이크 이미지를 성공적으로 탐지할 수 있다. 이 알고리즘은 사전 훈련된 CNN을 사용하여 관심 있는 얼굴 영역에서 특징을 추출한 다음, 새로운 주의 메커니즘을 적용하여 원본 이미지와 조작된 이미지 간의 불일치를 식별한다. 딥페이크 기술이 더욱 정교하게 발전해 탐지 노력에 지속적으로 문젯거리가 되고 있지만, DeepRhythm과 같이 높은 정확도를 가진 알고리즘은 유해한 딥페이크의 확산을 식별하고 완화하는 데 긍정적인 효과를 가져다 준다.<ref name="crc1" />

탐지 모델 외에도 일반 대중이 사용할 수 있는 동영상 인증 도구들이 있다. 2019년, Deepware는 사용자들이 쉽게 딥페이크 동영상을 스캔해 탐지할 수 있는 최초의 공개 탐지 도구를 출시했다. 비슷하게, 2020년 마이크로소프트는 무료로 사용자 친화적인 동영상 진위 확인 소프트웨어를 출시했다. 사용자들이 의심스러운 동영상을 업로드하거나 링크를 입력하면, 딥페이크의 조작 수준을 평가하는 신뢰도 점수를 받을 수 있다.

=== 법률적 접근 방식 ===
2023년 현재, 딥페이크 포르노를 특별히 다루는 법률은 부족한 상황이다. 대신, 딥페이크 포르노의 제작과 유포로 인한 피해는 기존의 형법과 민법을 통해 법원에서 다뤄지고 있다.<ref name=":3" />

피해자들은 딥페이크 포르노 행위에 대해 주로 [[리벤지 포르노]], 명예훼손 및 성희롱 혐의로 고발한다.<ref name=":3">{{웹 인용|url=https://www.jdsupra.com/legalnews/nudify-me-the-legal-implications-of-ai-2348218/|제목=Nudify Me: The Legal Implications of AI-Generated Revenge Porn|웹사이트=JD Supra|언어=en|보존url=https://web.archive.org/web/20240314140445/https://www.jdsupra.com/legalnews/nudify-me-the-legal-implications-of-ai-2348218/|보존날짜=2024-03-14|url-status=live|확인날짜=2024-03-14}}</ref> 리벤지 포르노에 대한 법적 처벌 수준은 국가마다 다르다.<ref name=":3" /><ref name="Kirchengast 308–323">{{저널 인용|제목=Deepfakes and image manipulation: criminalisation and control|저널=Information & Communications Technology Law|성=Kirchengast|이름=Tyrone|url=http://dx.doi.org/10.1080/13600834.2020.1794615|날짜=2020-07-16|권=29|호=3|쪽=308–323|doi=10.1080/13600834.2020.1794615|issn=1360-0834|보존url=https://web.archive.org/web/20240126011710/https://www.tandfonline.com/doi/full/10.1080/13600834.2020.1794615|보존날짜=2024-01-26|url-status=live|확인날짜=2023-04-20}}</ref> 예를 들어, 캐나다에서는 합의하지 않은 사적인 이미지를 게시할 경우 최대 5년의 징역형에 처해지는 반면<ref>{{웹 인용|url=https://laws-lois.justice.gc.ca/eng/acts/C-46/section-162.1.html|제목=Consolidated federal laws of Canada, Criminal Code|성=Branch|이름=Legislative Services|날짜=2023-01-16|웹사이트=laws-lois.justice.gc.ca|보존url=https://web.archive.org/web/20230603182558/https://laws-lois.justice.gc.ca/eng/acts/C-46/section-162.1.html|보존날짜=2023-06-03|url-status=live|확인날짜=2023-04-20}}</ref> 몰타에서는 최대 5,000유로의 벌금이 부과된다.<ref>{{저널 인용|제목=Legal Protection of Revenge and Deepfake Porn Victims in the European Union: Findings From a Comparative Legal Study|저널=Trauma, Violence, & Abuse|성=Mania|이름=Karolina|url=https://doi.org/10.1177/15248380221143772|날짜=2022|권=25|호=1|쪽=117–129|doi=10.1177/15248380221143772|pmid=36565267|보존url=https://web.archive.org/web/20240126011735/https://journals.sagepub.com/doi/10.1177/15248380221143772|보존날짜=2024-01-26|url-status=live|확인날짜=2023-04-20}}</ref>

공개되지 않은 디지털 조작 시각 미디어의 제작과 유포를 형사 범죄로 규정하고자 했던 "딥페이크 책임법"이 2019년 미국 의회에 제출되었으나 2020년에 폐기되었다.<ref>{{웹 인용|url=https://www.govtrack.us/congress/bills/116/hr3230|제목=Defending Each and Every Person from False Appearances by Keeping Exploitation Subject to Accountability Act of 2019 (2019 - H.R. 3230)|웹사이트=GovTrack.us|언어=en|보존url=https://web.archive.org/web/20231203000807/https://www.govtrack.us/congress/bills/116/hr3230|보존날짜=2023-12-03|url-status=live|확인날짜=2023-11-27}}</ref> 법안은 참가자들을 고통을 주거나 해를 끼치려는 의도로 성적이고 비동의적인 조작 미디어를 만드는 행위에 대해 벌금형, 5년 이하의 징역형 또는 이 둘을 병과할 수 있다고 명시했다.<ref name="Kirchengast 308–323">{{저널 인용|제목=Deepfakes and image manipulation: criminalisation and control|저널=Information & Communications Technology Law|성=Kirchengast|이름=Tyrone|url=http://dx.doi.org/10.1080/13600834.2020.1794615|날짜=2020-07-16|권=29|호=3|쪽=308–323|doi=10.1080/13600834.2020.1794615|issn=1360-0834|보존url=https://web.archive.org/web/20240126011710/https://www.tandfonline.com/doi/full/10.1080/13600834.2020.1794615|보존날짜=2024-01-26|url-status=live|확인날짜=2023-04-20}}</ref> 2021년에 모든 딥페이크 콘텐츠에 워터마크와 변경된 음향적, 시각적 요소를 공개하도록 요구하는 법안이 발의되었으며, 또한 성적 내용이 포함된 딥페이크로 사람을 괴롭히거나 고통을 주려는 의도로 이 정보를 공개하지 않을 경우 "법에 따라 벌금형, 5년 이하의 징역형 또는 이 둘을 병과할 수 있다"고 명시했다. 그러나 이 법안 역시 2023년에 폐기되었다.<ref>{{웹 인용|url=https://www.govtrack.us/congress/bills/117/hr2395|제목=DEEP FAKES Accountability Act (2021 - H.R. 2395)|웹사이트=GovTrack.us|언어=en|보존url=https://web.archive.org/web/20231203000806/https://www.govtrack.us/congress/bills/117/hr2395|보존날짜=2023-12-03|url-status=live|확인날짜=2023-11-27}}</ref>

영국에서 잉글랜드 및 웨일스 법률위원회는 2022년에 딥페이크 포르노 공유를 범죄화하는 개혁을 권고했다.<ref>{{뉴스 인용|url=https://www.theguardian.com/law/2022/jul/07/criminal-reforms-target-deepfake-and-nonconsenual-pornographic-imagery|제목=Criminal reforms target ‘deepfake’ and nonconsensual pornographic imagery|성=Hill|이름=Amelia|날짜=2022-07-07|뉴스=The Guardian|언어=en-GB|issn=0261-3077|확인날짜=2024-08-18}}</ref> 2023년에는 이를 위해 정부가 온라인 안전법(Online Safety Bill) 개정을 발표했다. [[2023년 온라인 안전법]]은 2003년 성범죄법(Sexual Offences Act 2003)을 개정해 초상권자의 동의 없이 딥페이크 포르노를 공유하는 행위를 범죄화했다. 2024년에는 정부가 딥페이크 포르노 이미지 제작을 범죄화하는 조항을 2024년 형사 사법법(Criminal Justice Bill)에 포함할 것이라고 발표했지만,<ref>{{웹 인용|url=https://www.gov.uk/government/news/government-cracks-down-on-deepfakes-creation|제목=Government cracks down on ‘deepfakes’ creation|웹사이트=GOV.UK|언어=en|확인날짜=2024-08-18}}</ref><ref>{{뉴스 인용|url=https://www.bbc.co.uk/news/uk-68823042|제목=Creating sexually explicit deepfakes to become a criminal offence|날짜=2024-04-16|뉴스=BBC News|언어=en-GB|확인날짜=2024-08-18}}</ref> 총선을 앞두고 의회가 해산되면서 해당 법안은 통과되지 못했다.

==== 유포 제어 ====
법적 체계가 아직 미비한 상황이지만, 법원 명령을 통한 제거 확보, DMCA 테이크다운과 같은 지적 재산권 도구, 호스팅 플랫폼의 이용 약관 위반 신고, 그리고 검색 엔진에 콘텐츠를 신고하여 제거하는 방법 등 여러 도구들을 통하여 딥페이크 포르노 피해자들은 콘텐츠들의 유포를 통제할 수 있다.<ref>{{웹 인용|url=https://www.jdsupra.com/legalnews/un-nudify-me-removal-options-for-7686408/|제목=Un-Nudify Me: Removal Options for Deepfake Pornography Victims|웹사이트=JD Supra|언어=en|보존url=https://web.archive.org/web/20240314140445/https://www.jdsupra.com/legalnews/un-nudify-me-removal-options-for-7686408/|보존날짜=2024-03-14|url-status=live|확인날짜=2024-03-14}}</ref>

몇몇 주요 온라인 플랫폼은 딥페이크 포르노그래피를 금지하기 위한 조치를 취했다. 2018년부터 [[gfycat]], [[레딧]], [[트위터]], [[디스코드 (소프트웨어)|디스코드]] 및 [[Pornhub]]는 모두 자사 플랫폼에서 딥페이크 포르노 콘텐츠의 업로드 및 공유를 금지했다.<ref>{{웹 인용|url=https://www.cnbc.com/2018/02/08/reddit-pornhub-ban-deepfake-porn-videos.html|제목=Reddit, Pornhub ban videos that use A.I. to superimpose a person's face over an X-rated actor|성=Kharpal|이름=Arjun|날짜=8 February 2018|웹사이트=CNBC|언어=en|보존url=https://web.archive.org/web/20190410050631/https://www.cnbc.com/2018/02/08/reddit-pornhub-ban-deepfake-porn-videos.html|보존날짜=2019-04-10|url-status=live|확인날짜=2023-04-20}}</ref><ref>{{웹 인용|url=https://www.vice.com/en/article/vby5jx/deepfakes-ai-porn-removed-from-gfycat|제목=AI-Generated Fake Porn Makers Have Been Kicked Off Their Favorite Host|성=Cole|이름=Samantha|날짜=2018-01-31|웹사이트=Vice|언어=en|보존url=https://web.archive.org/web/20230420045215/https://www.vice.com/en/article/vby5jx/deepfakes-ai-porn-removed-from-gfycat|보존날짜=2023-04-20|url-status=live|확인날짜=2023-04-20}}</ref> 같은 해 9월, [[구글]]은 "비자발적인 합성 음란물 이미지"를 금지 목록에 추가하여 개인이 검색 결과에서 해당 콘텐츠를 제거하도록 요청할 수 있도록 했다.<ref>{{뉴스 인용|url=https://www.washingtonpost.com/technology/2018/12/30/fake-porn-videos-are-being-weaponized-harass-humiliate-women-everybody-is-potential-target/|제목=Fake-porn videos are being weaponized to harass and humiliate women: 'Everybody is a potential target'|성=Harwell|이름=Drew|날짜=2018-12-30|뉴스=The Washington Post|언어=en-US|issn=0190-8286|보존url=https://web.archive.org/web/20190614074709/https://www.washingtonpost.com/technology/2018/12/30/fake-porn-videos-are-being-weaponized-harass-humiliate-women-everybody-is-potential-target/|보존날짜=2019-06-14|url-status=live|확인날짜=2023-04-20}}</ref>

== 같이 보기 ==
* [[가짜 누드 사진]]
* [[리벤지 포르노]]
* 《[[어나더 바디]]》, 온라인에서 자신의 딥페이크 포르노를 발견한 후 배후를 찾아내 법의 심판을 받게 하는 학생에 대한 이야기를 다룬 2023년 다큐멘터리 영화
* [[포르노그래피]]

== 각주 ==
{{각주}}

== 관련 문헌 ==
* {{저널 인용|제목=딥페이크 기술을 활용한 디지털 성범죄에 관한 연구 |성=신성원|저널=한국치안행정논집|url=https://doi.org/10.25023/KAPSA.20.4.202311.147|날짜=2023-11|권=20|호=4|쪽=147–168|doi=10.25023/KAPSA.20.4.202311.147 |doi-access=free}}
* {{저널 인용|제목=인공지능(AI) 기술을 이용한 디지털 성범죄에 대한 검토 - 딥페이크(Deepfake) 포르노 규제를 중심으로 -|저널=외법논집 |성=배상균|url=http://www.kci.go.kr/kciportal/landing/article.kci?arti_id=ART002501360|날짜=2019-08|권=43|호=3|쪽=169–187|doi=10.17257/hufslr.2019.43.3.169|issn=1226-0886|doi-access=free}}
* {{저널 인용|제목=딥페이크 합성물에 대한 국내외 입법동향과 형사법적 수용문제 - 딥페이크 포르노(Deepfake Pornography)를 중심으로|저널=소년보호연구|성=장유정|성2=김주찬|url=https://www.kci.go.kr/kciportal/landing/article.kci?arti_id=ART002673861|날짜=2020-12-31|권=33|호=2|쪽=273–306|doi=10.35930/KJPR.33.2.9|doi-access=free}}

[[분류:2020년대 인터넷 문화]]
[[분류:2020년대 논란]]
[[분류:2010년대 논란]]
[[분류:포르노그래피]]
[[분류:딥페이크]]
[[분류:텍스트-이미지 생성]]
[[분류:텍스트-비디오 생성]]