موضوع مقاله: دیپ‌فیک صوتی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # دیپ‌فیک صوتی | مقدمه: دیپ‌فیک صوتی (انگلیسی: Audio deepfake) که با نام‌های شبیه‌سازی صدا یا صوت دیپ‌فیک نیز شناخته می‌شود، کاربردی از هوش مصنوعی است که برای تولید گفتاری طراحی شده است که به‌طور قانع‌کننده‌ای از صدا و لحن افراد خاص تقلید می‌کند و حتی می‌تواند عبارت‌ها یا جمله‌هایی را بسازد که آن افراد هرگز به زبان نیاورده‌اند. | ## بخش 1: دیپ‌فیک صوتی | این فناوری در آغاز با هدف بهبود جنبه‌های گوناگون زندگی انسان توسعه یافت و کاربردهای عملی همچون تولید کتاب صوتی و کمک به افرادی که به دلیل شرایط پزشکی قدرت تکلم خود را از دست داده‌اند دارد. همچنین این فناوری کاربردهای تجاری دارد؛ از جمله ایجاد دستیار دیجیتال شخصی‌سازی‌شده، سامانه‌های تبدیل متن به گفتار طبیعی و خدمات پیشرفتهٔ ترجمهٔ گفتاری. رخدادهای کلاهبرداری دیپ‌فیک صوتی که از اوایل دههٔ ۲۰۲۰ به‌عنوان دست‌کاری‌های صوتی شناخته می‌شود، به‌سرعت با استفاده از تلفن‌های همراه ساده یا رایانهٔ شخصی در دسترس همگان قرار گرفت. چنین استفاده‌هایی موجب نگرانی‌های امنیت رایانه‌ای در سطح جهانی دربارهٔ پیامدهای جانبی به‌کارگیری دیپ‌فیک صوتی شده است؛ از جمله نقش احتمالی آن در گسترش اطلاعات نادرست و اطلاعات گمراه‌کننده در شبکه‌های اجتماعی مبتنی بر صدا. از این فناوری می‌توان به‌عنوان روشی برای کنترل دسترسی منطقی و حملهٔ جعل هویت صوتی نیز استفاده کرد؛ به‌طوری‌که بتوان افکار عمومی را برای تبلیغات، تخریب شخصیت یا حتی تروریسم تحت تأثیر قرار داد. حجم عظیمی از ضبط‌های صوتی هر روز در اینترنت مبادله می‌شوند و شناسایی جعل صوتی کاری دشوار است. هدف‌گیری افراد و سازمان‌ها، از جمله سیاستمداران و دولت‌ها توسط مهاجمان دیپ‌فیک صوتی گزارش شده است. در سال ۲۰۱۹، کلاهبرداران با استفاده از هوش مصنوعی صدای مدیرعامل یک شرکت انرژی آلمانی را جعل کردند و مدیر شعبهٔ بریتانیایی را واداشتند تا انتقال دهد. اوایل ۲۰۲۰، همین روش برای جعل صدای یک مدیر دیگر به‌کار رفت و در چارچوب یک طرح پیچیده، مدیر شعبه را قانع کرد تا ۳۵ میلیون دلار منتقل کند. بر پایهٔ یک نظرسنجی جهانی مک‌آفی در ۲۰۲۳، یک نفر از هر ده نفر گزارش داد که هدف کلاهبرداری شبیه‌سازی صدای هوش مصنوعی قرار گرفته است؛ ۷۷٪ از این افراد گفتند که پول خود را از دست داده‌اند. دیپ‌فیک صوتی می‌تواند برای سامانه‌های احراز هویت صوتی که در مؤسسات مالی استفاده می‌شوند نیز تهدیدی جدی باشد. در مارس ۲۰۲۳، کمیسیون تجارت فدرال ایالات متحده به مصرف‌کنندگان دربارهٔ استفاده از هوش مصنوعی برای جعل صدای اعضای خانواده در موقعیت‌های اضطراری و درخواست پول هشدار داد. در اکتبر ۲۰۲۳، هم‌زمان با آغاز کنفرانس حزب کارگر بریتانیا در لیورپول، یک دیپ‌فیک صوتی از کیر استارمر رهبر حزب منتشر شد که به‌دروغ او را در حال توهین به کارکنانش و انتقاد از لیورپول نشان می‌داد. در همان ماه، دیپ‌فیک صوتی دیگری از سیاستمدار اسلواک میخال شیمچکا منتشر شد که به‌طور دروغین نشان می‌داد او دربارهٔ راه‌های دست‌کاری انتخابات آینده صحبت می‌کند. در جریان کارزار انتخابات مقدماتی ریاست‌جمهوری دموکرات‌های نیوهمپشایر ۲۰۲۴، بیش از ۲۰ هزار رأی‌دهنده تماس‌های خودکاری دریافت کردند که با صدای جعل‌شدهٔ جو بایدن تولید شده بود و آن‌ها را به شرکت‌نکردن در رأی‌گیری تشویق می‌کرد. دادستان کل نیوهمپشایر این اقدام را ناقض قوانین انتخاباتی ایالت دانست و شرکت‌های لایف و لینگو تله‌کام را متهم به دخالت کرد. در فوریهٔ ۲۰۲۴، کمیسیون فدرال ارتباطات ایالات متحده استفاده از هوش مصنوعی برای جعل صدا در تماس‌های خودکار را ممنوع اعلام کرد. در همان ماه، مشاور سیاسی استیو کرامر اعتراف کرد که او این تماس‌ها را به مبلغ ۵۰۰ دلار سفارش داده است. او گفت هدفش جلب توجه به ضرورت وضع قوانین برای استفاده از هوش مصنوعی در کارزارهای سیاسی بوده است. در مه، کمیسیون فدرال ارتباطات اعلام کرد کرامر با جعل شمارهٔ یک چهرهٔ سیاسی محلی قوانین فدرال را نقض کرده است و جریمه‌ای ۶ میلیون دلاری برای او پیشنهاد داد. چهار شهرستان نیوهمپشایر نیز او را به جرم‌های «سرکوب رأی‌دهندگان» (اتهام سنگین) و «جعل هویت یک نامزد» (تخلف سبک‌تر) متهم کردند. دسته‌بندی‌ها دیپ‌فیک‌های صوتی را می‌توان به سه دستهٔ گوناگون تقسیم کرد: مبتنی بر بازپخش دیپ‌فیک‌های مبتنی بر بازپخش نمونه‌های مخربی هستند که با هدف بازتولید ضبط صدای گویندهٔ اصلی ساخته می‌شوند. در روش میدان دور، یک ضبط میکروفونی از صدای قربانی به‌عنوان بخش آزمایشی در یک تلفن بدون‌دست مورد استفاده قرار می‌گیرد. در مقابل، روش برش‌و-چسباندن با جعل جملهٔ درخواستی از یک سامانهٔ متکی بر متن انجام می‌شود. از تأیید هویت گوینده بر اساس متن می‌توان برای دفاع در برابر این نوع حملات بازپخشی استفاده کرد. یکی از روش‌های کنونی برای شناسایی حملات بازپخشِ انتها-به-انتها، بهره‌گیری از شبکه‌های عصبی پیچشی عمیق است. سنتز گفتار شامل تبدیل متن به گفتار است که هدف آن تبدیل متن به گفتاری طبیعی و قابل‌قبول در زمان واقعی است، به‌گونه‌ای که خروجی صوتی با ورودی متنی هماهنگ باشد و بر اساس قواعد توصیف زبانی متن ساخته شود. سامانه‌های کلاسیک از این نوع معمولاً سه بخش دارند: یک مدل تحلیل متن، یک مدل آکوستیک، و یک وکودر. تولید گفتار به‌طور کلی نیازمند دو گام اصلی است: نخست، گردآوری دادهٔ صوتی خام، تمیز و ساختارمند به‌همراه متن پیاده‌سازی‌شدهٔ گفتار اصلی. دوم، آموزش مدل تبدیل متن به گفتار با استفاده از این داده‌ها برای ساخت یک مدل تولید صوت مصنوعی. در عمل، متن پیاده‌سازی‌شده به‌همراه صدای گویندهٔ هدف، ورودی مدل تولید به‌شمار می‌رود. سپس ماژول آکوستیک بر اساس ویژگی‌های زبانیِ تولیدشده، پارامترهای صدای گویندهٔ هدف را از دادهٔ صوتی استخراج می‌کند. | ## بخش 2: دیپ‌فیک صوتی | در نهایت، وکودر یادمی‌گیرد بر پایهٔ این پارامترهای آکوستیک، موجک‌های صوتی را ایجاد کند. فایل صوتی نهایی به شکل یک شبیه‌سازی مصنوعی تولید می‌شود که می‌تواند صدای بسیاری از گویندگان را بازتولید کند؛ حتی آن‌هایی که در مرحلهٔ آموزش حضور نداشته‌اند. نخستین پیشرفت چشمگیر در این زمینه با معرفی ویونت رخ داد، که شبکه عصبیای برای تولید موجک‌های خام صوتی بود و می‌توانست ویژگی‌های بسیاری از گویندگان مختلف را شبیه‌سازی کند. این شبکه در طول زمان با سامانه‌های دیگر جایگزین شد که قادر به سنتز صداهای مصنوعی بسیار واقعی و در دسترس همگان شدند. تبدیل متن به گفتار به‌شدت به کیفیت پیکرهٔ صوتی مورد استفاده وابسته است و ساخت یک پیکرهٔ کامل صوتی هزینه‌بر است. همچنین مشکلات ابهام زبانی نیز همچنان وجود دارد، زیرا یک واژهٔ واحد می‌تواند معانی متفاوتی داشته باشد. الگوریتم مبتنی بر تقلید یک سیگنال گفتاری را به‌عنوان ورودی دریافت می‌کند و آن را با تغییر سبک، آهنگ و فراز و فرود صدا دستکاری می‌کند تا صدای هدف را تقلید کند، بی‌آنکه اطلاعات زبانی جمله دگرگون شود. این شیوه اغلب با روش مبتنی بر تولید مصنوعی اشتباه گرفته می‌شود، زیرا در فرایند تولید میان این دو مرز روشنی وجود ندارد. در واقع، هر دو روش ویژگی‌های آکوستیک-طیفی و سبک گفتار را تغییر می‌دهند، اما در رویکرد تقلیدی معمولاً متن ورودی و خروجی یکسان باقی می‌ماند. این کار از طریق تغییر نحوهٔ بیان جمله انجام می‌شود تا با ویژگی‌های گویندهٔ هدف هماهنگ گردد. تقلید صدا می‌تواند به شیوه‌های گوناگون انجام شود؛ برای نمونه، با استفاده از انسان‌هایی که صدایی مشابه دارند و قادر به تقلید گویندهٔ اصلی هستند. در سال‌های اخیر، رایج‌ترین رویکرد استفاده از شبکه مولد تخاصمی بوده است که به دلیل انعطاف‌پذیری و کیفیت بالای نتایج، محبوبیت یافته است. در این فرایند، سیگنال صوتی اصلی دگرگون می‌شود تا گفتاری جدید در صدای هدف تولید کند که در قالب نسخهٔ جعلی بازنمایی می‌شود. روش‌های شناسایی وظیفهٔ شناسایی دیپ‌فیک صوتی تعیین می‌کند که آیا یک نمونهٔ گفتاری واقعی است یا جعلی. در سال‌های اخیر، این موضوع به یکی از مباحث داغ در جامعهٔ پژوهش‌های جرم‌شناسی تبدیل شده است، زیرا تلاش می‌شود با سرعت تکامل روش‌های جعل همراهی شود. به‌طور کلی، روش‌های شناسایی دیپ‌فیک به دو دسته تقسیم می‌شوند بر اساس جنبه‌ای که برای شناسایی به‌کار می‌گیرند. دستهٔ نخست بر جنبه‌های سطح پایین تمرکز دارد و به دنبال آثار مصنوعی تولیدشده توسط سامانه‌های مولد در سطح نمونهٔ صوتی است. دستهٔ دوم بر ویژگی‌های سطح بالاتر متمرکز است که جنبه‌های پیچیده‌تر، مانند محتوای معنایی گفتار ضبط‌شده را بازنمایی می‌کنند. بیشتر این الگوریتم‌ها از یک فرایند سه‌مرحله‌ای پیروی می‌کنند: هر فایل گفتاری باید پیش‌پردازش شده و به ویژگی‌های صوتی مناسب تبدیل شود؛ ویژگی‌های محاسبه‌شده به مدل شناسایی داده می‌شوند تا عملیات لازم مانند آموزش را انجام دهد و توانایی تمایز میان صدای واقعی و جعلی فراهم شود؛ خروجی به ماژول نهایی فرستاده می‌شود تا احتمال تعلق به کلاس «جعلی» یا «واقعی» را ارائه دهد. در طول سال‌ها، پژوهشگران نشان داده‌اند که رویکردهای یادگیری ماشین نسبت به روش‌های یادگیری عمیق، صرف‌نظر از نوع ویژگی‌ها، از دقت بیشتری برخوردارند. با این حال، مقیاس‌پذیری این روش‌ها به دلیل نیاز به آموزش گسترده و استخراج دستی ویژگی‌ها ــ به‌ویژه در شرایط وجود فایل‌های صوتی فراوان ــ تأیید نشده است. در مقابل، هنگام استفاده از الگوریتم‌های یادگیری عمیق، لازم است دگرگونی‌های خاصی بر روی فایل‌های صوتی انجام شود تا الگوریتم‌ها بتوانند آن‌ها را پردازش کنند. پیاده‌سازی‌های متن‌باز گوناگونی از روش‌های شناسایی وجود دارند، و معمولاً بسیاری از گروه‌های پژوهشی آن‌ها را در سرویس‌های میزبانی عمومی مانند گیت‌هاب منتشر می‌کنند. چالش‌های باز و مسیرهای پژوهشی آینده دیپ‌فیک صوتی حوزه‌ای بسیار تازه در پژوهش است. به همین دلیل، هم فرصت‌های فراوانی برای توسعه و بهبود وجود دارد و هم تهدیدهایی که به‌کارگیری این فناوری می‌تواند برای زندگی روزمره به همراه داشته باشد. تولید دیپ‌فیک در زمینهٔ تولید، مهم‌ترین جنبه «قابلیت باورپذیری برای شنونده» است؛ یعنی کیفیت ادراکی دیپ‌فیک صوتی. چند شاخص برای تعیین سطح دقت تولید دیپ‌فیک صوتی وجود دارد که رایج‌ترین آن‌ها میانگین نمرهٔ نظر (MOS) است؛ یعنی میانگین حسابی امتیازهایی که کاربران می‌دهند. در این آزمایش‌ها معمولاً جملاتی که با الگوریتم‌های مختلف تولید گفتار ساخته شده‌اند ارزیابی می‌شوند. این شاخص نشان داده است که الگوریتم‌هایی که بر اساس داده‌های یک گوینده آموزش دیده‌اند، MOS بالاتری دارند. در حال حاضر، مجموعه‌داده‌های موجود معمولاً نرخ نمونه‌برداری در حدود ۱۶ کیلوهرتز دارند که کیفیت گفتار را به‌طور چشمگیری کاهش می‌دهد. در مارس ۲۰۲۰، یک پژوهشگر مؤسسه فناوری ماساچوست تولید کارآمد دیپ‌فیک صوتی را از طریق 15.ai نشان داد؛ یک وبگاه که قادر است تنها با ۱۵ ثانیه دادهٔ آموزشی گفتار باکیفیت تولید کند، در مقایسه با سامانه‌های پیشین که به ده‌ها ساعت داده نیاز داشتند. این سامانه از یک مدل یکپارچهٔ چندگوینده بهره می‌برد که امکان آموزش هم‌زمان چند صدا را از طریق تعبیه‌های گوینده فراهم می‌کرد و اجازه می‌داد الگوهای مشترک میان صداهای مختلف آموخته شود؛ حتی زمانی‌که هر صدا نمونه‌های محدودی از زمینه‌های عاطفی خاص داشت. | ## بخش 3: دیپ‌فیک صوتی | این پلتفرم تحلیل احساسات را از طریق ایموجی عمیق برای بازنمایی عاطفی به‌کار گرفت و از الفبای آواشناختی ARPABET برای کنترل دقیق تلفظ پشتیبانی کرد. شناسایی دیپ‌فیک در بخش شناسایی، یکی از نقاط ضعف اصلی مدل‌های اخیر، زبان مورد استفاده است. بیشتر پژوهش‌ها بر شناسایی دیپ‌فیک صوتی در زبان انگلیسی تمرکز دارند و توجه چندانی به زبان‌های پرگویش‌تری مانند چینی و اسپانیایی و همچنین هندی و عربی نشده است. عامل مهم دیگر، گویش‌ها و لهجه‌ها هستند که بیان و تلفظ را به‌شکلی خاص با یک فرد، منطقه یا ملت پیوند می‌دهند. در حوزه‌های دیگر پردازش صوت مانند شناسایی گوینده، نشان داده شده است که لهجه به‌طور چشمگیری بر کارایی تأثیر می‌گذارد، بنابراین انتظار می‌رود این ویژگی بر عملکرد مدل‌ها در وظیفهٔ شناسایی نیز اثر بگذارد. افزون بر این، پیش‌پردازش بیش‌ازحد داده‌های صوتی موجب هزینه‌های محاسباتی بسیار بالا و گاه غیرقابل‌تحمل شده است. از این‌رو، بسیاری از پژوهشگران پیشنهاد کرده‌اند از رویکرد یادگیری خودنظارتی استفاده شود، تا مدل‌ها بتوانند با داده‌های بدون برچسب نیز به‌خوبی کار کنند، مقیاس‌پذیری افزایش یابد و هم‌زمان هزینهٔ محاسباتی کاهش پیدا کند. در واقع، استفاده از داده‌های صوتی همراه با نویزهای محیطی واقعی می‌تواند استحکام مدل‌های شناسایی صدای جعلی را بالا ببرد. همچنین بیشتر تلاش‌ها بر شناسایی دیپ‌فیک‌های مبتنی بر تولید مصنوعی متمرکز است و پژوهش‌های اندکی به بررسی دیپ‌فیک‌های مبتنی بر تقلید پرداخته‌اند، زیرا فرایند تولید آن‌ها ذاتاً دشوارتر است. دفاع در برابر دیپ‌فیک‌ها در طول سال‌ها، روش‌های گوناگونی برای دفاع در برابر اقدام‌های مخرب احتمالی ناشی از دیپ‌فیک صوتی، مانند سرقت هویت یا دست‌کاری سخنان مقامات کشورها، افزایش یافته است. برای جلوگیری از دیپ‌فیک‌ها، برخی استفاده از زنجیره‌بلوک و دیگر فناوری‌های دفتر کل توزیع‌شده را پیشنهاد کرده‌اند تا منشأ داده‌ها شناسایی و اطلاعات ردیابی شوند. همچنین استخراج و مقایسهٔ نشانه‌های عاطفی متناظر با احساسات ادراک‌شده از محتوای دیجیتال به‌عنوان راهکاری برای مقابله با دیپ‌فیک‌ها پیشنهاد شده است. پیشنهاد شده است که برخی از ابزارهای اختصاصی شناسایی تنها در اختیار گروه‌هایی قرار گیرد که واقعاً به آن نیاز دارند، مانند راستی‌آزمایان و روزنامه‌نگاران. بدین‌ترتیب، کسانی که مدل‌های تولید دیپ‌فیک را می‌سازند ــ چه بسا برای اهداف مخرب ــ دقیقاً نمی‌دانند چه ویژگی‌هایی در شناسایی دیپ‌فیک مؤثرند، و این امر می‌تواند انگیزهٔ مهاجمان را کاهش دهد. برای بهبود شناسایی، پژوهشگران تلاش می‌کنند فرایند را تعمیم دهند، به‌دنبال یافتن روش‌های پیش‌پردازش کارآمدتر باشند و کارایی توابع هزینهٔ گوناگون را که در آموزش مدل‌ها به‌کار می‌روند بیازمایند. برنامه‌های پژوهشی گروه‌های پژوهشی بسیاری در سراسر جهان در حال کار بر روی شناسایی دست‌کاری رسانه‌ها هستند؛ یعنی نه‌تنها دیپ‌فیک صوتی، بلکه دیپ‌فیک تصویری و ویدئویی نیز. این پروژه‌ها معمولاً با حمایت مالی عمومی یا خصوصی انجام می‌شوند و در ارتباط نزدیک با دانشگاه‌ها و مؤسسه‌های پژوهشی قرار دارند. برای این منظور، آژانس پروژه‌های پژوهشی پیشرفته دفاعی (دارپا) برنامهٔ «جرم‌شناسی معنایی» را اجرا می‌کند. این برنامه با بهره‌گیری از برخی پژوهش‌های پیشین برنامهٔ «جرم‌شناسی رسانه‌ای» که آن هم از سوی (دارپا) اجرا شده بود، تلاش می‌کند الگوریتم‌هایی برای شناسایی معنایی توسعه دهد. این الگوریتم‌ها باید بتوانند تعیین کنند که آیا یک محتوای رسانه‌ای تولید یا دست‌کاری شده است، تا بدین‌ترتیب تحلیل منشأ رسانه خودکار شود و هدف پشت جعل محتواهای گوناگون آشکار گردد. برنامهٔ پژوهشی دیگری با عنوان «حفظ اعتمادپذیری رسانه در عصر هوش مصنوعی» نیز با پشتیبانی مالی وزارت آموزش، دانشگاه و پژوهش ایتالیا و با مدیریت پنج دانشگاه ایتالیایی اجرا می‌شود. «حفظ اعتمادپذیری رسانه در عصر هوش مصنوعی» رویکردهای ترکیبی نوینی را دنبال می‌کند تا ابزارهای جرم‌شناسی قابل‌تفسیرتر و ایمن‌تر به دست آید. «دیپ-ویس» یک مجموعه‌دادهٔ در دسترس عمومی برای مقاصد پژوهشی است که به توسعهٔ سامانه‌های شناسایی گفتار تولیدشده با شبکه‌های عصبی از طریق فرایندی به نام «تبدیل صدا بر پایهٔ بازیابی» (RVC) کمک می‌کند. پژوهش‌های مقدماتی نشان داد که تفاوت‌های آماری معناداری میان ویژگی‌های موجود در گفتار انسانی و گفتار تولیدشده توسط الگوریتم‌های هوش مصنوعی وجود دارد. چالش‌های عمومی در چند سال اخیر، چالش‌های متعددی برگزار شده‌اند تا پژوهش در زمینهٔ دیپ‌فیک صوتی بیش‌ازپیش پیشرفت کند. این چالش یک ابتکار دوسالانه به رهبری جامعهٔ پژوهشی است که هدف آن ترویج توجه به مسئلهٔ جعل و توسعهٔ راهکارهای مقابله است. چالش دیگر «ADD" یا «شناسایی دیپ‌فیک صوتی» است که سناریوهای جعلی را در شرایطی نزدیک‌تر به زندگی واقعی بررسی می‌کند. همچنین «چالش تبدیل صدا» یک رقابت دوسالانه است که با هدف مقایسهٔ سامانه‌ها و رویکردهای مختلف تبدیل صدا، با استفاده از داده‌های صوتی یکسان برگزار می‌شود. استفادهٔ گسترده بدون اجازه در ۲۲ مهٔ ۲۰۲۵ ادعا شد که محصول بخوانید و صحبت کنید متعلق به شرکت‌های هویا از ضبط‌های انجام‌شده توسط بازیگر گیان پاتر در سال ۲۰۲۱ استفاده کرده است. او در آن زمان تصور می‌کرد که این صدا صرفاً برای نرم‌افزارهای دسترس‌پذیری و آموزش الکترونیکی به‌کار می‌رود، اما اکنون به‌طور عمومی به‌عنوان صدای «ایونا» عرضه شده و در قطارهای اسکات‌ریل به‌عنوان صدای اعلان استفاده می‌شود. این صدا جایگزین پیام‌های پیشین شد که توسط فلچر ماترز ضبط شده بود، بی‌آنکه اجازهٔ او گرفته شود. | ## جمع‌بندی | در ۲۵ اوت ۲۰۲۵، اسکات‌ریل اعلام کرد که صدای هوش مصنوعی در قطارها جایگزین خواهد شد، هرچند مشخص نیست که این جایگزین یک ضبط انسانی باشد یا صدایی دیگر که با هوش مصنوعی آموزش دیده است.