Payamvdn/NorthPersian_fa_wiki huggingface dataset:
واقعی را از ورودی نویز گاوسی formula_19 دوباره ایجاد کنیم. توجه کنید که اگر formula_20 به اندازه کافی کوچک باشد، formula_18 نیز گوسی خواهد بود. متأسفانه، ما نمی توانیم formula_18 را به راحتی تخمین بزنیم زیرا برای این کار باید از کل مجموعه داده استفاده کنیم، بنابراین باید مدلِ formula_23 را برای تقریب این احتمالات شرطی به منظور اجرای فرایند انتشار معکوس یاد بگیریم. formula_24 احتمال شرطی معکوس زمانی قابل حل است که روی formula_25 شرط شود: formula_26 با اعمال قاعده بیز داریم: formula_27 با توجه به تابع چگالی توزیع گاوسی، میانگین و واریانس را می توان به صورت زیر به دست آورد: formula_28 می دانیم که formula_29 و با جایگذاری در عبارات بالا خواهیم داشت: formula_30 تابع هزینه برای آموزش فرایند انتشاری. برای تقریب توزیع احتمال شرطی در فرایند انتشار معکوس formula_31 نیاز به یادگیری یک شبکه عصبی داریم. درواقع می خواهیم formula_32 را آموزش دهیم که formula_33 را پیش بینی کند. از آن جایی که formula_9 به عنوان ورودی مدل هنگام آموزش داده می شود، می توانیم با تغییر عبارت نویز گاوسی formula_35 را از ورودی در گام formula_6 پیش ب
ینی کنیم: formula_37 پس تابع هزینه برای کمینه کردن اختلاف از formula_38 به صورت زیر خواهد بود: formula_39 در مقاله نشان داده شده است که آموزش مدل انتشاری با تابع هزینه زیر بهتر انجام می شود: formula_40 و تابع هزینه نهایی به صورت formula_41 خواهد بود (formula_42 یک مقدار ثابت مستقل از formula_43 است). محدودیت ها. فرایند نمونه گیری از DDPM با دنبال کردن زنجیره مارکوف فرایند انتشار معکوس بسیار کند است، زیرا تعداد گام ها formula_2 می تواند تا یک یا چند هزار مرحله باشد. در گفته شده «به عنوان مثال، نمونه گیری ۵۰ هزار عکس با اندازه ۳۲ × ۳۲ از یک DDPM حدود ۲۰ ساعت طول می کشد، اما انجام این کار با یک GAN روی یک پردازنده گرافیکی Nvidia 2080 Ti کمتر از یک دقیقه زمان می برد.» کاربرد. بینایی ماشین. مدل هایی انتشاری برای تولید، بخش بندی، فراتفکیک پذیری، تغییر و تعمیر تصاویر به کار می روند. همچنین در تولید ویدئو، تشخیص ناهنجاری، تحلیل تصاویر پزشکی و بینایی سه بعدی کاربرد دارد. پردازش زبان های طبیعی. مدل های انتشاری همچنین برای تولید و ترجمه متن استفاده می شوند.
در کاربردهای یادگیری نظارت شده در یادگیری ماشینی، خطای تعمیم معیاری برای ارزیابی میزان دقت یک الگوریتم در پیش بینی داده های از پیش دیده نشده است. به دلیل این که الگوریتم های یادگیری توسط نمونه های محدودی ارزیابی می شوند، ارزیابی این الگوریتم ها به خطای نمونه گیری حساس است. در نتیجه، معیارهای پیش بینی با توجه به داده های کنونی ممکن است اطلاعات جدیدی در مورد توانایی پیش بینی در داده های جدید ارائه نکند. با اجتناب از بیش برازش می توان خطای تعمیم را کاهش داد. عملکرد یک الگوریتم یادگیری ماشین با تجسم نمودارهایی به نام منحنی فراگیری انجام می پذیرد که خطای تعمیم را در فرایند یادگیری تخمین می زنند. تعریف. هدف در یک مسئلهٔ یادگیری، یافتن تابع formula_1 است که با توجه به دادهٔ ورودی formula_2، خروجی formula_3 را پیش بینی می کند. زیرنویس formula_4 نشان می دهد که تابع formula_5 براساس مجموعه ای شامل formula_4 داده ساخته شده است. خطای تعمیم، formula_7 برای تابع formula_8، روی تمام مقادیر formula_2 و formula_3 برابر است با: formula_11 که در آن formula_12، تابع هزینه و formula_13، توزیع احتمال توأم برای formula_2 و formula_
3 است. بدون دانستن توزیع احتمال توأم، formula_16 محاسبهٔ مقدار formula_7 غیرممکن است. در عوض، می توانیم خطا را روی داده های نمونه محاسبه کنیم که به آن خطای تجربی می گویند. خطای تجربی با دانستن formula_4 داده برابر است با: formula_19 و یک الگوریتم تعمیم پذیر خواهد بود اگر: formula_20 خطای تعمیم formula_21، برای یک تابع وابسته به دادهٔ formula_5 که توسط یک الگوریتم یادگیری بر اساس نمونه محاسبه شده است، از اهمیت زیادی برخوردار است. با توجه به این که محاسبهٔ مستقیم formula_21 نیازمند دانستن توزیع احتمال است که ناشناخته است، هدف بسیاری از مسائل در نظریه یادگیری آماری محدود کردن یا مشخص کردن تفاوت خطای تعمیم و خطای تجربی است: formula_24 در نتیجه، هدف مشخص کردن احتمال formula_25 است که بتوانیم خطای تعمیم را، با جمع خطای تجربی و یک کران خطا formula_26 (در حالت کلی وابسته به formula_27 و formula_4) محدود کنیم. در بسیاری از الگوریتم ها، نشان داده شده است که یک الگوریتم، در صورتی که معیارهای ثبات خاصی را برآورده کند، دارای مرزهای تعمیم است. به طور خاص، اگر الگوریتمی متقارن باشد (ترتیب ورودی ها بر نتیجه تأثیری نگذارد)، ت
ابع هزینهٔ محدودی داشته باشد و دو شرط پایداری را برآورده کند، تعمیم می یابد. این شرایط را می توان به صورت زیر بیان کرد: پایداری اعتبارسنجی متقابل یک طرفه. الگوریتم formula_29 این ثبات را خواهد داشت اگر به ازای هر formula_4، وجود داشته باشد formula_31 و formula_32 که: formula_33 و formula_31 و formula_32 زمانی که formula_36 به صفر میل کنند. پایداری امیدریاضی اعتبارسنجی یک طرفه. الگوریتم formula_29 این ثبات را خواهد داشت اگر به ازای هر formula_4، وجود داشته باشد formula_39 و formula_40 که: formula_41 و formula_42 و formula_43 زمانی که formula_36 به صفر میل کنند. الگوریتم های پایدار اثبات شده. ثابت شده است که تعدادی از الگوریتم ها پایدار هستند، و در نتیجه خطای تعمیم آن ها محدود است. فهرستی از این الگوریتم ها و مقالاتی که پایداری آن ها را ثابت کرده اند، اینجا موجود است. ارتباط با بیش برازش. مفاهیم خطای تعمیم و بیش برازش به هم مرتبط هستند. بیش برازش زمانی اتفاق می افتد که تابع formula_45 به نویز داخل نمونه ها حساس شود. در نتیجه، این تابع روی مجموعهٔ آموزشی به خوبی عمل می کند، اما روی داده های دیگر که از توزیع احتم
ال مشترک formula_46 و formula_3 هستند، به خوبی عمل نمی کند؛ بنابراین، هرچه بیش برازش بیشتر باشد، خطای تعمیم هم بزرگتر خواهد بود. میزان بیش برازش را می توان با استفاده از روش اعتبارسنجی متقابل محاسبه کرد، که نمونه ها را به نمونه های آموزشی و نمونه های آزمایشی تقسیم می کند. سپس مدل بر روی نمونه های آموزشی، آموزش داده می شود و بر روی نمونه های آزمایشی، ارزیابی می شود. نمونه های آزمایشی قبلاً توسط الگوریتم دیده نشده اند، بنابراین یک مجموعه نمونهٔ تصادفی از توزیع احتمال مشترک formula_46 و formula_3 خواهد بود. این مجموعه از نمونه های آزمایشی، به ما اجازه می دهد تا خطای مورد انتظار را تقریب بزنیم و تخمین خوبی از خطای تعمیم داشته باشیم. الگوریتم های زیادی برای جلوگیری از بیش برازش وجود دارد. الگوریتم های کمینه سازی می توانند توابع پیچیده تری را جریمه کنند (معروف به منظم سازی تیخونوف) یا فضای فرضیه را می توان به صورت صریح، در قالب توابع یا با افزودن محدودیت هایی به تابع کمینه سازی (منظم سازی ایوانوف) محدود کرد. یافتن تابعی که بیش برازش نداشته باشد، در تضاد با هدف یافتن تابعی است که به اندازه کافی پیچیده باشد تا ویژگی
های داده ها را به تصویر بکشد. این به عنوان مبادله بایاس و واریانس معروف است. ساده نگه داشتن یک تابع برای جلوگیری از بیش برازش ممکن است باعث ایجاد بایاس در پیش بینی های به دست آمده شود، در حالی که پیچیده تر بودن آن منجر به بیش برازش و واریانس بیشتر خواهد شد و به حداقل رساندن هر دو به طور همزمان، غیرممکن است.
در هوش مصنوعی، تابع فعالسازی یک گره، خروجی آن گره را با یک ورودی یا مجموعه ای از ورودی ها تعریف می کند. یک مدار مجتمع استاندارد می تواند به عنوان یک الکترونیک دیجیتال از توابع فعال سازی دیده شود که بسته به ورودی می تواند «روشن» (۱) یا «خاموش» (۰) باشد. این مشابه پرسپترون خطی در شبکه های عصبی است. با این حال، تنها توابع فعال سازی غیرخطی به چنین شبکه هایی اجازه می دهند تا مسائل غیر ضروری را تنها با استفاده از تعداد کمی از گره ها محاسبه کنند و چنین توابع فعال سازی غیرخطی نامیده می شوند. طبقه بندی توابع فعالسازی در شبکه های عصبی. رایج ترین توابع فعالسازی را در شبکه عصبی می توان می توان به سه دسته تقسیم کرد: توابع فعالسازی پله ای، توابع فعالسازی خطی، توابع فعالسازی غیر خطی. توابع فعالسازی پله دودویی. در این نوع توابع، ابتدا یک آستانه ای در نظر گرفته می شود و با توجه به آن تعیین می شود که آیا گره فعال می شود یا خیر. این نوع توابع در دامنه ای که مشتق پذیر هستند، مشتقی برابر صفر دارند و به همین دلیل استفاده از روند پس انتشار برای آن ها با مشکل همراه است. توابع فعالسازی خطی. این نوع توابع، جمع ورودی های هر گره را در خ
روجی قرار می دهد. این توابع مقادیر ورودی را در بازه خاصی قرار نمی دهند. در این نوع توابع نیز به این دلیل که مشتق برابر یک عدد ثابت است نمی توان از روند پس انتشار استفاده کرد. در زمان هایی که پارامترها و داده های مسئله زیاد و پیچیده می شوند استفاده از این نوع توابع فعالسازی توصیه نمی شود. توابع فعالسازی غیر خطی. این نوع توابع بیشتر از سایر توابع فعالسازی در شبکه های عصبی مورد استفاده قرار می گیرند و وفق پذیری بالایی با داده های پیچیده ورودی دارند. در این نوع توابع استفاده از روند پس انتشار به راحتی امکان پذیر است. مقایسهٔ بین توابع فعالسازی. توابع فعال سازی متعددی وجود دارد. مقاله اصلی هینتون و همکاران در سال ۲۰۱۲ در مورد تشخیص خودکار گفتار از یک تابع فعال سازی لجستیک سیگموئید استفاده می کند. معماری چشم انداز کامپیوتر AlexNet 2012 از تابع فعال سازی یکسوساز استفاده می کند، همان طور که ResNet معماری بینایی کامپیوتری Seminal 2015 نیز استفاده می کند. مدل پردازش زبان اولیه 2018 BERT از نسخه روان ReLU، یعنی GELU استفاده می کند. علاوه بر عملکرد تجربی، توابع فعالسازی دارای ویژگی های ریاضی مختلفی نیز هستند: غیرخطی وقتی
تابع فعال سازی غیرخطی است، می توان ثابت کرد که یک شبکه عصبی دو لایه یک تقریب کننده تابع جهانی است. این به عنوان قضیه تقریب جهانی شناخته می شود. تابع فعال سازی هویت این ویژگی را برآورده نمی کند. وقتی چندین لایه از تابع فعال سازی هویت استفاده می کنند، کل شبکه معادل یک مدل تک لایه است. دامنه هنگامی که محدوده تابع فعال سازی محدود است، روش های تمرینی مبتنی بر گرادیان پایدارتر هستند، زیرا ارائه الگو به طور قابل توجهی تنها بر وزن های محدود تأثیر می گذارد. زمانی که دامنه بی نهایت باشد، تمرین عموماً کارآمدتر است زیرا ارائه الگو به طور قابل توجهی بر بیشتر وزنه ها تأثیر می گذارد. در مورد دوم، نرخ های یادگیری کمتری معمولاً ضروری است. مشتق پذیری پیوسته این ویژگی برای فعال کردن روش های بهینه سازی مبتنی بر گرادیان مطلوب است (تابع فعالسازی یکسوساز به طور پیوسته قابل تمایز نیست و مشکلاتی با بهینه سازی مبتنی بر گرادیان دارد، اما همچنان امکان پذیر است). تابع فعال سازی مرحله باینری در ۰ قابل تمایز نیست و برای تمام مقادیر دیگر به ۰ متمایز می شود، بنابراین روش های مبتنی بر گرادیان نمی توانند با آن پیشرفتی داشته باشند. این خصوصیات
به طور قاطع بر عملکرد تأثیر نمی گذارند و تنها ویژگی هایی نیستند که ممکن است مفید باشند. جدول توابع فعالسازی. جدول زیر ویژگی های چندین تابع فعال سازی را مقایسه می کند: جدول زیر توابع فعال سازی را فهرست می کند که توابع یک برابر x از لایه یا لایه های قبلی نیستند:
عروس اولین نمایشنامهٔ دی.اچ. لارنس است که در ژانویه ۱۹۱۳ به پایان رسید. لارنس آن را چنین معرفی کرد: «نه تراژدی است و نه کمدی - فقط معمولی است». نمایشنامه در زمان حیات او نه به روی صحنه رفت و نه منتشر شد. اولین اجرا. اولین اجرای نمایشنامه که در سال ۱۹۶۷ به همت پیتر گیل در تئاتر رویال کورت به روی صحنه رفت، به ارزیابی مجدد آثار نمایشی لارنس کمک کرد. در سال ۱۹۶۸ "مکمل ادبی تایمز" آن را «یک اثر خوب و تکان دهنده» که «باید به اندازهٔ "پسران و عشاق" و بهترین داستان های ناتینگهام شر شناخته شود» توصیف کرد. در سال ۲۰۱۲، منتقد انگلیسی مایکل بیلینگتون، آن را «بسیار خارق العاده و یکی از بهترین درامهای بریتانیایی بزرگ قرن بیستم» خواند. تاریخچهٔ اجرا. این نمایش برای نخستین بار در ۱۶ مارس ۱۹۶۷ در تئاتر رویال کورت لندن به کارگردانی پیتر گیل به نمایش درآمد. هنری دیوید لن در سال ۲۰۰۲، این نمایش را در سالن یانگ ویک به روی صحنه برد و روزنامه گاردین آن را «یکی از بزرگ ترین درام های بریتانیایی قرن بیستم» نامید. در سال ۲۰۰۳، دستهٔ تئاتر مینت این نمایش را در شهر نیویورک تولید کرد و نیویورک تایمز آن را یکی از ده اجرای برتر سال معرفی کر
د. در سال ۲۰۱۸ تئاتر آرکولا این نمایش را به کارگردانی جک گمبل به روی صحنه برد. اقتباس. در سال ۲۰۱۵، تئاتر ملی با همکاری تئاتر رویال اکسچنج، «"شوهران و پسران»" را تولید کرد؛ در این اجرا چند نمایشنامهٔ لارنس («عروس»، «جمعه شب یک معدنچی» و «بیوه شدن خانم هالروید») در یک روایت سه ساعته با هم ترکیب شدند. این سه نمایشنامهٔ دی.اچ. لارنس به دست بن پاور اقتباس شدند و تولید آن توسط ماریان الیوت کارگردانی شد.
کوبایی ها () افرادی که در کوبا زاده شده اند و کسانی که دارای تابعیت کوبایی می باشند، هستند. کوبا یک کشور چند نژادی است، که محل زندگی مردمی با گذشته های قومی، مذهبی و ملیتی مختلف، می باشد. گروه های نژادی و قومی. جمعیت کوبا در سال ۲۰۱۲ برابر با ۱۱٬۱۶۷٬۳۲۵ نفر بود. بزرگ ترین جمعیت شهری کوبایی ها در کوبا (۲۰۱۲) در هاوانا (۲٬۱۰۶٬۱۴۶)، سانتیاگو د کوبا (۵۰۶٬۰۳۷)، اولگین (۳۴۶٬۱۹۵)، کاماگوی (۳۲۳٬۳۰۹)، سانتا کلارا (۲۴۰٬۵۴۳) و گوانتانامو (۲۲۸٬۴۳۶) می باشد.
پابلو چاواریا (؛ زادهٔ ) بازیکن فوتبال اهل آرژانتین است که برای باشگاه اسپانیایی مالاگا در پست مهاجم بازی می کند.
شبکه های عصبی بازگشتی دوطرفه انواعی از شبکه های عصبی بازگشتی (Recurrent Neural Networks) هستند که دو لایهٔ پنهان در دو جهت مختلف در یک شبکهٔ عصبی را به یک خروجی یکسان وصل می کند. این رویکرد یکی از رویکردهای مدل های یادگیری عمیق سازنده (Generative Deep Learning) است که به این ترتیب خروجی می تواند اطلاعات را هم از گذشته و هم از آینده به صورت همزمان دریافت کند. این نوع از شبکه های عصبی در سال ۱۹۹۷ میلادی توسط برند شوستر (Bernd Schuster) و دینش پالیوال (Dinesh Paliwal) ابداع شده است. این مدل برای افزایش حجم اطلاعات ورودی به شبکه های عصبی ابداع شدند. به عنوان نمونه مدل های پیشین نظیر مدل پرسپترون چند لایه (Multilayer perceptron) و شبکه عصبی با تأخیر زمانی (Time delay neural network) محدودیت هایی روی انعطاف پذیری دیتای ورودی دارند چراکه باید دادهٔ ورودی آنها به صورت ثابت و فیکس باشد. از طرفی شبکه های عصبی بازگشتی استاندارد (Recurrent Neural Networks) نیز محدودیت هایی دارند چراکه نمی توانند داده را از آینده دریافت نمایند. حال، راهکار تمامی این مشکلات استفاده از شبکه های عصبی بازگشتی دوطرفه است که هیچ یک از محدودیت ه
ای فوق را ندارند. به عبارتی هم لازم نیست دادهٔ ورودی آنها فیکس باشد و هم می توانند از هر استیتی گذشته و آینده را به صورت همزمان ببینند و اطلاعات بیشتری برای یادگیری مدل استفاده نمایند. شبکه های عصبی بازگشت پذیر دوطرفه هنگامی که نیاز به اطلاعات متن دادهٔ ورودی داریم هم می تواند کاربردی باشد. به عنوان نمونه در تشخیص دست نوشته ها، برای تشخیص یک حرف باید هم به حروف بعد از آن در جمله دقت نماییم و هم بتوانیم حرف قبل از آن را به صورت همزمان ببینیم. معماری شبکه. ایدهٔ اولیه ای که از آن در شبکه های عصبی بازگشت پذیر دوطرفه استفاده می شود این است که نورون های یک شبکه عصبی بازگشت پذیر یک طرفهٔ استاندارد را به دو طرف تقسیم می نماییم. به عبارتی یک جهت در زمان در جهت مثبت داریم و یک جهت در زمان در جهت منفی که به اولی حالت های پسین (Forward States) و به دومی حالت های پیشین (Backward States) می گوییم. تنها نکته ای که باید دقت کنیم این است که خروجی این دو استیت به ورودی در استیت های جهت مخالف متصل نیستند. ساختار کلی شبکه های بازگشت پذیر و شبکه های بازگشت پذیر دوطرفه در دیاگرام زیر آورده شده است. با استفاده از دو جهت در زمان بر
خلاف شبکه های بازگشت پذیر استاندارد در شبکه های بازگشت پذیر دوطرفه اطلاعات می تواند به صورت همزمان هم از آینده و هم از گذشته در استیت فعلی دریافت شود. شبکه های عصبی بازگشت پذیر دوطرفه همانند شبکه های عصبی بازگشت پذیر استاندارد می توانند آموزش داده شوند. این اتفاق به سبب اینکه دو جهت در زمان هیچ تعاملی با هم ندارند محقق می شود و به صورت مستقل می توانند آموزش داده شوند. تنها تفاوت در زمان پس انتشار (Backpropagation) در زمان باید پردازش های اضافه ای هم انجام دهیم. به دلیل اینکه به روزرسانی خروجی ها و ورودی ها به صورت همزمان امکان انجام ندارد. به صورت کلی آموزش باید به صورت زیر انجام شود: برای حرکت پیش انتشار (Forward pass) استیت های پسین و پیشین در ابتدا طی می شوند و سپس نورون های خروجی طی می شوند. همچنین در حرکت پس انتشار (Backward pass) ابتدا نورون های خروجی طی می شوند و سپس استیت های پسین و پیشین طی می شوند. پس از حرکت پیش انتشار و حرکت پس انتشار هم وزن ها به روزرسانی می شوند. کاربردها. برخی کاربردهای شبکه های عصبی بازگشت پذیر دوطرفه به صورت زیر هستند:
کاهش و خوشه بندی ترازمند و بازکردی با بهره گیری از رده بندی (balanced iterative reducing and clustering using hierarchies) که در زبان انگلیسی به شکل مخفف به آن BIRCH گفته می شود، یک الگوریتم خوشه بندی سلسله مراتبی می باشد. این روش یکی از روش های یادگیری خودران می باشد که از آن جهت داده کاوی روی دادگان بزرگ و حجیم استفاده می شود. از این الگوریتم برای سرعت بخشی به الگوریتم خوشه بندی کی-میانگین نیز استفاده می شود. مبتکران این الگوریتم از آن به عنوان اولین الگوریتم در حوزه دیتابیس که به شکل مؤثر نویز در داده را مدیریت می کند یاد می کنند. توانایی این الگوریتم در خوشه بندی داده هایی که به شکلی افزایشی و پویا به دست می آیند، آن را برجسته و از دیگر الگوریتم ها متمایز می کند. الگوریتم های خوشه بندی ارائه شده پیش از این الگوریتم، عملکرد ضعیفی روی داده های بزرگ و حجیم داشتند. همچنین آن ها نیاز داشتند که کل داده های در حافظه برای دسترسی موجود باشد و این برای مجموعه داده هایی که در حافظه اصلی کامپیوتر جا نمی شدند مشکل ساز بود. این الگوریتم با توانایی به کارگیری داده ها به شکل پویا، مشکلات موجود در الگوریتم های قبلی را برط
رف کرد. الگوریتم. ورودی های این الگوریتم مجموعه ای از بردارهای حقیق به اندازه formula_1 و عدد formula_2 که به نشان دهنده تعداد خوشه ها است، هستند. الگوریتم شامل ۴ مرحله می باشد: نقاط قوت الگوریتم. الگوریتم کاهش و خوشه بندی ترازمند و بازکردی با بهره گیری از رده بندی، عملیات خوشه بندی را به شکل محلی انجام می دهد. در واقع این الگوریتم برای خوشه بندی داده ها نیاز به خواندن تمام داده ها به شکل یک جا ندارد. این نوع از طراحی الگوریتم از دو مشاهده ناشی می گردد. مشاهده اول آن که فضای داده ها معمولاً به شکل یکنواخت اشعال نشده و مشاهده دوم آن است که همهٔ نقاط در داده های ما به یک اندازه مهم نیستند. این ویژگی الگوریتم منجر به کمینه شدن هزینه های خواندن و نوشتن در حافظه می شود.
تقطیر دانش یکی از روش های مرسوم برای انتقال اطلاعات بین مدل ها است که در چند سال گذشته بسیار مورد بررسی قرار گرفته است. در دنیای یادگیری ماشین، به فرایند انتقال دانش از یک مدل نسبتاً بزرگ به یک مدل کوچک تقطیر دانش گفته می شود. مدل های بزرگ مثل شبکه های عصبی ژرف یا مدل های یادگیری ماشین جمعی ظرفیت دانش و یادگیری بیشتری در مقایسه با مدل های کوچک تر دارند اما از لحاظ محاسباتی بسیار سنگین تر هستند. تقطیر دانش، این دانش را از مدل های پیچیده به مدل های ساده تر و کوچک تر منتفل می کند و تلاش می کند که این کار را با کمترین میزان هدررفت دانش انجام دهد. ایدهٔ تقطیر دانش. در واقع نیاز به آن، زمانی حس شد که مدل های پیچیده ای داریم که توانایی حل مسائل سخت را دارند و می خواهیم آن ها را در دستگاه های تلفن همراه یا جاهای دیگر که کمبود منابع داریم، به کار بگیریم. به طور معمول در دنیای یادگیری ماشین، ما از مدل های مشابه برای آموزش و استنتاج استفاده می کنیم اما نکتهٔ قابل توجه این است که نیازمندی های این دو قسمت با هم متفاوت است. در یادگیری معمولاً ما دنبال این هستیم که پارامترهای یادگیری را بدست آوریم. برای این کار می توان زمان
بسیار زیادی را صرف کرد و مسیرهای مختلف زیادی را امتحان کرد. همچنین می توان از تکنیک های مختلفی استفاده کرد؛ مثلاً عمق شبکه را بیشتر کنیم یا از داده های بیشتری کمک بگیریم یا برای تنظیم مدل از حذف تصادفی استفاده کنیم. اما در استنتاج بسیار واضح است که به این کارها و امتحان کردن ها نیاز نداریم. در مرحله استنتاج مهم ترین نیازها دقت بالای مدل و زمان مصرفی برای پیش بینی کردن است. اگر مدل شما بسیار کند باشد یا منابع محاسباتی زیادی نیاز داشته باشد، دیگر دقت بالای آن اهمیت چندانی پیدا نمی کند. در این جا است که ایدهٔ اساسی تقطیر دانش شکل می گیرد. این روش، فرایندی برای آموزش یک مدل ساده است، به طوری که دانش مدل پیچیده را تا حد امکان به آن انتقال دهیم. معمولاً مدل پیچیده را معلم و مدل ساده را دانش آموز می نامیم. مدل معلم به طور معمول مدلی است که پارامترهای بسیار زیادی دارد یا یک مجموعه از چندین مدل است و نمی توان از آن ها به راحتی در جاهای مختلف که توانایی محاسباتی بسیار زیادی نداریم، استفاده کرد. مدل دانش آموز نیز معمولاً مدلی ساده و بسیار سریع است. نگاهی دقیق تر به تقطیر دانش. یک راه برای انتقال دادن تعمیم سازی از مدل
معلم به مدل دانش آموز این است که از توزیع احتمال خروجی مدل معلم که آن را اهداف نرم می نامیم، برای آموزش مدل دانش آموز استفاده کنیم. در طرف دیگر هم تعدادی داده همراه با برچسب داریم که آن ها را اهداف سخت می نامیم. از هر دوی آن ها در این فرایند تقطیر استفاده می شود. اگر مدل معلم مجموعه ای از مدل های ساده باشد آن گاه می توان از میانگین حسابی یا هندسی توزیع های خروجی به عنوان اهداف نرم استفاده کرد. در واقع در این جا به جای آموزش مستقیم مدل دانش آموز روی داده های خام، مدل سعی می کند تا خروجی شبکهٔ معلم را تقلید کند. اگر آنتروپی اهداف نرم زیاد باشد، اطلاعات بسیار زیادی را با واریانس کمتر در مقایسه با اهداف سخت متناظر، در دل خود دارند. از روی همین می توان فهمید که مدل دانش آموز در مقایسه با مدلی که به صورت عادی بخواهد آموزش ببیند، می تواند با حجم دادهٔ بسیار کمتر آموزش ببیند و حتی دچار مشکل بیش برازش نشود. در مواردی حتی دیده شده است که دقت مدل دانش آموز از معلم به دلیل این که تعمیم سازی بهتری و بیش برازش کمتری دارد، بیشتر است. در شکل بالا مراحل مختلف مدل های مبتنی بر تقطیر دانش را می بینید. در قسمت اول جمع آوری داده،
مورد نیاز است. در بسیاری از کاربردها، شبکه های معلم و دانش آموز به طور مستقیم بر روی دادهٔ خام نمی توانند آموزش ببینند؛ بنابراین یک سری تبدیلات بر روی داده ها ممکن است نیاز شود. در مرحله بعدی که طراحی مدل معلم است، ساختار مدل بر اساس اهداف و مسئله تعیین می گردد. همچنین تعداد معلم ها (اگر قرار است چند شبکه معلم داشته باشیم که هر یک روی بخشی از داده کار کنند) و نحوهٔ ارتباط آن ها با همدیگر تعیین می گردد. مرحلهٔ بعدی تقطیر دانش است که هستهٔ کلی کار است. در این مرحله معلوم می شود که تقطیر به چه شکل صورت بگیرد. تعیین می کنید که روش انتقال به چه شکل باشد. این که از اهداف سخت یا اهداف نرم یا هر دو استفاده کنیم و تقطیر تنها از انتهای مدل معلم یا لایه های میانی صورت گیرد نیز در این قسمت معلوم می شوند. در نهایت در مرحلهٔ طراحی مدل دانش آموز، ساختار این شبکه و این که چطور اطلاعات را از معلم دریافت کند، مورد بررسی قرار می گیرد. نکتهٔ قابل توجه این است که این بخش به صورت مستقیم به داده و هدف متصل است، زیرا مدل دانش آموز بر اساس نوع مسئله و داده های مورد بررسی طراحی می شود. پیاده سازی تقطیر دانش. شبکه های عصبی معمولاً توز
یع احتمال دسته ها در لایه آخر را به کمک تابع پیشینه هموار محاسبه می کنند. اگر formula_1 ورودی formula_2ام لایه آخر (ورودی پیشینه هموار) باشند، احتمال formula_3 را با مقایسه formula_1 با دیگر ورودی های این لایه، حساب می کند. formula_5 دقت کنید که formula_6 در رابطه بالا دما است که معمولاً برابر ۱ قرار داده می شود. بدیهی است که formula_6 این جا یک فراپارامتر است. هر چه قدر formula_6 بیشتر باشد، توزیع ما هموارتر می شود و هرچه قدر کمتر باشد اهمیت formula_1ها بیشتر می شود و توزیع ناهموارتر می شود. به تعبیر دیگر هر چه قدر که formula_6 بیشتر می شود، احتمال دستهٔ محتمل تر به سمت یک میل می کند ولی هر چه قدر که formula_6 کمتر می شود، احتمال رده ها به سمت یکنواخت شدن حرکت می کنند. در حالت ساده و ابتدایی، تابع هدف را می توان آنتروپی متقاطع با اهداف نرم در نظر گرفت. در واقع پس از آموزش دادن مدل معلم در دمای بالا، اهداف نرم به دست می آیند و مدل دانش آموز به کمک آن ها در همان دمای بالا آموزش می بیند. البته بعد از تمام شدن آموزش، مدل دانش آموز از دمای ۱ استفاده می کند. اگر برچسب های درست برای تمام یا بعضی از داده ها در مجموع
ه انتقال (مجموعه داده ای که از آن برای آموزش مدل دانش آموز استفاده می کنیم) موجود باشد، می توان روش را بسیار بهبود بخشید. یک روش این است که از این برچسب های درست استفاده کرد تا در اهداف نرم اصلاحاتی اعمال کنیم اما روش کارآمدتر این است که تابع هدف را میانگین وزن دار آنتروپی متقاطع با اهداف نرم و آنتروپی متقاطع با اهداف سخت در نظر بگیریم. دقت شود که در آنتروپی متقاطع با اهداف نرم دما در هر دو بالا و یکسان در نظر گرفته می شود در حالی که در آنتروپی متقاطع با اهداف سخت، دمای مدل دانش آموز همان طور که در بالا گفتیم برابر ۱ است. به طور تجربی این نتیجه به دست آمده که اگر ضریب جملهٔ دوم به طرز قابل توجهی کم باشد و تأثیر اهداف نرم در تابع هدف ما بیشتر باشد، نتیجه به دست آمده بهتر است. حال سعی می کنیم تا توصیف بالا را به صورت ریاضی ببینیم. فرض کنید که formula_12 مجموعه داده های آموزشی ما است. حال دوتایی های ورودی و برچسب به صورتformula_13 می باشند. فرض کنید که formula_6 مدل معلم با پارامترهای formula_15 و formula_16 مدل دانش آموز با پارامترهای formula_17 باشد. حال طبق تقطیر دانش هدف کمینه کردن اتلاف نوشته شده در فرمول ز
یر است: formula_18 در فرمول بالا، formula_19 همان آنتروپی متقاطع اهداف سخت است که بر روی برچسب های formula_20 پیش بینی شده توسط مدل دانش آموز و برچسب های formula_21 واقعی داده ها در دمای ۱ محاسبه می گردد. formula_22 همان اتلاف تقطیر است که در واقع آنتروپی متقاطع اهداف نرم می باشد که از خروجی های لایه پیشینه هموار معلم و دانش آموز در دمای formula_23 محاسبه می شود؛ بنابراین، formula_24 خروجی لایهٔ پیشینه هموار دانش آموز و formula_25 خروجی لایهٔ پیشینه هموار معلم را نشان می دهند. formula_26 هم فراپارامتری است که میزان تأثیر هر یک از این اتلاف ها را در مدل نهایی کنترل می کند. کاربردها. امروزه از تقطیر دانش در بسیاری از حوزه ها و مسائل استفاده می شود که در زیر به چند مورد آن ها اشاره می کنیم. بینایی کامپیوتر. در این حوزه تقطیر دانش بسیار کاربرد دارد. بسیاری از مدل های امروزی در این حوزه بر پایهٔ یادگیری ژرف می باشند و در نتیجه معمولاً با مدل های سنگینی سر و کار داریم. پس می توان از تقطیر دانش و فشرده سازی مدل کمک گرفت تا در جاهایی که کمبود منابع داریم از مدل های سبک تر استفاده کنیم. در مسائل زیادی همچون کلاس بندی