payamvha/North_RAG huggingface dataset:
در شبکه‌های عصبی مورد استفاده قرار می‌گیرند و وفق پذیری بالایی با داده‌های پیچیده ورودی دارند. در این نوع توابع استفاده از روند پس‌انتشار به راحتی امکان‌پذیر است. مقایسهٔ بین توابع فعالسازی. توابع فعال سازی متعددی وجود دارد. مقاله اصلی هینتون و همکاران در سال ۲۰۱۲ در مورد تشخیص خودکار گفتار از یک تابع فعال سازی لجستیک سیگموئید استفاده می‌کند. معماری چشم‌انداز کامپیوتر AlexNet 2012 از تابع فعال سازی یکسوساز استفاده می‌کند، همان‌طور که ResNet معماری بینایی کامپیوتری Seminal 2015 نیز استفاده می‌کند. مدل
کامپیوتری Seminal 2015 نیز استفاده می‌کند. مدل پردازش زبان اولیه 2018 BERT از نسخه روان ReLU، یعنی GELU استفاده می‌کند. علاوه بر عملکرد تجربی، توابع فعالسازی دارای ویژگی‌های ریاضی مختلفی نیز هستند: غیرخطی وقتی تابع فعال‌سازی غیرخطی است، می‌توان ثابت کرد که یک شبکه عصبی دو لایه یک تقریب‌کننده تابع جهانی است. این به عنوان قضیه تقریب جهانی شناخته می‌شود. تابع فعال سازی هویت این ویژگی را برآورده نمی‌کند. وقتی چندین لایه از تابع فعال سازی هویت استفاده می‌کنند، کل شبکه معادل یک مدل تک لایه است. دامنه هنگامی که
کل شبکه معادل یک مدل تک لایه است. دامنه هنگامی که محدوده تابع فعال سازی محدود است، روش‌های تمرینی مبتنی بر گرادیان پایدارتر هستند، زیرا ارائه الگو به‌طور قابل توجهی تنها بر وزن‌های محدود تأثیر می‌گذارد. زمانی که دامنه بی‌نهایت باشد، تمرین عموماً کارآمدتر است زیرا ارائه الگو به‌طور قابل توجهی بر بیشتر وزنه‌ها تأثیر می‌گذارد. در مورد دوم، نرخ‌های یادگیری کمتری معمولاً ضروری است. مشتق‌پذیری پیوسته این ویژگی برای فعال کردن روش‌های بهینه‌سازی مبتنی بر گرادیان مطلوب است (تابع فعالسازی یکسوساز به‌طور پیوسته قابل
است (تابع فعالسازی یکسوساز به‌طور پیوسته قابل تمایز نیست و مشکلاتی با بهینه‌سازی مبتنی بر گرادیان دارد، اما همچنان امکان‌پذیر است). تابع فعال‌سازی مرحله باینری در ۰ قابل تمایز نیست و برای تمام مقادیر دیگر به ۰ متمایز می‌شود، بنابراین روش‌های مبتنی بر گرادیان نمی‌توانند با آن پیشرفتی داشته باشند. این خصوصیات به‌طور قاطع بر عملکرد تأثیر نمی‌گذارند و تنها ویژگی‌هایی نیستند که ممکن است مفید باشند. جدول توابع فعالسازی. جدول زیر ویژگی‌های چندین تابع فعال سازی را مقایسه می‌کند: جدول زیر توابع فعال‌سازی را فهرست
مقایسه می‌کند: جدول زیر توابع فعال‌سازی را فهرست می‌کند که توابع یک برابر x از لایه یا لایه‌های قبلی نیستند:
عروس اولین نمایشنامهٔ دی.اچ. لارنس است که در ژانویه ۱۹۱۳ به پایان رسید. لارنس آن را چنین معرفی کرد: «نه تراژدی است و نه کمدی - فقط معمولی است». نمایشنامه در زمان حیات او نه به روی صحنه رفت و نه منتشر شد. اولین اجرا. اولین اجرای نمایشنامه که در سال ۱۹۶۷ به همت پیتر گیل در تئاتر رویال کورت به روی صحنه رفت، به ارزیابی مجدد آثار نمایشی لارنس کمک کرد. در سال ۱۹۶۸ "مکمل ادبی تایمز" آن را «یک اثر خوب و تکان‌دهنده» که «باید به اندازهٔ "پسران و عشاق" و بهترین داستان‌های ناتینگهام شر شناخته شود» توصیف کرد. در سال
ناتینگهام شر شناخته شود» توصیف کرد. در سال ۲۰۱۲، منتقد انگلیسی مایکل بیلینگتون، آن را «بسیار خارق‌العاده و یکی از بهترین درامهای بریتانیایی بزرگ قرن بیستم» خواند. تاریخچهٔ اجرا. این نمایش برای نخستین بار در ۱۶ مارس ۱۹۶۷ در تئاتر رویال کورت لندن به کارگردانی پیتر گیل به نمایش درآمد. هنری دیوید لن در سال ۲۰۰۲، این نمایش را در سالن یانگ ویک به روی صحنه برد و روزنامه گاردین آن را «یکی از بزرگ‌ترین درام‌های بریتانیایی قرن بیستم» نامید. در سال ۲۰۰۳، دستهٔ تئاتر مینت این نمایش را در شهر نیویورک تولید کرد و
مینت این نمایش را در شهر نیویورک تولید کرد و نیویورک تایمز آن را یکی از ده اجرای برتر سال معرفی کرد. در سال ۲۰۱۸ تئاتر آرکولا این نمایش را به کارگردانی جک گمبل به روی صحنه برد. اقتباس. در سال ۲۰۱۵، تئاتر ملی با همکاری تئاتر رویال اکسچنج، «"شوهران و پسران»" را تولید کرد؛ در این اجرا چند نمایشنامهٔ لارنس («عروس»، «جمعه شب یک معدنچی» و «بیوه شدن خانم هالروید») در یک روایت سه ساعته با هم ترکیب شدند. این سه نمایشنامهٔ دی.اچ. لارنس به دست بن پاور اقتباس شدند و تولید آن توسط ماریان الیوت کارگردانی شد.
کوبایی‌ها () افرادی که در کوبا زاده شده‌اند و کسانی که دارای تابعیت کوبایی می‌باشند، هستند. کوبا یک کشور چند نژادی است، که محل زندگی مردمی با گذشته‌های قومی، مذهبی و ملیتی مختلف، می‌باشد. گروه‌های نژادی و قومی. جمعیت کوبا در سال ۲۰۱۲ برابر با ۱۱٬۱۶۷٬۳۲۵ نفر بود. بزرگ‌ترین جمعیت شهری کوبایی‌ها در کوبا (۲۰۱۲) در هاوانا (۲٬۱۰۶٬۱۴۶)، سانتیاگو د کوبا (۵۰۶٬۰۳۷)، اولگین (۳۴۶٬۱۹۵)، کاماگوی (۳۲۳٬۳۰۹)، سانتا کلارا (۲۴۰٬۵۴۳) و گوانتانامو (۲۲۸٬۴۳۶) می‌باشد.
شبکه‌های عصبی بازگشتی دوطرفه انواعی از شبکه‌های عصبی بازگشتی (Recurrent Neural Networks) هستند که دو لایهٔ پنهان در دو جهت مختلف در یک شبکهٔ عصبی را به یک خروجی یکسان وصل می‌کند. این رویکرد یکی از رویکردهای مدل‌های یادگیری عمیق سازنده (Generative Deep Learning) است که به این ترتیب خروجی می‌تواند اطلاعات را هم از گذشته و هم از آینده به صورت همزمان دریافت کند. این نوع از شبکه‌های عصبی در سال ۱۹۹۷ میلادی توسط برند شوستر (Bernd Schuster) و دینش پالیوال (Dinesh Paliwal) ابداع شده‌است. این مدل برای افزایش حجم
Paliwal) ابداع شده‌است. این مدل برای افزایش حجم اطلاعات ورودی به شبکه‌های عصبی ابداع شدند. به عنوان نمونه مدل‌های پیشین نظیر مدل پرسپترون چند لایه (Multilayer perceptron) و شبکه عصبی با تأخیر زمانی (Time delay neural network) محدودیت‌هایی روی انعطاف‌پذیری دیتای ورودی دارند چراکه باید دادهٔ ورودی آنها به صورت ثابت و فیکس باشد. از طرفی شبکه‌های عصبی بازگشتی استاندارد (Recurrent Neural Networks) نیز محدودیت‌هایی دارند چراکه نمی‌توانند داده را از آینده دریافت نمایند. حال، راهکار تمامی این مشکلات استفاده از
نمایند. حال، راهکار تمامی این مشکلات استفاده از شبکه‌های عصبی بازگشتی دوطرفه است که هیچ‌یک از محدودیت‌های فوق را ندارند. به عبارتی هم لازم نیست دادهٔ ورودی آنها فیکس باشد و هم می‌توانند از هر استیتی گذشته و آینده را به صورت همزمان ببینند و اطلاعات بیشتری برای یادگیری مدل استفاده نمایند. شبکه‌های عصبی بازگشت‌پذیر دوطرفه هنگامی که نیاز به اطلاعات متن دادهٔ ورودی داریم هم می‌تواند کاربردی باشد. به عنوان نمونه در تشخیص دست‌نوشته‌ها، برای تشخیص یک حرف باید هم به حروف بعد از آن در جمله دقت نماییم و هم بتوانیم
به حروف بعد از آن در جمله دقت نماییم و هم بتوانیم حرف قبل از آن را به صورت همزمان ببینیم. معماری شبکه. ایدهٔ اولیه‌ای که از آن در شبکه‌های عصبی بازگشت‌پذیر دوطرفه استفاده می‌شود این است که نورون‌های یک شبکه عصبی بازگشت‌پذیر یک‌طرفهٔ استاندارد را به دو طرف تقسیم می‌نماییم. به عبارتی یک جهت در زمان در جهت مثبت داریم و یک جهت در زمان در جهت منفی که به اولی حالت‌های پسین (Forward States) و به دومی حالت‌های پیشین (Backward States) می‌گوییم. تنها نکته‌ای که باید دقت کنیم این است که خروجی این دو استیت به ورودی در
کنیم این است که خروجی این دو استیت به ورودی در استیت‌های جهت مخالف متصل نیستند. ساختار کلی شبکه‌های بازگشت‌پذیر و شبکه‌های بازگشت‌پذیر دوطرفه در دیاگرام زیر آورده شده‌است. با استفاده از دو جهت در زمان بر خلاف شبکه‌های بازگشت‌پذیر استاندارد در شبکه‌های بازگشت‌پذیر دوطرفه اطلاعات می‌تواند به صورت همزمان هم از آینده و هم از گذشته در استیت فعلی دریافت شود. شبکه‌های عصبی بازگشت‌پذیر دوطرفه همانند شبکه‌های عصبی بازگشت‌پذیر استاندارد می‌توانند آموزش داده‌شوند. این اتفاق به سبب اینکه دو جهت در زمان هیچ تعاملی با
اتفاق به سبب اینکه دو جهت در زمان هیچ تعاملی با هم ندارند محقق می‌شود و به صورت مستقل می‌توانند آموزش داده‌شوند. تنها تفاوت در زمان پس‌انتشار (Backpropagation) در زمان باید پردازش‌های اضافه‌ای هم انجام دهیم. به دلیل اینکه به‌روزرسانی خروجی‌ها و ورودی‌ها به صورت همزمان امکان انجام ندارد. به صورت کلی آموزش باید به صورت زیر انجام شود: برای حرکت پیش‌انتشار (Forward pass) استیت‌های پسین و پیشین در ابتدا طی می‌شوند و سپس نورون‌های خروجی طی می‌شوند. همچنین در حرکت پس‌انتشار (Backward pass) ابتدا نورون‌های خروجی
پس‌انتشار (Backward pass) ابتدا نورون‌های خروجی طی می‌شوند و سپس استیت‌های پسین و پیشین طی می‌شوند. پس از حرکت پیش‌انتشار و حرکت پس‌انتشار هم وزن‌ها به روزرسانی می‌شوند. کاربردها. برخی کاربردهای شبکه‌های عصبی بازگشت‌پذیر دوطرفه به صورت زیر هستند:
کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی (balanced iterative reducing and clustering using hierarchies) که در زبان انگلیسی به شکل مخفف به آن BIRCH گفته می‌شود، یک الگوریتم خوشه‌بندی سلسله‌مراتبی می‌باشد. این روش یکی از روش‌های یادگیری خودران می‌باشد که از آن جهت داده‌کاوی روی دادگان بزرگ و حجیم استفاده می‌شود. از این الگوریتم برای سرعت‌بخشی به الگوریتم خوشه‌بندی کی-میانگین نیز استفاده می‌شود. مبتکران این الگوریتم از آن به عنوان اولین الگوریتم در حوزه دیتابیس که به شکل مؤثر نویز در داده را
در حوزه دیتابیس که به شکل مؤثر نویز در داده را مدیریت می‌کند یاد می‌کنند. توانایی این الگوریتم در خوشه‌بندی داده‌هایی که به شکلی افزایشی و پویا به دست می‌آیند، آن را برجسته و از دیگر الگوریتم‌ها متمایز می‌کند. الگوریتم‌های خوشه‌بندی ارائه شده پیش از این الگوریتم، عملکرد ضعیفی روی داده‌های بزرگ و حجیم داشتند. همچنین آن‌ها نیاز داشتند که کل داده‌های در حافظه برای دسترسی موجود باشد و این برای مجموعه داده‌هایی که در حافظه اصلی کامپیوتر جا نمی‌شدند مشکل‌ساز بود. این الگوریتم با توانایی به‌کارگیری داده‌ها به شکل
این الگوریتم با توانایی به‌کارگیری داده‌ها به شکل پویا، مشکلات موجود در الگوریتم‌های قبلی را برطرف کرد. الگوریتم. ورودی‌های این الگوریتم مجموعه‌ای از بردارهای حقیق به اندازه formula_1 و عدد formula_2 که به نشان‌دهنده تعداد خوشه‌ها است، هستند. الگوریتم شامل ۴ مرحله می‌باشد: نقاط قوت الگوریتم. الگوریتم کاهش و خوشه‌بندی ترازمند و بازکردی با بهره‌گیری از رده‌بندی، عملیات خوشه‌بندی را به شکل محلی انجام می‌دهد. در واقع این الگوریتم برای خوشه‌بندی داده‌ها نیاز به خواندن تمام داده‌ها به شکل یک‌جا ندارد. این نوع از
تمام داده‌ها به شکل یک‌جا ندارد. این نوع از طراحی الگوریتم از دو مشاهده ناشی می‌گردد. مشاهده اول آن که فضای داده‌ها معمولاً به شکل یکنواخت اشعال نشده و مشاهده دوم آن است که همهٔ نقاط در داده‌های ما به یک اندازه مهم نیستند. این ویژگی الگوریتم منجر به کمینه شدن هزینه‌های خواندن و نوشتن در حافظه می‌شود.
تقطیر دانش یکی از روش‌های مرسوم برای انتقال اطلاعات بین مدل‌ها است که در چند سال گذشته بسیار مورد بررسی قرار گرفته‌است. در دنیای یادگیری ماشین، به فرایند انتقال دانش از یک مدل نسبتاً بزرگ به یک مدل کوچک تقطیر دانش گفته می‌شود. مدل‌های بزرگ مثل شبکه‌های عصبی ژرف یا مدل‌های یادگیری ماشین جمعی ظرفیت دانش و یادگیری بیشتری در مقایسه با مدل‌های کوچک‌تر دارند اما از لحاظ محاسباتی بسیار سنگین‌تر هستند. تقطیر دانش، این دانش را از مدل‌های پیچیده به مدل‌های ساده‌تر و کوچک‌تر منتفل می‌کند و تلاش می‌کند که این کار را با
منتفل می‌کند و تلاش می‌کند که این کار را با کمترین میزان هدررفت دانش انجام دهد. ایدهٔ تقطیر دانش. در واقع نیاز به آن، زمانی حس شد که مدل‌های پیچیده‌ای داریم که توانایی حل مسائل سخت را دارند و می‌خواهیم آن‌ها را در دستگاه‌های تلفن همراه یا جاهای دیگر که کمبود منابع داریم، به کار بگیریم. به‌طور معمول در دنیای یادگیری ماشین، ما از مدل‌های مشابه برای آموزش و استنتاج استفاده می‌کنیم اما نکتهٔ قابل توجه این است که نیازمندی‌های این دو قسمت با هم متفاوت است. در یادگیری معمولاً ما دنبال این هستیم که پارامترهای
یادگیری معمولاً ما دنبال این هستیم که پارامترهای یادگیری را بدست آوریم. برای این کار می‌توان زمان بسیار زیادی را صرف کرد و مسیرهای مختلف زیادی را امتحان کرد. همچنین می‌توان از تکنیک‌های مختلفی استفاده کرد؛ مثلاً عمق شبکه را بیشتر کنیم یا از داده‌های بیشتری کمک بگیریم یا برای تنظیم مدل از حذف تصادفی استفاده کنیم. اما در استنتاج بسیار واضح است که به این کارها و امتحان کردن‌ها نیاز نداریم. در مرحله استنتاج مهم‌ترین نیازها دقت بالای مدل و زمان مصرفی برای پیش‌بینی کردن است. اگر مدل شما بسیار کند باشد یا منابع
کردن است. اگر مدل شما بسیار کند باشد یا منابع محاسباتی زیادی نیاز داشته باشد، دیگر دقت بالای آن اهمیت چندانی پیدا نمی‌کند. در این‌جا است که ایدهٔ اساسی تقطیر دانش شکل می‌گیرد. این روش، فرایندی برای آموزش یک مدل ساده است، به طوری که دانش مدل پیچیده را تا حد امکان به آن انتقال دهیم. معمولاً مدل پیچیده را معلم و مدل ساده را دانش‌آموز می‌نامیم. مدل معلم به‌طور معمول مدلی است که پارامترهای بسیار زیادی دارد یا یک مجموعه از چندین مدل است و نمی‌توان از آن‌ها به راحتی در جاهای مختلف که توانایی محاسباتی بسیار زیادی
در جاهای مختلف که توانایی محاسباتی بسیار زیادی نداریم، استفاده کرد. مدل دانش‌آموز نیز معمولاً مدلی ساده و بسیار سریع است. نگاهی دقیق‌تر به تقطیر دانش. یک راه برای انتقال دادن تعمیم‌سازی از مدل معلم به مدل دانش‌آموز این است که از توزیع احتمال خروجی مدل معلم که آن را اهداف نرم می‌نامیم، برای آموزش مدل دانش‌آموز استفاده کنیم. در طرف دیگر هم تعدادی داده همراه با برچسب داریم که آن‌ها را اهداف سخت می‌نامیم. از هر دوی آن‌ها در این فرایند تقطیر استفاده می‌شود. اگر مدل معلم مجموعه‌ای از مدل‌های ساده باشد آن‌گاه
مدل معلم مجموعه‌ای از مدل‌های ساده باشد آن‌گاه می‌توان از میانگین حسابی یا هندسی توزیع‌های خروجی به عنوان اهداف نرم استفاده کرد. در واقع در این‌جا به جای آموزش مستقیم مدل دانش آموز روی داده‌های خام، مدل سعی می‌کند تا خروجی شبکهٔ معلم را تقلید کند. اگر آنتروپی اهداف نرم زیاد باشد، اطلاعات بسیار زیادی را با واریانس کمتر در مقایسه با اهداف سخت متناظر، در دل خود دارند. از روی همین می‌توان فهمید که مدل دانش‌آموز در مقایسه با مدلی که به صورت عادی بخواهد آموزش ببیند، می‌تواند با حجم دادهٔ بسیار کمتر آموزش ببیند و
می‌تواند با حجم دادهٔ بسیار کمتر آموزش ببیند و حتی دچار مشکل بیش‌برازش نشود. در مواردی حتی دیده شده‌است که دقت مدل دانش‌آموز از معلم به دلیل این که تعمیم‌سازی بهتری و بیش‌برازش کمتری دارد، بیشتر است. در شکل بالا مراحل مختلف مدل‌های مبتنی بر تقطیر دانش را می‌بینید. در قسمت اول جمع‌آوری داده، مورد نیاز است. در بسیاری از کاربردها، شبکه‌های معلم و دانش‌آموز به‌طور مستقیم بر روی دادهٔ خام نمی‌توانند آموزش ببینند؛ بنابراین یک سری تبدیلات بر روی داده‌ها ممکن است نیاز شود. در مرحله بعدی که طراحی مدل معلم است،
نیاز شود. در مرحله بعدی که طراحی مدل معلم است، ساختار مدل بر اساس اهداف و مسئله تعیین می‌گردد. همچنین تعداد معلم‌ها (اگر قرار است چند شبکه معلم داشته باشیم که هر یک روی بخشی از داده کار کنند) و نحوهٔ ارتباط آن‌ها با همدیگر تعیین می‌گردد. مرحلهٔ بعدی تقطیر دانش است که هستهٔ کلی کار است. در این مرحله معلوم می‌شود که تقطیر به چه شکل صورت بگیرد. تعیین می‌کنید که روش انتقال به چه شکل باشد. این که از اهداف سخت یا اهداف نرم یا هر دو استفاده کنیم و تقطیر تنها از انتهای مدل معلم یا لایه‌های میانی صورت گیرد نیز در
مدل معلم یا لایه‌های میانی صورت گیرد نیز در این قسمت معلوم می‌شوند. در نهایت در مرحلهٔ طراحی مدل دانش‌آموز، ساختار این شبکه و این که چطور اطلاعات را از معلم دریافت کند، مورد بررسی قرار می‌گیرد. نکتهٔ قابل توجه این است که این بخش به صورت مستقیم به داده و هدف متصل است، زیرا مدل دانش‌آموز بر اساس نوع مسئله و داده‌های مورد بررسی طراحی می‌شود. پیاده‌سازی تقطیر دانش. شبکه‌های عصبی معمولاً توزیع احتمال دسته‌ها در لایه آخر را به کمک تابع پیشینه هموار محاسبه می‌کنند. اگر formula_1 ورودی formula_2ام لایه آخر (ورودی
اگر formula_1 ورودی formula_2ام لایه آخر (ورودی پیشینه هموار) باشند، احتمال formula_3 را با مقایسه formula_1 با دیگر ورودی‌های این لایه، حساب می‌کند. formula_5 دقت کنید که formula_6 در رابطه بالا دما است که معمولاً برابر ۱ قرار داده می‌شود. بدیهی است که formula_6 این‌جا یک فراپارامتر است. هر چه‌قدر formula_6 بیشتر باشد، توزیع ما هموارتر می‌شود و هرچه قدر کمتر باشد اهمیت formula_1ها بیشتر می‌شود و توزیع ناهموارتر می‌شود. به تعبیر دیگر هر چه قدر که formula_6 بیشتر می‌شود، احتمال دستهٔ محتمل‌تر به سمت یک میل
بیشتر می‌شود، احتمال دستهٔ محتمل‌تر به سمت یک میل می‌کند ولی هر چه قدر که formula_6 کمتر می‌شود، احتمال رده‌ها به سمت یکنواخت شدن حرکت می‌کنند. در حالت ساده و ابتدایی، تابع هدف را می‌توان آنتروپی متقاطع با اهداف نرم در نظر گرفت. در واقع پس از آموزش دادن مدل معلم در دمای بالا، اهداف نرم به‌دست می‌آیند و مدل دانش‌آموز به کمک آن‌ها در همان دمای بالا آموزش می‌بیند. البته بعد از تمام شدن آموزش، مدل دانش‌آموز از دمای ۱ استفاده می‌کند. اگر برچسب‌های درست برای تمام یا بعضی از داده‌ها در مجموعه انتقال (مجموعه
تمام یا بعضی از داده‌ها در مجموعه انتقال (مجموعه داده‌ای که از آن برای آموزش مدل دانش‌آموز استفاده می‌کنیم) موجود باشد، می‌توان روش را بسیار بهبود بخشید. یک روش این است که از این برچسب‌های درست استفاده کرد تا در اهداف نرم اصلاحاتی اعمال کنیم اما روش کارآمدتر این است که تابع هدف را میانگین وزن‌دار آنتروپی متقاطع با اهداف نرم و آنتروپی متقاطع با اهداف سخت در نظر بگیریم. دقت شود که در آنتروپی متقاطع با اهداف نرم دما در هر دو بالا و یکسان در نظر گرفته می‌شود در حالی که در آنتروپی متقاطع با اهداف سخت، دمای مدل
حالی که در آنتروپی متقاطع با اهداف سخت، دمای مدل دانش‌آموز همان‌طور که در بالا گفتیم برابر ۱ است. به‌طور تجربی این نتیجه به دست آمده که اگر ضریب جملهٔ دوم به طرز قابل توجهی کم باشد و تأثیر اهداف نرم در تابع هدف ما بیشتر باشد، نتیجه به دست آمده بهتر است. حال سعی می‌کنیم تا توصیف بالا را به صورت ریاضی ببینیم. فرض کنید که formula_12 مجموعه داده‌های آموزشی ما است. حال دوتایی‌های ورودی و برچسب به صورتformula_13 می‌باشند. فرض کنید که formula_6 مدل معلم با پارامترهای formula_15 و formula_16 مدل دانش‌آموز با
formula_15 و formula_16 مدل دانش‌آموز با پارامترهای formula_17 باشد. حال طبق تقطیر دانش هدف کمینه کردن اتلاف نوشته شده در فرمول زیر است: formula_18 در فرمول بالا، formula_19 همان آنتروپی متقاطع اهداف سخت است که بر روی برچسب‌های formula_20 پیش‌بینی شده توسط مدل دانش‌آموز و برچسب‌های formula_21 واقعی داده‌ها در دمای ۱ محاسبه می‌گردد. formula_22 همان اتلاف تقطیر است که در واقع آنتروپی متقاطع اهداف نرم می‌باشد که از خروجی‌های لایه پیشینه هموار معلم و دانش‌آموز در دمای formula_23 محاسبه می‌شود؛ بنابراین،
در دمای formula_23 محاسبه می‌شود؛ بنابراین، formula_24 خروجی لایهٔ پیشینه هموار دانش‌آموز و formula_25 خروجی لایهٔ پیشینه هموار معلم را نشان می‌دهند. formula_26 هم فراپارامتری است که میزان تأثیر هر یک از این اتلاف‌ها را در مدل نهایی کنترل می‌کند. کاربردها. امروزه از تقطیر دانش در بسیاری از حوزه‌ها و مسائل استفاده می‌شود که در زیر به چند مورد آن‌ها اشاره می‌کنیم. بینایی کامپیوتر. در این حوزه تقطیر دانش بسیار کاربرد دارد. بسیاری از مدل‌های امروزی در این حوزه بر پایهٔ یادگیری ژرف می‌باشند و در نتیجه معمولاً
بر پایهٔ یادگیری ژرف می‌باشند و در نتیجه معمولاً با مدل‌های سنگینی سر و کار داریم. پس می‌توان از تقطیر دانش و فشرده سازی مدل کمک گرفت تا در جاهایی که کمبود منابع داریم از مدل‌های سبک‌تر استفاده کنیم. در مسائل زیادی همچون کلاس‌بندی عکس‌ها یا تشخیص چهره و جاهای دیگر از این تکنیک کمک گرفته می‌شود. پردازش زبان‌های طبیعی. مدل‌های مبتنی بر یادگیری ژرف که در این حوزه وجود دارند، معمولاً بسیار بزرگ و پیچیده هستند و میلیون‌ها پارامتر دارند. در نتیجه در این حوزه به خصوص از آن‌جا که تسک‌های مربوطه بیشتر در سیستم‌های
از آن‌جا که تسک‌های مربوطه بیشتر در سیستم‌های سبک باید استفاده شوند، تقطیر دانش بسیار محبوب است. تلاش می‌شود تا به مدل‌های سبک و سریع‌تری که تنها تقاوت دقت ناچیزی با مدل‌های پیچیدهٔ اصلی دارند، برسیم. در واقع این مدل‌ها به حافظهٔ کمتری و منابع پردازشی کمتری نیاز دارند و در عین حال دقت خوبی دارند. در کاربردهایی مثل تولید متن یا پرسش و پاسخ نیز این مورد کاربرد دارد. بازشناسی گفتار. مدل‌های امروزه و مطرح این حوزه نیز بیشتر بر پایهٔ شبکه‌های عصبی و یادگیری ژرف می‌باشند. اما همان‌طور که می‌دانید از آن‌ها
ژرف می‌باشند. اما همان‌طور که می‌دانید از آن‌ها معمولاً بر روی سیستم‌های نهفته یا سیستم‌های کم منبع دیگری همچون تلفن همراه استفاده می‌باشد. در نتیجه در مرحلهٔ توسعه و استنتاج مهم است که مدل‌های ما تا حد ممکن سبک و سریع باشند. در نتیجه از تکنیک تقطیر دانش و فشرده سازی مدل در این‌جا نیز استفاده می‌شود.
در علم آمار، واریانس حفظ‌شده () ابزاری برای سنجش مقدار واریانس مد نظر گرفته شده توسط یک مدل ریاضیاتی روی یک مجموعه دادهٔ خاص است. هر چه میزان واریانس حفظ‌شده بیشتر باشد، آن مدل بیشتر می‌تواند تنوع داده‌ها در مجموعهٔ داده‌ها را توضیح دهد. به قسمت دیگر از واریانس کل، واریانس باقی‌مانده می‌گویند. موارد خاص و کاربرد کلی. رگرسیون خطی. در رگرسیون خطی مبحث کسری از واریانس باقی مانده (به انگلیسی: Fraction of variance unexplained) مفهومی جا افتاده است. همچنین ضریب تعیین بر پایه مبانی پایه‌ای واریانس حفظ شده تعریف
تعیین بر پایه مبانی پایه‌ای واریانس حفظ شده تعریف می‌شود. ضریب همبستگی به‌عنوان معیار واریانس حفظ‌شده. فرض کنید formula_1 برداری تصادفی و formula_2 متغیری تصادفی که از یک توزیع نرمال با میانگین formula_3 تولید می‌شود، می‌باشند. در این حالت واریانس حفظ شده formula_4 برابر توان دو ضریب تعیین formula_5 است. توجه کنید که فرضیه مهم این مدل، خطی بودن مرکز توزیع formula_2 نسبت به formula_1 است. تحلیل مؤلفه اصلی. واریانس حفظ شده برای انتخاب مدل مناسب در بخش‌هایی از یادگیری ماشین استفاده می‌شود. از مثال‌های آن
از یادگیری ماشین استفاده می‌شود. از مثال‌های آن می‌توان به کاربرد آن در کاهش ابعاد در تحلیل مؤلفه‌های اصلی اشاره کرد. در این روش از واریانس حفظ شده برای انتخاب مؤلفه‌های اصلی‌ای که بیشترین اطلاعات را از مجموعه داده اولیه نگه‌داری می‌کنند، استفاده می‌شود. در روش تحلیل مؤلفه‌های اصلی مقادیر و بردارهای ویژه ماتریس کوواریانس مجموعه داده‌ها محاسبه می‌شود و بردارهای ویژه با بیشترین مقدار واریانس حفظ شده نگه‌داری می‌شوند (به اندازه‌ای که مجموع مقدار واریانس حفظ شده به مقداری مناسب، معمولاً بالا ۹۰ درصد برسد) و
شده به مقداری مناسب، معمولاً بالا ۹۰ درصد برسد) و مجموعه داده جدید را تشکیل می‌دهند. واریانس حفظ شده برای هر بردار ویژه به صورت زیر محاسبه می‌شود: formula_8که formula_9 مقدار ویژه متناظر با بردار ویژه i ام و formula_10 برابر میزان واریانس حفظ شده توسط آن بردار ویژه است.
در یادگیری بازنمایی، تعبیه گراف دانش (معادل Knowledge Graph Embedding یا KGE)، که از آن به عنوان یادگیری بازنمایی دانش (KRL) و یا یادگیری چند رابطه‌ای هم یاد می‌شود، یک کار یادگیری ماشینی برای یادگیری یک نمایش کم بعدی از موجودیت ها و روابط یک نمودار دانش است. با حفظ معنای معنایی آنها. نمودارهای دانش (KGs) با استفاده از نمایش تعبیه شده آنها می‌توانند برای کاربردهای مختلفی مانند پیش‌بینی پیوند، طبقه‌بندی سه‌گانه، شناسایی موجودیت، خوشه بندی و استخراج رابطه استفاده شوند. تعریف. یک گراف دانش، با formula_1 نمایش
شوند. تعریف. یک گراف دانش، با formula_1 نمایش داده می‌شود و مجموعه‌ای‌ از موجودیت‌ها (entity) و روابط (relations) و حقایق (fact) است. یک حقیقت، سه‌گانه‌ای به صورت formula_2 است که در آن، formula_3 ارتباطی میان ابتدا یا سر (formula_4) و انتها یا دم (formula_5) برقرار می‌کند. طریقه دیگر نشان دادن حقیقت، به صورت formula_6 است که به این نمادگذاری، چارچوب توصیف منابع (RDF) هم می‌گویند. نمودار دانش، نشان‌دهنده دانش مربوط به یک حوزه خاص است. با استفاده از این نمایش ساختاریافته، می‌توان پس از چند مرحله اصلاح، بخشی
ساختاریافته، می‌توان پس از چند مرحله اصلاح، بخشی از دانش جدید را از آن استنتاج کرد. با این حال، امروزه، مردم برای استفاده از آنها در یک برنامه واقعی باید با پراکندگی داده ها و ناکارآمدی محاسباتی دست و پنجه نرم کنند. تعبیه یک نمودار دانش، هر موجودیت و رابطه یک نمودار دانش (formula_7) را به بردار با یک بعد معین (formula_8 یا بعد تعبیه)، ترجمه می‌کند. مجموعه بردارهای جاسازی شده برای همه موجودیت ها و روابط در نمودار دانش، نمایش متراکم و کارآمدتری از دامنه است که می تواند به راحتی برای بسیاری از وظایف مختلف
که می تواند به راحتی برای بسیاری از وظایف مختلف استفاده شود. تعبیه گراف دانش با چهار جنبه مختلف مشخص می‌شود: فرایند تعبیه. همه مدل‌های مختلف جاسازی نمودار دانش تقریباً از یک روش برای یادگیری معنای معنایی حقایق پیروی می‌کنند. در ابتدا، برای یادگیری یک نمایش تعبیه شده از یک نمودار دانش، بردارهای تعبیه شده موجودیت ها و روابط به مقادیر تصادفی مقداردهی اولیه می‌شوند. سپس، با شروع از یک مجموعه آموزشی تا رسیدن به یک شرط توقف، الگوریتم به طور مداوم تعبیه‌ها را بهینه می‌کند. معمولاً شرط توقف با اضافه شدن بیش از حد
می‌کند. معمولاً شرط توقف با اضافه شدن بیش از حد روی مجموعه تمرینی داده می‌شود. برای هر تکرار، یک دسته از اندازه formula_9 از مجموعه آموزشی نمونه‌برداری می‌شود و برای هر سه‌گانه‌ای از دسته، یک واقعیت خراب تصادفی نمونه برداری می‌شود، (منظور از واقعیت خراب تصادفی، یعنی سه‌گانه‌ای که یک واقعیت درست و واقعی را در نمودار دانش نشان نمی‌دهد.) فساد سه‌گانه شامل جایگزینی سر یا دم (یا هر دو) سه گانه با موجودیت دیگری است که واقعیت را نادرست می کند. سه گانه اصلی و سه گانه خراب در دسته آموزشی اضافه می‌شوند و سپس جاسازی
خراب در دسته آموزشی اضافه می‌شوند و سپس جاسازی ها به روز می‌شوند و یک تابع امتیازدهی را بهینه می‌کنند. در پایان الگوریتم، تعبیه‌های آموخته شده باید معنای معنایی را از سه‌گانه استخراج کرده و حقایق واقعی را به درستی در نمودار دانش مشاهده نکرده باشند. شبه کد. شبه‌ کد برای توصیف رفتار یک KGE به صورت زیر است: Algorithm Compute entity and relation embeddings input: The training set S={(h,r,t)}, entity set E, relation set R, embedding dimension k output: Entity and relation embeddings initialization: the entities
relation embeddings initialization: the entities e and relations r, embeddings (vectors) are randomly initialized while stop condition do S_batch &lt;- sample(S,b) // From the training set randomly sample a batch of size b for each (h,r,t) in S_{batch} do (h',r,t') &lt;- sample(S') // sample a corrupted fact of triple end for Update embeddings by minimizing the loss function end while شاخصه‌های اجرا. این شاخص‌ها اغلب برای اندازه‌گیری کیفیت تعبیه یک مدل استفاده می‌شوند. سادگی شاخص ها آنها را برای ارزیابی
می‌شوند. سادگی شاخص ها آنها را برای ارزیابی عملکرد یک الگوریتم جاسازی حتی در مقیاس بزرگ بسیار مناسب می کند. با فرض داشتن &lt;chem&gt;Q&lt;/chem&gt; به عنوان مجموعه‌ای از تمام پیش‌بینی‌های رتبه‌بندی شده یک مدل، می‌توان سه شاخص عملکرد مختلف را تعریف کرد: Hits@K. Hits@K یا به طور خلاصه، H@K، یک شاخص عملکرد است که احتمال یافتن پیش‌بینی صحیح را در اولین K پیش‌بینی‌های برتر مدل اندازه‌گیری می‌کند. معمولاً از formula_10 استفاده می‌شود. Hits@K منعکس کننده دقت یک مدل تعبیه شده برای پیش بینی رابطه بین دو سه‌گانه به