موضوع مقاله: یادگیری متریک | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # یادگیری متریک | مقدمه: درواقع هدف یادگیری یک متریک است که فاصله بین نمونه‌های یک کلاس را کاهش و فاصله بین نمونه‌های کلاس مختلف را افزایش دهد. | ## بخش 1: یادگیری متریک | روش‌های یادگیری متریک از یک طرح‌ریزی خطی (به انگلیسی: linear projection) استفاده می‌کنند که این نوعی محدودیت است زیرا برای حل مسائل دنیای واقعی و آشکار کردن دانش غیرخطی موجود در داده‌ها نمی‌توانند کارا باشند. یک سؤال اساسی که پیش می‌آید دقیقاً چگونگی ارزیابی شباهت یا فاصله بین جفت تصاویر است. به عنوان مثال، اگر هدف ما پیدا کردن چهره‌های مطابق با هویت باشد، باید یک عملکرد فاصله را انتخاب کنیم که بر ویژگی‌های مناسب (رنگ مو، نسبت فاصله بین کلیدهای صورت و غیره) تأکید کند. اما ممکن است ما یک برنامه کاربردی داشته باشیم که بخواهیم موقعیت فرد را تعیین کنیم و بنابراین به یک عملکرد فاصله نیاز داریم که شباهت موقعیت آنها را به تصویر می‌کشد. به عنوان مثال، هنگامی که با یک مشکل تشخیص چهره مواجه هستید، ممکن است با عواملی مانند تغییرات مختلف، اختلاف روشنایی، مقیاس پذیری، پس زمینه و انسداد مواجه شوید که هریک از آنها باعث ایجاد مشکلات مختلف در طبقه‌بندی داده‌ها می‌شود؛ بنابراین، برای پرداختن به این عوامل، باید ویژگیهای متمایز داده‌ها به خوبی تعریف شود تا طبقه‌بندی صحیح داده‌ها انجام شود. یادگیری متریک که فرایند یادگیری را بر روی داده‌ها انجام می‌دهد، توانایی بالاتری در تشخیص متمایز بودن داده‌های نمونه دارد. هدف اصلی یادگیری متریک، یادگیری یک متریک جدید برای کاهش فاصله بین نمونه‌های یک کلاس و افزایش فاصله بین نمونه‌های کلاس‌های مختلف است. اگر [X = [x1، x2،...، xN نمونه‌های آموزشی باشد ، که در آن xi به عنوان iامین نمونه آموزشی و N تعداد کل نمونه‌های آموزشی است. فاصله بین xi و xj به صورت زیر محاسبه می‌شود: یک متریک مسافت است ، باید دارای ویژگی‌های عدم انعطاف‌پذیری ، هویت غیرقابل توصیف ، تقارن و نابرابری مثلث باشد. هنگامی که M را تجزیه می‌کنیم، به شرح زیر است: همان‌طور که در معادله بالا مشاهده می‌شود، W خاصیت دگرگونی خطی دارد. با توجه به این خاصیت، فاصله اقلیدسی در فضای تبدیل شده برابر با فاصله ماهالانوبیس در فضای اصلی برای دو نمونه است. به دست آوردن قابلیت بازنمایی (به انگلیسی:representation) بهتر برای داده‌ها، مطمئناً ما را قادر می‌سازد پیش‌بینی‌های دقیق تری را در زمینه طبقه‌بندی یا مشکلات خوشه بندی انجام دهیم. متریک فاصله، داده‌های جدیدی را ارائه می‌دهد که تبعیض معنی دار و قدرتمندتر با استفاده از رابطه شباهت بین نمونه‌ها دارند. رویکردهای یادگیری متریک خطی محدودیتهای منعطف تری در فضای داده تبدیل شده ارائه می‌دهند و عملکرد یادگیری را بهبود می‌بخشد. این رویکردها دارای مزایایی مانند فرمول‌های محدب و استحکام در برابر پوشش بی از حد (به انگلیسی:overfit) هستند. هدف دستیابی به عملکرد بالاتر با انتقال مسئله به فضای غیر خطی از طریق روش‌های کرنل در یادگیری متریک به منظور غلبه بر این مشکل است. اگرچه این رویکردهای غیرخطی برای حل مشکلات غیرخطی عملی است، اما ممکن است بر روی پوشش بی از حد (به انگلیسی:overfit) تأثیر منفی بگذارد. یادگیری متریک عمیق (Deep metric learning) تکنیک‌های یادگیری ماشین سنتی دارای توانایی محدود برای پردازش داده‌های خام هستند؛ بنابراین، آنها قبل از طبقه‌بندی یا کارهای خوشه بندی، به مهندسی ویژگی نیاز دارند، مانند مراحل پیش پردازش و مراحل استخراج ویژگی. با این حال، یادگیری عمیق سطح بالاتری از داده‌ها را مستقیما در ساختار طبقه‌بندی یادمی‌گیرد. این چشم‌انداز تفاوت اساسی بین روشهای سنتی یادگیری ماشین و یادگیری عمیق را نشان می‌دهد. | ## بخش 2: یادگیری متریک | برخلاف روشهای سنتی یادگیری ماشین، یادگیری عمیق برای دستیابی به نتایج موفقیت‌آمیز به داده‌های بزرگی نیاز دارد، زیرا در اندازه داده‌های پایین به اندازه کافی موفق نیست. علاوه بر این، الگوریتم‌های یادگیری عمیق به دلیل حجم داده زیاد و تعداد زیادی پارامترها به زمان زیادی برای آموزش داده نیاز دارند؛ بنابراین، NVIDIA برای انجام این محاسبات با کارایی بالا، یک کتابخانه شتابدهنده GPU cuDNN برای شبکه‌های عصبی عمیق معرفی کرد. با این حال، این معیارهای از پیش تعریف شده دارای قابلیت‌های محدودی در طبقه‌بندی داده‌ها هستند. از این رو، رویکردی مبتنی بر متریک ماهالانوبیس برای طبقه‌بندی داده‌ها به یادگیری متریک سنتی برای رفع این مشکل پیشنهاد شده‌است. معمولاً رویکردهای یادگیری متریک به دگرگونی خطی داده‌ها بدون استفاده از هیچ گونه تابع کرنل مربوط می‌شوند. با این حال، این رویکردها به اندازه کافی موفق نیستند تا دانش غیرخطی موجود در داده‌ها را نشان دهند. اگرچه راه حلی با رویکرد مبتنی بر کرنل برای رفع این مشکل ارائه شد، به دلیل برخی از مسائل مانند مقیاس بندی، موفقیتی بدست نیامده است. برخلاف روشهای سنتی یادگیری متریک، یادگیری عمیق با استفاده از توابع فعال سازی که دارای ساختار غیرخطی هستند، این مشکل را حل می‌کند. بیشتر رویکردهای یادگیری عمیق موجود بر مبنای معماری عمیق و نه متریک مسافت در فضای بازنمایی جدید داده‌ها بنا شده‌است. با این حال، رویکردهای مبتنی بر فاصله اخیراً به یکی از جالب‌ترین مباحث در یادگیری عمیق تبدیل شده‌اند. ایده اصلی در یادگیری متریک عمیق این است که با استفاده از معماری شبکه‌های عصبی در یادگیری عمیق، نقاط داده را به فضای ویژگی دیگر برای مقایسه یا تطبیق ترسیم کند، که یادگیری متریک و یادگیری ویژگی را در یک چارچوب یادگیری مشترک متحد می‌کند. یادگیری متریک عمیق، که هدف آن افزایش فاصله بین نمونه‌های مشابه است، ارتباط مستقیمی با فاصله بین نمونه‌ها دارد. استراتژی نمونه برداری می‌تواند در موفقیت شبکه و همچنین سرعت آموزش شبکه مؤثر باشد. ساده‌ترین راه انتخاب نمونه‌ها به صورت تصادفی است یعنی جفت نمونه‌های مثبت و منفی از مجموعه داده‌ها به صورت تصادفی انتخاب شوند. در بسیاری از مقالات برای شبکه‌های سیامی از این استراتژی استفاده می‌کنند ولی براین موضوع هم تأکید دارند که پس از اینکه شبکه به عملکرد قابل قبولی رسید. شبکه‌های تریپلت برای انتخاب نمونه‌های آموزشی از سه نمونه مثبت، منفی و لنگر استفاده می‌کنند. در برخی تحقیقات نشان داده شده که وجود مدل‌هایی که قدرت تفکیک‌پذیری کمتری دارند در به روز رسانی مدل هیچ تأثیری ندارند. به همین دلیل، برای رفع این مشکلات، استفاده از سه نمونه آموزنده بسیار راحت است و می‌توان به جای انتخاب نمونه‌های تصادفی، مدل‌های آموزش عملی تر با استراتژی نمونه بهتری ارائه کرد. به‌طور خلاصه، حتی اگر مدل‌ها و معماری‌های ریاضی خوبی ایجاد کنیم، بسته به قدرت تمایز نمونه‌هایی که ارائه می‌شود، توانایی یادگیری شبکه محدود خواهد بود. نمونه‌های آموزش متمایز باید به شبکه ارائه شود تا شبکه بتواند بهتر یاد بگیرد و بازنمایی بهتری کسب کند. | ## بخش 3: یادگیری متریک | به همین دلیل باید تأثیر رابطه نمونه‌ها برای یادگیری متریک عمیق مورد بررسی دقیق قرار گیرد. مدل شبکه به‌طور معمول دو نوع شبکه‌های عصبی وجود دارند که در روش‌های یادگیری متریک عمیق استفاده می‌شوند. عملکرد این شبکه‌ها یک برای به حداقل یا حداکثر رساندن فاصله بین نمونه‌های یک کلاس و کلاس مخالف یک مدل بسیار موفق است. معماری شبکه سیامی شامل دو جریان موازی برای برآورد شباهت بین دو ورودی است و توانایی یادگیری ویژگی‌های متمایزکننده آنها را دارد. همان‌طور که در شکل زیر پیداست شبکه‌های سیامی به عنوان یک رویکرد یادگیری متریک از دو شبکه یکسان تشکیل شده که هریک جفتی از تصاویر به عنوان نمونه‌های مثبت و منفی برای آموزش مدل شبکه در اختیار دارند و در لایه آخر از طریق یک تابع هزینه، شباهت بین دو نمونه محاسبه می‌شود. این شبکه‌ها برای مقایسه اشیا در طی فرایند تشخیص الگو از فضای اقلیدسی استفاده می‌کنند. این شبکه‌ها هم با استفاده از اشتراک وزن، بر روی شباهت بین جفت نمونه‌های یک کلاس و کلاس مختلف تمرکز دارند. با مقایسه این شباهت‌ها بین نمونه‌ها می‌توان عمل کلاس بندی و بازیابی تصاویر را انجام داد. این شبکه با برقراری روابط درون کلاسی و بین کلاسی که برقرار می‌کنند می‌توانند قدرت تمایز بالاتری را بین نمونه به‌وجود آورند. این توابع به ما کمک می‌کنند با نگاه کردن به شباهت آنها، فاصله بین اشیاء را افزایش یا کاهش دهیم. شبکه سیامی یک مدل بسیار موفق برای به حداکثر رساندن یا به حداقل رساندن فاصله بین اشیاء برای بهبود عملکرد طبقه‌بندی است. تابع هزینه متضاد شبکه را برای مثال مثبت می‌گیرد و فاصله آن را با نمونه ای از همان کلاس محاسبه می‌کند و تضاد آن با فاصله از مثال‌های منفی را نشان می‌دهد. فاصله برای یک جفت از نمونه‌های ورودی به صورت زیر تعریف می‌شود: که در آن (GW(X1 و (GW(X2 به عنوان بازنمایی جدیدی از یک جفت نمونه ورودی تولید می‌شوند. اگر یک جفت ورودی از یک کلاس باشد، مقدار Y برابر ۱ است، در غیر این صورت مقدار آن ۰. شبکه‌های سه‌گانه از فضای اقلیدسی برای مقایسه اشیاء در فرایند تشخیص الگو استفاده می‌کنند و این رویکرد به‌طور مستقیم با یادگیری متریک مرتبط است. همان‌طور که در معادله زیر مشاهده می‌شود، از دست دادن سه‌گانه ابتدا به شباهت بین نمونه‌های جفت کلاس‌های یکسان و متفاوت با استفاده از وزنهای مشترک متمرکز می‌شود. بر خلاف شبکه‌های سیامی و سه‌گانه، تابع هزینه زاویه ای ای بر روی محدودیت زاویه ای در نقطه منفی مثلث‌های سه‌گانه تمرکز دارد. با استفاده از تابع هزینه چهارگانه درجه نزدیکی بهتری بین اشیاء هنگام استفاده از نمونه‌های چهارتایی در هر مجموعه آموزشی بدست می‌آید. همان‌طور که در معادله زیر نشان داده شده‌است، یک نمونه ورودی جدید مشابه نمونه X به عنوان یک روش جایگزین برای از دست دادن سه‌گانه به تابع هزینه چهارگانه اضافه شده‌است. | ## جمع‌بندی | شکل زیر نشان می‌دهد نشان می‌دهد که تابع هزینه چهارگانه از دو مقدار حاشیه مختلف استفاده می‌کند.