Neural network Gaussian process
شبکه‌های بیزی ابزار مدل‌سازی برای تخصیص احتمالات به رویدادها و در نتیجه مشخص کردن احتمال درستی یا نادرستی در پیش‌بینی‌های یک مدل هستند. یادگیری عمیق و شبکه‌های عصبی رویکردهایی هستند که در یادگیری ماشین برای ساخت مدل‌های محاسباتی استفاده می‌شوند که از داده‌های آموزشی یادمی‌گیرند و با داده‌های تست ارزیابی می‌شوند. شبکه‌های عصبی بیزی این دو رشته را ادغام می‌کنند. آنها نوعی شبکه عصبی هستند که پارامترها و پیش‌بینی‌های آنها هر دو احتمالاتی هستند. در حالی که شبکه‌های عصبی معمولی اغلب پیش‌بینی‌های قطعی بعنی صفر و یک دارند، شبکه‌های عصبی بیزی می‌توانند با دقت بیشتری و به صورت غیر قطعی احتمال درست بودن پیش‌بینی‌هایشان را ارزیابی کنند.
فرآیندهای گاوسی شبکه عصبی (NNGPs) تا حدی معادل شبکه‌های عصبی بیزی هستند، و یک شکل بسته ارائه می‌کنند. روشی برای ارزیابی شبکه‌های عصبی بیزی آنها یک توزیع احتمال فرایند گاوسی هستند که توزیع بر روی پیش‌بینی‌های انجام شده توسط شبکه عصبی بیزی مربوطه را توصیف می‌کند. محاسبات در شبکه‌های عصبی مصنوعی معمولاً در لایه‌های متوالی نورون‌های مصنوعی سازماندهی می‌شوند. به تعداد نورون‌های یک لایه، عرض لایه می‌گویند. هم‌ارزی بین NNGPها و شبکه‌های عصبی بیزی زمانی اتفاق می‌افتد که لایه‌ها در شبکه عصبی بیزی بی‌نهایت گسترده شوند (شکل را ببینید). این محدودیت عرض بزرگ مورد توجه عملی است، زیرا شبکه‌های عصبی با عرض محدود معمولاً با افزایش عرض لایه عملکرد بهتری دارند.
NNGP همچنین در زمینه‌های دیگر ظاهر می‌شود: توزیع را بر روی پیش‌بینی‌های انجام شده توسط شبکه‌های غیر بیزی پس از مقداردهی اولیه رندوم پارامترهای این شبکه‌ها، توصیف می‌کند، اما این اتفاق قبل از یادگیری شبکه رخ می‌دهد. به عنوان یک اصطلاح در هسته مماس عصبی معادلات پیش‌بینی ظاهر می‌شود. از شبکه گاوسی در انتشار اطلاعات عمیق استفاده می‌شود تا مشخص شود که آیا هایپرپارامترها و معماری‌ها قابلیت بادگیری دارند یا خیر. این به محدودیت‌های تعداد نورون‌های شبکه‌های عصبی مربوط می‌شود.
هر تنظیم پارامترهای یک شبکه عصبی formula_1 مربوط به یک تابع خاص است که توسط شبکه عصبی محاسبه می‌شود. توزیع ابتدایی formula_2 روی پارامترهای شبکه عصبی مربوط به یک توزیع بر روی توابع محاسبه شده توسط شبکه است. از آنجایی که شبکه‌های عصبی بی‌نهایت گسترده هستند، این توزیع بر روی توابع برای بسیاری از معماری‌ها به یک فرایند گاوسی همگرا می‌شود.
شکل سمت راست خروجی‌های یک بعدی را ترسیم می‌کند formula_3 یک شبکه عصبی برای دو ورودی formula_4 و formula_5 در برابر یکدیگر نقاط سیاه تابع محاسبه شده توسط شبکه عصبی روی این ورودی‌ها را برای ترسیم تصادفی پارامترها از formula_2 . خطوط قرمز، خطوط همسان احتمال برای توزیع مشترک بر روی خروجی‌های شبکه یعنی formula_7 و formula_8 هستند که از توزیع formula_2 القا شده‌است. . این توزیع در فضای تابع مربوط به توزیع formula_2 در فضای پارامتر است، و نقاط سیاه نمونه‌هایی از این توزیع هستند. برای شبکه‌های عصبی بی‌نهایت گسترده، از آنجایی که توزیع روی توابع محاسبه شده توسط شبکه عصبی یک فرایند گاوسی است، توزیع مشترک بر روی خروجی‌های یک شبکه گاوسی چند متغیره برای هر مجموعه متناهی از ورودی‌های شبکه است.
نماد استفاده شده در این بخش مانند نماد استفاده شده در زیر برای به دست آوردن مطابقت بین NNGPها و شبکه‌های کاملاً همبند است و جزئیات بیشتر نیز قابل مشاهده است..
نشان داده شده‌است که هم‌ارزی بین شبکه‌های عصبی بیزینی با پهنای بی‌نهایت و NNGP برای: شبکه‌های کاملاً متصل و عمیق برقرار است، زیرا تعداد واحدها در هر لایه به بی‌نهایت می‌رسد. شبکه‌های عصبی کانولوشن به عنوان تعداد کانال‌ها تا بی‌نهایت گرفته می‌شود. شبکه‌های ترانسفورماتور به عنوان تعداد سر توجه به بی‌نهایت گرفته می‌شود. شبکه‌های تکراری به عنوان تعداد واحدها تا بی‌نهایت گرفته می‌شود. در واقع، این تناظر NNGP تقریباً برای هر معماری صادق است: به‌طور کلی، اگر یک معماری را بتوان صرفاً از طریق ضرب ماتریس و غیرخطی‌های هماهنگی بیان کرد (یعنی یک برنامه تانسور)، آنگاه دارای یک GP با عرض نامحدود است. این به‌طور خاص شامل تمام شبکه‌های عصبی پیش‌خور یا بازگشتی متشکل از پرسپترون چندلایه، شبکه‌های عصبی بازگشتی (مثلاً LSTMs، درنا)، (دوم یا نمودار) پیچیدگی، تجمع، جست و خیز اتصال، توجه، عادی دسته ای، و / یا لایه عادی.
معماری‌های خاصی را می‌توان طوری تغییر داد که به شبکه‌های عصبی بیزی نامتناهی اجازه دهد که NNGP با هسته‌های ترکیب شده از طریق عملیات افزایشی و ضربی تولید کنند.
این بخش در مورد تطابق بین شبکه‌های عصبی گسترده و فرآیندهای گاوسی برای مورد خاص یک معماری کاملاً متصل گسترش می‌یابد. این یک طرح اثباتی ارائه می‌دهد که نشان می‌دهد چرا مکاتبات برقرار است، و شکل عملکرد خاص NNGP را برای شبکه‌های کاملاً متصل معرفی می‌کند. طرح اثبات نزدیک به رویکرد "نواک" "و همکاران است.".
یک شبکه عصبی مصنوعی کاملاً متصل با ورودی‌ها را در نظر بگیرید formula_4 ، مولفه‌های formula_1 متشکل از وزنه‌ها formula_13 و تعصبات formula_14 برای هر لایه formula_15 در شبکه، پیش فعال سازی (پیش غیرخطی) formula_16 ، فعال سازی (پس از غیرخطی بودن) formula_17 ، غیرخطی نقطه ای formula_18 و عرض لایه‌ها formula_19 . برای سادگی، عرض formula_20 از بردار بازخوانی formula_21 1 در نظر گرفته شده‌است. پارامترهای این شبکه دارای توزیع قبلی هستند formula_2 ، که از یک گاوسی همسانگرد برای هر وزن و بایاس تشکیل شده‌است، با واریانس وزن‌ها به صورت معکوس با عرض لایه. این شبکه در شکل سمت راست نشان داده شده‌است و با مجموعه معادلات زیر توضیح داده شده‌است:
ابتدا مشاهده می‌کنیم که پیش فعال سازی‌ها formula_16 توسط یک فرایند گاوسی مشروط به فعال سازی‌های قبلی توصیف می‌شوند formula_17 . این نتیجه حتی در عرض محدود نیز برقرار است. هر پیش فعال سازی formula_27 یک مجموع وزنی از متغیرهای تصادفی گاوسی است که مربوط به اوزان است formula_28 و تعصبات formula_29 ، که در آن ضرایب هر یک از آن متغیرهای گاوسی، فعال سازی‌های قبلی هستند formula_30 . از آنجایی که آنها مجموع وزنی از گاوسیان با میانگین صفر هستند formula_27 خودشان گاوسیان صفر میانگین هستند (مشروط به ضرایب formula_30). از آنجا که formula_16 به‌طور مشترک برای هر مجموعه ای از گاوسی هستند formula_17 ، آنها توسط یک فرایند گاوسی مشروط به فعال سازی‌های قبلی توصیف می‌شوند formula_17 . کوواریانس یا هسته این فرایند گاوسی به وزن و واریانس بایاس بستگی دارد formula_36 و formula_37 و همچنین ماتریس لحظه دوم formula_38 از فعال سازی‌های قبلی formula_17.
تأثیر ترازو وزن formula_41 این است که سهم به ماتریس کوواریانس را مجدداً مقیاس بندی کنیم formula_38 ، در حالی که سوگیری برای همه ورودی‌ها مشترک است و غیره formula_37 را می‌سازد formula_27 برای نقاط داده مختلف شبیه تر است و ماتریس کوواریانس را بیشتر شبیه به یک ماتریس ثابت می‌کند.
پیش فعال سازی‌ها formula_16 فقط به formula_17 از طریق ماتریس لحظه دوم آن formula_38 وابسته است. به همین دلیل می‌توان گفت که formula_16 یک فرایند گاوسی شرطی روی formula_38 است، نه روی formula_17.
همان‌طور که قبلاً تعریف شد، formula_38 ماتریس لحظه دوم از formula_17 . از آنجا که formula_17 بردار فعال سازی پس از اعمال غیرخطی است formula_58 ، می‌توان آن را جایگزین کرد formula_59 ، و در نتیجه یک معادله اصلاح شده بیان می‌کند formula_38 برای formula_61 به لحاظ formula_62 ،
ما قبلاً تعیین کرده‌ایم که formula_64 یک فرایند گاوسی است. این یعنی مجموعی که formula_38 را تعریف می‌کند، میانگین formula_19 نمونه ای از یک فرایند گاوسی است که خود تابعی از formula_67 است.
formula_68
به عنوان عرض لایه formula_19 به بی‌نهایت می‌رود، این میانگین به پایان می‌رسد formula_19 نمونه‌هایی از فرایند گاوسی را می‌توان با یک انتگرال بر روی فرایند گاوسی جایگزین کرد:
بنابراین، در محدوده عرض نامحدود ماتریس لحظه دوم formula_38 برای هر جفت ورودی formula_4 و formula_74 را می‌توان به عنوان یک انتگرال بر روی یک گاوسی ۲ بعدی، از حاصل ضرب بیان کرد formula_75 و formula_76 . تعدادی از موقعیت‌ها وجود دارد که در آن این به صورت تحلیلی حل شده‌است، مانند زمانی که formula_18 یک تابع غیرخطی ReLU , ELU, GELU، یا خطا. حتی زمانی که نمی‌توان آن را به صورت تحلیلی حل کرد، از آنجایی که یک انتگرال ۲ بعدی است، به‌طور کلی می‌توان آن را به صورت عددی به‌طور مؤثر محاسبه کرد. این انتگرال قطعی است، بنابراین formula_78 قطعی است. برای کوتاه نویسی یک تابع تعریف می‌کنیم formula_79 ، که مربوط به محاسبه این انتگرال ۲ بعدی برای همه جفت ورودی‌ها و نقشه‌ها است formula_67 به formula_38 ،
با اعمال این مشاهده به صورت بازگشتی که formula_54 وقتی formula_53، قطعی است، formula_86 را می‌توان به عنوان یک تابع قطعی formula_87 در نظر گرفت،
جایی که formula_89 نشان دهنده اعمال تابعی است formula_79 به صورت متوالی formula_91 بار. با ترکیب این عبارت با مشاهدات بعدی که لایه ورودی ماتریس گشتاور دوم است formula_92 تابع قطعی ورودی است formula_4 ، و آن formula_94 یک فرایند گاوسی است، خروجی شبکه عصبی را می‌توان به عنوان یک فرایند گاوسی بر حسب ورودی آن بیان کرد،
Neural Tangents یک کتابخانه رایگان و منبع باز پایتون است که برای محاسبه و انجام استنتاج با NNGP و هسته مماس عصبی مربوط به معماری‌های مختلف ANN رایج استفاده می‌شود.