واحد بازگشتی دروازه‌ای

واحدهای بازگشتی دروازه‌ای (GRUs) یک مکانیسم دروازه‌ای در شبکه‌های عصبی بازگشتی هستند که در سال ۲۰۱۴ توسط کیونگ‌هیون چو و همکارانش ایجاد شدند. واحد بازگشتی دروازه‌ای مانند یک حافظه طولانی کوتاه مدت (LSTM) با یک دروازه فراموشی کار می‌کند، اما پارامترهای کمتری نسبت به LSTM دارد، زیرا فاقد دروازه خروجی است. عملکرد GRU در برخی از وظایف مانند مدل‌سازی موسیقی چندصدایی، مدل‌سازی سیگنال گفتار و پردازش زبان طبیعی مشابه عملکرد LSTM است. GRUها عملکرد بهتری در مجموعه داده‌های کوچکتر و داده‌های کم‌بسامد دارند.

معماری 
تغییرات مختلفی در واحد دروازه کامل وجود دارد، با استفاده از حالت مخفی قبلی و بایاس در ترکیب‌های مختلف، و یک شکل ساده به نام واحد حداقل دروازه‌ای.

اپراتور  محصول هادامارد را در زیر نشان می‌دهد.

واحد تمام دروازه‌ای 

در ابتدا، برای  ، بردار خروجی عبارت است از  .

متغیرها 
  : بردار ورودی
  : بردار خروجی
  : بردار فعال‌سازی
  : بردار به روز رسانی
  : بردار ریست
  ،  و  : ماتریس پارامتر و بردار

توابع فعال سازی 

  : تابع سیگموئید.
  : تابع هذلولی.
از سایر توابع فعال‌سازی نیز می‌توان استفاده کرد مشروط بر اینکه  .

با تغییر  و   می‌توان شکلهای دیگری از مدل را ایجاد کرد:
 نوع اول، هر دروازه فقط به حالت پنهان قبلی و b بستگی دارد.

 

 نوع دوم، هر دروازه فقط به حالت پنهان قبلی بستگی دارد.

 

 نوع سوم، هر دروازه فقط با استفاده از b محاسبه می‌شود.

واحد حداقل دروازه‌ای 
واحد حداقل دروازه‌ای مشابه واحد تمام دروازه‌ای است، به جز اینکه بردار به روز رسانی و ریست در یک دروازه فراموشی ادغام شده‌است.

متغیرها 
  : بردار ورودی
  : بردار خروجی
  : بردار فعال سازی
  : بردار فراموشی
  ،  و  : ماتریس‌های پارامتر و بردار

واحد تکراری تطبیقی محتوا 

واحد تکراری تطبیقی محتوا یا Content Adaptive Recurrent Unit (CARU) گونه‌ای از GRU است که در سال ۲۰۲۰ توسط کاهو چان و همکاران وی ایجاد شد. CARU شامل گیت به روز رسانی مانند GRU است، اما به جای گیت ریست، یک گیت تطبیقی با محتوا معرفی می‌کند. CARU برای کاهش مشکل وابستگی طولانی مدت مدل‌های RNN طراحی شده‌است. CARU پارامترهای کمتری نسبت به GRU دارد و در مسائل پردازش زبانهای طبیعی عملکردش تنها قدری بهتر از GRU است.

در معادلات زیر، متغیرهای حروف کوچک نشان دهنده بردارها و  پارامترهای مدل را نشان می‌دهد که لایه‌های خطی هستند که از وزن‌ها و بایاس‌ها تشکیل شده‌اند. در ابتدا، برای  ، CARU مستقیماً بردارد   را برمی‌گرداند؛ برای   خروجی‌ها عبارتند از:

در اینجا اپراتور  نشان دهنده ضرب هادامارد است، و  و  به ترتیب نشان‌دهنده تابع سیگموئید و هذلولی است.

پیوند به بیرون 

 واحد بازگشتی دروازه‌ای در keras
 واحد بازگشتی دروازه‌ای در PyTorch

منابع 

شبکه‌های عصبی مصنوعی