payamvha/North_RAG huggingface dataset:
استیون هیلیارد استرن (؛ – ) کارگردان فیلم، و فیلم‌نامه‌نویس اهل کانادا بود. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته است، می‌توان به "دو" و "پول" اشاره نمود.
پل لینچ (؛ زادهٔ ) یک کارگردان فیلم، کارگردان تلویزیونی، و فیلم‌نامه‌نویس اهل بریتانیایی-کانادایی است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته‌است، می‌توان به '، "به‌سوی جنوب" و ' اشاره نمود.
کامیلا اسکات (؛ زادهٔ ) بازیگر، مجری تلویزیون اهل کانادا است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته‌است، می‌توان به "سه مرد و یک نوزاد"، "هنر سرقت" و "به‌سوی جنوب" اشاره نمود.
لانگتانگ لیرونگ () بلندترین قله هیمال لانگتانگ است که زیررشته‌ای از کوه‌های هیمالیا در نپال به‌شمار می‌رود. این قله در جنوب‌غربی کوه هشت هزار متری شیشاپانگما قرار دارد. نخستین صعود این کوه در ۲۴ اکتبر ۱۹۷۸ توسط دو کوهنورد ژاپنی و از مسیر خط‌الرأس شرقی آن انجام شد. نخستین صعود زمستانه این قله نیز در ۳ ژانویه ۱۹۸۸ توسط کوهنوردان لهستانی صورت گرفت. در ۲۵ آوریل ۲۰۱۵، زمین‌لرزه‌ای با بزرگی ۷٫۸ در نپال روی داد که باعث ایجاد زمین‌لغزش در لانگتانگ لیرونگ شد. در روستای لانگتانگ گه مستقیماً بر روی مسیر زمین‌لغزش قرار
لانگتانگ گه مستقیماً بر روی مسیر زمین‌لغزش قرار داشت، ۲۴۳ نفر کشته شدند.
پال ساروسی (؛ زادهٔ ) یک فیلم‌بردار و کارگردان فیلم اهل کانادا است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته‌است می‌توان به "عزم راسخ ایرنا"، "اکسوتیکا"، "آخرت شیرین، سفر فلیسیا، آرارات، جایی که حقیقت دروغ می‌گوید، ستایش، کلویی، گره شیطان، اسیر، همه‌چیزتمام، رنج، برف‌پیما، سر در ابرها، مرد حصیری، چارلی بارتلت، راز، دوئل، راکی مارسیانو، مرز جنون، خانواده بورجا" و "حکومت" اشاره نمود.
ران آلیور (؛ زادهٔ ۱۹۵۰ میلادی) نویسنده، تهیه‌کننده تلویزیونی، کارگردان فیلم، فیلم‌نامه‌نویس، تهیه‌کننده فیلم و بازیگر اهل کانادا است.. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته است می‌توان به "کریسمس دنیس منس" اشاره نمود.
منطقه دریاچه‌ای پومرانی () یک ناحیه دریاچه‌ای در فرا پومرانی است که امروزه در شمال غربی لهستان و در شرق استان پومرانی غربی واقع شده‌است. این ناحیه در منتهی‌الیه کوهپایه بلندی‌های بالتیک قرار گرفته و دریاچه‌های متعددی درون آن قرار دارند. قدمت این ناحیه به عصر یخبندان بازمی‌گردد که قرار گرفتن در بین یخ‌رفتها باعث ایجادش گشت. فلات این ناحیه دریاچه‌ای بسیار شبیه منطقه دریاچه‌ای مازوری، منطقه دریاچه‌ای مکلن‌بورگ و سوییس هولشتاین است. بزرگترین دریاچه این منطقه درافسکو نام دارد که از مهم‌ترین رود ناحیه به نام
درافسکو نام دارد که از مهم‌ترین رود ناحیه به نام دراوا تغذیه می‌شود. سکونتگاه‌های اصلی این منطقه شچچینک و پولچنز دروی می‌باشند. دریاچه‌های پومرانی به دلیل آنکه کمتر شناخته شده هستند نسبت به دریاچه‌های مازوری گردشگران کمتری را به خود جذب می‌کنند.
استیون سرجیک (؛ زادهٔ ۱۹۶۷ میلادی) یک کارگردان تلویزیونی، کارگردان فیلم، تهیه‌کننده فیلم اهل کانادا است. وی از سال ۱۹۸۳ میلادی تاکنون مشغول فعالیت بوده‌است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته‌است می‌توان به "گمشده در فضا"، "یگان ۶"، "آیرون فیست"، "مدافعان"، "مجازاتگر"، "با استعداد"، "بازمانده برگزیده"، "لوک کیج"، "متل بیتس"، "دردویل"، "جسیکا جونز"، "فلش"، "ارو"، "فهرست سیاه"، "مظنون"، "کامن لا"، " خانواده غیرمعمولی"، "مرز جنون"، "انبار ۱۳"، "مهره سوخته"، "من کندی می‌خوام"، "غیب‌گو"،
۱۳"، "مهره سوخته"، "من کندی می‌خوام"، "غیب‌گو"، "مانک" و "قصه‌های جزیره" اشاره نمود.
پارک زعبیل () یک پارک عمومی در دبی، امارات متحده عربی که در منطقه زعبیل دبی واقع شده‌است، از شمال به مسیر شیخ راشد و از شمال غربی به مسیر شیخ خلیفه بن زاید منتهی شده و از جنوب خیابان شیخ زاید آن را قطع می‌کند. این پارک به چند بخش تقسیم شده که به پل‌های عابر پیاده مرتبط می‌باشد و دارای دروازه‌های ورودی متعددی است. قاب دبی در داخل پارک قرار دارد. پارک زعبیل که بین الکرامه و مرکز تجارت جهانی دبی واقع شده است، بخش زیادی از منطقه الکفاف را پوشش می‌دهد. این پارک از طریق خط قرمز متروی دبی و از طریق ایستگاه
پارک از طریق خط قرمز متروی دبی و از طریق ایستگاه الجفیلیه در نزدیکی آن قابل دسترسی است. این پارک توسط اداره پارک‌های عمومی و باغبانی شهرداری دبی نگهداری می‌شود. پس‌زمینه. این پارک در دسامبر ۲۰۰۵ در مراسم افتتاحیه توسط شیخ حمدان بن راشد آل مکتوم به روی عموم باز شد. مساحت پارک زعبیل ۴۷.۵ هکتار (۱۱۷.۳۷۵ هکتار) یا حدود ۴۵ زمین فوتبال است. ظرفیت پارکینگ می‌تواند ۲۳۰۰ وسیله نقلیه را در خود جای دهد. فعالیت‌ها. هزینه ورودی برای هر نفر ۵ درهم است. این پارک یکی از بزرگ‌ترین و پر رفت‌وآمدترین پارک‌های شهر و مکانی
بزرگ‌ترین و پر رفت‌وآمدترین پارک‌های شهر و مکانی محبوب برای ورزش و موسیقی زنده است. همچنین این پارک دارای امکانات تفریحی مختلفی از جمله پیست ۲.۵ کیلومتری دویدن در محوطه پارک، مسیرهای عابر پیاده، مسیر دوچرخه‌سواری بی‌ام‌اکس، پارک اسکیت‌برد، مناطق باربیکیو و پیک نیک، دریاچه قایق‌سواری، رستوران‌های کنار دریاچه، اسکیت روی یخ، زمین کریکت مینی و منطقه گلف، صندلی در سایه. و فضای بازی کودکان است. همچنین یک گالری نمایشگاه، نمازخانه، یک مرکز تناسب اندام، و بناهای تاریخی مختلف وجود دارد. این پارک دارای موضوعی مبتنی
مختلف وجود دارد. این پارک دارای موضوعی مبتنی بر فناوری است، با سه منطقه (منطقه انرژی جایگزین، منطقه ارتباطات و منطقه تکنو) حاوی نمایشگرهای آموزشی و تعاملی. همچنین یک سینمای سه بعدی برای فعالیت‌های سرگرمی ارائه می‌دهد.
فورخس (؛ – ) کاریکاتوریست، طنزپرداز گرافیکی و کارگردان فیلم اهل اسپانیا بود. وی همچنین برندهٔ جوایزی همچون جایزه کرئو د سان جردی شده‌است.
جایزهٔ بین‌المللی طنز گات پریک () یک جایزهٔ بین‌المللی طنز است که به کاریکاتوریست‌ها و طنزپردازان اهدا می‌شود و برای یادبود کاریکاتوریست اسپانیایی «ژائومه پریک» (۱۹۳۵–۱۹۹۵) ایجاد شد. این جایزه از سال ۱۹۹۵ میلادی اعطا می‌شود. جایزهٔ آن تندیسی نقره‌ای از گربه‌هایی است که یک قلم در دست دارند و معمولاً توسط ژائومه پریک طراحی می‌شد. این جایزهٔ شامل یک «جایزهٔ افتخاری طنز» هم هست که به طنزپردازان و کاریکاتوریست‌های کهنه‌کار و پیشکسوت اهدا می‌شود.
ایساکی لاکوئستا (؛ زادهٔ ۱۹۷۵) یک کارگردان فیلم، فیلم‌نامه‌نویس و منتقد اهل اسپانیا است. وی همچنین برندهٔ جوایزی همچون صدف طلایی شده‌است.
بیسو (به اسپانیایی: El Viso) یک محله و منطقهٔ مسکونی در شهر مادرید است که در منطقهٔ چامارتین واقع شده‌است. این محله در حال حاضر ثروتمندترین محلهٔ پایتخت اسپانیا محسوب می‌شود.
ارنستو خیمنس کابایرو (؛ – ) یک فیلم‌ساز، نویسنده، دیپلمات، سیاستمدار و از پیشگامان فاشیسم در اسپانیا بود. استنلی جی. پین مورخ آمریکایی که در زمینهٔ تاریخ اسپانیا تخصص دارد، او را «گابریله دانونزیو اسپانیا» لقب داده‌است. وی مدتی در ارتش «مراکش اسپانیا» خدمت کرد و تحت تأثیر شارل موراس کتابی از تجربیات خود در آنجا به نام «یادداشت‌های مراکشی یک سرباز» منتشر کرد که باعث خشم شدید فرماندهان ارتش شد و او را به رندان افکندند؛ اما با عفو و دستور ژنرال میگوئل پریمو ده ریورا آزاد شد. آثار او را بخشی از جنبش ادبی-هنری
ریورا آزاد شد. آثار او را بخشی از جنبش ادبی-هنری فراواقع‌گرایی می‌دانند. او تحت تأثیر انتقادات خوزه ارتگا یی گاست از دموکراسی قرار گرفت، اما خودش همچون میگل د اونامونو، یک ملی‌گرا شد. وی در ایتالیا از دوستان کورتزیو مالاپارته، جووانی جنتیله و فیلیپو تومازو مارینتی و شاید تحت تأثیر آنها، عقاید فاشیستی پیدا کرد و در سال ۱۹۲۹ میلادی رسماً در مجله‌ای که خودش بنیان نهاده بود، اعلام کرد که به جنبش فاشیسم پیوسته‌است. در اسپانیا او به حزب فالانژ اسپانیا پیوست و با آنکه طی جنگ داخلی اسپانیا به ایتالیا گریخت، اما از
طی جنگ داخلی اسپانیا به ایتالیا گریخت، اما از همان‌جا فرانسیسکو فرانکو را تشویق می‌کرد که فالانژها و کارلیست‌ها را متحد و همبسته کند و به‌همین سبب پُست «قائم‌مقام وزیر آموزش ملی» در کابینهٔ فرانکو به او اهدا شد. یکی از کارهای عجیب او تلاشش برای به عقد درآوردن «پیلار»، خواهر خوزه آنتونیو پریمو دریورا با آدولف هیتلر بود تا به عقیده خودش، هیتلر را «نرم‌تر» و «کاتولیک‌تر» کند. پس از جنگ داخلی اسپانیا، او بیشتر عمرش را در خارج از اسپانیا بود و شغل‌های متفاوتی در سفارت‌خانه‌های اسپانیا در کشورهایی چون پاراگوئه و
سفارت‌خانه‌های اسپانیا در کشورهایی چون پاراگوئه و برزیل داشت، تا آنکه در سال ۱۹۵۸ میلادی به‌عنوان سفیر اسپانیا در پاراگوئه انتخاب شد و ۱۴ سال در این مقام ماند. وی در سن ۸۸ سالگی به‌دنبال عمل آب‌مروارید و به‌سبب وضعیت بد جسمانی در خانه‌اش در بیسو در ۱۴ مه ۱۹۸۸ درگذشت.
مانوئل مارتین کوئنکا (؛ زادهٔ ) کارگردان فیلم اهل اسپانیا است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته‌است، می‌توان به "آدم‌خواری" و "دوران سخت" اشاره نمود.
لوئیس اسپینال کامپس (؛ – ) راهب یسوعی، شاعر، روزنامه‌نگار، فیلم‌ساز، منتقد فیلم اهل اسپانیا بود. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته است، می‌توان به «"تپانچه‌هایی برای صلح"» (۱۹۶۹) اشاره نمود.
آلیس وادینگتون (؛ زادهٔ ) کارگردان فیلم، و فیلم‌نامه‌نویس اهل اسپانیا است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته است، می‌توان به "تپه‌های بهشت" اشاره نمود.
اف. خاویر گوتیرس (؛ زادهٔ ) کارگردان فیلم، فیلم‌نامه‌نویس، و تهیه‌کننده فیلم اهل اسپانیا است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته است می‌توان به "پیش از سقوط"، "انتظار"، "حلقه‌ها" و "شیطانی" اشاره نمود.
کلاودیو بیرن بوید (؛ زادهٔ ) پویانما و کارگردان انیمیشن اهل اسپانیا است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته‌است، می‌توان به "دور دنیا در هشتاد روز" اشاره نمود.
مائیته روئیس دِ آئوستری (؛ زادهٔ ۱۹۵۹) کارگردان فیلم و نویسنده اهل اسپانیا است. وی عضو فرهنگستان علوم و هنرهای سینمایی اسپانیا است. از فیلم‌ها یا مجموعه‌های تلویزیونی که وی در آن‌ها نقش داشته است، می‌توان به "افسانه باد شمال" اشاره نمود.
بروس چتوین (; – ) رمان‌نویس، سفرنامهنویس اهل بریتانیا بود. نخستین کتاب او "در پاتاگنیا" باعث شهرت او شد. وی همچنین برندهٔ جوایزی همچون جایزه یادبود جیمز تیت بلاک شده‌است. علت مرگ بیماری ایدز
ارنست فردیناند آدولف مایندینگ ، ؛ (زادهٔ :۱۱ ژانویه ۱۸۰۶-درگذشتهٔ: ۱۳ مه ۱۸۸۵) ریاضیدانی آلمانی-روسی بود که به دلیل فعالیتش در هندسه دیفرانسیل شناخته شده‌است. وی ادامه دهندهٔ مبحث هندسه دیفرانسیل سطوح کارل فردریش گاوس بود.
یک شبکه‌ی عصبی مکرر (RNN) کلاسی از شبکه‌های عصبی مصنوعی هستند که در آن اتصالات مابین گره‌هایی از یک گراف جهت‌دار در امتداد یک دنباله‌ی زمانی می‌باشند و سبب می‌شود تا الگوریتم بتواند رفتار پویای موقتی را به نمایش بگذارد. برخلاف شبکه‌های عصبی رو به جلو، شبکه‌های عصبی مکرر می‌توانند از وضعیت درونی خود برای پردازش دنباله‌ی ورودی‌ها استفاده کنند که آن‌ها را برای مواردی نظیر تشخیص صوت، یا تشخیص دست‌نوشته‌های غیربخش‌بندی شده‌ی متصل مناسب می‌کند. واژه‌ی «شبکه‌های عصبی مکرر» به دو کلاس گسترده از شبکه‌هایی با ساختار
مکرر» به دو کلاس گسترده از شبکه‌هایی با ساختار مشابه اشاره دارد: یکی از آن‌ها دارای تکانه متناهی و دیگری دارای تکانه نامتناهی می‌باشد و هر دوی آن‌ها رفتار پویای موقتی را نشان می‌دهند. یک شبکه‌ی متناهی تکانه، یک گراف جهت‌دار غیر مدور است که می‌تواند باز شده و با یک شبکه‌ی عصبی رو به جلو جایگزین شود؛ در حالی که یک شبکه‌ی با تکانه نامتناهی یک گراف مدور جهت‌دار است که نمی‌تواند باز شود. هر دوی این الگوریتم‌ها می‌توانند دارای وضعیت‌های ذخیره‌سازی شده باشند و این حافظه‌ی ذخیره‌سازی نیز می‌تواند تحت کنترل مستقیم
حافظه‌ی ذخیره‌سازی نیز می‌تواند تحت کنترل مستقیم شبکه‌ی عصبی باشد. همچنین در صورتی که دارای تأخیر زمانی باشد یا دارای چرخه‌های بازخوردی باشد، حافظه‌ی مذکور می‌تواند با شبکه‌ی دیگری یا گراف دیگری جایگزین شود. این وضعیت‌های تحت کنترل، به وضعیت‌های درگاهی یا حافظه‌های درگاهی اشاره دارند و بخشی از شبکه‌های حافظه‌ی کوتاه‌مدت بلند (LSTMs) و واحدهای درگاهی مکرر هستند. تاریخ. شبکه های عصبی مکرر بر اساس کار دیوید روملهارت در سال 1986 بود. شبکه های هاپفیلد - نوع خاصی از RNN - توسط جان هاپفیلد در سال 1982 (دوباره)
از RNN - توسط جان هاپفیلد در سال 1982 (دوباره) کشف شد. در سال 1993، یک سیستم کمپرسور تاریخ عصبی یک کار "آموزش بسیار عمیق" را حل کرد که به بیش از 1000 لایه بعدی در یک RNN نیاز داشت که در زمان باز شده بود. LSTM. شبکه‌های حافظه کوتاه‌مدت (LSTM) توسط Hochreiter و Schmidhuber در سال 1997 اختراع شدند و رکوردهای دقت را در حوزه‌های کاربردی متعدد ثبت کردند. در حدود سال 2007، LSTM شروع به ایجاد انقلابی در تشخیص گفتار کرد و از مدل‌های سنتی در کاربردهای گفتاری خاص بهتر عمل کرد. در سال 2009، یک شبکه LSTM آموزش دیده با
عمل کرد. در سال 2009، یک شبکه LSTM آموزش دیده با طبقه‌بندی زمانی ارتباط‌گرا (CTC) اولین RNN بود که برنده مسابقات تشخیص الگو شد، زمانی که چندین مسابقه در تشخیص دست‌خط متصل برنده شد. در سال 2014، شرکت چینی Baidu از RNN های آموزش دیده با CTC برای شکستن معیار مجموعه داده تشخیص گفتار 2S09 Hub5'00 بدون استفاده از هیچ روش سنتی پردازش گفتار استفاده کرد. معماری ها. Fully recurrent. شبکه‌های عصبی کاملاً مکرر (FRNN) خروجی‌های همه نورون‌ها را به ورودی‌های همه نورون‌ها متصل می‌کنند. این عمومی‌ترین توپولوژی شبکه عصبی
متصل می‌کنند. این عمومی‌ترین توپولوژی شبکه عصبی است، زیرا همه توپولوژی‌های دیگر را می‌توان با صفر کردن وزن‌های اتصال برای شبیه‌سازی عدم اتصال بین آن نورون‌ها نشان داد. تصویر سمت راست ممکن است برای بسیاری گمراه‌کننده باشد، زیرا توپولوژی‌های عملی شبکه‌های عصبی اغلب در "لایه‌ها" سازمان‌دهی می‌شوند و طراحی آن ظاهر را نشان می‌دهد. با این حال، آنچه که لایه ها به نظر می رسد، در واقع، مراحل مختلف در زمان یک شبکه عصبی کاملاً مکرر هستند. سمت چپ ترین مورد در تصویر، اتصالات مکرر را به صورت قوس با برچسب 'v' نشان می
اتصالات مکرر را به صورت قوس با برچسب 'v' نشان می دهد. برای ایجاد ظاهر لایه ها به موقع "باز می شود". شبکه های المان و شبکه های جردن. شبکه المان (Elman network)یک شبکه سه لایه است (که در تصویر به صورت x، y و z مرتب شده اند) با اضافه شدن مجموعه ای از واحدهای زمینه (u در تصویر). لایه میانی (پنهان) به این واحدهای زمینه ثابت با وزن یک متصل می شود. در هر مرحله زمانی، ورودی به جلو هدایت می شود و یک قانون یادگیری اعمال می شود. اتصالات پشتی ثابت یک کپی از مقادیر قبلی واحدهای پنهان را در واحدهای زمینه ذخیره می کنند
واحدهای پنهان را در واحدهای زمینه ذخیره می کنند (زیرا قبل از اعمال قانون یادگیری روی اتصالات منتشر می شوند). بنابراین شبکه می تواند نوعی حالت را حفظ کند و به آن اجازه می دهد کارهایی مانند پیش بینی توالی را انجام دهد که فراتر از توان یک پرسپترون چند لایه استاندارد است. شبکه های جردن(Elman network)مشابه شبکه های المان هستند. واحدهای زمینه از لایه خروجی به جای لایه پنهان تغذیه می شوند. واحدهای زمینه در شبکه جردن نیز به عنوان لایه حالت نامیده می شوند. آنها یک ارتباط مکرر با خودشان دارند. شبکه های المان و جردن
مکرر با خودشان دارند. شبکه های المان و جردن به عنوان "شبکه های تکراری ساده" (SRN) نیز شناخته می شوند. هاپفیلد. شبکه هاپفیلد یک RNN است که در آن تمام اتصالات بین لایه ها به یک اندازه هستند. به ورودی‌های ثابت نیاز دارد و بنابراین یک RNN عمومی نیست، زیرا دنباله‌ای از الگوها را پردازش نمی‌کند. با این حال، تضمین می کند که همگرا خواهد شد. اگر اتصالات با استفاده از یادگیری هبیان آموزش داده شوند، شبکه هاپفیلد می تواند به عنوان حافظه قابل آدرس دهی محتوا قوی و مقاوم در برابر تغییر اتصال عمل کند. حافظه تداعی دو طرفه.
برابر تغییر اتصال عمل کند. حافظه تداعی دو طرفه. یک شبکه حافظه انجمنی دو جهته (BAM) که توسط بارت کوسکو معرفی شد، نوعی از شبکه هاپفیلد است که داده‌های انجمنی را به صورت برداری ذخیره می‌کند. دو جهتی از انتقال اطلاعات از طریق یک ماتریس و جابجایی آن ناشی می شود. به طور معمول، رمزگذاری دوقطبی به رمزگذاری باینری جفت های انجمنی ترجیح داده می شود. اخیراً، مدل‌های BAM تصادفی با استفاده از پله‌بندی مارکوف برای افزایش پایداری شبکه و ارتباط با کاربردهای دنیای واقعی بهینه‌سازی شده‌اند. یک شبکه BAM دارای دو لایه است که
شده‌اند. یک شبکه BAM دارای دو لایه است که هر یک از آنها می تواند به عنوان ورودی برای فراخوانی یک ارتباط و تولید خروجی در لایه دیگر هدایت شود. حالت اکو. شبکه حالت اکو (ESN) دارای یک لایه پنهان تصادفی پراکنده است. وزن نورون های خروجی تنها بخشی از شبکه است که می تواند تغییر کند (آموزش داده شود). ESN ها در بازتولید سری های زمانی خاص خوب هستند. گونه‌ای برای نورون‌های spiking به عنوان ماشین حالت مایع شناخته می‌شود. شبکه های عصبی بازگشتی مستقل(IndRNN). شبکه عصبی بازگشتی مستقل (IndRNN) مشکلات ناپدید شدن و انفجار
بازگشتی مستقل (IndRNN) مشکلات ناپدید شدن و انفجار گرادیان را در RNN سنتی کاملا متصل می کند. هر نورون در یک لایه فقط حالت گذشته خود را به عنوان اطلاعات زمینه دریافت می کند (به جای اتصال کامل به همه نورون های دیگر در این لایه) و بنابراین نورون ها مستقل از تاریخ یکدیگر هستند. پس انتشار گرادیان را می توان برای جلوگیری از ناپدید شدن گرادیان و انفجار به منظور حفظ حافظه بلند مدت یا کوتاه مدت تنظیم کرد. اطلاعات متقابل نورون در لایه های بعدی بررسی می شود. IndRNN را می توان با توابع غیرخطی غیراشباع مانند ReLU به طور
توان با توابع غیرخطی غیراشباع مانند ReLU به طور قوی آموزش داد. با استفاده از اتصالات پرش، می توان شبکه های عمیق را آموزش داد. Recursive. یک شبکه عصبی بازگشتی با اعمال مجموعه ای از وزن ها به صورت بازگشتی بر روی یک ساختار گراف مانند قابل تمایز با پیمایش ساختار به ترتیب توپولوژیکی ایجاد می شود. چنین شبکه‌هایی معمولاً توسط حالت معکوس تمایز خودکار نیز آموزش داده می‌شوند. آنها می توانند نمایش های توزیع شده ساختار، مانند اصطلاحات منطقی را پردازش کنند. یک مورد خاص از شبکه های عصبی بازگشتی، RNN است که ساختار آن با
از شبکه های عصبی بازگشتی، RNN است که ساختار آن با یک زنجیره خطی مطابقت دارد. شبکه‌های عصبی بازگشتی برای پردازش زبان طبیعی استفاده شده‌اند. شبکه تانسور عصبی بازگشتی از یک تابع ترکیب مبتنی بر تانسور برای همه گره‌های درخت استفاده می‌کند. کمپرسور تاریخچه عصبی. کمپرسور تاریخچه عصبی یک پشته بدون نظارت از RNN است. در سطح ورودی، یاد می گیرد که ورودی بعدی خود را از ورودی های قبلی پیش بینی کند. فقط ورودی‌های غیرقابل پیش‌بینی برخی از RNN در سلسله مراتب به ورودی‌های سطح بالاتر RNN تبدیل می‌شوند، که بنابراین به ندرت
سطح بالاتر RNN تبدیل می‌شوند، که بنابراین به ندرت حالت داخلی خود را دوباره محاسبه می‌کند. بنابراین هر سطح بالاتر RNN نمایش فشرده ای از اطلاعات در RNN زیر را مطالعه می کند. این کار به گونه ای انجام می شود که بتوان دنباله ورودی را دقیقاً از نمایش در بالاترین سطح بازسازی کرد. این سیستم به طور موثر طول توصیف یا لگاریتم منفی احتمال داده ها را به حداقل می رساند. با توجه به قابلیت پیش‌بینی‌پذیری زیاد در توالی داده‌های ورودی، بالاترین سطح RNN می‌تواند از یادگیری نظارت شده برای طبقه‌بندی آسان حتی توالی‌های عمیق با
شده برای طبقه‌بندی آسان حتی توالی‌های عمیق با فواصل طولانی بین رویدادهای مهم استفاده کند. می توان سلسله مراتب RNN را به دو RNN تقطیر کرد: chunker "آگاهانه" (سطح بالاتر) و خودکار "ناخودآگاه" (سطح پایین تر).هنگامی که قطعه‌کننده یاد گرفت ورودی‌هایی را که توسط اتومایزر غیرقابل پیش‌بینی هستند، پیش‌بینی و فشرده کند، می‌توان خودکارساز را در مرحله یادگیری بعدی مجبور کرد تا از طریق واحدهای اضافی، واحدهای پنهان قطعه‌کننده که به کندی تغییر می‌کند را پیش‌بینی یا تقلید کند. این امر یادگیری حافظه های مناسب و به ندرت در
کند. این امر یادگیری حافظه های مناسب و به ندرت در فواصل زمانی طولانی را برای خودکارساز آسان می کند. به نوبه خود، این به خودکار کمک می‌کند تا بسیاری از ورودی‌های غیرقابل پیش‌بینی خود را قابل پیش‌بینی کند، به طوری که chunker می‌تواند روی رویدادهای غیرقابل پیش‌بینی باقی‌مانده تمرکز کند. یک مدل مولد تا حدی بر مشکل گرادیان ناپدید شدن تمایز خودکار یا انتشار پس‌باز در شبکه‌های عصبی در سال 1992 غلبه کرد. در سال 1993، چنین سیستمی یک کار "آموزش بسیار عمیق" را حل کرد که به بیش از 1000 لایه بعدی در یک RNN نیاز داشت که
به بیش از 1000 لایه بعدی در یک RNN نیاز داشت که در زمان باز شده بود. RNN های مرتبه دوم. RNN های مرتبه دوم از وزن های مرتبه بالاتر formula_1 به جای وزنه های استاندارد formula_2 استفاده می کنند، و ایالت ها می توانند یک محصول باشند. این امکان نگاشت مستقیم به یک ماشین حالت محدود را هم در آموزش، هم در پایداری و هم در نمایش می دهد. حافظه کوتاه‌مدت بلندمدت نمونه‌ای از این است، اما چنین نقشه‌برداری رسمی یا اثبات پایداری ندارد. Long short-term memory. حافظه کوتاه مدت بلند مدت (LSTM) یک سیستم یادگیری عمیق است که از
بلند مدت (LSTM) یک سیستم یادگیری عمیق است که از مشکل ناپدید شدن گرادیان جلوگیری می کند. LSTM معمولاً توسط گیت‌های مکرر به نام «دروازه‌های فراموش» تقویت می‌شود. LSTM از ناپدید شدن یا انفجار خطاهای منتشر شده جلوگیری می کند. در عوض، خطاها می توانند از طریق تعداد نامحدودی از لایه های مجازی که در فضا باز شده اند، به عقب بروند. یعنی LSTM می‌تواند کارهایی را بیاموزد که به خاطراتی از رویدادهایی نیاز دارند که هزاران یا حتی میلیون‌ها مرحله زمانی گسسته پیش از آن اتفاق افتاده‌اند. توپولوژی‌های LSTM-مشکل خاص را می‌توان
افتاده‌اند. توپولوژی‌های LSTM-مشکل خاص را می‌توان تکامل داد. LSTM حتی با تأخیرهای طولانی بین رویدادهای مهم کار می کند و می تواند سیگنال هایی را که اجزای فرکانس پایین و بالا را با هم ترکیب می کنند، مدیریت کند. واحد بازگشتی دردار. واحدهای بازگشتی دروازه‌ای (GRUs) یک مکانیسم دروازه‌ای در شبکه‌های عصبی بازگشتی هستند که در سال 2014 معرفی شدند. آنها به شکل کامل و چندین نوع ساده شده استفاده می‌شوند. عملکرد آن‌ها در مدل‌سازی موسیقی چندصدایی و مدل‌سازی سیگنال گفتار شبیه به عملکرد حافظه کوتاه‌مدت بود. آنها
گفتار شبیه به عملکرد حافظه کوتاه‌مدت بود. آنها پارامترهای کمتری نسبت به LSTM دارند، زیرا فاقد دروازه خروجی هستند. آموزش. نزول گرادیان. گرادیان نزول یک الگوریتم بهینه‌سازی تکراری مرتبه اول برای یافتن حداقل یک تابع است. در شبکه های عصبی می توان از آن برای به حداقل رساندن عبارت خطا با تغییر هر وزن متناسب با مشتق خطا نسبت به آن وزن استفاده کرد، مشروط بر اینکه توابع فعال سازی غیرخطی قابل تمایز باشند. روش های مختلفی برای انجام این کار در دهه 1980 و اوایل دهه 1990 توسط Werbos، Williams، Robinson، Schmidhuber،
توسط Werbos، Williams، Robinson، Schmidhuber، Hochreiter، Pearlmutter و دیگران توسعه یافت. روش استاندارد «انتشار پس از طی زمان» یا BPTT نامیده می‌شود و یک تعمیم انتشار پس‌از برای شبکه‌های پیش‌خور است. مانند آن روش، نمونه ای از تمایز خودکار در حالت انباشت معکوس اصل حداقلی Pontryagin است. یک نوع آنلاین گران‌تر از نظر محاسباتی «آموزش مکرر بی‌درنگ» یا RTRL نامیده می‌شود، که نمونه‌ای از تمایز خودکار در حالت تجمع رو به جلو با بردارهای مماس پشته‌ای است. برخلاف BPTT، این الگوریتم در زمان محلی است اما در فضا محلی
این الگوریتم در زمان محلی است اما در فضا محلی نیست. در این زمینه، محلی در فضا به این معنی است که بردار وزن یک واحد را می توان تنها با استفاده از اطلاعات ذخیره شده در واحدهای متصل و خود واحد به روز کرد، به طوری که پیچیدگی به روز رسانی یک واحد واحد در ابعاد بردار وزن خطی باشد. محلی در زمان به این معنی است که به روز رسانی ها به طور مداوم (آنلاین) انجام می شود و فقط به آخرین مرحله زمانی بستگی دارد نه به چندین مرحله زمانی در یک افق زمانی معین مانند BPTT. به نظر می رسد شبکه های عصبی بیولوژیکی با توجه به زمان و
می رسد شبکه های عصبی بیولوژیکی با توجه به زمان و مکان محلی هستند. برای محاسبه بازگشتی مشتقات جزئی، RTRL دارای پیچیدگی زمانی O (تعداد پنهان x تعداد وزن‌ها) در هر مرحله زمانی برای محاسبه ماتریس‌های ژاکوبین است، در حالی که BPTT فقط O (تعداد وزن‌ها) را در هر گام زمانی با هزینه دریافت می‌کند. ذخیره سازی تمام فعالیت های رو به جلو در افق زمانی معین. یک ترکیب آنلاین بین BPTT و RTRL با پیچیدگی متوسط وجود دارد، همراه با انواعی برای زمان پیوسته. یک مشکل عمده با نزول گرادیان برای معماری‌های استاندارد RNN این است که
گرادیان برای معماری‌های استاندارد RNN این است که گرادیان‌های خطا به سرعت با اندازه فاصله زمانی بین رویدادهای مهم ناپدید می‌شوند. LSTM همراه با یک روش یادگیری ترکیبی BPTT/RTRL برای غلبه بر این مشکلات تلاش می کند. این مشکل همچنین در شبکه عصبی بازگشتی مستقل (IndRNN) با کاهش زمینه یک نورون به حالت گذشته خود حل می‌شود و سپس اطلاعات متقابل نورون را می‌توان در لایه‌های زیر کاوش کرد. خاطرات با دامنه های مختلف از جمله حافظه بلند مدت را می توان بدون مشکل از بین رفتن گرادیان و انفجار یاد گرفت. یک رویکرد برای محاسبه
گرادیان و انفجار یاد گرفت. یک رویکرد برای محاسبه اطلاعات گرادیان در RNN ها با معماری های دلخواه بر اساس نمودارهای نمودار جریان سیگنال است. از الگوریتم دسته ای BPTT بر اساس قضیه لی برای محاسبات حساسیت شبکه استفاده می کند.این توسط Wan و Beaufays پیشنهاد شد، در حالی که نسخه آنلاین سریع آن توسط Campolucci، Uncini و Piazza پیشنهاد شد. روش های بهینه سازی جهانی. آموزش وزن ها در یک شبکه عصبی می تواند به عنوان یک مسئله بهینه سازی جهانی غیرخطی مدل شود. یک تابع هدف می تواند برای ارزیابی تناسب یا خطای یک بردار وزنی
می تواند برای ارزیابی تناسب یا خطای یک بردار وزنی خاص به صورت زیر تشکیل شود: ابتدا وزن ها در شبکه با توجه به بردار وزن تنظیم می شوند. بعد، شبکه در برابر توالی آموزش ارزیابی می شود. به طور معمول، اختلاف مجموع مربع بین پیش بینی ها و مقادیر هدف مشخص شده در دنباله تمرین برای نشان دادن خطای بردار وزن فعلی استفاده می شود. سپس ممکن است از تکنیک های بهینه سازی جهانی دلخواه برای به حداقل رساندن این تابع هدف استفاده شود. رایج ترین روش بهینه سازی جهانی برای آموزش RNN ها، الگوریتم های ژنتیک است، به ویژه در شبکه های
ها، الگوریتم های ژنتیک است، به ویژه در شبکه های بدون ساختار. در ابتدا، الگوریتم ژنتیک با وزن‌های شبکه عصبی به شیوه‌ای از پیش تعریف‌شده کدگذاری می‌شود که در آن یک ژن در کروموزوم نشان دهنده یک پیوند وزنی است. کل شبکه به صورت یک کروموزوم منفرد نمایش داده می شود. عملکرد تناسب اندام به صورت زیر ارزیابی می شود: بسیاری از کروموزوم ها جمعیت را تشکیل می دهند. بنابراین، بسیاری از شبکه های عصبی مختلف تا زمانی که یک معیار توقف برآورده شود، تکامل می یابند. یک طرح توقف متداول این است: معیار توقف توسط تابع تناسب ارزیابی
این است: معیار توقف توسط تابع تناسب ارزیابی می شود زیرا متقابل میانگین مربع خطا را از هر شبکه در طول آموزش دریافت می کند. بنابراین، هدف الگوریتم ژنتیک به حداکثر رساندن تابع تناسب، کاهش میانگین مربعات خطا است. سایر تکنیک‌های بهینه‌سازی جهانی (و/یا تکاملی) ممکن است برای جستجوی مجموعه‌ای از وزن‌ها، مانند بازپخت شبیه‌سازی شده یا بهینه‌سازی ازدحام ذرات مورد استفاده قرار گیرند. زمینه ها و مدل های مرتبط. RNN ها ممکن است به طرز آشفته ای رفتار کنند. در چنین مواردی، نظریه سیستم های دینامیکی ممکن است برای تجزیه و