# تاريخ الشبكات العصبية الاصطناعية

تعد الشبكات العصبية الاصطناعية (ANNs) نماذج تم إنشاؤها باستخدام التعلم الآلي لأداء عدد من المهام. كان إنشاؤها مستوحىً من الدوائر العصبية. في حين أن بعض التنفيذات الحسابية للشبكات العصبية الاصطناعية تشير إلى اكتشافات سابقة في الرياضيات، كان التنفيذ الأول للشبكات العصبية الاصطناعية من قبل عالم النفس فرانك روزنبلات، الذي طور بيرسيبترون. تم إجراء القليل من الأبحاث على الشبكات العصبية الاصطناعية في السبعينيات والثمانينيات، مع تسمية جمعية النهوض بالذكاء الاصطناعي لتلك الفترة بـ "شتاء الذكاء الاصطناعي".
في وقت لاحق، أدّت التّطوّرات في الأجهزة وتطوير خوارزمية الانتشار العكسيّ، بالإضافة إلى الشّبكات العصبية المتكرّرة والشّبكات العصبية التلافيفية، إلى تجديد الاهتمام بـ الشّبكات العصبية الاصطناعية. شهد العقد الأوّل من القرن الحادي والعشرين تطوير شبكة عصبية عميقة (شبكة عصبية ذات طبقات عديدة) تسمّى ألكسنت. تفوّقت بشكل كبير على نماذج التعرّف على الصّور الأخرى، ويعتقد أنّها أطلقت ربيع الذّكاء الاصطناعيّ المستمرّ، وزادت من الاهتمام بالشّبكات العصبية الاصطناعية. تمّ وصف بنية المحوّل لأوّل مرّة في عام 2017 كطريقة لتعليم الشّبكات العصبية الاصطناعية التبعيات النحوية في اللّغة، وهي البنية السائدة في نماذج اللّغة الكبيرة، مثل جي بي تي-4. وُصفت نماذج الانتشار لأوّل مرّة في عام 2015، وبدأت نماذج توليد الصّور مثل دال-إي باستخدامها في العقد الثّاني من القرن الحادي والعشرين.

## البيرسيبترونات والشبكات العصبية المبكرة الأخرى

تتكون أبسط شبكة عصبية تغذية أمامية من طبقة أوزان واحدة دون وجود دالات تنشيط. وبذلك تكون مجرد انعكاس خطي، ويتمثل تدريبها في الانحدار الخطي. وقد سبق أن استُخدم الانحدار الخطي، بالاستعانة بطريقة المربعات الصغرى، من قبل أدريان ماري ليجاندر عام 1805 وكارل فريدريش غاوس عام 1795 لتوقع حركة الكواكب.
درس وارن ماكولوك ووالتر بيتس عام 1943 نموذجًا حسابيًا بسيطًا للشبكات العصبية. وقد مهد هذا النموذج السبيل إلى تقسيم الأبحاث في هذا المجال إلى اتجاهين رئيسيين: الأول يركز على دراسة العمليات البيولوجية التي تشبه عمل الشبكات العصبية، والثاني يسعى إلى تطبيق الشبكات العصبية في مجال الذكاء الاصطناعي. وقد أدى هذا العمل إلى تطوير دراسة الشبكات العصبية وعلاقتها بالآلات الحتمية.
في بدايات الأربعينيات من القرن العشرين، وضع دونالد أولدينغ هيب فرضيّة تعلّم مبنية على آلية المرونة العصبية عُرفت فيما بعد بنظرية هيب. وتجدر الإشارة إلى أن تعلّم هيب هو نوع من التعلم غير المراقب. وقد تطورت هذه النظرية لتشمل نماذج التقوية طويلة الأمد. بدأ الباحثون في تطبيق هذه الأفكار على النماذج الحسابية في عام 1948 مع آلات تورينج من النوع "بي." وكان فارلي وكلارك (1954) أول من استخدم الآلات الحسابية، التي كانت تُسمى آنذاك "الآلات الحاسبة"، لمحاكاة شبكة هيب. كما تم تطوير آلات حسابية أخرى لشبكات عصبية بواسطة روتشستر وهولاند وهابيت ودودا (1956).
ابتكر فرانك روزنبلات عام 1958 ما يُعرف بالمدرك أو بيرسيبترون،، وهي خوارزمية مصممة لتعرّف الأنماط. يتكون المدرك المتعدد الطبقات (MLP) من ثلاث طبقات أساسية: طبقة إدخال وطبقة مخفية ذات أوزان عشوائية لم تخضع للتعلّم بعد، وطبقة إخراج. وقد قدم روزنبلات، مستعينًا بالصيغ الرياضية، وصفًا لدوائر لا تندرج ضمن المدرك الأساسي، مثل دائرة الاستبعاد أو تلك التي عجزت الشبكات العصبونية في ذلك الوقت عن معالجتها. في عام 1959، استند نموذج بيولوجي اقترحه العالمان الحائزان على جائزة نوبلديفيد هوبل وتورستن فيزل إلى اكتشافهما نوعين من الخلايا في القشرة البصرية الأولية: الخلايا البسيطة والخلايا المعقدة. وفي عام 1962 نشر روزنبلات كتابًا قدم فيه متغيرات وتجارب حاسوبية، شملت نسخة من المدرك تتكون من أربع طبقات، حيث تخضع الطبقتان الأخيرتان لعملية تعلم الأوزان، مما يجعلها بذلك مدركًا متعدد الطبقات. يرى البعض أن كتاب عام 1962 قد وضع اللبنات الأساسية لأنظمة التعلم العميق الحديثة، وقام بتطويرها واستكشافها.
يدعي البعض أن البحوث في هذا المجال شهدت ركودًا ملحوظًا بعد صدور كتاب "البرسيبترونات" لمارفن مينسكي وسيمور بابيرت عام 1969.
سبق وأن نُشرت طريقة المجموعات لمعالجة البيانات، وهي أسلوب لتدريب الشبكات العصبية العميقة بطريقة عشوائية، على يد أليكسي إيفاخنينكو ولابا في عام 1967. وقد اعتبراها شكلًا من أشكال الانحدار متعدد الحدود، أو تعميمًا لمدرك روزنبلات. وفي ورقة بحثية صدرت عام 1971، تم وصف شبكة عصبية عميقة مكونة من ثماني طبقات تم تدريبها باستخدام هذه الطريقة.
نشر شونيتشي أماري أول نموذج لشبكة عصبية اصطناعية متعددة الطبقات قابلة للتدريب باستخدام خوارزمية الانتشار العكسي للتدريب العشوائي في عام 1967. وقد أظهرت تجارب حاسوبية أجراها سايتو، أحد طلاب أماري، قدرة هذه الشبكة على تعلم تمثيلات داخلية لتصنيف أنماط معقدة لا يمكن فصلها خطيًا، وذلك باستخدام شبكة من خمس طبقات تحتوي على طبقتين قابلين للتعديل. وقد أدت التطورات المتلاحقة في الأجهزة وخوارزميات ضبط المعلمات، مثل الانتشار العكسي، إلى جعل هذه التقنية هي السائدة حاليًا في تدريب الشبكات العصبية العميقة.

## الانتشار العكسي

يعد الانتشار العكسي تطبيقًا فعّالًا لقاعدة السلسلة التي وضع أسسها العالم الرياضي غوتفريد لايبنتز في عام 1673، تُطبق هذه القاعدة على شبكات من العقد الرياضية القابلة للاشتقاق. على الرغم من أن مصطلح "أخطاء الانتشار العكسي" قد ظهر لأول مرة في عام 1962على يد روزنبلات، إلا أنه لم يتمكن من تطبيقها عمليًا. وبالمثل كان هنري جيه كيلي قد وضع الأسس النظرية للانتشار العكسي في سياق نظرية التحكم عام 1960، إلا أن التطوير الشامل لهذه التقنية تأخر إلى أوائل السبعينيات.
كانت أقدم نسخة منشورة للانتشار العكسي في شكلها الحديث هي أطروحة الماجستير لسيبو ليناينما عام 1970. كما طور بول ويربوس هذه التقنية بشكل مستقل في عام 1971، لكنه واجه صعوبة في نشر بحثه حتى عام 1982. وفي عام 1986م قام ديفيد إي روميلهارت وزملاؤه بتعميم الانتشار العكسي وتطويره ليأخذ الشكل الذي نعرفه اليوم.

## بنية الشبكة المتكررة

كان للميكانيكا الإحصائية دور محوري في نشأة الشبكات العصبية المتكررة. فقد طُوِّر نموذج إيزينغ، وهو نموذج مبسط للمغناطيسية في حالة الاتزان، على يد ويلهلم لينز وإرنست إيسينج في العقد الثاني من القرن العشرين. وفي عام 1963، أضاف غلاوبر بعدًا زمنيًا إلى هذا النموذج، فدرس تطوره نحو حالة الاتزان، مما أدى إلى ما يُعرف بديناميكيات غلاوبر. وفي خطوة تجاوزت الفيزياء، اقترح شونيشي أماري في عام 1972 تعديل أوزان نموذج إيزينغ وفقًا لقواعد التعلم العصبي، ليحوله بذلك إلى نموذج للذاكرة الارتباطية. وقد اشتهر هذا النموذج لاحقًا باسم شبكة هوبفيلد (1982).
كما لعب علم الأعصاب دورًا محوريًا في تطور هذا المفهوم. فكلمة "متكرر" ترتبط ارتباطًا وثيقًا بالهياكل الحلقية في الجهاز العصبي. فقد لاحظ كاخال في عام 1901 وجود "دوائر نصف دائرية متكررة" في قشرة المخيخ. وفي ثلاثينيات القرن العشرين، اكتشف لورنتي دي نو "وصلات متبادلة متكررة" واقترح أن هذه الحلقات المثيرة تلعب دورًا في ردود الفعل الدهليزية العينية. كما اقترح دونالد أولدينغ هيب أن "الدائرة الارتجاعية" هي أساس الذاكرة قصيرة المدى. وقد أكد ماكلوتش وبيتس في عام 1943 على أهمية الدورات في الشبكات العصبية، مشيرين إلى أن نشاط هذه الشبكات يمكن أن يتأثر بنشاطات سابقة بعيدة المدى.
ومن أبرز الأعمال المبكرة التي أثرت في هذا المجال شبكة جوردان (1986) وشبكة إلمان (1990)، اللتان طبقتا الشبكات العصبية المتكررة في دراسة علم النفس الإدراكي. وفي عام 1993، تمكن نظام ضاغط التاريخ العصبي من حل مشكلة "التعلم العميق جدًا"، التي تتطلب آلاف الطبقات المتتالية، وذلك باستخدام شبكة عصبية متكررة متكشفة بمرور الوقت.

### الذاكرة قصيرة المدى المطولة (LSTM)

اقترح سيب هوخريتر في رسالته العلمية لدرجة الدكتوراه سنة 1991م نموذجًا ضاغطًا للسجل الزمني العصبي، مبينًا بذلك مشكلة التدرج المتلاشٍ وتحليلًا لها. وفي سنة 1993م، تمكن هذا النموذج من حل مسألة "التعلم العميق جدًّا" التي تتطلب آلاف الطبقات المتتالية في الشبكات العصبية المتكررة. اقترح هوخريتر استخدام الاتصالات المتبقية المتكررة لحل هذه المسألة، مما أدى إلى ظهور الذاكرة قصيرة المدى المطولة سنة 1995م. استطاعت هذه الذاكرة أن تتعلّم مهام "التعلم العميق جدًّا"، بفضل قدرتها على تذكر أحداث وقعت منذ آلاف الخطوات الزمنية المنفصلة. مع ذلك، لم تكن ذاكرة قصيرة المدى مطولة بالشكل الحديث بعد، حيث أُضيفت إليها فيما بعد "بوابة النسيان" سنة 1999م لتصبح الهيكل القياسي للشبكات العصبية المتكررة.
ابتكر هوخريتر ويورغن شميدهوبر شبكات الذاكرة قصيرة المدى المطولة عام 1995، وحققت هذه الشبكات أرقامًا قياسية في دقة العديد من التطبيقات. وأصبحت الخيار الأمثل في تصميم الشبكات العصبية المتكررة.
ابتداءً من عام 2006 أحدثت الذاكرة قصيرة المدى المطولة ثورة في مجال التعرف على الكلام، متفوقة على النماذج التقليدية في العديد من التطبيقات. كما حسنت الذاكرة قصيرة المدى المطولة أداء أنظمة التعرف على الكلام ذات المفردات الكبيرة، ونظم تحويل النص إلى كلام. واستُخدمت في محرك بحث جوجل الصوتي وفي ميزة الإملاء على أجهزة أندرويد.
حققت الذاكرة قصيرة المدى المطولة أرقامًا قياسية في تحسين الترجمة الآلية، ونماذج اللغات، ومعالجة اللغات المتعددة. وبالتعاون مع الشبكات العصبية التلافيفية، حسنت الذاكرة قصيرة المدى المطولة من أداء أنظمة الترجمة التلقائية للصور.

## الشبكات العصبية الالتفافية (CNNs)

يعود أصل بنية الشبكة العصبية الالتفافية إلى "النيوكونييترون" الذي قدمه كونيهيكو فوكوشيما عام 1980. وقد استلهم هذا العمل من دراسات ديفيد هوبل وتورستن فيزل في الخمسينيات والستينيات من القرن العشرين والتي أظهرت أن القشرة البصرية للقطط تحتوي على خلايا عصبية تستجيب بشكل فردي لمناطق محددة من الحقل البصري. قدم النيوكونيترون النوعين الأساسيين من الطبقات في الشبكات العصبية الالتفافية: الطبقات التلافيفية وطبقات التخفيض. تحتوي الطبقة التلافيفية على وحدات تغطي حقول استقبالها رقعة من الطبقة السابقة. غالبًا ما يُطلق على متجه الوزن (مجموعة المعلمات التكيفية) لمثل هذه الوحدة اسم المرشح. يمكن للوحدات مشاركة المرشحات. تحتوي طبقات التخفيض على وحدات تغطي حقول استقبالها رقعًا من طبقات التخفيض السابقة. تحسب هذه الوحدة عادةً متوسط عمليات تنشيط الوحدات في رقعتها. يساعد هذا التخفيض في تصنيف الكائنات بشكل صحيح في المشاهد المرئية حتى عندما يتم تحريك الكائنات.
في عام 1969 قدم كونيهيكو فوكوشيما دالة التنشيط المعروفة بالوحدة الخطية المصححة (ReLU). وقد أصبحت هذه الدالة هي الأكثر شيوعًا في الشبكات العصبية الالتفافية والشبكات العصبية العميقة عمومًا.
أما الشبكات العصبية للتأخير الزمني (TDNN) فقد قدمها ألكسندر وايبل عام 1987، وكانت من أوائل الشبكات العصبية الالتفافية التي حققت ثبات التحول. وقد تمكنت من ذلك بفضل الاستفادة من تقاسم الأوزان مع تدريب الانتشار الخلفي. وبالتالي، وبينما استخدمت بنية هرمية شبيهة بالنيوكونيترون، إلا أنها أجرت تحسينًا عالميًا للأوزان بدلًا من تحسين محلي.
وفي عام 1988 طبق وي تشانج وزملاؤه الانتشار الخلفي على الشبكة العصبية الالتفافية (نيوكونيترون مبسط مع ترابطات ملتوية بين طبقات ميزات الصورة والطبقة المتصلة بالكامل الأخيرة) بهدف التعرف على الأبجدية. كما اقترحوا تنفيذًا لشبكة عصبية التفافية باستخدام نظام حوسبة بصري.
قدّم كونيهيكو فوكوشيما النيوكونييترون في عام 1980. وظهر مفهوم التجميع الأقصى في منشور عام 1982 يتناول النيوكونيترون. وفي عام 1989، قام يان ليكون وزملاؤه بتدريب شبكة عصبية تلافيفية بهدف التعرف على الأرقام البريدية المكتوبة بخط اليد. ورغم أن الخوارزمية كانت فعالة، إلا أن عملية التدريب استغرقت ثلاثة أيام. وقد اعتمدت هذه الشبكة على تقنية التجميع الأقصى. وكان التعلم فيها آليًا بالكامل، متفوقًا على التصميمات اليدوية التقليدية، ومناسبًا لمجموعة واسعة من مشاكل التعرف على الصور وأنواعها. وبعد ذلك، قام وي تشانج وزملاؤه بتعديل هذا النموذج بإزالة الطبقة المتصلة الأخيرة، وطبقوه على تجزئة الأجسام في الصور الطبية عام 1991، واكتشاف سرطان الثدي في صور الأشعة عام 1994.
وفي أحد أشكال النيوكونيترون المسماة كريسسيبترون، استبدل ج. وينج وزملاؤه المتوسط المكاني الذي استخدمه فوكوشيما بالتجميع الأقصى، حيث تقوم وحدة تقليل العينة بحساب أعلى قيمة تنشيط لوحدات في نطاق محدد.
طبق يان ليكون وزملائه شبكة لينت-5 العصبية الالتفافية التي تضم سبع طبقات في 1998. وقد صُممت هذه الشبكة خصيصًا لتصنيف الأرقام، مما جعلها مثالية للاستخدام في القطاع المصرفي للتعرف على الأرقام المكتوبة بخط اليد على الشيكات المصورة بدقة 32×32 بكسل. ومع ذلك، تتطلب معالجة الصور عالية الدقة شبكات عصبية أضخم وأكثر تعقيدًا، مما يحد من استخدام هذه التقنية بسبب الموارد الحاسوبية المطلوبة.
شهد عام 2010 تسريعًا كبيرًا لعملية تدريب الانتشار الخلفي من خلال الاستعانة بالتجميع الأقصى ووحدات معالجة الرسوميات، حيث أثبتت هذه الطريقة تفوقها على أساليب التجميع الأخرى. وقد اعتمد بهنكي عام 2003 على خوارزمية آر بروب (RProp) في مشكلات مثل إعادة بناء الصور وتحديد موقع الوجه. وتجدر الإشارة إلى أن آر بروب هي خوارزمية تحسين من الدرجة الأولى ابتكرها مارتن ريدميلر وهاينريش براون عام 1992.

## التعلم العميق

بدأت ثورة التعلم العميق مع الرؤية الحاسوبية المعتمدة على الشبكات العصبية الالتفافية (CNNs) ووحدات معالجة الرسومات (GPUs).
يُذكر أنه على الرغم من تواجد الشبكات العصبية الالتفافية المُدرّبة بالانتشار العكسي لعقود، وتطبيقات وحدات معالجة الرسومات للشبكات العصبية لسنوات، متضمنةً الشبكات العصبية الالتفافية، إلا أن الحاجة كانت ماسة إلى تطبيقات أسرع للشبكات العصبية الالتفافية على وحدات معالجة الرسومات للتقدم في مجال الرؤية الحاسوبية. لاحقًا، ومع انتشار التعلم العميق، طورت أجهزة متخصصة وخوارزميات محسّنة خصيصًا للتعلم العميق.
يُعد التقدم الرئيسي لثورة التعلم العميق نتاج التطورات في مجال الأجهزة، خاصة وحدات معالجة الرسومات. يرجع بعض العمل المبكر إلى عام 2004. أبلغ راينا ومادهافان وأندرو نج في عام 2009 عن شبكة معتقدات عميقة تضم 100 مليون اتصال، دُربت على 30 وحدة معالجة رسومات من نوع نفيديا جي فورس جي تي اكس 280، وهي من العروض التوضيحية الأولى للتعلم العميق المعتمد على وحدات معالجة الرسومات. كما أبلغوا عن تدريب أسرع بما يصل إلى 70 مرة.
في عام 2011، حققت شبكة عصبية التفافية تسمى دان نت أنشأها دان سيريسان ويولي ماير وجوناثان ماسكي ولوكا ماريا جامبارديلا ويورغن شميدهوبر، لأول مرة أداءً يفوق أداء الإنسان في مسابقة التعرف على الأنماط البصرية، متفوقةً على الطرق التقليدية بمعامل ثلاثة. ثم فازت بمزيد من المسابقات. كما أظهروا كيف أن استخدام التجميع الأقصى في الشبكات العصبية الالتفافية على وحدات معالجة الرسومات يُحسّن الأداء بشكل كبير.
كانت العديد من الاكتشافات تجريبية وركزت على الهندسة. على سبيل المثال، وجد كزافييه جلوروت وأنطوان بوردز ويوشوا بنجيو في عام 2011 أن دالة التنشيط ReLU تعمل بشكل أفضل من دوال التنشيط المستخدمة على نطاق واسع قبل عام 2011.
فازت شبكة ألكسنت، التي ابتكرها أليكس كريجفسكي وإيليا سوتسكيفر وجيفري هينتون، في أكتوبر 2012 بمسابقة إيمج نت واسعة النطاق بفارق كبير عن أساليب التعلم الآلي السطحية. تضمنت التحسينات الإضافية شبكة في جي جي-16 التي ابتكرها كارين سيمونيان وأندرو زيسرمان، وشبكة جوجل "إنسبشن في 3".
امتد النجاح في تصنيف الصور إلى المهمة الأكثر تحديًا وهي توليد أوصاف (تعليقات) للصور، غالبًا باستخدام مزيج من الشبكات العصبية الالتفافية وشبكات الذاكرة طويلة المدى.
كان أحدث ما توصلت إليه التكنولوجيا في عام 2014 هو تدريب "شبكات عصبية عميقة جدًا" تحتوي على 20 إلى 30 طبقة. أدى تكديس الكثير من الطبقات إلى انخفاض حاد في دقة التدريب، وهي مشكلة تُعرف باسم "مشكلة التدهور".
وفي عام 2015 طُورت تقنيتان متزامنتان لتمكين تدريب الشبكات العصبية العميقة جداً: شبكة الطريق السريع، وشبكة النيرونات العصبية المتبقية. وقد سعى فريق بحث شبكة النيرونات إلى تدريب شبكات أعمق من خلال تجربة حيل تدريبية مختلفة للشبكات العميقة حتى توصلوا إلى بنية الشبكة العصبية المتبقية العميقة.

## الشبكات الخصومية التوليدية (GANs)

نشر يورغن شميدهوبر في عام 1991 "الفضول الاصطناعيّ: الشبكات العصبية في لعبة المحصلة الصفرية". تُمثّل الشبكة الأولى نموذجًا توليديًا يصور توزيعًا احتماليًا لأنماط الإخراج. تتعلم الشبكة الثانية، عن طريق الانحدار التدريجي، التنبؤ بردود فعل البيئة على هذه الأنماط. يمكن اعتبار شبكات الخصومة التوليدية حالةً يكون فيها رد فعل البيئة إما 1 أو 0، وهذا يتوقف على ما إذا كانت مخرجات الشبكة الأولى في مجموعة مُعطاة. ثم وُسّع هذا المفهوم إلى "تقليل القابلية للتنبؤ" لإنشاء تمثيلات مُفككة لأنماط الإدخال.
طَوّرَ آخرون أفكارًا مُشابهة لكنهم لم يطوّروها بشكلٍ مماثل. نشر أولي نيميتالو فكرة تتضمن شبكاتٍ مُتنافسة في منشور مُدونة عام 2010. لم تُنفذ هذه الفكرة قط، ولم تتضمن العشوائية في المُولّد، لذا لم تكن نموذجًا توليديًا. استخدم لي وجوسي وجروس فكرة مُشابهة لـ "جان" لنمذجة سلوك الحيوان عام 2013.
ألهم تقدير التباين في الضوضاء "جان" أيضًا، حيثُ يستخدم نفس دالة الخسارة التي تستخدمها "جان"، والتي درسها جودفيلو خلال دراسته للدكتوراه بين عامي 2010 و2014.
أحدثت الشبكات الخصومية التوليدية (GANs)، التي قدمها إيان جودفيلو وزملاؤه عام 2014، ثورةً في مجال النمذجة التوليدية خلال الفترة من 2014 إلى 2018. وقد بلغت نماذج "ستايلغان" التي طورتها شركة إنفيديا عام 2018، مستويات عالية من الجودة في توليد الصور، مستفيدةً من بنية المولد التدريجي المتدرج في نموذج "Progressive GAN" الذي اقترحه ترو كاراس وزملاؤه. وفي هذا النموذج، يُدرب المولد بشكل تدريجي بدءًا من أحجام صغيرة وصولًا إلى أحجام أكبر، مما يشبه بناء هرم. وقد حققت الصور الناتجة عن هذه الشبكات شهرة واسعة، مما أثار جدلًا حول تقنية التزييف العميق. ومع ذلك، فقد شهد عام 2015 ظهور نماذج الانتشار التي سرعان ما حلت محل هذه الشبكات كأبرز التقنيات في النمذجة التوليدية. وقد تجسد هذا التحول في ظهور أنظمة متقدمة مثل دالي 2 وستيبل ديفوجن عام 2022.

## آلية الانتباه والمحولات

درَسَ علم الأعصاب وعلم النفس الإدراكي الانتباه الإنساني الانتقائي. ودُرِسَ الانتباه الانتقائي السمعي في تأثير حفل الكوكتيل (كولين تشيري، 1953). واقترح دونالد برودبنت (1958) نموذج المُرشّح للانتباه. ودَرَسَ نموذج التقرير الجزئي لجورج سبيرلينج الانتباه الانتقائي للرؤية في ستينيات القرن الماضي. ولُوحِظَ أيضًا أن العمليات الإدراكية تُعدّل التحكم في حركة العين السريعة، حيث تتحرك العين بشكل تفضيلي نحو مناطق البروز العالي. ولأن النقرة المركزية للعين صغيرة، لا تستطيع العينُ تحليل المجال البصري بأكمله بدقة في وقت واحد. وهكذا، يسمح استخدام التحكم في حركة العين السريعة للعين بمسح سريع للميزات المهمة للمشهد.
ألهمت هذه الأبحاث خوارزميات، مثل متغير من نيوكونييترون. وعلى النقيض من ذلك، ألهمت التطورات في الشبكات العصبية نماذج دوائر لانتباه البصر البيولوجي.
ويُعدّ استخدام العمليات الضربّية جانبًا أساسيًا من آلية الانتباه، وقد دُرِسَ هذا الجانب تحت مسميات الشبكات العصبية ذات الرتبة الأعلى، ووحدات الضرب، ووحدات سيجما-باي، ووحدات تحكم الوزن السريع، والشبكات الفائقة.

### الانتباه المتكرّر

في العصر الذهبي للتعلم العميق، برزت آلية الانتباه كحل مبتكر لمجموعة متنوعة من المسائل المتشابهة في مجالي التشفير وفك التشفير.
تبلورت فكرة التحويل التسلسلي للمشفر-المفكك في مطلع الألفية الثالثة. وتُعدُّ الورقتان البحثيتان اللتان نُشرتا عام 2014 الأكثر استشهادًا كأساس لبناء هذه التقنية. تعتمد بنية التحويل التسلسلي على شبكتين عصبيتين متتاليتين، عادة ما تكونا من نوع الذاكرة قصيرة المدى طويلة الأجل، تعمل إحداهما على تشفير المدخلات والأخرى على فك تشفيرها، وذلك لتحقيق أهداف مثل الترجمة الآلية. وقد أصبحت هذه البنية هي الأحدث والأكثر استخدامًا في مجال الترجمة الآلية، وساهمت بشكل كبير في تطوير آلية الانتباه والمُحوِّل.
في عام 2015، قُدّم نموذج جديد لتوليد عناوين للصور مستوحى من بنية التحويل التسلسلي. يقوم هذا النموذج بتحويل الصورة المدخلة إلى متجه ذي طول ثابت. وفي نفس العام، طبق "شو" وزملاؤه آلية الانتباه، كما استُخدمت في نموذج التحويل التسلسلي، على مهمة توليد عناوين الصور، مستندين إلى عمل بهاداناو وزملائه في عام 2014.

### المحول

واجهت النماذج المتسلسلة (seq2seq) مشكلة تتمثل في اعتمادها على الشبكات العصبية المتكررة، التي تعالج التسلسل بشكل تسلسلي، مما يحد من كفاءتها. وحاولت آلية الانتباه القابلة للتفكيك معالجة هذه المشكلة عبر معالجة تسلسل الإدخال بالتوازي، قبل حساب "مصفوفة المحاذاة اللينة"، مما سمح بمعالجة أكثر كفاءة.
بالتزامن مع ذلك، برزت فكرة الاستفادة من آلية الانتباه لإنشاء روابط داخلية بين عناصر التسلسل الواحد، عوضًا عن الربط بين تسلسلي الإدخال والإخراج (الانتباه المتبادل) كما هو الحال في حاسوب عصبي تفاضلي والآلات تورينج العصبية $^{[الإنجليزية]}$‏. أُطلق على هذا النوع من الانتباه اسم "الانتباه الذاتي" أو "الانتباه الداخلي"، حيث زُودت الشبكة العصبية بآلية تتيح لها التركيز على أجزاء مختلفة من التسلسل أثناء ترميزه.
دمُجت هاتين الفكرتين الأساسيتين في بنية "المحوّل" التي قدمتها ورقة بحثية بعنوان "الانتباه هو كل ما تحتاجه" في 2017. ومنذ ذلك الحين، شهدت آليات الانتباه تطورًا متسارعًا في إطار بنية المحوّل، وأصبحت عنصرًا أساسيًا في العديد من نماذج معالجة اللغات الطبيعية.
ما زالت النماذج القائمة على "سلسلة إلى سلسلة" التي تعتمد على آلية الانتباه تعاني من نفس التحدي الذي تواجهه الشبكات المتكررة، ألا وهو صعوبة توزيع العمليات الحسابية وتنفيذها بالتوازي، مما يحد من إمكانية تسريعها باستخدام وحدات معالجة الرسوميات. في عام 2016، طُبقت آلية الانتباه القابلة للتحلل على الشبكات العصبية ذات التغذية الأمامية، والتي تتميز بسهولة توزيع عملياتها الحسابية. وقد شكك أحد واضعي هذه التقنية، وهو جاكوب أوزكوريت، في كفاءة آلية الانتباه بمفردها لإنجاز مهمة الترجمة دون الحاجة إلى التكرار، مما يثير تساؤلات حول صحة الادعاء القائل بأن "الانتباه هو كل ما تحتاجه".
قُدِّم نموذج المحوِّل "المُشفِر-المُفكِّك" (بحجم 100 مليون مُعامِل) لأول مرة في ورقة بحثية بعنوان "الانتباه هو كل ما تحتاجه" عام 2017. ركز البحث على تحسين النماذج المتسلسلة (seq2seq) المستخدمة في الترجمة الآلية، وذلك بإزالة التكرار في معالجة الرموز المميزة، حيث يقوم النموذج بمعالجة جميع الرموز في آن واحد، مع الحفاظ على آلية الانتباه القائمة على الضرب النقطي للحفاظ على كفاءة معالجة النصوص. وقد ساهم هذا النموذج في انتشار الشبكات العصبية الكبيرة بشكل كبير بفضل قدرته على المعالجة المتوازية.

## التعلم غير المراقب والتعلم ذاتي الإشراف
### الخرائط ذاتية التنظيم

وصف تيفو كوهونين الخرائط ذاتية التنظيم (SOMs) لأول مرة في عام 1982. وتُعد الخرائط ذاتية التنظيم شبكات عصبونية اصطناعية مستوحاة من علم وظائف الأعصاب، التي تتعلم التمثيلات منخفضة الأبعاد للبيانات عالية الأبعاد مع الحفاظ على البنية الطوبولوجية للبيانات. وتُدرب هذه الخرائط باستخدام التعلم التنافسي $^{[الإنجليزية]}$‏.
تُنتج الخرائط ذاتية التنظيم تمثيلًا داخليًا للبيانات يشبه إلى حد كبير "القزم القشري"، وهو نموذج يصف التوزيع غير المتساوي للمناطق الدماغية المسؤولة عن معالجة المعلومات الحسية من أجزاء الجسم المختلفة. وبهذا الشكل، تُشكل الخرائط ذاتية التنظيم نوعًا من "الخريطة العصبية" التي تعكس العلاقات بين العناصر المختلفة في البيانات.

### آلة بولتزمان

طُوّرت العديد من البنى والطرق خلال أعوام 1985-1995 بإلهام من الميكانيكا الإحصائية على يد تيري سينوفسكي، وبيتر دايان، وجيفري هينتون، وغيرهم، وشملت آلة بولتزمان، وآلة بولتزمان المقيدة، وآلة هيلمهولتز، وخوارزمية اليقظة-النوم. صُمّمت هذه الطرق للتعلم غير المُراقب للنماذج التوليدية العميقة، لكنها كانت أكثر تكلفةً من الناحية الحسابية مقارنةً بالانتشار العكسيّ. حظيت خوارزمية تعلم آلة بولتزمان، التي نُشرت عام 1985، بشعبية لفترة وجيزة قبل أن تطغى عليها خوارزمية الانتشار العكسيّ في عام 1986.
اقترح جيفري هينتون وآخرون في 2006 "تعلّم تمثيل داخليّ عالي المستوى" باستخدام طبقات متتالية من المتغيّرات الكامنة الثنائية أو ذات القيمة الحقيقية مع آلة بولتزمان المقيّدة لنمذجة كلّ طبقة. تعدّ آلة بولتزمان المقيدة $^{[الإنجليزية]}$‏ (RBM) شبكة عصبية توليدية عشوائيةً ذات تغذية أمامية قادرةً على تعلّم توزيع الاحتمالات على مجموعة مدخلاتها، بمجرّد تعلّم عدد كافٍ من الطّبقات، يمكن استخدام البنية العميقة كنموذج توليديّ من خلال إعادة إنتاج البيانات عند أخذ عينات من النموذج ("تمريرة سلفية") من أعلى مستويات تنشيط الميزات.

## جوانب أخرى
### تقطير المعرفة

تُعرف عملية نقل المعارف المتراكمة في نموذج ضخم إلى نموذج أصغر حجمًا بتقطير المعرفة أو تقطير النموذج. وقد بُحثت فكرة الاستفادة من مخرجات شبكة عصبية مُدرّبة لتدريب أخرى ضمن إطار ما يُعرف بشبكة المعلم والطالب. وفي عام 1992 تَمّ التعمّق في هذه الفكرة بتطبيق الميكانيكا الإحصائية على هذا الإطار، حيث اعتُبرت كلتا الشبكتين إما آلات لاجان، أو آلات تكافؤ.
ومن الأمثلة المبكرة الأخرى على تقطير الشبكة، ما طُرح أيضًا في عام 1992 في سياق الشبكات العصبية المتكررة (RNNs). تتمثل المشكلة هنا في التنبؤ بالتسلسلات، وقد حُلّت باستخدام شبكتين عصبيتين متكررتين تعملان بالتوازي. تقوم الشبكة الأولى، المُسَمّاة "المحلل الذري"، بالتنبؤ بالتسلسل، بينما تقوم الثانية، المُسَمّاة "المُجمّع"، بالتنبؤ بأخطاء الشبكة الأولى. وفي الوقت نفسه، تتنبأ الشبكة الأولى بالحالات الداخلية للشبكة الثانية. بعد أن تصبح الشبكة الأولى قادرة على التنبؤ بدقة بالحالات الداخلية للشبكة الثانية، تبدأ في تصحيح أخطائها، وبالتالي تصبح الشبكة الثانية غير ضرورية، ممّا يؤدي إلى الحصول على شبكة عصبية واحدة في النهاية.
كانت المنهجية ذات الصلة هي ضغط النموذج أو تقليمه، حيث يُقلّل حجم الشبكة المُدرّبة. وقد استُلهمت هذه المنهجية من الدراسات العصبية التي أظهرت قدرة الدماغ البشري على التعافي من الأضرار، وقد بُحِثت في الثمانينات من القرن الماضي من خلال طرق مثل اضمحلال الوزن المتحيز، والتلف الدماغي الأمثل.

## التصاميم القائمة على الأجهزة

أَتاح تطور الدوائر التكاملية واسعة النطاق جدًا ذات أشباه الموصلات من أكسيد المعدن، التي تجمع ملايين أو مليارات ترانزستورات موسفت على رقاقة واحدة على شكل تقنية أشباه الموصّلات ذات الأكاسيد المعدنية المُتتامة، إمكانية تطوير شبكات عصبية اصطناعية عملية في الثمانينيات.
أُنشئت أجهزة حاسوبية تعتمد على تقنية أشباه الموصّلات ذات الأكاسيد المعدنية المُتتامة لكل من المحاكاة الفيزيائية الحيوية والحوسبة العصبية المستوحاة من بنية الدماغ البشري ووظيفته. كذلك قد تخلق الأجهزة النانوية فئة جديدة من الحوسبة العصبية لتحليل المكونات الأساسية ذات النطاق الواسع، حيث أن أساسها تمثيلي وليس رقميًا، بالرغم من إمكانية استخدام الإصدارات الأولى لأجهزة رقمية.