شبكة عصبونية اصطناعية تاريخ
خلال الفترة الممتدة من 1985 إلى 1995، مستوحاة من الميكانيكا الإحصائية، طُورَت العديد من الهياكل والأساليب على يد تيري سيجنوفسكي، وبيتر داين، وجيفري هينتون، وغيرهم، ومنها آلة بولتزمان،  وآلة بولتزمان المقيدة،  وآلة هلمهولتز،  وخوارزمية اليقظة والنوم. وقد صُممت هذه النماذج للتعلم غير الخاضع للإشراف للنماذج التوليدية العميقة.
بين عامي 2009 و2012 بدأت الشبكات العصبية الاصطناعية تتفوق في مسابقات التعرف على الصور، واقتربت من مستوى الأداء البشري في مختلف المهام، لاسيما في مجالي التعرف على الأنماط والكتابة اليدوية. وفي عام 2011 حققت شبكة عصبية تُدعى "دان نت"،  صمّمها "دان سيريسان" و"أولي ماير" و"جوناثان ماسكي" و"لوكا ماريا جامبارديلا" و"يورغن شميدهوبر"، إنجازًا بارزًا بتجاوزها الأداء البشري في مسابقة التعرف على الأنماط البصرية، متفوقة على الأساليب التقليدية بنسبة تصل إلى ثلاثة أضعاف. وبعد ذلك حصدت هذه الشبكة انتصارات أخرى في مسابقات مماثلة. كما أظهر الباحثون أن تقنية التجميع العظمى في الشبكات العصبية التلافيفية، عند تنفيذها على وحدات معالجة الرسوميات، أدت إلى تحسين الأداء بشكل ملحوظ.
في شهر أكتوبر من عام 2012 حققت شبكة ألكسنت، التي صممها كلٌ من أليكس كريجفسكي، وإيليا سوتسكيفر وجيفري هينتون،  فوزًا ساحقًا في مسابقة "إيمج نت" واسعة النطاق، متفوقة بشكل كبير على أساليب التعلم الآلي التقليدية. وشملت التطورات اللاحقة تحسينات تدريجية على الشبكة، مثل شبكة VGG-16 التي صممها كارين سيمونيان وأندرو زيسرمان،  وشبكة "إنسبشن 3" التي طورتها شركة جوجل.
في 2012 طور كلٌ من أندرو نج وجيف دين شبكة عصبية صناعية استطاعت التعرف على مفاهيم معقدة، كالأشجار والقطط، وذلك بمجرد عرض كميات هائلة من الصور عليها دون الحاجة إلى تدريبها بشكل مباشر على هذه المفاهيم. وقد أدى هذا التقدم، إلى جانب التطور الكبير في قوة الحواسيب، وخاصة وحدات معالجة الرسوميات، والحوسبة الموزعة، إلى استخدام شبكات عصبية أكبر وأعقد، لاسيما في مجال معالجة الصور والرؤية الحاسوبية. وقد أُطلق على هذا المجال الجديد اسم "التعلم العميق".
قُدمت "دالة الأساس الشعاعي"، و"شبكات التموج" عام 2013 وسرعان ما ثبت تفوق هذه الشبكات على غيرها في قدرتها على التقريب، مما أدى إلى تطبيقها في مجالات التعرف غير الخطي والتصنيف.
برزت الشبكات الخصومية التوليدية (GANs) كأداة قوية في مجال النمذجة التوليدية خلال العقد الماضي، حيث حققت قفزات نوعية في مجال توليد الصور والفيديوهات وغيرها من البيانات. يعود الفضل في طرح هذه الفكرة إلى يورغن شميدهوبر عام 1991 تحت مسمى "الفضول الاصطناعي"، إلا أن إيان جودفيلو وزملاؤه هما من صاغوها بشكلها الحالي وتطويراها بشكل كبير عام 2014.
تعتمد آلية عمل الشبكات الخصومية التوليدية على تنافس مستمر بين شبكتين عصبيتين: شبكة توليدية وشبكة تمييزية. تعمل الشبكة التوليدية على إنشاء بيانات جديدة تحاكي البيانات الحقيقية، بينما تسعى الشبكة التمييزية إلى التمييز بين البيانات الحقيقية والوهمية التي أنشأتها الشبكة التوليدية. هذا التنافس المستمر يدفع كلا الشبكتين إلى التحسن المستمر، مما يؤدي إلى توليد نماذج أكثر واقعية.
شهدت الشبكات الخصومية التوليدية تطورات ملحوظة خلال السنوات الأخيرة، حيث حققت جودة صور ممتازة بفضل نماذج مثل "ستايل جان" التي طورتها شركة إنفيديا عام 2018،  والتي استندت في تصميمها على "Progressive GAN" الذي طرحه :ترو كاراس" وزملاؤه. تتميز هذه النماذج بقدرتها على توليد صور عالية الدقة والواقعية، حيث تبدأ بإنشاء صور بدقة منخفضة ثم تعمل على تطويرها تدريجيًا حتى تصل إلى الدقة المطلوبة.
حققت الشبكات الخصومية التوليدية شهرة واسعة واستخدامات متنوعة، لا سيما في مجال توليد الصور، مما أثار نقاشات حول الأخلاقيات المرتبطة بصور الفوتوغرافية المزيفة. ومع ذلك، فقد شهدت السنوات الأخيرة بروز نماذج جديدة مثل نماذج الانتشار التي ظهرت عام 2015،  والتي تفوقت على الشبكات الخصومية التوليدية في بعض المجالات. ومن الأمثلة البارزة على هذه النماذج نموذجي دال-إي وستيبل ديفيوجن.
في 2014 كان أحدث ما انتهت إليه الأبحاث العلمية في حقل التدريب هو ما يُعرف بـ "الشبكات العصبية العميقة جدًا"، والتي تتألف من عشرين إلى ثلاثين طبقة. وقد أدى تراكم هذه الطبقات العديدة إلى تدهور حاد في دقة التدريب،  وهي ظاهرة عُرفت بـ "مشكلة التدهور". وفي العام التالي طُورت تقنيتان لتدريب هذه الشبكات العميقة جدًا: الشبكة السريعة التي نُشرت في مايو من ذلك العام،  والشبكة العصبية المتبقية (ResNet) في ديسمبر من العام نفسه. وتتصرف شبكة ResNet كشبكة سريعة ذات بوابة مفتوحة.
في العقد الثاني من القرن الحادي والعشرين، شهد نموذج التسلسل تطورًا ملحوظًا بإضافة آليات الانتباه إليه، الأمر الذي أسفر عن ظهور البنية المحولية الحديثة عام 2017، كما ورد في الورقة البحثية المعنونة "الانتباه كل ما تحتاج إليه". تتطلب هذه البنية وقتًا حسابيًا يتناسب طرديًا مع مربع حجم نافذة السياق. وقد أظهر وسيط الوزن السريع ليورغن شميدهوبر (1992) أن الوقت الحسابي يتناسب طرديًا مع الحجم، كما ثبت لاحقًا أنه يعادل المحول الخطي غير المعياري.
باتت المحولات، بفضل هذه المزايا، النموذج المفضل في مجال معالجة اللغة الطبيعية. وتعتمد عليها العديد من النماذج اللغوية الكبيرة الحديثة مثل شات جي بي تي، وجي بي تي-4، وبيرت.