تاريخ الشبكات العصبية الاصطناعية
الشبكات العصبية الالتفافية (CNNs)

المقالة الرئيسة: شبكة عصبونية التفافية
يعود أصل بنية الشبكة العصبية الالتفافية إلى "النيوكونييترون" الذي قدمه كونيهيكو فوكوشيما عام 1980. وقد استلهم هذا العمل من دراسات ديفيد هوبل وتورستن فيزل في الخمسينيات والستينيات من القرن العشرين والتي أظهرت أن القشرة البصرية للقطط تحتوي على خلايا عصبية تستجيب بشكل فردي لمناطق محددة من الحقل البصري. قدم النيوكونيترون النوعين الأساسيين من الطبقات في الشبكات العصبية الالتفافية: الطبقات التلافيفية وطبقات التخفيض. تحتوي الطبقة التلافيفية على وحدات تغطي حقول استقبالها رقعة من الطبقة السابقة. غالبًا ما يُطلق على متجه الوزن (مجموعة المعلمات التكيفية) لمثل هذه الوحدة اسم المرشح. يمكن للوحدات مشاركة المرشحات. تحتوي طبقات التخفيض على وحدات تغطي حقول استقبالها رقعًا من طبقات التخفيض السابقة. تحسب هذه الوحدة عادةً متوسط عمليات تنشيط الوحدات في رقعتها. يساعد هذا التخفيض في تصنيف الكائنات بشكل صحيح في المشاهد المرئية حتى عندما يتم تحريك الكائنات.
في عام 1969 قدم كونيهيكو فوكوشيما دالة التنشيط المعروفة بالوحدة الخطية المصححة (ReLU). وقد أصبحت هذه الدالة هي الأكثر شيوعًا في الشبكات العصبية الالتفافية والشبكات العصبية العميقة عمومًا.
أما الشبكات العصبية للتأخير الزمني (TDNN) فقد قدمها ألكسندر وايبل عام 1987، وكانت من أوائل الشبكات العصبية الالتفافية التي حققت ثبات التحول. وقد تمكنت من ذلك بفضل الاستفادة من تقاسم الأوزان مع تدريب الانتشار الخلفي. وبالتالي، وبينما استخدمت بنية هرمية شبيهة بالنيوكونيترون، إلا أنها أجرت تحسينًا عالميًا للأوزان بدلًا من تحسين محلي.
وفي عام 1988 طبق وي تشانج وزملاؤه الانتشار الخلفي على الشبكة العصبية الالتفافية (نيوكونيترون مبسط مع ترابطات ملتوية بين طبقات ميزات الصورة والطبقة المتصلة بالكامل الأخيرة) بهدف التعرف على الأبجدية. كما اقترحوا تنفيذًا لشبكة عصبية التفافية باستخدام نظام حوسبة بصري.
قدّم كونيهيكو فوكوشيما النيوكونييترون في عام 1980. وظهر مفهوم التجميع الأقصى في منشور عام 1982 يتناول النيوكونيترون. وفي عام 1989، قام يان ليكون وزملاؤه بتدريب شبكة عصبية تلافيفية بهدف التعرف على الأرقام البريدية المكتوبة بخط اليد. ورغم أن الخوارزمية كانت فعالة، إلا أن عملية التدريب استغرقت ثلاثة أيام. وقد اعتمدت هذه الشبكة على تقنية التجميع الأقصى. وكان التعلم فيها آليًا بالكامل، متفوقًا على التصميمات اليدوية التقليدية، ومناسبًا لمجموعة واسعة من مشاكل التعرف على الصور وأنواعها. وبعد ذلك، قام وي تشانج وزملاؤه بتعديل هذا النموذج بإزالة الطبقة المتصلة الأخيرة، وطبقوه على تجزئة الأجسام في الصور الطبية عام 1991 ، واكتشاف سرطان الثدي في صور الأشعة عام 1994.
وفي أحد أشكال النيوكونيترون المسماة كريسسيبترون، استبدل ج. وينج وزملاؤه المتوسط المكاني الذي استخدمه فوكوشيما بالتجميع الأقصى، حيث تقوم وحدة تقليل العينة بحساب أعلى قيمة تنشيط لوحدات في نطاق محدد.
طبق يان ليكون وزملائه شبكة لينت-5 العصبية الالتفافية التي تضم سبع طبقات في 1998. وقد صُممت هذه الشبكة خصيصًا لتصنيف الأرقام، مما جعلها مثالية للاستخدام في القطاع المصرفي للتعرف على الأرقام المكتوبة بخط اليد على الشيكات المصورة بدقة 32×32 بكسل. ومع ذلك، تتطلب معالجة الصور عالية الدقة شبكات عصبية أضخم وأكثر تعقيدًا، مما يحد من استخدام هذه التقنية بسبب الموارد الحاسوبية المطلوبة.
شهد عام 2010 تسريعًا كبيرًا لعملية تدريب الانتشار الخلفي من خلال الاستعانة بالتجميع الأقصى ووحدات معالجة الرسوميات، حيث أثبتت هذه الطريقة تفوقها على أساليب التجميع الأخرى. وقد اعتمد بهنكي عام 2003 على خوارزمية آر بروب (RProp) في مشكلات مثل إعادة بناء الصور وتحديد موقع الوجه. وتجدر الإشارة إلى أن آر بروب هي خوارزمية تحسين من الدرجة الأولى ابتكرها مارتن ريدميلر وهاينريش براون عام 1992.