تسلسل إلى تسلسل

تسلسل إلى تسلسل أو سيك تو سيك، ( بالانجليزية: Seq2seq) هي عائلة من مناهج التعلم الآلي المستخدمة في معالجة اللغة الطبيعية. تتضمن تطبيقات ترجمة اللغة وإضافة تعليق للصور ونماذج المحادثة وتلخيص النصوص.

 تاريخ 

يمين|تصغير|343x343بك|مخطط شانون لنظام اتصالات عام، يُظهر العملية التي تُصبح بها الرسالة المُرسَلة هي الرسالة المُستقبَلة (مع احتمال إفسادها بالضجيج)
تسلسل إلى تسلسل هو نهج لالترجمة الآلية (أو بشكل أعم،التحويل التسلسلي) تمتد جذوره إلى نظرية المعلومات، حيث تُفهَم الاتصالات كعملية "ترميز-إرسال-فك ترميز"، ويمكن دراسة الترجمة الآلية كحالة خاصة من الاتصالات. وُضِّحت وجهة النظر هذه، على سبيل المثال، في  للترجمة الآلية.

عمليا، يقوم تسلسل إلى تسلسل بتحويل تسلسل دخل إلى متجه عددي حقيقي باستخدام شبكة عصبية (المُرمِّز)، ثم يحوله عائدا إلى تسلسل خرج باستخدام شبكة عصبية أخرى (مُفكِّك الترميز).

تطورت فكرة "التحويل التسلسلي" عبر المُرمِّز ومُفكِّك الترميز في أوائل عقد 2010 (انظر للأوراق البحثية السابقة). الأوراق البحثية الأكثر استشهادا بها كأصل لمنشأ تسلسل إلى تسلسل هما ورقتان بحثيتان من عام 2014.

في نموذج تسلسل إلى تسلسل كما اقترحوه، كان كل من المُرمِّز ومُفكِّك الترميز عبارة عن ذاكرة قصيرة المدى مطولة. تسبب هذا في مشكلة عنق الزجاجة، فبما أن لمتجه الترميز حجما ثابتا، فإن المعلومات تميل إلى الضياع في تسلسلات الدخل الطويلة، لصعوبة ملاءمتها داخل متجه الترميز ثابت الطول.
آلية الانتباه، التي اقترحت عام 2014، حلت مشكلة عنق الزجاجة. أطلقوا على نموذجهم اسم الباحث بالشبكات التكرارية (RNNsearch)، لأنه "يحاكي عملية البحث داخل جملة المصدر أثناء فك ترميز الترجمة".

كانت إحدى مشكلات نماذج تسلسل إلى تسلسل في هذه المرحلة هي صعوبة موازاة الشبكات العصبية التكرارية. في منشور عن المحولات في 2017 حل المشكلة عبر استبدال الشبكة العصبية التكرارية المُرمِّزة بكتل انتباه ذاتي من المحولات (كتل المُرمِّز)، واستبدال الشبكة العصبية التكرارية مُفكِّكة الترميز بكتل انتباه متقاطع مقنَّعة سببيا من المحولات ("كتل مُفكِّك الترميز").

 خلاف حول الأسبقية 

إحدى الأوراق البحثية التي يُستشهد بها كأصل لـتسلسل إلى تسلسل هي (ستسكيفر وآخرون 2014)، والتي نُشرت في جوجل برين أثناء عملهم على مشروع جوجل للترجمة الآلية. سمح هذا البحث لجوجل بإجراء إصلاح شامل لـترجمة جوجل وتحويلها إلى جوجل للترجمة الآلية العصبية في عام 2016.
يدعي توماش ميكولوف أنه طور الفكرة (قبل انضمامه إلى جوجل برين) المتمثلة في استخدام "نموذج لغوي عصبي على أزواج من الجمل... ثم [توليد] الترجمة بعد رؤية الجملة الأولى" وهو ما يعتبره ميكولوف مكافئًا للترجمة الآلية بنموذج تسلسل إلى تسلسل، وأنه ذكر الفكرة لـإيليا سوتسكيفر وكووك لي (أثناء عمله في جوجل برين)، الذين أغفلا ذكره في ورقتهما.
كان ميكولوف قد عمل على نماذج اللغة بالشبكات التكرارية (RNNLM) في أطروحة الدكتوراه الخاصة به،Mikolov, Tomáš. "Statistical language models based on neural networks." (2012).  وهو معروف أكثر بتطويره لتقنية [[لتمثيل المتجهي للكلمات].

 تقنية 

سيك تو سيك يحول تسلسل إلى تسلسل آخر (  ). ويقوم بذلك باستخدام الشبكات العصبية المتكررة أو في الغالب بواسطة الذاكرة قصيرة المدى الطويلة الأمد أو . من أجل تجنب . سياق كل عنصر هو ناتج الخطوة السابقة. المكونات الأساسية عبارة عن شبكة من وحدة تشفير واحدة ووحدة فك تشفير واحدة. يحول المشفر كل عنصر إلى متجه مخفي مقابل يحتوي على العنصر وسياقه. تعكس وحدة فك التشفير العملية، وتحول المتجه إلى عنصر إخراج، باستخدام الإخراج السابق كسياق إدخال.

 برامج ذات صلة 

في عام 2019، أعلنت شركة فايسبوك عن استخدام الخوارزمية في التكامل الرمزي وحل المعادلات التفاضلية. ادعت الشركة أنها تستطيع حل المعادلات المعقدة بسرعة أكبر وبدقة أكبر من الحلول التجارية مثل ولفرام ماتماتيكا وماتلاب وميبل. أولاً، يتم تحليل المعادلة في بنية شجرية لتجنب الخصوصيات الترميزية. تقوم الشبكة العصبية ذات الذاكرة قصيرة المدى الطويلة الأمد بعد ذلك بتطبيق تسهيلاتها القياسية للتعرف على الأنماط لمعالجة الشجرة.

تتضمن البرامج التي تعتمد أساليب مماثلة OpenNMT ( Torch ) و Neural Monkey ( تنسرفلو ) و NEMATUS ( Theano ).

 أنظر أيضا 
 شبكة اعصاب صناعية

 مراجع 

 روابط خارجية 





تصنيف:برمجيات جوجل
تصنيف:معالجة اللغات الطبيعية
تصنيف:شبكات عصبونية اصطناعية