hotchpotch/wikipedia-multilingual-ir-pairs huggingface dataset:
شبكة عصبية خلوية هندسة الشبكة العصبية الخلوية
يُعرّف النظام بأنه مجموعة من الكيانات المستقلة المتفاعلة التي تشكل كلًا متكاملاً، يكون سلوكه مميزًا وأكبر نوعيًا من كياناته. على الرغم من أن الاتصالات محلية، إلا أن تبادل المعلومات يمكن أن يحدث عالميًا من خلال الانتشار. بهذا المعنى، تُعد معالجات شبكة الالتواء العصبية أنظمة لأن ديناميكياتها مشتقة من التفاعل بين وحدات المعالجة وليس داخل وحدات المعالجة. نتيجة لذلك، تُظهر سلوكًا ظاهريًا وجماعيًا. رياضيًا يُمكن تعريف العلاقة بين خلية وجيرانها، الموجودين ضمن منطقة التأثير، بقانون اقتران، وهذا هو ما يحدد بشكل أساسي سلوك المعالج. عندما يتم نمذجة قوانين الاقتران بالمنطق الضبابي، تكون شبكة الالتواء العصبية ضبابية. عندما يتم نمذجة هذه القوانين بالمنطق الفعلي الحسابي، تصبح شبكة الالتواء العصبية فعلية حسابية. كل من شبكات الالتواء العصبية الضبابية والفعلية الحسابية مفيدة لنمذجة الشبكات الاجتماعية عندما تتحقق الاقترانات المحلية بمصطلحات لغوية.
شبكة عصبية خلوية التطبيقات
اهتمامات باحثي CNN مُتنوعة، تتراوح من التطبيقات الفيزيائية والهندسية والنظرية والرياضية والحسابية والفلسفية.
شبكة عصبية خلوية التطبيقات
صُممت معالجات CNN لمعالجة الصور، وعلى وجه التحديد لمُعالجة مُعدل الإطارات العالي جدًا في الوقت الفعلي (> 10 ألف إطار/ثانية) لتطبيقات مثل اكتشاف الجسيمات في سوائل مُحرك الطائرات واكتشاف شمعات الإشعال. في الوقت الحالي، يُمكن للمعالجات تحقيق ما يصل إلى 50 ألف إطار في الثانية، وبالنسبة لتطبيقات مُعينة مثل تتبع الصواريخ واكتشاف الوميض وتشخيص شمعات الإشعال، تفوقت هذه المعالجات الدقيقة على الحاسوب العملاق التقليدي. تُستخدم معالجات CNN في العمليات المحلية، ذات المُستوى المُنخفض، التي تتطلب مُعالجة مُكثفة، وقد أُستخدمت في استخراج الميزات،  وضبط المُستوى والكسب، واكتشاف ثبات اللون،  وتحسين التباين، وإزالة الالتواء،  وضغط الصور،  وتقدير الحركة،  وترميز الصور، وفك ترميز الصور، وتجزئة الصور،  وخرائط تفضيلات التوجيه،  وتعلم التعرف على الأنماط،  وتتبع الأهداف المُتعددة،  وتثبيت الصور،  وتحسين الدقة،  وتشوهات الصور، ورسم الخرائط، وإصلاح الصور،  والتدفق البصري،  وتحديد الخطوط،  واكتشاف الأجسام المتحركة،  واكتشاف محور التناظر،  ودمج الصور.
نظرًا لمرونتها وقدراتها على المعالجة، تُستخدم معالجات CNN لتطبيقات ميدانية جديدة مثل تحليل اللهب لمراقبة الاحتراق في محرقة النفايات،  وكشف الألغام باستخدام التصوير بالأشعة تحت الحمراء، وذروة مجموعة المسعر للفيزياء الطاقة العالية،  واكتشاف الشذوذ في خرائط المجال المُحتمل للجيوفيزياء،  واكتشاف النقاط بالليزر،  وفحص المعادن لاكتشاف عيوب التصنيع،  واختيار الأفق الزلزالي. كما تُستخدم لأداء وظائف القياسات الحيوية،  مثل التعرف على بصمات الأصابع،  واستخراج ميزات الأوردة، وتتبع الوجه،  وتوليد مُحفزات بصرية من خلال الأنماط الناشئة لقياس الرنين الإدراكي.
التعلم المعزز من ردود الفعل البشرية
التعلم المعزز من ردود الفعل البشرية أو التعليم بواسطة التعزيز من الملاحظات البشرية (RLHF) هو أسلوب من أساليب تعلّم الآلة، يستخدم الملاحظات البشرية لتحسين نماذج تعلّم الآلة من أجل التعلم الذاتي بشكل أكثر كفاءة. تعمل تقنيات التعليم بواسطة التعزيز على تدريب البرامج على اتخاذ القرارات التي تحصل على أكثر قدر ممكن من المكافآت، مما يجعل نتائجها أكثر دقة. في هذا الأسلوب تُدمَج الملاحظات البشرية في دالة المكافآت، لذلك يمكن لنموذج تعلّم الآلة أداء مهام أكثر تماشيًا مع الأهداف والرغبات والاحتياجات البشرية. يُستخدَم أسلوب التعليم بواسطة التعزيز من الملاحظات البشرية في جميع تطبيقات الذكاء الاصطناعي المولّد، بما في ذلك نماذج اللغة الكبيرة (LLM).
التعلم المعزز من ردود الفعل البشرية الخلفية والدافع
إن تطوير النماذج القائمة على التغذية الراجعة البشرية يكتسب أهمية بالغة عندما تكون المهمة معقدة التحديد، إلا أنها سهلة التقييم. مثال على ذلك هو تدريب نموذج لإنشاء نص آمن ومفيد وخالٍ من الأضرار كالتحيز أو السمية أو المحتوى الضار بأي شكل. قد يكون من الصعب والمستهلك للوقت أن يطلب من البشر إنشاء أمثلة نصية ضارة وغير ضارة يدويًا. ومع ذلك، يجيد البشر تقييم ومقارنة ضرر النصوص التي ينتجها الذكاء الاصطناعي بسرعة. لذا، فإن الهدف العملي هو تمكين النموذج من الاستفادة من هذا النوع من التغذية الراجعة البشرية لتحسين إنتاج النص.
رغم الفوائد الجلية لاستخدام التغذية الراجعة البشرية في تدريب النماذج، إلا أن الجهود السابقة، بما في ذلك تلك التي اعتمدت على التعلم المعزز، واجهت تحديات كبيرة. كانت معظم المحاولات إما محدودة النطاق وصعبة التعميم، مما أدى إلى فشلها في المهام الأكثر تعقيدًا،  أو عانت من صعوبات في التعلم من وظائف المكافأة النادرة (التي تفتقر إلى المعلومات المحددة وترتبط بكميات كبيرة من النص في الوقت نفسه) أو الضوضائية (التي تقدم مكافأة غير متسقة لنفس النتائج).
التعلم المعزز من ردود الفعل البشرية الخلفية والدافع
لم يكن التعلم المعزز من ردود الفعل البشرية أول طريقة ناجحة لاستخدام التغذية الراجعة البشرية في التعلم المعزز، ولكنه أحد أكثر الطرق استخدامًا. وقد تم تقديم الأساس لهذا النوع من التعلم كمحاولة لإنشاء خوارزمية عامة للتعلم من كمية معقولة من التغذية الراجعة البشرية. وقدمت شركة أوبن أيه آي الخوارزمية المستخدمة حاليًا في ورقة بحثية حول تحسين استمرارية النص أو تلخيصه بناءً على التغذية الراجعة البشرية، وبدأت هذه الطريقة في اكتساب الشعبية عندما استخدمتها الشركة نفسها في ورقتها حول جي بي تي-3. كما أظهر التعلم المعزز من ردود الفعل البشرية تحسين قدرة عملاء التعلم المعزز على التحمل وقدرتهم على الاستكشاف، مما أدى إلى عملية تحسين أكثر كفاءة في التعامل مع عدم اليقين واستكشاف بيئته بفاعلية بحثًا عن المكافأة الأعلى.
التعلم المعزز من ردود الفعل البشرية جمع ردود الفعل البشرية
تعتمد عملية التعلم المعزز من ردود الفعل البشرية بشكل كبير على جمع بيانات دقيقة وشاملة حول تفضيلات المستخدمين. عادةً ما تُجمع هذه البيانات من خلال تصنيفات بشرية لحالات سلوك الوكيل، حيث يمكن استخدام أنظمة مثل نظام تصنيف إيلو لتقييم هذه التصنيفات. رغم أن تصنيف المخرجات هو الطريقة الأكثر شيوعًا، إلا أن الأبحاث الحديثة تستكشف طرقًا أكثر مرونة مثل التغذية الراجعة الرقمية واللغوية. من المثير للاهتمام أن التعلم المعزز من ردود الفعل البشرية يتطلب كمية بيانات أقل بكثير مما هو مطلوب في تقنيات التعلم الأخرى. ومع ذلك، فإن زيادة كمية البيانات لا تؤدي بالضرورة إلى تحسين الأداء بشكل كبير، بل قد يكون من الأفضل التركيز على زيادة تعقيد نموذج المكافأة. رغم ذلك فإن تنوع البيانات أمر حيوي لتجنب التحيزات التي قد تنشأ من الاعتماد على مجموعة محدودة من المعلقين. أظهرت الدراسات أن استخدام مقدر الاحتمالية القصوى (MLE) مع وظائف مكافأة خطية في نماذج مثل برادلي-تيري-لوس وبلاكيت-لوس يؤدي إلى تحسين دقة التنبؤ بالتفضيلات البشرية. هذا يعني أنه عندما يتم تدريب النموذج على بيانات مقارنات زوجية أو متعددة الجوانب تتبع نموذجًا خطيًا، فإنه يصبح قادرًا على التنبؤ بدقة أكبر بالخيارات التي يفضلها الأشخاص في المستقبل. هذه النتيجة تدل على أن النماذج التي تعتمد على مبادئ بسيطة ومتسقة قادرة على تعلم تفضيلات المستخدمين بفعالية.
التعلم المعزز من ردود الفعل البشرية جمع ردود الفعل البشرية
أظهرت الدراسات أن نماذج جمع البيانات، سواء كانت متصلة بالإنترنت أم غير متصلة، تشكل تحديات فريدة في سياق التعلم المعزز من ردود الفعل البشرية. في النماذج غير المتصلة، حيث يتم تدريب السياسات على مجموعات بيانات ثابتة، أثبت مقدر الاحتمالية القصوى الذي يدمج حد الثقة الأدنى كدالة مكافأة كفاءة عالية. علاوة على ذلك أشارت الأبحاث إلى أن التعامل المباشر مع المقارنات المتعددة (K-wise) يتفوق على تحويلها إلى مقارنات زوجية في تحسين دقة التنبؤ. ومع ذلك فإن طبيعة التفاعل المستمر مع البيئة في النماذج المتصلة تثير تحديات إضافية تتعلق بتعقيد العينات وتحديث السياسات. في سياق التفاعل مع الشبكة العنكبوتية، عند جمع آراء بشرية عن طريق المقارنات الثنائية وفقًا لنموذج برادلي-تيري-لوس بهدف تقليل الندم (أي الفرق في الأداء مقارنة بأداء مثالي)، تبين أن تقدير الاحتمالية القصوى الذي يشمل حد الثقة العلوي كقيمة مكافأة يمكن توظيفه في تصميم خوارزميات تعلم فعالة من حيث العينات (أي تتطلب كمية محدودة من بيانات التدريب). يكمن التحدي الجوهري في التعلم المعزز من خلال آراء بشرية عند التعلم من المقارنات الثنائية في طبيعة السياسات المثلى غير الماركوفية. بخلاف السيناريوهات البسيطة التي لا تتطلب الإستراتيجية المثلى تذكر الأفعال السابقة، فإن التعلم المعزز من خلال آراء بشرية غالبًا ما تتوقف أفضل مسارات العمل فيه على الأحداث والقرارات السابقة، مما يجعل الإستراتيجية معتمدة بشكل أساسي على الذاكرة.
التعلم المعزز من ردود الفعل البشرية التطبيقات
أثبتت تقنية التعلم المعزز من خلال ردود الفعل البشرية فعاليتها في تطوير نماذج معالجة اللغة الطبيعية المتقدمة. في مهام معالجة اللغة الطبيعية المعقدة، مثل الحوار وتلخيص النصوص، يصعب تحديد مكافآت واضحة لتدريب النماذج. تتغلب تقنية التعلم المعزز من خلال ردود الفعل البشرية على هذه التحدي من خلال السماح لنا بتدريب نماذج اللغة على فهم وتلبية تفضيلات المستخدمين البشرية بشكل أفضل. يتم ذلك عن طريق جمع بيانات تدريب تعكس هذه التفضيلات وتستخدمها لتدريب نموذج مكافأة يوجه النموذج نحو توليد نتائج أكثر ملاءمة. تُعد نماذج مثل شات جي بي تي من أوبن أيه آي، وسبارو من ديب مايند،  وجيميناي من جوجل،  وكلود من أنثروبيك،  أمثلة بارزة على نماذج اللغة التي تم تدريبها باستخدام هذه التقنية، حيث تُظهر قدرة متقدمة على إجراء حوارات طبيعية وتقديم معلومات دقيقة ومفيدة.
التعلم المعزز من ردود الفعل البشرية التطبيقات
في حقل الرؤية الحاسوبية استُخدم التعلم من خلال التعزيز مع ردود الفعل البشرية أيضًا لضبط نماذج تحويل النص إلى صورة. وقد أشارت الدراسات التي نجحت في استخدام هذا النهج إلى أن استخدام تنظيم تباعد كولباك - ليبلير في تعلم التعزيز مع ردود الفعل البشرية، والذي يهدف إلى منع السياسات المتعلمة من الانحراف بعيدًا عن النموذج غير المُنظم، قد ساعد في استقرار عملية التدريب عبر تقليل الإفراط في التكيف مع نموذج المكافأة. وقد لوحظ أن النتائج النهائية للصور الناتجة عن النماذج المدربة باستخدام تنظيم تباعد كولباك-ليبلر كانت ذات جودة أعلى بشكل ملحوظ مقارنةً بتلك التي دُربت دون هذا التنظيم. وقد حاولت طرق أخرى دمج ردود الفعل من خلال التدريب المباشر - بناءً على تعظيم المكافأة دون استخدام تعلم التعزيز - لكنها أقرت بأن نهج تعلم التعزيز مع ردود فعل بشرية من المرجح أن يؤدي بشكل أفضل بسبب توليد العينات عبر الإنترنت أثناء التحديثات وكذلك تنظيم تباعد كولباك-ليبلر المذكور سابقًا فوق النموذج السابق، مما يقلل من الإفراط في التكيف مع دالة المكافأة.
التعلم المعزز من ردود الفعل البشرية التطبيقات
طبق تعلم التعزيز مع ردود فعل بشرية (RLHF) في البداية على مجالات متنوعة، مثل تطوير روبوتات ألعاب الفيديو الكلاسيكية ثنائية الأبعاد والمهام الروبوتية المحاكية. فعلى سبيل المثال، قامت شركتا OpenAI وDeepMind بتدريب نماذج ذكاء اصطناعي للعب ألعاب أتاري بناءً على التفضيلات البشرية. في التدريب التقليدي القائم على التعلم المعزز لهذه النماذج، كانت وظيفة المكافأة ترتبط ببساطة بمدى نجاح النموذج في اللعبة، عادةً بقياس النقاط المحرزة. أما في تعلم التعزيز مع ردود فعل بشرية، فكان يعرض على الإنسان مقطعان من أداء النموذج في اللعبة ليختار الأفضل منهما بناءً على معايير جمالية أو إستراتيجية. هذه الطريقة مكنت النماذج من تحقيق أداء تنافسي دون الحاجة إلى الاعتماد فقط على النقاط المحرزة. بل إن هذا النهج تجاوز في بعض الأحيان أداء التعلم المعزز التقليدي، وذلك لأن تفضيلات الإنسان قد تحتوي على معلومات أكثر شمولية من مجرد النقاط المحرزة. حققت هذه النماذج أداءً متميزًا في العديد من البيئات التجريبية، وتفوقت في كثير من الأحيان على أداء البشر.
التعلم المعزز من ردود الفعل البشرية التدريب
في تقنية تعزيز التعلم من خلال ردود الفعل البشرية (RLHF)، يُدرب نموذجين مختلفين: نموذج المكافأة وسياسة التعلم المعزز. يتعلم نموذج المكافأة تحديد السلوك المرغوب بناءً على ردود الفعل البشرية، بينما تسترشد السياسة بنموذج المكافأة لتحديد أفعال الوكيل. وكثيرًا ما يتم تهيئة كلا النموذجين باستخدام نموذج لغوي ذاتي التراجع مُدرّب مسبقًا. ثم يُدرب هذا النموذج عادةً بطريقة إشرافية على مجموعة بيانات صغيرة نسبيًا من أزواج المُحفزات المقدمة إلى مساعد والإجابات المصاحبة لها، والتي كتبها معلقون بشريون. يستفيد نموذج المكافأة من البدء بنموذج مدرب مسبقًا، حيث يُهيئه ذلك لفهم اللغة ويركز التدريب صراحةً على تعلم التفضيلات البشرية، مما يُسرع العملية. بالإضافة إلى استخدامه لتهيئة نموذج المكافأة وسياسة التعلم المعزز، يُستخدم النموذج أيضًا لعينة البيانات التي سيتم مقارنتها بواسطة المعلقين.
التعلم المعزز من ردود الفعل البشرية التدريب
ثم يُدرب نموذج المكافأة عن طريق استبدال الطبقة النهائية للنموذج السابق برأس انحدار مُهيأ عشوائيًا. يؤدي هذا التغيير إلى تحويل النموذج من مهمته الأصلية، وهي التصنيف على مفرداته، إلى إخراج رقم يتوافق مع درجة أي مُحفز واستجابة معطاة. يُدرب هذا النموذج على بيانات مقارنة التفضيلات البشرية التي جُمعت سابقًا من النموذج الإشرافي. على وجه الخصوص، يدرب لتقليل دالة الخسارة المتقاطعة التالية، التي تحفزه على تقديم توقعات تكون أقرب إلى التقييمات البشرية الفعلية:
التعلم المعزز من ردود الفعل البشرية التدريب
حيث  هو عدد الاستجابات التي قام المقيمون بتصنيفها، أما  فهو ناتج نموذج المكافأة للتعليم  والإكمال ، و هو الإكمال المفضل على ، وتعني  دالة السيجمويد، وتعني  القيمة المتوقعة. تقيس دالة الخسارة هذه الفرق بين توقعات نموذج المكافأة والقرارات التي اتخذها البشر. الهدف هو جعل تخمينات النموذج قريبة قدر الإمكان من تفضيلات البشر من خلال تقليل الفرق الذي تقيسه هذه المعادلة. في حالة المقارنات الزوجية فقط، يتم حذف العامل . بخلاف ذلك، تُستخدم جميع المقارنات  من كل تعليم كتدريب دفعة واحدة. بعد التدريب، تُوحد مخرجات النموذج بحيث تكون اكتمالات المراجع ذات متوسط درجة 0.
التعلم المعزز من ردود الفعل البشرية التدريب
وبالمثل لنموذج المكافأة، تُحسن السياسة اللغوية أيضًا بناءً على النموذج المدرب مُسبقًا والذي قد لا يتوافق بالضرورة مع التفضيلات البشرية. الهدف من هذه الخطوة الحساسة هو تكييف النموذج بشكل تدريجي ليكون أكثر انسجامًا مع التفضيلات البشرية عن طريق ضبط معاملاته ووزنه بناءً على المكافآت المستمدة من ردود الفعل البشرية. يمكن استخدام ناتج نموذج المكافأة كمكافأة يتم تعظيمها باستخدام التعلم المعزز لأزواج التعليمات والاستجابات. ثم تُقدم تعليمات عشوائية من مجموعة البيانات إلى السياسة لتوليد استجابات، مما يحاكي السيناريوهات الواقعية حيث يجب على الوكيل فهم التعليمات المتنوعة وتوليد الاستجابات المناسبة.
بالإشارة إلى سياسة التعلم المعزز المكتسبة بمعايير  مثل ، يمكننا تعريف دالة الهدف التالية:
التعلم المعزز من ردود الفعل البشرية التدريب
حيث  هو توزيع التدريب الذي نستمد منه و هو النموذج غير المتناسق المدرب سابقًا. تُستخدم الثابتة  لضبط شدة بند عقوبة كولباك - ليبلير. تُطبق هذه العقوبة على أساس كل مفردة بين السياسة ومخرجات النماذج غير المتناسقة. الهدف منها هو تجنب ضبط السياسة بشكل مفرط، مما يضمن أن عملية التدريب لا تُتَخصص بشكل مفرط على بيانات التدريب الجديدة. يعمل بند كولباك - ليبلير هذا عن طريق معاقبة تباعد كولباك - ليبلير (مقياس البُعد الإحصائي بين التوزيعات) بين النموذج الذي يتم ضبطه بدقة والنموذج الإشرافي الأصلي. من خلال اختيار  المناسب، يمكن للتدريب أن يوازن بين التعلم من البيانات الجديدة مع الاحتفاظ بالمعلومات المفيدة من النموذج الأصلي، مما يزيد من التعميم عن طريق تجنب الملاءمة المفرطة للبيانات الجديدة. بالإضافة إلى منع النموذج الجديد من إنتاج مخرجات تختلف كثيرًا عن النموذج الأصلي، فإن الدافع الثاني لإدراج بند كولباك - ليبلير هو السماح للسياسة باستكشاف البيئة بشكل أكبر عن طريق تشجيع المزيد من الإنتروبيا، مما يمكن أن يمنع النموذج من الانهيار إلى وضعية واحدة.
ببساطة تقيس دالة الهدف مدى تطابق استجابات النموذج مع التغذية الراجعة البشرية. يولد النموذج استجابات لمختلف الطلبات، ثم يُقيم كل استجابة بناءً على مدى توافقها مع تفضيلات البشر (كما يقيسها نموذج المكافأة) ومدى قربها من الاستجابات النموذجية المتوقعة. الهدف هو تحقيق التوازن بين تحسين جودة الاستجابات لتلائم تفضيلات المستخدمين والحفاظ على تنوع الاستجابات وعدم الانحراف كثيرًا عن المعرفة الأساسية التي اكتسبها النموذج خلال تدريبه الأولي. يساعد هذا الأمر النموذج على تقديم إجابات مفيدة ومقبولة للمستخدمين، مع الحفاظ على فهم شامل للغة وتجنب تكرار الإجابات النمطية.
عادة ما يُضاف مصطلح ثان إلى دالة الهدف للسماح للنموذج بالحفاظ على المعرفة التي اكتسبها قبل التدريب. هذا المصطلح يمنع النموذج من نسيان قدرته الأساسية على فهم اللغة أثناء تعلم مهام جديدة بناءً على التغذية الراجعة البشرية. هذا يتم عن طريق دمج مهمة إكمال النص الأصلي مع المهام الجديدة. وبالتالي، فإن دالة الهدف النهائية تكون على النحو التالي:
حيث يتحكم  في قوة هذا الحد الإضافي و هو توزيع نص التدريب المسبق الأصلي. يمكن بعد ذلك استخدام دالة الهدف هذه مباشرةً لتدريب السياسة باستخدام خوارزمية تحسين السياسة القريبة [الإنجليزية].
في المجمل، تحدد دالة الهدف هذه طريقة تعديل سياسة التعلم المعزز، ممزوجةً بهدف التوافق مع ردود الفعل البشرية والحفاظ على فهم النموذج الأصلي للغة.
التعلم المعزز من ردود الفعل البشرية القيود
يعاني التعلم من خلال التعزيز مع ردود الفعل البشرية من تحديات في جمع ردود الفعل البشرية، وتعلم نموذج المكافأة، وتحسين السياسة. قد تختلف جودته واتساقه اعتمادًا على المهمة، والواجهة، وتفضيلات وانحيازات الأفراد.
إن فعالية تقنية التعزيز بردود الفعل البشرية في تدريب النماذج اللغوية تعتمد بشكل كبير على جودة ونوعية هذه التعليقات. فالتعليقات المنحازة أو غير المتسقة أو غير الدقيقة قد تؤدي إلى تحيز النموذج نحو مجموعات معينة على حساب أخرى. كما أن هناك خطر من فرط الملاءمة حيث يحفظ النموذج الأمثلة المحددة للتعليقات بدلًا من استخلاص قواعد عامة. على سبيل المثال، قد يؤدي التركيز على تعليقات مجموعة ديموغرافية محددة إلى تعليم النموذج أنماطًا غير مرغوبة أو ضوضاء. علاوة على ذلك، فإن الاعتماد المفرط على تعليقات محددة قد يؤدي إلى تدهور أداء النموذج في سياقات جديدة أو مع مجموعات مستخدمين مختلفة. ولا يمكن لآلية المكافأة الواحدة أن تمثل آراء جميع الفئات بشكل عادل، فحتى مع وجود عينة تمثيلية، قد تهيمن آراء الأغلبية على عملية التدريب، مما يؤثر سلبًا على المجموعات الأقل تمثيلًا.
التعلم المعزز من ردود الفعل البشرية القيود
تواجه تقنية التعزيز بالتعليقات البشرية تحديًا يتمثل في احتمال استغلال النماذج اللغوية لهذه الآلية لتحقيق مكافآت دون تحسين الأداء الفعلي. فعوضًا عن السعي لتحقيق الأهداف المرجوة، قد يتعلم النموذج استراتيجيات للتلاعب بالمتقيّمين البشريين للحصول على تقييمات إيجابية، حتى لو كانت استجاباته غير دقيقة أو مضللة. هذا السلوك، المعروف باسم "التحايل على النظام"، يمكن أن ينشأ بسبب التركيز على المكافأة اللحظية بدلًا من الجودة الحقيقية للإنتاج. على سبيل المثال، قد تكتشف النماذج أن التعبير عن الثقة الزائدة، حتى لو كان غير مبرر، يحقق نتائج أفضل. هذا الأمر يثير قلقًا بالغًا، خاصة وأن الدراسات تشير إلى صعوبة اكتشاف الأخطاء في مخرجات النماذج اللغوية الكبيرة من قبل البشر. وبالتالي، فإن انتشار النماذج القادرة على توليد نصوص واثقة ولكنها غير صحيحة يمثل تهديدًا كبيرًا للتطبيقات العملية لهذه التقنية.
التعلم المعزز من ردود الفعل البشرية البدائل
على غرار التعلم المعزز البشري، يعتمد "التعلم المعزز من تغذية الذكاء الاصطناعي" على تدريب نموذج تفضيل، إلا أن التغذية الآراء تُولَّد آليًا. يُستخدم هذا بشكل ملحوظ في نموذج كلود لشركة أنثروبيك.
قُدّمَ بديل آخر لتعلم التعزيز البشري يُسمى تحسين التفضيل المباشر (DPO) لتعلم تفضيلات البشر، ومثل التعلم المعزز البشري، فقد تم تطبيقه لمواءمةنماذج اللغات الكبيرة المدربة مُسبقًا باستخدام بيانات تفضيلية مولَّدة بشريًا. ومع ذلك على عكس التعلم المعزز البشري، الذي يُدرب أولًا نموذجًا وسيطًا منفصلًا لفهم شكل النتائج الجيدة ثم يُعلّم النموذج الرئيسي كيفية تحقيق تلك النتائج، يُبسط تحسين التفضيل المباشر العملية من خلال تعديل النموذج الرئيسي مباشرةً وفقًا للتفضيلات البشرية. حيث يستخدم تغييرًا في المتغيرات لتحديد "خسارة التفضيل" مباشرةً كدالة للسياسة ويستخدم هذه الخسارة لضبط النموذج بدقة، مما يُساعده على فهم وتأهيل تفضيلات البشر دون الحاجة إلى خطوة منفصلة. في الأساس يُشكّل هذا النهج قرارات النموذج مباشرةً بناءً على التغذية الراجعة البشرية الإيجابية أو السلبية.
التعلم المعزز من ردود الفعل البشرية البدائل
يُعد تحسين التفضيل المباشر أبسط تنفيذًا وتدريبًا من التعلم المعزز البشري وقد ثبت أنه يُنتج نتائج مماثلة وأحيانًا أفضل. ومع ذلك، فقد ثبت أيضًا أن التعلم المعزز البشري يتفوق على تحسين التفضيل المباشر في بعض مجموعات البيانات، على سبيل المثال في المعايير التي تحاول قياس الصدق. لذلك قد يختلف اختيار الأسلوب اعتمادًا على خصائص بيانات التفضيل البشرية وطبيعة المهمة.
يعقوب تيرنر
يعقوب تيرنر (بالعبرية: יעקב טרנר) (27 فبراير 1935 - 27 أكتوبر 2024)، هو قائد عسكري عسكري وسياسي إسرائيلي شغل منصب رئيس بلدية بئر السبع. قبل انتخابه رئيسًا للبلدية، كان طيارًا في سلاح الجو الإسرائيلي ورئيس شرطة البلاد. وهو مؤسس ورئيس متحف سلاح الجو الإسرائيلي.
كان سياسيًا إسرائيليًا شغل منصب رئيس بلدية بئر السبع السابع (1998–2008)، والمفتش العام العاشر لشرطة إسرائيل (1990–1993). قبل ذلك، كان طيّارًا مقاتلًا، وعقيدًا في سلاح الجو الإسرائيلي. وهو المبادر إلى تأسيس متحف سلاح الجو في حتسريم ورئيسه فيما بعد.
يعقوب تيرنر حياته
وُلد ترنر في كفار يونا لزفي ترنر، المولود في هنغاريا، ودينا من عائلة روزنفلد، المولودة في بولندا.
التحق بجيش الدفاع الإسرائيلي عام 1953. بدأ دورة الطيران رقم 17، لكنه استُبعد منها. انضم لاحقًا إلى دورة أخرى، رقم 22، وأنهاها بنجاح عام 1957. بعد الدورة، التحق بدورة تدريب متقدمة (كام) على طائرة داسو أوراغان في السرب 113 ("الدبّور") في قاعدة حتسور. بعد ذلك، خضع لتأهيل على طائرة داسو ميستير 4. بين عامي 1957–1963، خدم كطيّار مقاتل في السرب 109 ("المرج"). في عام 1963، بدأ بقيادة طائرة ميراج 3، وكان جزءًا من طاقم استيعاب الطائرة في السرب 117 ("النفّاث الأول") في قاعدة رمات دافيد. في السنوات التالية، خدم كمدرّس في مدرسة الطيران التي كانت في قاعدة تل نوف، ولاحقًا عُيّن قائدًا لسرب في مدرسة الطيران.
يعقوب تيرنر حياته
منذ أواخر خمسينيات القرن الماضي، بدأ يكتب عمودًا فكاهيًا عن حياة سلاح الجو في النشرة العسكرية الخاصة بالسلاح.
في حرب الأيام الستة، قاد السرب 107 ("فرسان الذيل البرتقالي")، الذي كان حينها سرب طائرات أوراغان. خلال الحرب، قاد تشكيلات هجومية لضرب المطارات ضمن عملية "موكد". في إحدى الطلعات، حين قاد تشكيلًا رباعيًا لمهاجمة قوة مدرعة أردنية، أُصيبت طائرته بنيران مضادة للطائرات، لكنه تمكّن من الهبوط بها في إسرائيل رغم الأضرار.
من سبتمبر 1967 حتى يوليو 1969، بما في ذلك خلال حرب الاستنزاف، قاد السرب 110 ("فرسان الشمال")، الذي كان سرب طائرات فوتر الفرنسية. في حرب الاستنزاف، فقد نائبيه، نفتالي بورات ويتسحاق (آكي) أرتسي. لاحقًا، خدم كمدرّب رئيسي في مدرسة الطيران، ثم كقائد سرب طيران في تل نوف. في عام 1972، عُيّن قائدًا لمدرسة الطيران.
يعقوب تيرنر حياته
في حرب يوم الغفران، شارك تيرنر كطيّار فانتوم في السرب 107، الذي كان يعمل حينها من قاعدة حتسريم. بعد حصوله على اللقب الأول في علوم السلوك من جامعة بن غوريون، عُيّن عام 1975 رئيسًا لقسم التدريب في سلاح الجو ضمن لواء الطيران. في عام 1977، رُقّي إلى رتبة عميد (تات-ألوف)، وبين 1977–1981 قاد قاعدة حتسريم. بعدها شغل منصب رئيس لواء القوى البشرية في سلاح الجو (1981–1985)، وبعده أنهى خدمته في الجيش الإسرائيلي برتبة عميد بعد 32 عامًا من الخدمة. كطيّار مقاتل، نفّذ تيرنر أكثر من 300 طلعة جوية عملياتية.
بادر تيرنر إلى إنشاء متحف سلاح الجو في حتسريم وأداره منذ تأسيسه وحتى عام 2015. حتى بعد تقاعده من الجيش، واصل قيادة طائرات المتحف، حتى بلغ سن 75 عامًا.
يعقوب تيرنر خدمته في شرطة إسرائيل
بعد تسريحه من الجيش، التحق ترنر بشرطة إسرائيل، حيث شغل منصب رئيس شعبة القوى البشرية (المعروفة اليوم باسم شعبة الموارد البشرية) بين الأعوام 1985–1989، ثم شغل منصب قائد لواء المركز بين 1989–1990. في 1 نيسان/أبريل 1990، مُنح ترنر رتبة "راف نيتساف" (مفتش عام) وعُيّن المفتش العام العاشر لشرطة إسرائيل. خلال ثلاث سنوات ولايته كمفتش عام، أسس شرطة المرور القطرية والوحدة الجوية التابعة لشرطة إسرائيل، وطبّق سياسة "الباب المفتوح" للمواطنين في جميع مراكز الشرطة، كما عمل على تحسين ظروف خدمة أفراد الشرطة. ومن منظور سكان بئر السبع والنقب، كان الإنجاز الأبرز في فترته هو تأسيس لواء الجنوب ضمن حدود مدينة بئر السبع.
يعقوب تيرنر خدمته في شرطة إسرائيل
بعد بضعة أشهر من توليه منصب المفتش العام، في يوم الغفران العبري عام 5751 (29 أيلول/سبتمبر 1990)، صعدت مجموعة كبيرة من المتظاهرين المسلمين باتجاه حائط البراق (الحائط الغربي). أوقفت الشرطة تقدمهم، لكن سقط العديد من الجرحى من الجانبين، واعتُبر الحدث استثنائيًا في حجمه في القدس، وتهديدًا لأمن المصلين في ساحة الحائط. جاءت المظاهرة بعد نشر بيان من قبل دائرة الأوقاف الإسلامية يدعو لمعارضة نية "أمناء جبل الهيكل" لوضع حجر الأساس رمزيًا للهيكل الثالث. في اليوم التالي، عُقد اجتماع أمر فيه رئيس الوزراء يتسحاك شامير وزير الشرطة روني ميلو والمفتش العام ترنر "بخفض التوتر" في القدس. وبناءً عليه، تقرر منع "أمناء جبل الهيكل" من تنفيذ الطقس الرمزي، وتم الإعلان عن القرار ونُقل للأوقاف. في صلاة الجمعة، 5 تشرين الأول/أكتوبر 1990 (عيد العُرش العبري)، أعلن المؤذن أنه يجب منع إقامة مراسم وضع حجر الأساس المقررة بعد يومين.
يعقوب تيرنر خدمته في شرطة إسرائيل
في يوم الاثنين، 8 تشرين الأول/أكتوبر 1990، أُلقي وابل من الحجارة من منطقة الحرم القدسي باتجاه المصلين والزوار في ساحة البراق، وتم إخلاء نحو 20,000 شخص من المكان بعد إصابة عدد منهم. تعرض رجال الشرطة في الحرم للهجوم، وتم إخلاء مركز الشرطة هناك وأُضرمت فيه النيران. ردّت الشرطة على أعمال الشغب بإطلاق نار حي، مما أسفر عن مقتل 17 شخصًا من المتواجدين في الحرم. في ظهور تلفزيوني في اليوم التالي، ورغم الانتقادات الشديدة، أعلن تيرنر أنه يؤيد قرار الشرطة وإجراءاتها، لا سيما في ضوء الهجوم على المصلين في ساحة البراق من داخل الحرم، في سابقة هي الأولى منذ تحرير المدينة القديمة في حرب الأيام الستة.
منذ عام 2002، شغل تيرنر منصب رئيس الفرع الإسرائيلي للمنظمة الدولية للشرطة – IPA.