تحليل التمييز الخطي
تحليل التمييز الخطي هو تعميم لتحليل التمييز لفيشر وهو طريقة تستخدم في الإحصاء والتعرف على الأنماط وتعلم الآلة لإيجاد تركيبة خطية من الصفات التي تصنف أو تفصل صنفان أو أكثر من الأشياء أو الأحداث. التركيبة الناتجة يمكن أن تستخدم كمصنف خطي أو لتخفيض الأبعاد قبل عملية التصنيف اللاحقة (وهو الأمر الأكثر استخداما).
تحليل التمييز الخطي له ارتباط وثيق بتحليل التباين وتحليل الانحدار، حيث أنهم يحاولون التعبير عن متغير تابع معين كتركيبة خطية من مجموعة من الصفات أو القياسات الأخري. ومع ذلك فإن تحليل التباين يستخدم متغيرات مستقلة فئوية ومتغير تابع متصل بينما تحليل التمييز لديه متغيرات مستقلة متصلة ومتغير تابع فئوي ("على سبيل المثال" أسم الصنف). الانحدار اللوجستي والانحدار ذات وحدة احتمال هم أكثر شبها بتحليل التمييز الخطي مقارنة بتحليل التباين، حيث أنهم أيضا يشرحون متغير فئوي عن طريق قيم متغيرات مستقلة مستمرة. تلك الطرق الأخرى هي المفضلة في التطبيقات التي يكون من غير المقبول فيها افتراض أن المتغيرات المستقلة تتبع توزيع طبيعي وهو افتراض أساسي لطريقة تحليل التمييز الخطي.
تحليل التمييز الخطي أيضا له ارتباط وثيق بتحليل العنصر الرئيسي وتحليل العامل حيث أنهم يبحثون عن التراكيب الخطية من المتغيرات التي توضح البيانات بشكل أفضل. تحليل التمييز الخطي تحاول صراحة صياغة الاختلاف بين أصناف البيانات. من ناحية أخرى فإن تحليل العنصر الرئيسي لا تأخذ في أعتبارها أي اختلاف في الأصناف وتحليل العامل تبني تركيبة الصفات بناء على الاختلافات وليس التشابهات. تحليل التمييز يختلف أيضا عن تحليل العامل في أنه ليس طريقة ترابط، حيث أنه يجب الفصل بين المتغيرات المستقلة والمتغيرات التابعة.
يعمل تحليل التمييز الخطي بنجاح عندما تكون قياسات المتغيرات المستقلة لكل مشاهدة متصلة الكميات. عند التعامل مع متغيرات مستقلة فئوية فإن الأسلوب المكافئ هو تحليل التوافق المميز.
إذا اعتبرنا مجموعة المشاهدات formula_1 (تسمى أيضا الصفات أو الميزات أو المتغيرات أو القياسات) لكل عينة من كائن أو حدث ما لصنف معين يسمى "y "(تسمى مجموعة العينات مجموعة التدريب)، فإن عملية التصنيف تتمحور حول إيجاد متنبئ جيد للصنف "y" من أي عينة من نفس التوزيع (ليس بالضرورة أن تكون من مجموعة التدريب) اعتمادا على مجموعة المشاهدات formula_2 فقط.
يعتمد منهج تحليل التمييز الخطي لمواجهة هذه المشكلة على افتراض أن دالتا كثافة الاحتمال الشرطية formula_3 و formula_4 موزعتان توزيعا طبيعيا بمتوسط حسابي ومعامل تغاير formula_5 وformula_6 على التوالي. بموجب هذا الافتراض فإن الحل البايزي الأمثل يتمثل في التنبؤ بنقاط كأنها من الصنف الثاني إذا كان لوغاريتم نسب الترجيح دون حد فاصل معين يسمى T، حيث:
بدون أي افتراضات أخرى فإن المصنف الناتج يشار إليه على أنه تحليل تمييز تربيعي.
بدلا من ذلك فإن تحليل التمييز الخطي يفترض للتبسيط تساوي التباين (على سبيل المثال أن معاملات التغاير للصنفان متطابقة، لذلك فإن formula_8) وأن معاملات التغاير لديها درجة كاملة. في هذه الحالة فإنه يمكن حذف العديد من المقادير الجبرية من المعادلة:
ومعيار القرار السابق يصبح هو الحد الفاصل للضرب القياسي
لحد فاصل ثابت يسمى "c، حيث"
هذا يعني أن معيار أن يكون المدخل formula_2 في الصنف "y" هو ببساطة دالة من تلك التركيبة الخطية للمشاهدات المعروفة .
من المفيد عادة رؤية الاستنتاج في صيغة هندسية: معيار أن يكون formula_2 في الصنف "y" هو فقط دالة لإسقاط النقطة formula_2 في الفضاء متعدد الأبعاد على المتجه formula_18 (وبالتالي فإننا نهتم بهذا الاتجاه فقط). بعبارة أخرى تكون المشاهدات تابعة لـ "y" إذا كان formula_2 المقابل يقع في جانب معين من مستوى فوقي متعامد على formula_18. موقع المستوى يعرف بالحد الفاصل c.
يبحث تحليل التمييز القانوني عن المحاور ("ك" - 1 إحداثيات قانونية، "ك" هو عدد الأصناف) التي تفصل الأنواع بشكل أفضل. تلك الدوال الخطية غير مرتبطة وتعرف الفضاء الأمثل "ك" − 1 من خلال الأبعاد "ن" من البيانات التي تفصل المجموعات ك بشكل أفضل. أنظر في الأسفل “تحليل التمييز الخطي متعدد الأصناف” لمزيد من التفاصيل.
المصطلحات "التمييز الخطي لفيشر" و "تحليل التمييز الخطي" غالبا ما تستخدم بشكل متبادل، على الرغم من أن المقال الأصلي لفيشر في الحقيقة يصف نوع من التمييز مختلف قليلا، حيث أنه لم يفترض بعضا من افتراضات تحليل التمييز الخطي مثل التوزيع الطبيعي للأصناف أو تساوي تغايرها.
بافتراض أن صنفان من المشاهدات لديهما المتوسطان formula_21 ومعاملا التغاير formula_22. فإن التركيبة الخطية للصفات formula_23 سيكون لديها المتوسطات formula_24 ومعاملات التباين formula_25 حيث formula_26. عرف فيشر الفصل بين هذين التوزيعين بمعدل التباين بين الأصناف إلى التباين داخل الأصناف:
وهذا المقياس يعتبر مقياس لنسبة الإشارة للضجيج لعملية عنونة الصنف. ويمكن إظهار أن أقصى درجة فصل ممكنة تحدث عند
عندما توفى افتراضات تحليل التمييز الخطي فإن المعادلة السابقة تتساوى مع تحليل التمييز الخطي.
تأكد من ملاحظة أن المتجه formula_29 هو ناظم سطح المستوى الفائق المميز. على سبيل المثال، في مشكلة ثنائية الأبعاد فإن الخط الأفضل لفصل المجموعتان يكون عمودي على formula_29.
عموما، يتم أسقاط نقاط البيانات المراد تمييزها أو فصلها على المتجه formula_29 ثم يتم اختيار أفضل حد فاصل للبيانات من تحليل التوزيع على هذا المتجه فقط. لا توجد قاعدة عامة لتعيين الحد الفاصل. ومع ذلك، إذا كان أسقاط النقاط من كلا الصنفان يظهران نفس التوزيع تقريبا، فمن الخيارات الجيدة أن يكون الحد الفاصل بين أسقاطات المتوسطان formula_32 و formula_33. وفي هذه الحالة فإن المعامل c في شرط الحد الفاصل formula_12 يمكن إيجاده مباشرة باستخدام:
طريقة أوتسو هي طريقة قريبة من التمييز الخطي لفيشر، وقد تم عملها لتحويل بكسلات المدرج التكراري لصورة ذات تدرج رمادي إلى الأبيض والأسود وذلك من خلال اختيار حد فاصل أمثل للأبيض والأسود، هذا الحد يقلل التباين داخل الصنف ويعظم التباين بين الأصناف، وذلك داخل/بين التدرجات الرمادية المخصصة لأصناف البكسلات السوداء والبيضاء.
في حالة وجود أكثر من صنفين، فإن الطريقة المستخدمة لحساب تحليل التمييز لفيشر يمكن مدها لإيجاد الفضاء الجزئي الذي يمكن أن يحتوي على كل تغيرات الأصناف. يعود الفضل في هذا التعميم إلى ك. ر. راو. فبافتراض أن هناك عدد C أصناف، وكل صنف له الوسط الحسابي formula_36 ونفس معامل التغاير formula_37. فإن معامل التبعثر بين التغيرات في الأصناف يمكن الحصول عليه بواسطة معامل تغاير العينة لمتوسطات الأصناف
حيث formula_39 هو الوسط الحسابي لمتوسطات الأصناف. وفي هذه الحالة يمكن الحصول على معامل الفصل على المتجه formula_18 من خلال
وهذا يعني أنه عندما يكون المتجه formula_18 متجه ذاتي من formula_43 فإن معامل الفصل سيكون مساوي للقيم الذاتية المناظرة له.
إذا كانت formula_43 قابلة للتقطير فإن مستوى التشتت بين الصفات سيتضمن في فضاء جزئي يمتد عن طريق المتجهات الذاتية المناظرة لأكبر قيمة ذاتية لـ "C"−1 (حيث formula_45 هو من درجة "C"−1 على الأكثر). تلك المتجهات الذاتية تستخدم بشكل رئيسي لتقليل الصفات، كما في طريقة تحليل العنصر الرئيسي. المتجهات الذاتية المناظرة للقيم الذاتية الأصغر سوف تميل لأن تكون أكثر حساسية للاختيار الدقيق لبيانات التدريب، وفي الغالب من الضروري استخدام تسوية كما سيتم وصف ذلك في القسم التالي.
إذا كان المطلوب هو التصنيف بدلا من خفض الأبعاد، فهناك العديد من الطرق البديلة المتاحة. على سبيل المثال، يمكن تقسيم الأصناف، واستخدام تمييز فيشر القياسي أو تحليل التمييز الخطي لتصنيف كل جزء. من الأمثلة المشهورة على ذلك هو "واحد ضد الباقي" حيث يتم وضع نقاط صنف معين في مجموعة واحدة، وكل النقاط الأخرى في مجموعة ثانية، ثم يتم تطبيق تحليل التمييز الخطي. سوف ينتج عن ذلك عدد C مصنفات، والتي يتم دمج نتائجها معا. طريقة مشهورة أخرى هي التصنيف الزوجي، حيث يتم عمل مصنف كل زوج من الأصناف (ينتج "C"("C" − 1)/2 مصنفا)، مع دمج المصنفات الفردية لإنتاج المصنف النهائي.
التنفيذ المعتاد لتحليل التمييز الخطي يتطلب أن تكون كل العينات متاحة مسبقاً. ومع ذلك هناك حالات لا تكون البيانات بأكملها متاحة فيها ويتم قراءة البيانات المدخلة بشكل متدفق. في هذه الحالة من المفضل لعملية استخراج الصفات بواسطة تحليل التمييز الخطي أن تكون قادرة على تحديث الصفات المحسوبة عند قراءة بيانات كل عينة جديدة بدون إعادة تنفيذ الخوارزمية على كل البيانات. على سبيل المثال في كثير من تطبيقات الوقت الحقيقي مثل الروبوتات النقالة أو التعرف على الوجوه الفوري يكون من المهم تحديث الصفات المستخرجة بمجرد الحصول على قراءات جديدة. طريقة استخراج الصفات اعتمادا على تحليل التمييز الخطي التي يمكنها تحديث الصفات بمجرد قراءة بيانات عينات جديدة تسمى "خوارزمية تحليل تمييز خطي تزايدي"، وهذه الفكرة قد تم دراستها على نطاق واسع خلال العقدين الماضيين. قدم كَتِرجي ورويتشودهاري خوارزمية تحليل تمييز خطي تزايدي ذاتية التنظيم لتحديث الصفات. وفي عمل أخر قدم دِمير وأوزمِهمِت خوارزميات تعلم محلية فورية لتحديث الصفات تزايدياً باستخدام تصحيح الخطأ وقواعد تعلم هِبيان. لاحقا اشتق ألياري وآخرون خوارزميات تزايدية سريعة لتحديث الصفات عند قراءة بيانات عينات جديدة.
عملياً متوسطات ومعاملات التغاير الصنف غير معروفة. ومع ذلك يمكن تقديرهم من مجموعة التدريب. يمكن استخدام أياً من تقدير الاحتمال الأقصى أو التقدير البعدي الأقصى بدلا من القيمة الفعلية في المعادلات السابقة. على الرغم من أن تقدير معامل التغاير يمكن اعتباره أمثل بشكلاً ما، لكن ذلك لا يعني أن التمييز الناتج من استبدال هذه القيم سيكون أمثل بأي شكل من الأشكال، حتى مع صحة الافتراض بأن الأصناف موزعة طبيعياً.
يحدث تعقيد أخر في تطبيق تحليل التمييز الخطي وتمييز فيشر على البيانات الحقيقية عندما يتجاوز عدد القياسات لكل عينة عدد العينات لكل صنف. في هذه الحالة فإن تقديرات معامل التغاير ليس لديها درجة كاملة، ولذلك لا يمكن عكسها. هناك العديد من الطرق للتعامل من هذه المشكلة. أحدها هو استخدام معكوس وهمي بدلا من معكوس المصفوفة المعتاد في المعادلة السابقة. ومع ذلك يمكن تحقيق توازن رقمي أفضل بإسقاط المشكلة أولا على فضاء جزئي بامتداد formula_45. استراتيجية أخرى للتعامل مع صغر حجم العينة هي استخدام مقدر انكماش لمصفوفة معامل التغاير والتي يمكن التعبير عنها رياضيا بهذه الصيغة:
حيث formula_48 هو مصفوفة الوحدة و formula_49 هو "معامل كثافة الانكماش" أو "معامل التسوية". وهذا يقود إلى إطار تحليل التمييز المقنن أو تحليل التمييز الانكماشي.
أيضا في كثير من الحالات العملية لا يكون التمييز الخطي مناسب. تحليل التمييز الخطي و تمييز فيشر يمكن تطويره للاستخدام في عملية التصنيف الغير خطي عن طريق خدعة النواة. وفيها يتم تحويل القراءات الأصلية بشكل فعال إلى فضاء غير خطي ذات بعد أعلى. التصنيف الخطي في هذا الفضاء الغير خطي يكون مساوي للتصنيف الغير خطي في الفضاء الأصلي. أكثر مثال مستخدم لهذا هو تمييز فيشر ذات النواة.
تحليل التمييز الخطي يمكن تعميمها لعمل تحليل تمييز متعدد (أكثر من صنفين)، حيث يصبح "c" متغير فئوي له "N" حالات ممكنة، بدلا من أثنين. بالقياس على ذلك إذا كانت كثافات شرط الصنف formula_50 طبيعية بمعدلات تغاير مشتركة فإن الإحصائية الكافية لـ formula_51 تكون قيم "N" إسقاطات (والتي تكون الفضاء الجزئي الممتد بـ "N" متوسطات) محولة تآلفيا بمعكوس مصفوفة معامل التغاير. هذه الإسقاطات يمكن إيجادها بحل مشكلة القيم الذاتية المعممة، حيث يكون البسط مصفوفة معامل التغاير والمكونة عن طريق معاملة المتوسطات كعينات، ويكون المقام مصفوفة معامل التغاير المشترك. أنظر "تحليل التمييز الخطي متعدد الأصناف" في الأعلى لمزيد من التفاصيل.
بالإضافة إلى الأمثلة التالية فإن تحليل التمييز الخطي يستخدم في التموضع وإدارة المنتج.
كان تحليل التمييز الخطي أول طريقة إحصائية تم تطبيقها في التنبأ بالأفلاس (بالأعتماد على النسب المحاسبية والمتغيرات المالية الآخرى) لتقديم تفسير منهجي لدخول الشركات في الإفلاس مقابل النجاه منه. بالرغم من الصعوبات المتمثلة في عدم التوافق المعروف بين النسب المحاسبية وافتراضية التوزيع الطبيعي لتحليل التمييز الخطي فإن نموذج عام 1968 لإدوارد ألتمان ما زال من النماذج المفضلة في التطبيقات العملية.
يتم تمثيل كل وجه عند التعرف على الوجوه الحاسوبي بعدد كبير من البكسلات. يستخدم هنا تحليل التمييز الخطي بشكل رئيسي لتقليل عدد الصفات ليصبح التحكم بها أسهل قبل عملية التصنيف. كل بعد جديد هو تركيبة خطية من البكسلات، والتي تمثل قالب. التركيبات الخطية التي تم الحصول عليها باستخدام التمييز الخطي لفيشر تسمى "وجوه فيشر"، بينما تلك التي تم الحصول عليها باستخدام تحليل العنصر الرئيسي تسمى "الوجوه الذاتية".
في التسويق، كان تحليل التمييز يستخدم فيما سبق لتحديد العوامل التي تميز الأنواع المختلفة من العملاء والمنتجات على أساس الأستبيانات أو طرق جمع المعلومات الأخرى. يستخدم حاليا الانحدار اللوجستي وطرق أخرى
بشكل أكثر شيوعا.
التطبيق الرئيسي لتحليل التمييز في الطب هو تخمين الحالة الحرجة للمريض والإنذار بنتيجة المرض. على سبيل المثال، أثناء التحليل الإستعادي للأحداث تم تقسيم المرضى إلى مجموعات بناء على خطورة المرض (بسيط ومتوسط وخطير). ثم تم دراسة نتائج التحاليل المعملية والسريرية بغرض إكتشاف المتغيرات المختلفة إحصائيا في المجموعات قيد الدراسة. وباستخدام تلك المتغيرات تم بناء دوال التمييز والتي تساعد في تصنيف الأمراض بشكل فعال للمرضى المستقبليين إلى بسيط ومتوسط وخطير.
تستخدم مفاهيم مشابهة في علم الأحياء بهدف تصنيف وتعريف المجموعات المختلفة للكائنات الحية. على سبيل المثال لتعريف التنميط العاثوي للسلمونيلا الملهبة للأمعاء بالأعتماد على تحويل فورييه لطيف الأشعة تحت الحمراء، أو لإكتشاف المصدر الحيواني للإشريكية القولونية بدراسة عوامل ضراوتها، إلخ.
يمكن استخدام تحليل التمييز لفصل مناطق التغير. على سبيل المثال، عند اتاحة البيانات المختلفة لمناطق متباينة فإن التحليل التمييز يمكنه إكتشاف الأنماط داخل البيانات وتصنيفها بفاعلية.