ذكاء اصطناعي قابل للتفسير
التاريخ والأساليب > نظام المحافظة على الدقة (TMS)

في الثمانينيات وحتى أوائل التسعينيات من القرن الماضي، وسعت أنظمة التحقق على الصحة من قدرات الاستدلال السببي وأنظمة الاستدلال المستندة إلى القواعد والمنطقية. ويتبع نظام التحقق من الصحة بشكل صريح خطوط التفكير البديلة، وتبريرات الاستنتاجات، وخطوط التفكير التي تؤدي إلى التناقضات، ممّا يسمح للتفكير المستقبلي بتجنب هذه النهايات المسدودة. ولتوفير التفسيرات، يتتبعون التفكير من الاستنتاجات إلى الافتراضات من خلال عمليات القواعد أو الاستدلال المنطقي، ممّا يسمح بإنشاء تفسيرات من خلال تتبع التفكير، فعلى سبيل المثال، يمكن للتفكير حل مشكلة قائمة على القواعد تتعلق بسقراط والتي تنتهي بالاستنتاج أنه توفي بسبب السم:
من خلال تتبع هيكل الاعتماد، يمكن لحل
بمجرد تتبع هيكل الاعتماد، يمكن لحل المشكلة بناء التفسير التالي: "مات سقراط لأنه كان قابل للموت وشرب السم، وجميع القابلين للموت يموتون عندما يشربون السم. وكان سقراط قابل للموت لأنه كان إنسانًا، وجميع البشر قابلون للموت. وشرب سقراط السم لأنه كان يحمل آراء مخالفة، وكانت الحكومة تتميز بالتحفظ، ويجب على أولئك الذين يحملون آراء مخالفة تحت حكومات تحفظية شرب السم".
في التسعينيات، بدأ الباحثون في دراسة ما إذا كان من الممكن استخراج القواعد غير المبرمجة يدويًا التي تولدها الشبكات العصبية المدربة بطريقة غير شفافة. سعى الباحثون في أنظمة الخبراء السريرية التي تستخدم الشبكات العصبية لدعم اتخاذ القرارات الطبية إلى تطوير تفسيرات ديناميكية تساعد على زيادة الثقة في استخدام هذه التقنيات في الممّارسة العملية. وفي العقد الثاني من القرن الحادي والعشرين، ربما أدت مخاوف الجمهور بشأن التحيز العنصري والتحيز الآخر في استخدام الذكاء الاصطناعي لاتخاذ قرارات الإدانة الجنائية وتحديد الجدارة الائتمانية إلى زيادة الطلب على الذكاء الاصطناعي الشفاف. نتيجة لذلك، يقوم العديد من الأكاديميين والمؤسسات بتطوير أدوات للمساعدة في اكتشاف التحيز في أنظمتهم.
أثار مارفن مينسكي وآخرون، مسألة أن الذكاء الاصطناعي يمكن أن يعمل كشكل من أشكال المراقبة، مع التحيزات المتأصلة في المراقبة، ممّا يشير إلى الذكاء الإنساني بوصفه طريقة لإنشاء ذكاء اصطناعي أكثر إنصافًا وتوازنًا.
تقنيات الذكاء الاصطناعي الحديثة المعقدة، مثل التعلم العميق والخوارزميات الوراثية، غير شفافة بشكل طبيعي. ولمعالجة هذه المشكلة، طوّرت أساليب لجعل النماذج الجديدة أكثر قابلية للتفسير. هذا يشمل "تقنية انتشار الأهمية الطبقية" وهي تقنية تستخدم لتحديد السمات التي تساهم بشكل أكبر في إخراج الشبكة العصبية. كما تشرح تقنيات أخرى بعض التنبؤات الخاصة التي تنفذ بواسطة نموذج الصندوق الأسود (غير الخطي)، وهو هدف يُشار إليه باسم "القابلية للتفسير المحلي". إن مجرد نقل مفاهيم القابلية للتفسير المحلي إلى سياق بعيد (حيث ينفذ طرف ثالث نموذج الصندوق الأسود).
كان هناك عمل على صنع نماذج الصندوق الزجاجي التي تكون أكثر شفافية للفحص. يتضمن ذلك أشجار القرار، وشبكات بايزية، ونماذج الإنحدار الخطية متفرقة وغيرها. وأسس مؤتمر الجمعية الأمريكية للحوسبة حول العدالة والمساءلة والشفافية (ACM FAccT) في عام 2018 لدراسة الشفافية والقدرة على الشرح في سياق الأنظمة الاجتماعية التقنية، والعديد منها يتضمن الذكاء الاصطناعي.
تسمح بعض التقنيات بتصوير الإدخالات التي يستجيب لها بيئة محاكاة النمذجة نيورون بشكل أكثر قوة. وقد وجدت العديد من المجموعات أنه يمكن تجميع نيورون في دوائر تؤدي وظائف يمكن للإنسان فهمها، وبعضها ينشأ بشكل موثوق عبر شبكات مختلفة دُربت بشكل مستقل.
هناك العديد من التقنيات لاستخراج تمثيلات مضغوطة للسمات من الإدخالات المعطاة، والتي يمكن تحليلها بواسطة التحليل العنقودي القياسي. وبدلاً من ذلك، يمكن تدريب الشبكات لإخراج تفسيرات لغوية لسلوكها، والتي يمكن فهمها مباشرة من الإنسان. يمكن أيضًا تفسير سلوك النموذج بالرجوع إلى بيانات التدريب، فعلى سبيل المثال، من خلال تقييم مدخلات التدريب التي أثرت أكثر على سلوك معين.