ذكاء اصطناعي قابل للتفسير  الذكاء الاصطناعي القابل للتفسير ، أو الذكاء الاصطناعي المُفَسَّر، أو تعلم الآلة القابل للتفسير ، هو الذكاء الاصطناعي الذي يمكن للبشر فهم المنطق والأسباب وراء القرارات والتنبؤات التي يتخذها. وهذا الفهم يتنافى مع مفهوم الصندوق الأسود في تعلّم الآلة، حيث لا يستطيع حتى مصمّمو الذكاء الاصطناعي تفسير سبب وصول الذكاء الاصطناعي لقرار معيّن.  ويهدف الذكاء الاصطناعي القابل للتفسير في مساعدة مستخدمي الأنظمة المدعومة بالذكاء الاصطناعي على الأداء بشكل أفضل من خلال تحسين فهمهم لطريقة تفكير تلك الأنظمة.، وقد يكون الذكاء الاصطناعي القابل للتفسيرتنفيذًا . وحتى إذا لم يكن هناك حق قانوني أو متطلبات تنظيمية ممّاثلة، يمكن للذكاء الاصطناعي المُفسر تحسين تجربة المستخدم للمنتج أو الخدمة عن طريق اكساب المستخدمين النهائيين الثقة في أن الذكاء الاصطناعي يتخذ قرارات جيدة. كما يهدف الذكاء الاصطناعي القابل للتفسير إلى شرح ما نُفذ وما يُفعل حاليًا، وما سوف ينفذ بعد ذلك، والكشف عن المعلومات التي تستند إليها هذه الإجراءات. وهذا يجعل من الممكن تأكيد المعرفة الموجودة، لتحدي المعرفة الحالية، وتوليد افتراضات جديدة.  يمكن تصنيف خوارزميات تعلّم الآلة (ML) المستخدمة في الذكاء الاصطناعي إلى نماذج بيضاء أو صناديق سوداء. وتوفر النماذج البيضاء نتائج يمكن أن يفهمها الخبراء في المجال، بينما تُعد نماذج الصناديق السوداء صعبة للغاية في التفسير، ولا يمكن فهمها حتى من قبل الخبراء في المجال. وتتبع خوارزميات الذكاء الاصطناعي المفسّر ثلاثة مبادئ وهي الشفافية والتفسيرية والتوضيحية. ويكون النموذج شفافًا "إذا كان بإمكان مصمم النهج وصف العمليات التي تستخرج معلمات النموذج من بيانات التدريب وتولد العلامات من بيانات الاختبار وتوضيح دوافعها". أما التفسيرية فهي تصف إمكانية فهم نموذج تعلّم الآلة وتقديم أساس اتخاذ القرارات بطريقة يمكن للبشر فهمها. التوضيحية هي مفهوم مهم في الذكاء الاصطناعي وتعلم الآلة، وتشير إلى قدرة على تقديم تفسيرات قابلة للفهم لقراراتها أو أفعالها، إلا أنه لا يتوفر تعريف موحد لما يعنيه بالضبط أو كيفية تطبيق. أحد الاحتمالات هو: "مجموعة الميزات في المجال التفسيري التي أسهمت في إنتاج القرار (مثل التصنيف أو الانحدار) لمثال معين". إذا أُفترض أن الخوارزميات تفي بتلك المبادئ، فإنها توفر أساسًا لتبرير القرارات وتتبعها، وبالتالي يمكن التحقق منها وتحسين الخوارزميات واستكشاف حقائق جديدة.  يمكن في بعض الأحيان أيضًا تحقيق نتيجة دقيقة عالية باستخدام خوارزمية تعلم الآلة في اختبار الصندوق الأبيض وقابلة للتفسير. وهذا مهم خصوصاً في مجالات محددّة مثل الطب والدفاع والمالية والقانون، حيث من الحيوي فهم القرارات وبناء الثقة في الخوارزميات. يقول العديد من الباحثين إن الطريقة المستقبلية، على الأقل بالنسبة لتعلّم الآلة المشرف عليه، هي التحليل الرمزي، حيث تبحث الخوارزمية في مساحة التعابير الرياضية لإيجاد النموذج الذي يناسب بشكل أفضل مجموعة البيانات المعطاة.  تقوم أنظمة الذكاء الاصطناعي بتحسين السلوك لتحقيق هدف رياضي مُحدد يختاره مصممو النظام. ويمكن للذكاء الاصطناعي أن يتعلم قواعد عامة مفيدة من مجموعة الاختبار، مثل "التقييمات التي تحتوي على كلمة 'فظيع' عادة ما تكون سلبية". ومع ذلك، قد يتعلم أيضًا قواعد غير مناسبة، مثل "التقييمات التي تحتوي على 'دانيال داي لويس' عادة ما تكون إيجابية"؛ ويمكن أن تكون هذه القواعد غير مرغوبة إذا كانت عرضة للفشل في التعميم خارج مجموعة التدريب أو إذا اعتبر الناس تلك القاعدة "غشًا" أو "غير عادلة". كما يمكن للإنسان مراجعة القواعد في الذكاء الاصطناعي القابل للتفسير للحصول على فكرة عن مدى احتمالية تعميم النظام على البيانات الحقيقية في المستقبل خارج مجموعة الاختبار.  التعاون بين الوكلاء، في هذه حالة الخوارزميات والبشر يعتمد على الثقة، فإذا كان البشر سيقبلون الوصفات الخوارزمية، فيجب أن يثقوا بها. والنقص في صياغة معايير الثقة يشكل عائقًا أمام النهج التحسيني المباشر. الشفافية والتفسيرية والتوضيحية هي أهداف وسيطة على الطريق نحو هذه معايير الثقة الأكثر شمولًا. وهذا مهم في الطب على وجه الخصوص، وخاصة في أنظمة دعم القرار السريري، حيث يجب أن يكون المهنيون الطبيون قادرين على فهم كيفية ولماذا أتخذ قرار قائم على الآلة من أجل الثقة في القرار وتعزيز عملية صنع قراراتهم.  قد تتعلم أنظمة الذكاء الاصطناعي في بعض الأحيان حيلاً غير مرغوب فيها تؤدي بشكل مثالي لتحقيق الأهداف المبرمجة مسبقًا في بيانات التدريب، ولكنها لا تعكس الرغبات الضمنية الأكثر تعقيدًا لمصممي النظام البشر أو الكاملة لتعقيدات بيانات المجال. على سبيل المثال، في عام 2017، تعلم نظام مهمته التعرف على الصورة "الغش" عن طريق البحث عن علامة حقوق النشر التي ارتبطت عن طريق الصدفة بصور الخيول، بدلاً من تعلم كيفية التحقق ممّا إذا كانت الصورة تصور فعلًا حصانًا. في نظام آخر في عام 2017، تعلمت نظام الذكاء الاصطناعي الذي يعتمد على التعلم الإشرافي والمكلف بالإمساك بالعناصر في عالم افتراضي، الغش عن طريق وضع محركه بين الكائن والمشاهد بطريقة تجعله يبدو كما لو كان يحتجز الكائن على الرغم من عدم احتجازه بالفعل.  أحد مشاريع الشفافية، هو برنامج داربا الذكاء الاصطناعي القابل للتفسير، الذي يهدف إلى إنتاج نماذج "صندوق زجاجي" يمكن تفسيرها "" دون التضحية بأداء التعلم الآلي بشكل كبير. إذ يمكن للمستخدمين البشر في هذا النظام فهم الإدراك الذي يتمتع به الذكاء الاصطناعي (في الوقت الحقيقي وبعد حدوث الحدث)، ويمكنهم تحديد ما إذا كانوا يثقون بالذكاء الاصطناعي أم لا. التطبيقات الأخرى للذكاء الاصطناعي القابل للتفسير هي استخراج المعرفة من نماذج الصندوق الأسود ومقارنات النماذج. يستخدم مصطلح "الصندوق الزجاجي" أيضًا لوصف الأدوات التي تراقب مدخلات ومخرجات النظام، بهدف التحقق من التزام النظام بالقيم الأخلاقية والاجتماعية القانونية والتي تنتج تفسيرات قائمة على القيمة. يستخدم المصطلح أيضًا لتسمية المساعد الصوتي الذي ينتج عبارات غير واقعية بوصفها تفسيرات.  من السبعينيات إلى تسعينيات القرن الماضي، يمكن لأنظمة الذكاء الاصطناعي الرمزي، مثل MYCIN، GUIDON، SOPHIE، وPROTOS أن تمثل وتفسر وتشرح أسبابها للتشخيص والتعليمي، أو التعلم الآلي (التعلم القائم على الشرح). إذ يمكن لنظام MYCIN، الذي طوّر في أوائل السبعينيات كنموذج بحثي أولي لتشخيص عدوى تجرثم الدم في مجرى الدم، أن يفسر أي من قواعده المشفرة يدويًا التي ساهمت في التشخيص في حالة معينة. كما أدى البحث في أنظمة التدريس الذكية إلى تطوير أنظمة مثل SOPHIE الذي يمكن أن يعمل "كخبير مفصل"، ويشرح استراتيجية حل المشكلات على مستوى يمكن للطالب فهمه، حتى يعرف الإجراء الذي يجب اتخاذه بعد ذلك. على سبيل المثال، ويمكن أن يشرح نظام SOPHIE المنطق النوعي وراء استكشاف الأخطاء وإصلاحها في الإلكترونيات، على الرغم من أنها اعتمدت في النهاية على محاكي الدائرة برنامج سبايس. وبالمثل، أضاف نظام GUIDON قواعد البرنامج التعليمي لتكملة قواعد مستوى المجال الخاصة بـنظام MYCIN حتى يتمكن من شرح استراتيجية التشخيص الطبي. ويعتمد النهج الرمزي لتعلم الآلة، وخاصة تلك التي تعتمد على التعلم القائم على التفسير، مثل نظام PROTOS، بشكل صريح على تمثيل التفسيرات، سواء لشرح أفعالهم أو لاكتساب معرفة جديدة.  في الثمانينيات وحتى أوائل التسعينيات من القرن الماضي، وسعت من قدرات الاستدلال السببي وأنظمة الاستدلال المستندة إلى القواعد والمنطقية. ويتبع نظام التحقق من الصحة بشكل صريح خطوط التفكير البديلة، وتبريرات الاستنتاجات، وخطوط التفكير التي تؤدي إلى التناقضات، ممّا يسمح للتفكير المستقبلي بتجنب هذه النهايات المسدودة. ولتوفير التفسيرات، يتتبعون التفكير من الاستنتاجات إلى الافتراضات من خلال عمليات القواعد أو الاستدلال المنطقي، ممّا يسمح بإنشاء تفسيرات من خلال تتبع التفكير، فعلى سبيل المثال، يمكن للتفكير حل مشكلة قائمة على القواعد تتعلق بسقراط والتي تنتهي بالاستنتاج أنه توفي بسبب السم: "من خلال تتبع هيكل الاعتماد، يمكن لحل" "بمجرد تتبع هيكل الاعتماد، يمكن لحل المشكلة بناء التفسير التالي: "مات سقراط لأنه كان قابل للموت وشرب السم، وجميع القابلين للموت يموتون عندما يشربون السم. وكان سقراط قابل للموت لأنه كان إنسانًا، وجميع البشر قابلون للموت. وشرب سقراط السم لأنه كان يحمل آراء مخالفة، وكانت الحكومة تتميز بالتحفظ، ويجب على أولئك الذين يحملون آراء مخالفة تحت حكومات تحفظية شرب السم"."في التسعينيات، بدأ الباحثون في دراسة ما إذا كان من الممكن استخراج القواعد غير المبرمجة يدويًا التي تولدها الشبكات العصبية المدربة بطريقة غير شفافة. سعى الباحثون في أنظمة الخبراء السريرية التي تستخدم الشبكات العصبية لدعم اتخاذ القرارات الطبية إلى تطوير تفسيرات ديناميكية تساعد على زيادة الثقة في استخدام هذه التقنيات في الممّارسة العملية. وفي العقد الثاني من القرن الحادي والعشرين، ربما أدت مخاوف الجمهور بشأن التحيز العنصري والتحيز الآخر في استخدام الذكاء الاصطناعي لاتخاذ قرارات الإدانة الجنائية وتحديد الجدارة الائتمانية إلى زيادة الطلب على الذكاء الاصطناعي الشفاف. نتيجة لذلك، يقوم العديد من الأكاديميين والمؤسسات بتطوير أدوات للمساعدة في اكتشاف التحيز في أنظمتهم.  أثار مارفن مينسكي وآخرون، مسألة أن الذكاء الاصطناعي يمكن أن يعمل كشكل من أشكال المراقبة، مع التحيزات المتأصلة في المراقبة، ممّا يشير إلى الذكاء الإنساني بوصفه طريقة لإنشاء ذكاء اصطناعي أكثر إنصافًا وتوازنًا.  تقنيات الذكاء الاصطناعي الحديثة المعقدة، مثل التعلم العميق والخوارزميات الوراثية، غير شفافة بشكل طبيعي. ولمعالجة هذه المشكلة، طوّرت أساليب لجعل النماذج الجديدة أكثر قابلية للتفسير. هذا يشمل "تقنية انتشار الأهمية الطبقية" وهي تقنية تستخدم لتحديد السمات التي تساهم بشكل أكبر في إخراج الشبكة العصبية. كما تشرح تقنيات أخرى بعض التنبؤات الخاصة التي تنفذ بواسطة نموذج الصندوق الأسود (غير الخطي)، وهو هدف يُشار إليه باسم "القابلية للتفسير المحلي". إن مجرد نقل مفاهيم القابلية للتفسير المحلي إلى سياق بعيد (حيث ينفذ طرف ثالث نموذج الصندوق الأسود).  كان هناك عمل على صنع نماذج الصندوق الزجاجي التي تكون أكثر شفافية للفحص. يتضمن ذلك أشجار القرار، وشبكات بايزية، ونماذج الإنحدار الخطية متفرقة وغيرها. وأسس مؤتمر الجمعية الأمريكية للحوسبة حول العدالة والمساءلة والشفافية (ACM FAccT) في عام 2018 لدراسة الشفافية والقدرة على الشرح في سياق الأنظمة الاجتماعية التقنية، والعديد منها يتضمن الذكاء الاصطناعي.  تسمح بعض التقنيات بتصوير الإدخالات التي يستجيب لها بيئة محاكاة النمذجة بشكل أكثر قوة. وقد وجدت العديد من المجموعات أنه يمكن تجميع في دوائر تؤدي وظائف يمكن للإنسان فهمها، وبعضها ينشأ بشكل موثوق عبر شبكات مختلفة دُربت بشكل مستقل.  هناك العديد من التقنيات لاستخراج تمثيلات مضغوطة للسمات من الإدخالات المعطاة، والتي يمكن تحليلها بواسطة التحليل العنقودي القياسي. وبدلاً من ذلك، يمكن تدريب الشبكات لإخراج تفسيرات لغوية لسلوكها، والتي يمكن فهمها مباشرة من الإنسان. يمكن أيضًا تفسير سلوك النموذج بالرجوع إلى بيانات التدريب، فعلى سبيل المثال، من خلال تقييم مدخلات التدريب التي أثرت أكثر على سلوك معين.  بما أن الجهات الرسمية والمستخدمين العامين يعتمدون على نظم الذكاء الاصطناعي الديناميكية، فإنه يتعين توفير المزيد من المساءلة الواضحة للعمليات القرارية التلقائية لضمان الثقة والشفافية. وقد خُصص أول مؤتمر عالمي لهذا الاختصاص الناشئ في ورشة عمل الذكاء الاصطناعي: تفسير الذكاء الاصطناعي (الذكاء الاصطناعي القابل للتفسير)، والذي عقد في عام 2017.  قدَّم الاتحاد الأوروبي في حقوق حماية البيانات العامة للتعامل مع المشكلات المحتملة الناجمة عن الأنظمة الأساسية المتزايدة في الأهمية. وبدأ تنفيذ التنظيم في عام 2018. ومع ذلك، يغطي هذا الحق الجانب المحلي للتفسير فقط. وفي الولايات المتحدة، تتطلب شركات التأمين القدرة على شرح قرارات التغطية والأسعار الخاصة بهم. وفي فرنسا، يمنح قانون "لوي بور يون ريبوبليك نوميريك" الأفراد والمنظمات الحق في طلب واستلام المعلومات المتعلقة بتنفيذ الأنظمة الأساسية التي تعالج البيانات المتعلقة بهم، ويهدف هذا القانون إلى زيادة الشفافية وحماية الخصوصية في مجال التكنولوجيا الرقمية.  على الرغم من الجهود المبذولة لزيادة قابلية تفسير نماذج الذكاء الاصطناعي، فإنها لا تزال تعاني من عدة قيود.  عمن خلال جعل نظام الذكاء الاصطناعي أكثر قابلية للشرح، نكشف أيضًا عن المزيد من عملياته الداخلية. على سبيل المثال، تقنية الشرح التي تعتمد على أهمية الميزات تحدد الميزات أو المتغيرات الأكثر أهمية في تحديد نتيجة النموذج، بينما تقنية العينات المؤثرة تحدد العينات التدريبية الأكثر تأثيراً في تحديد النتيجة، بالنظر إلى المدخل المحدد. ويمكن للأطراف المعارضة الاستفادة من هذه المعرفة.  على سبيل المثال، يمكن لشركات المنافسة تكرار جوانب من النظام الأصلي للذكاء الاصطناعي في منتجاتهم الخاصة، ممّا يقلل من الميزة التنافسية. كما أن نظام الذكاء الاصطناعي القابل للتفسير مُعرض أيضًا للتلاعب، أي التأثير بطريقة تعرقل الغرض المقصود به. وقدّمت دراسة مثالًا عن نظام الشرطة التنبؤي؛ ففي هذه الحالة، أولئك الذين يمكنهم بشكل محتمل "اللعب" بالنظام هم المجرمون الذين يخضعون لقرارات النظام. وفي هذه الدراسة، ناقش مطوّرو النظام مسألة العصابات الإجرامية التي تحاول الحصول على جوازات سفر بشكل غير قانوني، وأعربوا عن مخاوفهم من أنه إذا أعطيت لهؤلاء العصابات فكرة عن العوامل التي قد تسبب إنذاراً في عملية إصدار الجوازات، فسيكون بإمكانهم "إرسال خنازير غينيا" [تعبير يستخدم لوصف إرسال أشخاص أو كائنات لاختبار شيء ما] وفي النهاية يعرفون الثغرة التي تسمح لهم "الحصول بشكل موثوق على جوازات السفر أمام أعين السلطات".  ثمة عائق أساسي أمام جعل أنظمة الذكاء الاصطناعي قابلة للتفسير، وهو التعقيد التقني لمثل هذه الأنظمة. إذ غالبًا ما يفتقر المستخدمون النهائيون إلى المعرفة اللازمة لفهم البرامج من أي نوع. وتعتمد الطرق المستخدمة حاليًا لشرح الذكاء الاصطناعي بشكل رئيسي على الجوانب التقنية، بحيث تُوجه إلى مهندسي التعلم الآلي لأغراض تصحيح الأخطاء، بدلاً من المستخدمين النهائيين الذين يتأثرون في النهاية بالنظام. وبالتالي يتسبب "الفجوة بين العملية التفسيرية والهدف من الشفافية". وتشمل الحلول المقترحة لمعالجة مشكلة التعقيد التقني؛ إما تعزيز تعليم الترميز لعامة الناس بحيث تكون التفسيرات التقنية في متناول المستخدمين النهائيين، أو تقديم تفسيرات في المصطلحات للأشخاص العاديين.  يجب أن تتجنب الحلول الإفراط في التبسيط. من المهم العثور على توازن بين الدقة - أي مدى انعكاس الشرح لعملية نظام الذكاء الاصطناعي بدقة - والقابلية للتفسير- ومدى تفهم المستخدمون النهائيون للعملية. هذا توازن صعب الإيجاد، لأن تعقيد التعلم الآلي يجعل من الصعب على حتى مهندسي التعلم الآلي فهمه بشكل كامل، ناهيك عن غير الخبراء.  الهدف من جعل نظم الذكاء الاصطناعي قابلة للتفسير للمستخدمين النهائيين هو زيادة الثقة في هذه الأنظمة، بما في ذلك "معالجة المخاوف المتعلقة بعدم العدالة والتأثيرات التمييزية". ومع ذلك، حتى في حالة فهم المستخدمين النهائيين لنظام الذكاء الاصطناعي بشكل جيد، فإن ذلك لا يعني بالضرورة زيادة ثقتهم في النظام. ففي إحدى الدراسات، قُدمت تفسيرات من نوع الصندوق الأبيض والصندوق الأسود، وتفسيرات ثابتة وتفاعلية لأنظمة الذكاء الاصطناعي. وعلى الرغم من أن هذه التفسيرات أسهمت في زيادة الفهم الذاتي والموضوعي، إلا أنها لم تؤدي إلى زيادة مستوى الثقة في النظام، حيث بقيت مستويات الشك والتحفظ كما هي.  كانت هذه النتيجة صحيحة خاصة في القرارات التي تؤثر بشكل كبير على المستخدم النهائي، مثل قبول الدراسات العليا. حيث وجد المشاركون أنه من الصعب الثقة في الخوارزميات نظرًا لصرامتها وعدم مرونتها، بالمقارنة مع صناع القرار البشر، حيث يمكن للبشر أن يأخذوا في الاعتبار الحالات الاستثنائية والاعتراضات على القرار الأولي بدلاً من التمسك بمجموعة من القواعد بشكل جامد. وفي هذه الحالات، فإن القابلية للتفسير لن تؤدي بالضرورة إلى قبول المستخدمين النهائيين لاستخدام خوارزميات صنع القرارات، سواءً كان ذلك يعني اللجوء إلى طريقة أخرى لزيادة الثقة والقبول لخوارزميات صنع القرارات، أو التساؤل عن الحاجة إلى الاعتماد بشكل حصري على نظام الذكاء الاصطناعي لاتخاذ قرارات مؤثرة في المقام الأول.  يقترح بعض العلماء النظر إلى الذكاء الاصطناعي القابل للتفسير على أنه هدف ثانوي بعد فعالية الذكاء الاصطناعي، وأن تشجيع تطوير الذكاء الاصطناعي القابل للتفسير (تفسيرية الذكاء الاصطناعي) الحصري قد يقتصر على وظائف الذكاء الاصطناعي بشكل أوسع. وتبنى انتقادات الذكاء الاصطناعي القابل للتفسير على المفاهيم المتقدمة للاستدلال الآلي والتجريبي من الطب القائم على الأدلة للإشارة إلى أنه يمكن التحقق من صحة تقنيات الذكاء الاصطناعي سريريًا حتى عندما يتعذر فهم وظيفتها من مشغليها.  علاوة على ذلك، ركزت أنظمة الذكاء الاصطناعي القابل للتفسير بشكل أساسي على جعل أنظمة الذكاء الاصطناعي مفهومة لممّارسي الذكاء الاصطناعي بدلاً من المستخدمين النهائيين، وكانت نتائجها على تصورات المستخدم لهذه الأنظمة. ويدعو بعض الباحثين إلى استخدام نماذج التعلم الآلي القابلة للتفسير بشكل طبيعي، بدلاً من استخدام التفسيرات التي تنفذ بعد التعلم ويُنشئ فيها نموذج ثانوي لشرح النموذج الأول. يرجع ذلك جزئيًا إلى أن نماذج التفسير الثانوية تزيد من التعقيد في مسارات القرار، وجزئيًا لأنه غالبًا ما يكون غير واضح كيف يمكن للتفسير الثانوي أن يحاكي بدقة الحسابات التي تنفذها نموذج منفصل بالكامل. وهناك وجهة نظر أخرى تقول إن الأهم هو أن تنجز المهمة المحددة بالتفسير، وإن كان التفسير قبل التعلم أو بعده لا يهم بشكل كبير. فإذا كانت طريقة التفسير الثانوية تساعد الطبيب على تشخيص السرطان بشكل أفضل، فإن مدى صحة أو خطأ التفسير الثانوي ليس بالأهمية الأساسية.  أهداف الذكاء الاصطناعي القابل للتفسير تشكل نوعاً من ، والذي سيصبح أقل فعالية كلما زادت نماذج الذكاء الاصطناعي في عدد معلماتها. وبالإضافة إلى عوامل أخرى، يؤدي هذا إلى وجود حدّ نظري لقابلية للتفسير. وفي الواقع، قد يصعب مع مرور الوقت فهم النماذج الأكثر تعقيدًا وعدم القدرة على إعطاء تفسيرات شاملة لسلوكها.