説明可能なAI
Permutation ImportanceはAIモデルごとの特徴量の重要度を計算する大局説明技術である。アーロン・フィッシャー(Aaron Fisher)らによって2018年に提案された技術で、要素をランダムに並べ替えてその誤差を計測することで、その要素がどの程度処理結果に寄与しているかを計測するPermutationという手法を用いている。
2010年代初頭の第三次AIブーム到来によりAIの利活用領域は多方面に広がり、自動運転車や病気診断など、影響の大きな、高い信頼性が求められる分野での利用も視野に入れられるようになってきた。一般的なソフトウェアと異なり、機械学習により条件やルールなどを学習させて処理結果を出力するAIでは、人の意思決定に関わる柔軟な対応が求められる複雑な業務に利用ができる反面、柔軟な処理を行うからこそ、その処理結果の根拠を明確に提示できないという課題を持っていた。こうした背景からAI分野において公平性、説明責任、透明性といった倫理性が求められるようになった。ホワイトハウスは2016年10月、米国人工知能研究開発戦略計画を発表し、これを受けてDARPAは翌4月にAI倫理・ガバナンスに関する研究Explainable Learnersプロジェクト(説明可能モデルと説明インタフェース)およびPsychological Model of Explanationプロジェクト(説明の心理学)に着手した。DARPAは、人類のパートナーとしてAIを理解し、信頼し、効果的に管理するために、AIが導き出す答えとその過程について説明可能であることが必要不可欠であるとした上で、それぞれの機械学習システムは動作の仕組みやその特徴(長所と短所)を人間が理解するための機能を備えているべきとして、2021年までにXAIの研究を比較検証フェーズまで完了させることを目標としている。