「AI ガバナンスに資する AI 監査の実践に向けて」
日程：2023 年 11 月 13 日（月）時間：10:00-12:00
会場：オンライン(Zoom)
主催：東京大学未来ビジョン研究センター

１

イベント概要
近年、AI(人工知能)技術の急速な発展に伴い、AI サービスは医療、金融、自動運転車、セキュリティ、教育などの多くの分野で活用されています。また対話型生成 AI の登場で、AI がより身近に使われるようになりました。そのため、AI の正確性、倫理的な側面、および個人情報の保護などの社会的な問題に対処する必要があります。AI 監査は、これらの懸念に対処し、安全性や透明性、信頼性を確保するための手段となります。
AI は複雑で非透明なアルゴリズムに基づいて動作しています。AI 監査は、アルゴリズムの透明性を高め、バイアスやエラーを特定するだけでなく、AI サービスが利用されている状況を正しく理解、認識したうえで修正するための重要な手段です。しかし一方で、その複雑さや専門性の高さ、関係者の多様さゆえに AI 監査には様々な課題が存在します。そのため、AI サービスとシステムの監査に関する制度的な枠組みの整備も必要とされています。
東京大学未来ビジョン研究センターのプロジェクトでは、AI サービスやシステムに対する監査の在り方について議論を行い、論点整理をすると同時にいくつかの提言をまとめた政策提言を 10 月に公開しました。このイベントでは、この政策提言を紹介すると同時に、外部監査、内部監査、標準化の各領域での専門家をそれぞれお招きして、パネルディスカッションを通じて AI ガバナンスに資する AI 監査について専門家の見解を共有しました。
なお、当イベント内の意見に関する部分は本研究会の見解や各発表者の私見であり、発表者の所属する法人の公式見解ではありません。
２

AI 監査政策提言の解説
冒頭、有限責任監査法人トーマツ及び東京大学未来ビジョン研究センター客員研究員の佐藤亮氏より本政策提言「AI ガバナンスに資する AI 監査の実践に向けて」の内容紹介が行われました。
まず佐藤亮氏からは AI 監査とは AI を対象とした監査と AI を用いた監査に大別されるという枠組みの説明があった上で、本政策提言の対象となる AI 監査とは AI を対象とした監査であるとの前提の説明がありました。AI 監査に関する議論はすれ違いが発生しやすく、関係者間で今後の AI 監査に関する議論を推進、発展させる共通の土台を構築することが今
1

回の政策提言の目的の一つとなります。AI 監査をめぐる論点として、「AI 監査の必要性」、「AI 監査の立証命題」、「AI 監査の対象」、「AI 監査のタイミング」、「AI 監査の実施者要件」、「AI 監査の関係者と関係組織」という 6 つの代表的な論点についてそれぞれ概要が説明されました。続いて、AI 監査は何故難しいのかという点について、「AI 技術の複雑性」、「AI 監査制度設計の未整備」、「AI 監査の実施基準設定の困難性」、「被監査対象の範囲に起因する複雑性」、「AI 監査に対する需要と供給のアンバランス」の 5 つの点から解説が行われました。最後にまとめとして「AI 監査の制度設計の整備」、「AI 監査に関する人材の育成」、「技術や利用の進展に伴う AI 監査のアップデート」の 3 点に関して今後の課題と提言として AI 監査研究会より挙げられています。また、今回の政策提言を通じて AI 監査を実現した上で、AI 監査の実施を通じて最終的には AI を安心して利用できる社会の実現に繋げて行きたいという展望も示されました。
３

パネルディスカッション 1 : AI の外部監査における課題と論点
続いて一つ目のパネルディスカッションとして、東京大学未来ビジョン研究センター准教授の江間有沙氏司会の下、「AI の外部監査における課題と論点」というテーマについてパネリストによる議論が行われました。このパネルディスカッションでは「誰が AI システム・サービスの監査人になれるのか」という点と、「従来のシステム監査と比較して、AIシステム監査の特徴や難しさはどのような点が考えられるか」という 2 点についてそれぞれ意見交換が行われました。
まず「誰が AI システム・サービスの監査人になれるのか」という点について、EY 新日本有限責任監査法人 AI リーダーの市原直通氏からは、制度設計に応じた形で適切な対応者が決まるであろうという話がありました。例えば企業のAI に関する開示をチェックするような形での監査と AI 自体が適切に動いているのかという監査では求められるスキルが異なってくるため、それぞれに対応できる人材もしくは組織が監査をしていくことになるという考えが述べられました。PwC あらた有限責任監査法人アシュアランス・イノベーション＆テクノロジー部 パートナー/AI 監査研究所 副所長の伊藤公一氏からは特定の対象に限らない監査のルールに関する知識経験、AI に関する知識、そして独立性が重要であるというお話がありました。有限責任 あずさ監査法人 Digital Innovation 事業部 パートナー/AIAssurance Group リーダーの宇宿哲平氏は、制度や立証命題次第で適切な監査人や組織が異なるという考えの元、AI に関する知見も非常に重要でありながらも、AI システム・サービスの監査人には、従来の IT 監査や内部統制監査の知見も必要であると述べています。また、有限責任監査法人トーマツ パートナー及び東京大学未来ビジョン研究センター客員研究員の長谷友春氏からは、AI に関する知識、監査・保証業務に関する知識、独立性が重要であるとしたうえで、少人数で AI 監査を実施することの難しさに触れ、組織的な監査を実施する為に品質管理の体制や独立性のモニタリングの体制が整った組織であることが重要であるとの話がありました。
続いて、「従来のシステム監査と比較して、AI システム監査の特徴や難しさはどのよう2な点が考えられるか」という点に関して市原直通氏より、外部ライブラリの多様性、生成AI の構築に関する労力を鑑みると、これらの動作を再現して検証をするという作業を現実的なコストで実施するのは難しいというお話がありました。伊藤公一氏からは学習の過程を継続して監査していかなければならない点や、サプライチェーン全体の監査が必要になる点が難しいとしたうえで、関係者の増加、共通ルールが不在の環境下で開発作業や利用方法の多様化をふまえた監査を行うというのも難しいというお話がありました。宇宿哲平
氏はブラックボックス化に伴い、正解率等の指標で評価を実施する場合に、その指標を改ざんすることが容易であること、会計数値と異なり、その改ざんを他の項目との不整合から検知困難であることがＡＩ監査・保証における課題になるが、それが監査・保証の必要性とも結びついていると考えを述べています。長谷友春氏からは、従来のシステム監査と異なり、外部監査人がこれまで注目してこなかった立証命題が増えること、また例えば公平性のように世界各国文化的な背景の違いにより立証命題の定義が困難なものが含まれている中で、グローバルな監査・保証を実施することは難しいとのお話がありました。その他、AI の学習の為に投じたデータの偏りに関する指標設定が困難であることも挙げられました。
上記の 2 つの項目のほか、今回の政策提言で挙げた 3 点と関連して、AI 監査の議論には監査人だけでなく中央省庁を含めた多数のステークホルダーを巻き込む必要があることや、その議論をするメンバーはある程度のリテラシーを持つ必要があり、その意味でも育成は必要であること、今回のイベントの場で監査法人が垣根を超えて議論を出来たのは非常に有意義であったことなどの点が触れられ、活発な意見交換の場となりました。
４

パネルディスカッション 2 : AI ガバナンスに資する AI 監査
二つ目のパネルディスカッションとして、引き続き江間有沙氏司会の下、「AI ガバナンスに資する AI 監査」というテーマについてパネリストによる議論が行われました。このパ
ネルディスカッションでは「内部監査・外部監査・標準化の関係者間での役割分担、どのような点で協調が可能か」、「全体としてどのような制度設計や人材育成が必要となってくるか」という 2 点についてそれぞれ意見交換が行われました。
まず「内部監査・外部監査・標準化の関係者間での役割分担、どのような点で協調が可能か」という点について、東洋大学教授及び東京大学未来ビジョン研究センター客員研究員の中野雅史氏からは AI 監査の目的や視点の共有、内部監査・外部監査といった領域や、個別の組織に閉じない全体としての関係者の連携、連携やコミュニケーションを支えるための仕組み作りが必要であるという話がありました。システム監査学会会員及び公認内部監査人(CIA))である阿子島隆氏は、内部監査人として企業あるいは組織体の中で事業の変化を間近に認識しながら内部監査を実施する監査人の立場としては、外部監査人からは高い専門性から来る知見の共有、標準化の関係者からは基準やクライテリアの提供に期待したいと述べられています。有限責任監査法人トーマツにて外部監査を実施されている佐藤亮氏からは、厳格な制度の下で実施される外部監査では柔軟性に欠ける部分を内部監査や3標準化関係者にフォローしていただくことで企業や組織全体としてのガバナンス強化に繋がることや、監査のフレームワーク、ツール、メソドロジーについては 3 者の協調により効果的、効率的なものが作成可能となるとのお話がありました。CDLE・AI リーガル(日本電気)/IRCA(International Register of Certificated Auditors：国際審査員登録機構)「ジャパン」メンバーズサポーターである北村弘氏は、リスクベースアプローチの基準となるリスクアペタイトの論点と、監査の再現性の論点をクリアしなければ適切な AI 監査を実施出来ないため、これらを関係者が協調の上でどう議論を前進させるかが最大のポイントであると考えを述べています。
続いて、「全体としてどのような制度設計や人材育成が必要となってくるか」という点に関して中野雅史氏より、内部監査・外部監査・標準化の個々の領域枠組みを超えた制度設計の必要性や、AI を作成可能な人材、AI を利用可能な人材という 2 つのステージにわけた専門性強化の必要性に関するお話がありました。阿子島隆氏は監査の実施を当事者以外も追体験していくことが人材育成の中でも重要であるとし、守秘義務を担保しつつ、実施した AI 監査のエッセンスを抽出し、経験や知識を共有するフォーラム、コミュニティを形成してディスカッションを重ねることで人材育成をしていくというアイデアを紹介されました。北村弘氏からは、制度設計に関しては世界各国の規制をふまえながら法的な証拠の残し方を具体化する仕組みの重要性、人材育成については技術論だけでなくリーガルやマネジメントシステム、セキュリティやプライバシーなどの観点を押さえたチームビルディングの重要性に関するお話がありました。佐藤亮氏は制度設計に関しては、AI 監査・保証のニーズが一定程度ある以上、ガイドラインや自主規制を元に個々の組織の任意努力の範疇で話を進めるのではなく、対象となる全ての組織が遵守するように制度として義務化をした上で社会全体の利益に繋げる必要があると述べています。また、人材育成についても
AI の知見があるメンバーが 1 線と呼ばれるシステム開発部署に集中しがちな現状に触れた上で、リスク統括部署である 2 線や監査人の立場である 3 線にも配置できるような育成の重要性、また AI と監査の専門性を高めた人材のキャリアとしての魅力が高まるような制度やポジション設定の重要性について述べられました。
その他、議論の中で登場した AI 監査の知見や経験を共有するコミュニティやフォーラムに関する深堀が行われました。その中では、AI 以外の論点で既に存在するコミュニティにAI 監査の論点を組み込む話や、グローバルな情報共有の実態、組織を超えた意見交換の重要性、AI に特化した各種コミュニティの紹介等が実施されています。
５

コメントと質疑応答
これまでの議論をふまえて、東京大学未来ビジョン研究センター教授及び内部監査人協会(IIA)グローバルボード理事である仲浩史氏よりコメントが行われました。IIA でも AI 監
査は非常に大きなテーマとなり議論を開始する所であると触れた上で、AI のブラックボックス化の問題に関しては、AI を監査する AI を作成して対処を行うという未来に向けたアイデアの紹介、制度の仕組に関してはクライテリアの共有・明示化に向けた国際的な議論
4

の必要性について考えを述べられました。また、監査対象に応じたリスクアペタイトの違いがある以上、AI 監査のフレームワークの前提として AI のリスクマネジメントの議論が必要であると述べられております。AI に関する向き合い方は各国により温度差があり、それを是認しつつリスクマネジメントのフレームワークを設定するとクライテリアが複数登場する可能性も有ることからも、リスクマネジメントの仕方に関する標準化は重要であるとのお話がありました。加えて、標準化作業を行っていく上でのステークホルダー間の連携も重要な問題と見ており、連携を図るための枠組の必要性についてもお話の中で触れられていました。
これらの仲浩史氏のコメントをふまえた上で、「AI 監査のフレームワークを作る前提として、リスクマネジメントのフレームワークの国際的な議論のファシリテート方法」と、「具体的な個々の監査プロジェクトにおける監査人の間での連携やその連携を築くために必要な条件」という 2 つの質問が各パネリストに対して行われました。「AI 監査のフレームワークを作る前提として、リスクマネジメントのフレームワークの国際的な議論のファシリテート方法」については、業種や利用方法に応じて選択肢を用意した上でその中で統一化を目指す手法や、既に存在するリスクフレームワークを各ケースにテーラーメイドする方法、サンドボックス制度などを用いて試験的に実践していく方法等が紹介されました。
また、「具体的な個々の監査プロジェクトにおける監査人の間での連携やその連携を築くために必要な条件」については守秘義務がある中での公益と各社利益のバランスの必要性や、既にある監査制度の中での外部監査人・内部監査人の連携方式の活用、監査人を束ねる組織体が実施するモニタリングで得た情報を元にした指針やフィードバックの提供等の意見が挙げられていました。その他、北村弘氏により国際的な標準作りの状況についても紹介が行われました。
最後に、イベント参加者から頂いている質問を統合する形で、各パネリストに具体的にAI に関する監査を求められた際に需要が多い論点やどのような分野に着目すれば良いのか、AI サービスやシステムの監査という論点でのイメージが湧きやすくなるようなコメントや動向の紹介が求められました。これについては、まずは被監査企業が何を開示するのか、何を監査対象として求めていくのかという点が議論のスタートポイントとなるというお話や、これまでのシステムに対する監査では対象とならなかった新しい立証命題について被監査企業側で監査対応の準備を進めて欲しいというお話、従来の監査では対象となりにくかった企画や PoC 等の上流工程が特徴的で重要な点というお話、入口の所で議論が難航したまま進まないという現状を避けるべく、ボトムアップでまずは可能な範囲から実践を行う必要性のお話など、それぞれの立場から活発な意見交換が行われました。このような話を含めて、監査やガバナンスの重要性について改めて考え、人間中心の AI 社会に向けて、これから様々な監査関係者との繋がりや連携を深めていきたいというコメントとともに、イベントは締めくくられました。

5

(1 段目左から) 市原直通氏、伊藤公一氏、宇宿哲平氏(2 段目左から) 長谷友春氏、阿子島隆氏、北村 弘氏(3 段目左から) 佐藤 亮氏、中野雅史氏(4 段目左から) 仲 浩史氏、江間有沙氏

6