AIガバナンスに資する
AI監査の実践に向けて
東京大学未来ビジョン研究センター
技術ガバナンス研究ユニット AIガバナンスプロジェクト AI監査研究会

本発表内の意見に関する部分は、本研究会の見解であり発表者の所属する法人の公式見解ではありませんアジェンダ

1. AI監査の論点整理の必要性

4

2. AI監査をめぐる論点

6

3. AI監査は何故難しいのか

17

4. AI監査に関する今後の課題と提言

212

本政策提言ではAIを対象とした監査を取り扱う。AIを用いた監査ではない
本政策提言におけるAI監査という用語の前提

AI監査 - AIと監査という文脈で議論される議題の集合
AIを対象とした監査AIを用いた監査- AIサービスやシステムに対して監査手続を実施する- AIサービスやシステムを監査手続に利用

AIにインプット
この案を採用！
被監査対象
部署/企業 分析AI

被監査対象
部署/企業

業務システム
怪しい取引発見

分析実施

監査手続実施監査人

本政策提言の対象

監査人

分析実施

売上、会計データ等

AIにインプット

分析AI(監査人所有)本政策提言の対象外3

1. AI監査の論点整理の必要性

4

AI監査に関する共通認識がないと、議論のすれ違いが発生する
1. AI監査の論点整理の必要性
AI監査とは、AIを使って監査手続を効率的、効果的にこなすことだと考えている
Aさん

ディープラーニング技術を採用した自社稼働センサーの精度について、許容水準を超えているか内部監査したい
被監査企業(銀行)が融資判断に機械学習モデルの判断結果を採用しているので、内部統制上問題ないか外部監査したい

Bさん

Cさん
• Aさん～CさんがAI監査について、例えば監査手続手法やタイミングについて議論をしようとしても議論のすれ違いが発生する。AI監査の実現に向けて有効な議論を行うためには、議論の前提をすり合わせた上でどの論点について議論をしているのか明確にする必要がある• 本政策提言の目的はAI監査に関する論点を整理し、関係者間で今後のAI監査に関する議論を推進、発展させる共通の土台を構築することである。
5

2. AI監査をめぐる論点

6

議論の対象となるAI監査をめぐる様々な論点を紹介する
2. AI監査をめぐる論点AI監査の必要性

2023年11月現在、AI監査を必須とする規制は日本国内には存在しないが、AIサービスを安心して使うための監査への関心は高まっている

AI監査の立証命題

監査実施の際の主題について「立証命題」として整理。AIでの考慮事項を加味すると、既存の基準だけで全てに対応するのは難しい

AI監査の対象

個々のAIサービスやシステムを直接的に監査するケースと、それらを提供するための内部統制を監査するケースに大別して整理する

AI監査のタイミング

新規開発、追加開発、運用、廃棄の4つにフェーズにライフサイクルを分割し、各監査のカテゴリごとに監査のタイミングを識別する

AI監査の実施者要件

AI監査実施者に求められる要件について専門性要件、独立性要件、監査実施者の組織要件、監査人の法的責任の4つの観点で整理する

AI監査の関係者と関係組織

AIサービスやシステムの監査に関わるのは監査人と被監査企業だけではない。図表にて関係性を示しつつ関係者を整理する

7

従前監査の立証命題ではAI固有のニーズを全てカバーすることは困難
2. AI監査をめぐる論点 – 監査の立証命題①
従来のサービス、システム監査における立証命題（一例）立証命題

使用される基準/規準

財務諸表監査の一環で実施されるIT監査

財務諸表が正確かつ網羅的に会社の状態を反映するために、ITの利用から生じるリスクが適切に低減されていること(正確性/網羅性)(*)

監査基準報告315 等

SOC2報告書による保証

セキュリティ/可用性/処理のインテグリティ/機密保持/プライバシー

トラストサービス規準

内部監査

ガバナンス・プロセス、リスク・マネジメントおよびコントロールの妥当性と有効性

専門職的実施の国際フレームワーク（IPPF）、システム監査基準 等

一部流用が可能と考えられるものの、AIサービス/システム固有の立証命題は十分にカバーされていない(*)財務諸表監査全体の立証命題は実在性、網羅性等の経営者のアサーションが該当すると考えられるが、ここでは自動化された内部統制で良く注目される処理の正確性、網羅性を代表して記載している

8

AI固有の立証命題ごとに議論が大きく異なるため、共通認識が必要
2. AI監査をめぐる論点 – 監査の立証命題②
AI監査に特徴的な立証命題（一例）
立証命題

AI原則

関連指針やガイドラ
インでの頻出項目公平性••

AIシステムの出力結果に不適切なバイアスがかかっていないか公平の定義についても予め共通認識を持つ必要がある

透明性•

AIシステムの出力結果について再現ができるか、学習データや採用されている特徴量（パラメータ）について説明が可能か 等•

AIシステムが利用者に危害を加える可能性はないか、不具合が発生した場合に適切に停止状態に移行するか 等
AIシステムが組み込まれているハードウェアについても考慮する必要がある

安全性
AIサービス利用の上での消費者不安
etc…

解説

•

等

セキュリティ

•学習データに対する攻撃を予防・発見できるか、意図的に不適切な出力を誘導するような本番入力データを予防できるか 等

プライバシー•

個人が共有を望まない属性データを拒否できるか、誤った個人評価を適時適切に訂正できるか 等• それぞれの立証命題ごとに実施する監査手続やクライテリアは大きく異なる。そのため、対象となる立証命題について共通認識を持った上で議論、監査を実施する必要がある• 既存の基準/規準のみでは全ての立証命題のカバーは困難
9

AI監査の対象には様々な切り口があり、人によって想定が異なる
2. AI監査をめぐる論点 – AI監査の対象①

AI監査 - AIと監査という文脈で議論される議題の集合
AIを対象とした監査 - AIサービスやシステムに対して監査手続を実施する
AIサービスやシステム自体の監査

AIサービスやシステムを提供する組織が実施する内部統制の監査

両者を組み合わせた実施も可能

AIを用いた監査- AIサービスやシステムを監査手続に活用する- (例)大量の取引データから不正が疑われるデータを抽出- 本政策提言においては直接的には取り扱わない
10

個々のAIシステムやサービス自体に着目した監査が考えられる
2. AI監査をめぐる論点 – AI監査の対象②
AIサービスAIシステム稼働筐体および端末（サーバ, クライアント端末）

AIシステムソフトウェア(アプリケーション, OS, DB)
AIモデルプログラム(アプリケーション)
学習済モデル

ソフトウェア基盤

サービス提供方法

ハードウェア
サーバ性能
デバイス性能OS
DB
自動運転車- AIサービスやシステムに対して監査手続を実施する
ミドルウェア
撮影カメラ 等

学習データ

データガバナンスへの監査、アルゴリズム
監査など、従来のアプリケーションへの監査をさらに拡張した検討が必要

従来のサーバハードウェア性能や物理セキュリティの論点に加えて、AIの精度に密接にかかわるデバイスの性能についても考慮が必要• ユーザへのAI利用に関する適切な開示• 情報の取扱に対する適切な説明 等
サービス提供方法についても考慮が必要

11

AIサービスやシステムを支える組織や人の動きに着目した監査も考えられる
2. AI監査をめぐる論点 – AI監査の対象③
AIサービス、システムAIサービス、システムを提供する組織 - 経営層、業務ユーザ部門、開発・運用部門 等

各種規程類
ルール

体制、方針

全社対象の広範な統制活動
AI利活用方針、ポリシー
教育体制 等

日々の業務ルールの遵守

個別業務での統制活動
リリース前のテスト実施、承認
学習データの内容妥当性確認 等

各種統制活動の整備、運用
COSO, COBIT等(*)のフレームワーク(*)COSO : トレッドウェイ委員会組織委員会（Committee of Sponsoring Organizations of the Treadway Commission）が提唱する内部統制フレームワーク
COBIT : ISACA, ITGIが提唱する事業体全体を対象とした事業体の情報と技術のガバナンスとマネジメントのためのフレームワーク

12監査実施タイミングについてもAIならではの考慮が必要となる
2. AI監査をめぐる論点 – AI監査のタイミング
AIライフサイクル

企画

PoC

開発

テスト

新規開発

リリース

企画

PoC ・・・ リリース ・・・

運用

廃棄

機能変更, 追加開発

AI監査のタイミングをめぐる論点
継続学習による精度の更新• 監査を実施した時点と監査結果を利用する時点でAI出力結果の精度が異なるケースが存在

監査対象や監査実施主体によるタイミングの違い• 対象（AIサービス/システム自体と内部統制）、実施主体（内部監査/外部監査）によりそれぞれタイミングが異なる• AIサービスそのものの妥当性、AIシステム開発要否の妥当性についても重要な論点であるため、リリース前や企画段階での監査もより重視して検討される可能性がある

13

AI固有の知見が追加で求められる他、監査人の資格制度や組織認定制度等の必要性についても議論が必要と考えられる
2. AI監査をめぐる論点 – AI監査の実施者要件
専門性要件
•

内部監査
外部監査

••

独立性要件

従来システムの監査に必要な監査論の理解、業界知識およびIT領域の知識、経験•

AI固有の技術的知見や法規制等の知識。
新たな資格制度の必要性も要検討

従来の監査と同様、被監査企業や部門と利害関係のない独立性を確保する必要がある•

独立性要件は外部監査、内部監査それぞれにおいて定義

個人で全てをカバーするのは現実的には困難

組織要件

外部監査

•

監査品質や実施者の独立性等の観点で一定の基準を満たす組織•

実施組織についての認定やモニタリングの必要性•

組織要件を満たさない監査実施機関が実施した結果は実態が正しく反映されていない可能性有監査人の法的責任•

正当な注意を払いつつも監査結果が誤っていたケースにおける法的な責任範囲•

責任が重すぎると監査人不足の可能性有•監査人を守る免責要件や保険制度の必要性

14

監査や保証、認証実施の関係者は組織内外で多岐にわたる
2. AI監査をめぐる論点 – 関係者と関係組織①

外部委託先

外部ライブラリ
プロバイダー

AIサービス利用者, 利用組織

外部委託先

データ
プロバイダー

AIサービス利用組織

監査役会等
取締役会

サービス提供AIサービス提供組織

AIサービス

監査役会等

外部監査(法定/任意)経営者

取締役会(業務ユーザ部門)

第2線(リスク管理部門)

内部監査認証

認証

第1線(開発・運用部門)

認証機関

第2線
(リスク管理部門)

第3線

認定機関

内部監査

(内部監査部門)

第3線

個人ユーザ

外部監査
実施者

標準化団体

経営者

第1線

外部監査
(法定/任意)(内部監査部門)

標準規格

15監査や保証、認証実施の関係者は組織内外で多岐にわたる
2. AI監査をめぐる論点 – 関係者と関係組織②
社会コミュニティ

AIサービス利用者, 利用組織

サービス提供AIサービス利用組織

AIサービス

外部委託先

外部ライブラリ
プロバイダー

外部委託先

データ
プロバイダー

AIサービス提供組織

外部監査(法定/任意)
外部監査
実施者

外部監査
(法定/任意)

標準化団体

個人ユーザ

認証
認証
認証機関
基準・規準
ガイドライン

その他関係者
業界団体

保険会社

アカデミア

教育機関

法制度
(規制・罰則)法制度(制度設計)

公的機関(国内・海外)民間団体(国内・海外)基準・規準
ガイドライン

16

3. AI監査は何故難しいのか

17

技術的/制度的/社会的な要因が絡まり合いAI監査の実施は難しい
3. AI監査は何故難しいのか• AI監査の実施基準設定の困難性• AI技術の複雑性• AI監査制度設計の未整備

制度的要因

技術的要因

• 被監査対象の範囲に起因する複雑性• AI監査の需要と供給のアンバランス

社会的要因

18

AI監査の実現に向けては各要因の解消に向けた着実な議論が必要
3. AI監査は何故難しいのか◼ 従来のITシステムとは異なり、事前に定義された一意の値を出力する想定で構築されていない
AI技術の複雑性◼ 判断のロジック部分がブラックボックス化されており、ロジックの妥当性確認が困難◼ 継続学習を実施するAIの場合、監査手続実施時点と監査結果利用時点での評価が異なる場合が存在する◼ AIに特化した監査実施者の要件や品質マネジメント体制等の一般基準は制定されていない
AI監査制度設計の未整備◼ 監査手続を設計する際にも標準化された基準、規準（実施基準）が確立していないため、監査人が独自で手続を設計し、監査結果を判断する必要がある◼ 国内・国際ルール、経営者、監査人、認証機関等の関係者が遵守すべき統一的なルール形成、確固たる合意がない◼ 公平性など、立証命題によっては一意の定義が難しく、判断や検証が困難なものが含まれている
AI監査の実施基準
設定の困難性◼ 立証命題の間でトレードオフ関係が存在するものがある。一度の監査手続で複数の観点での監査を充足することは難しい◼ 学習データのデータガバナンスの有効性を検討する際に、学習データの偏りや学習データの十分性に関する指標の設定が困難である
19

AI監査の実現に向けては各要因の解消に向けた着実な議論が必要
3. AI監査は何故難しいのか◼ 開発に複数の企業が外部委託先として関与していることが多く、監査対象とすべき組織の範囲設定が困難。また、委託先によっては契約面や費用負担等の考慮も必要となる被監査対象の範囲に起因する複雑性◼ 公開されている外部ライブラリを用いてモデルを構築している場合、提供機能への依拠が発生していると考えられるが、それを所与としない場合には更に監査対象範囲が拡大する◼ 学習データの妥当性はAI監査を検討する上で必要な要素であるが、学習データの収集や正解ラベルの設定に外部組織が関与している場合、それらの組織も考慮する必要がある◼ AI監査で保証される内容について、世間一般の期待と実際の監査結果に大きな期待ギャップが発生する可能性がある

AI監査に対する需要と供給のアンバランス◼ AI監査実施のためのハードルや監査実施者の法的責任を加味すると、監査にかかる労力や責任と監査報酬とのバランスが取れず、外部監査人が監査を実施するインセンティブが乏しくなる可能性がある◼ AI監査を必須とするような法的拘束力を有する規制や罰則に乏しく、被監査企業側でも監査を受けるインセンティブが働かない

AI監査の実施は複合的な要因により難しいことは事実。しかしながらAIの利用拡大による監査ニーズの高まりや、海外諸国での議論進展、国際ルール制定に向けた動向を鑑みると、国内においても可能な範囲から議論を進めることは有益と考える
20

4. AI監査に関する今後の課題と提言

21

本提言における論点整理がAI監査の実現、AIを安心して利用できる社会の実現に寄与することを期待している
4. AI監査に関する今後の課題と提言

1
2
3

AI監査の制度設計の整備

AI監査のニーズに応えられるAI監査制度が未整備の状況。国際社会でも必要性が高まっており、日本においても議論の活性化が必要

AI監査に関する人材の育成

AI監査の実施には幅広いスキルや経験による多様な専門性が求められる。ニーズに応えられる監査人の育成や、新たな資格要件制度の要否についても検討が必要

技術や利用の進展に伴うAI監査のアップデート

AIに関連する技術研究は盛んであり、日々新たなサービスやシステムが誕生している。AI監査の制度や基準、手法についても合わせてアップデートが必要22

本稿は論点紹介/困難な要因/想定事例/今後の提言により構成されている
本政策提言内容の構成
第1章

AIガバナンスに資するAI監査を目指して

第2章

AI監査をめぐる論点導入

論点整理

第3章

AI監査を困難にする要因

第4章

AI監査の想定事例：採用AI

第5章

AI監査に関する今後の課題と提言

実践

まとめ

第6章

AIを安心して利用できる社会へ

補章

AI監査と生成AI

Appendix23

政策提言本文(日本語/英語)は以下のURL参照

AI監査ガバナンスに資するAI監査の実践に向けて
https://ifi.u-tokyo.ac.jp/news/16814/
Advancing AI Audits for Enhanced AI Governancehttps://ifi.u-tokyo.ac.jp/en/news/12034/

24

AI監査研究会のご紹介
本政策提言は東京大学未来ビジョン研究センター技術ガバナンス研究ユニットの一プロジェクトであるAIガバナンスプロジェクトの研究会である「AI監査研究会」の成果報告である。AI監査研究会
は2022年6月より研究活動を開始し、以下のメンバーより構成される。
• 江間有沙（東京大学未来ビジョン研究センター・准教授）• 佐藤 亮（東京大学未来ビジョン研究センター・客員研究員/有限責任監査法人トーマツ）• 長谷友春（東京大学未来ビジョン研究センター・客員研究員/有限責任監査法人トーマツ）• 中野雅史（東京大学未来ビジョン研究センター・客員研究員/東洋大学）• 上村信二（有限責任監査法人トーマツ）• 北村 弘（CDLE・AIリーガル（日本電気）/IRCA（International Register of Certificated Auditors：国際審査員登録機構）「ジャパン」メンバーズサポーター）

本発表内の意見に関する部分は、本研究会の見解であり発表者の所属する法人の公式見解ではありません25

謝辞
本政策提言を執筆するにあたり、多くの方に有益な助言をいただいた。
時間や所属組織の関係上お名前の記載が叶わなかったが、有益なフィードバックを寄せていただいた方々がいることも付け加え、フィードバックを寄せていただいた方々に感謝申し上げる。
• 阿子島隆（システム監査学会会員 公認内部監査人（CIA））• 市原直通（EY新日本有限責任監査法人 AIリーダー）• 伊藤公一（PwCあらた有限責任監査法人アシュアランス・イノベーション＆テクノロジー部
パートナー/ AI監査研究所 副所長）
• 宇宿哲平（有限責任あずさ監査法人Digital Innovation事業部 パートナー）• 加藤信彦（EY新日本有限責任監査法人 アシュアランスイノベーション本部
イノベーション戦略部／AIラボ部長）• 島田裕次（東洋大学工業技術研究所 客員研究員）• 清水希理子（PwCあらた有限責任監査法人アシュアランス・イノベーション＆テクノロジー部(AIT)
シニアマネージャー）• 瀧博（立命館大学経営学部 教授）• 仲浩史（東京大学未来ビジョン研究センター教授/内部監査人協会(IIA)グローバルボード理事）
本発表内の意見に関する部分は、本研究会の見解であり発表者の所属する法人の公式見解ではありません

26