2020 年 11 月
JDLA 事務局「AI ガバナンスとその評価」研究会
第3回
開催報告
1.

はじめに
日本ディープラーニング協会では、人工知能（以下 AI）や Deep Learning（以下DL）に関連する国内外の政策動向についての知見を深め、議論する場としてテーマごとに研究会を設置している。本研究会「AI ガバナンスとその評価」は、多様なアクターによる管理・評価の体制の在り方を「ガバナンス」と定義し、どのようなガバナンスの形がありうるのか調査し、信頼される AI の構築の一助とする研究会を 2020 年 7月から立ち上げ、1 年間の検討を行う。
研究会第 3 回(2020 年 9 月 25 日)では、AI ガバナンスに向けた監査・保証というテーマのもと、Japan Digital Design 株式会社 阿子島隆氏より「企業の中でビジネスから独立した立場で行う内部監査」について、有限責任監査法人トーマツ 長谷友春氏
より「企業の外側から外部監査人が実施する外部監査及び保証」について話題提供いただいた。
本レポートは、話題提供の内容と研究会参加者のディスカッションを再構成して作成したものである。

2.

AI システムに対する内部監査の課題と展望
まず始めに Japan Digital Design 株式会社 阿子島隆氏より「AI システムの内部監査〜監査のポイントとプロセス〜」と題して話題提供いただいた。本内容の意見に関する部分は阿子島氏の私見であり、所属する企業の公式見解ではない。
AI システムにおける監査の視点
AI の活用が進む一方、AI に関する内部監査の明確な基準、指針は存在していない。
そこで阿子島氏はシステム監査の基準、指針、有識者の書籍、ISACA での研究活動等から知見を得、自ら指針を作り、全体像を把握し、自社に適合する部分に焦点を当ててリスクを評価するというやり方で内部監査を進めた。研究会では AI 開発の特徴である導入価値の評価、学習工程に注目して説明いただいた。なお、氏が監査を行うにあたって参照された基準やガイドラインは付録１としてまとめている。
AI システム監査のポイントとプロセス
一般的に、システム監査は「要件定義、設計、実装、テスト、導入準備、運用」の各プロセスを対象として、各プロセスの特定のタイミングで作成された開発文書（要件定義書、テスト仕様書等）の閲覧による評価（実査）を実施する。

1

2020 年 11 月
JDLA 事務局
AI システムの場合は「要件定義」の前に AI 自体の「導入価値の検討・企画、仮説立案の検証」が実施される。また「導入準備」と並行して「リリースのための分析、AI システム特有の運用保守」が実施される。
（図 1）
これらの AI システム特有のプロセスは特定時点だけでは適切な評価を行うことが難しく、継続的なモニタリングが必要となる。
図 1 AI 監査システムの流れ
一般的なシステム開発のプロセス
2.実査

要件定義

設計

テス
ト

導入準備

運用

3.モニタリング(Follow-up)

1.モニタリング(Audit by Design)

導入価値の検討・企画

実装

仮説立案と検証

リリースのための分析

AI シス
テム特有の運用保守AI システム開発のプロセス

システム開発前、導入価値を検討する企画段階に行われるモニタリング(Audit byDesign)では、監査部は業務部門、経営管理部門に寄り添って監査し、課題があれば、早めに対処する。仮説立案と検証段階では検証の目的、求める結果、方法を明確にし、検証を終了させているかを確かめる必要がある。システム開発後のモニタリング(Follow-up)では、リリース時の学習状況の分析を実施し、運用時も学習状況把握のプロセスが組み込まれ、実施されていることを確かめる必要がある。
AI システム監査の場合、監査対象部門が各フェーズで異なる。例えば、モニタリング(Audit by Design)では業務部門が主となり、経営管理部門も対象となる。実査ではシステム部門が主となり、最後のモニタリング(Follow-up)は業務部門が主となる。
また、AI システムの監査ポイントは表 1 のようにまとめることができる。図 1 の各プロセスにおいて、全てのポイントを確かめる必要はなく、AI システムの内容や各プロセスで強弱をつけて監査をする。

2

2020 年 11 月
JDLA 事務局

表 1 監査のポイント
監査ポイント

詳細AI ガバナンス✓

基本方針(導入・開発方針、経営層の承認等)✓管理態勢(権限と責任の明確化、ホワイトボックスブラックボックスの境界明確化、説明責任等)

AI システム開発・変更管理
データ管理

運用管理
利用者支援
安全対策

✓

計画(計画策定、費用対効果の明示等)✓

実施(機能条件・利用条件、テスト実施・UAT 等)✓

入力データ(信頼性、十分性等)✓

処理(学習モデルの適切性、検証可能性等)✓

出力データ(結果の検証、不適切結果の補正等)✓

保守・運用(ビッグデータ・保守工程の考慮等)✓

可能性・BCP(可用性、データ廃棄等)✓

アカウントアビリティ(説明責任、情報提供)✓

利用者支援(特性の理解促進、AI 利用の選択等)✓

生命・身体・財産(AI システムの結果が危害を及ぼさない考慮、AI 判断と人間判断の責任の明確化等)✓

倫理(個人の尊厳、自律の尊重)✓

制御可能性(開発時、リスク評価時の制御可能性)✓

セキュリティ管理(機密性の確保、オープンソースの利用有無等)

AI システム間連携✓

プライバシー(プライバシー保護、侵害)✓

知的財産(知的財産権の考慮)✓

AI 間連携(相互接続のリスク等)

このように、AI システムの監査は今までの監査の方法では足りない部分があり、今後は、AI システムについて内部監査人が監査計画を立て、監査し、事例を出し合って、一緒に研究していく必要がある。
3.

AI システムに対する外部監査・保証の課題と展望
続いて、有限責任監査法人トーマツ 長谷友春氏から「AI システムに対する保証制度の展望と課題」と題して話題提供いただいた。本内容の意見に関する部分は長谷氏の私見であり、所属する法人の公式見解ではない。監査法人の中でも AI の監査については議論が始まったばかりで統一的な見解が出ているわけではない。

3

2020 年 11 月
JDLA 事務局
AI システムの保証の社会的需要
AI 利用による様々な社会的問題が発生している。社会的問題が発生すると、AI システムを利用したサービスが提供されても、利用者側がサービス利用に不安を感じるケースや、企業が AI システムを提供する企業とアライアンスを組み、共同でビジネスを推進しようとする際に上層部が懸念を示すケースがある。そのため、企業として第三者の保証を必要とする場面が出てくる。
一般的な監査法人の保証報告書の提供方法は、外部監査人がサービス事業者の実施している手続を監査した上で保証報告書を発行し、サービス事業者は必要に応じて利用者に向けて外部監査人からの保証報告書を提供する。そのため、利用者が何を望んでいるのかを考え、制度を設計していく必要がある。監査人とサービス事業者のみが良いと考え実施した手続・結果では、必ずしも利用者の満足度が上がらない恐れがある。
AI システムの保証報告書があることでユーザーの安心につながれば、AI 利用の促進につながり、AI サービス事業者も安心して AI を利用したサービスの開発をしていくことができる。
監査法人が提供する保証業務
監査法人の代表的なシステム関連の保証報告書は SOC 保証報告書1であり、SOC１、SOC２、SOC3 の 3 種類がある。2
SOC1 の対象は委託会社の財務報告に係る受託会社の内部統制である。例えばクラウ
ドベースの会計システムについて、利用者が J-SOX3の評価をする場合、受託会社からすると利用している 1 社ごとに監査対応することは難しい。そのため、受託会社がSOC1 を取得することで J-SOX 対応の負担を減らす。SOC2 の対象は財務報告に関連しない領域を含み、セキュリティ、可用性、処理のインテグリティ、機密保持、プライバシーに係る内部統制である。
SOC における保証では、利用者がシステム利用により不利益を被らないことを保証するのではなく、内部統制の有効性等に対しての保証意見を表明する。つまり、記述書の内容が正しいこと、受託会社の内部統制が適切にデザインされていること、受託会社の内部統制が指定された期間(半年〜1 年間)について有効に運用されていることを保証している。AI の保証でも内部統制の有効性の意見を出すことになる可能性が高い一方、AI が差別をしないことや事故を起こさないことは監査法人で保証することは難しいのではないか、というのが長谷氏の意見であった。
1

米国公認会計士協会が、System and Organization Controls(SOC)として、業務受託会社における内部統制保証報告やサイバーセキュリティに関する内部統制保証報告の枠組みを定義している。
2

SOC1、SOC2 が主であり、SOC3 を発行している事例はまれである。SOC1 と SCO2 では日本基準、アメリカ基準、国際基準があり、同じ SOC でも基準の名称が異なる。
3

内部統制報告制度。上場企業等に対し、有価証券報告書と併せ内部統制報告書の提出を義務付けた制度である。

4

2020 年 11 月
JDLA 事務局

AI システムを保証するには何が必要か
AI システムを保証するためには、保証してもらう側(企業等)、保証する側(監査法人等)、保証した結果を利用する側の三者の間で「何がどれだけ保証されているのか」のレベル感に対する合意ができていることが重要である。AI システムを利用したサービス提供者が保証を受ける場合、監査のコストがかかるだけではなく、監査に必要となる資料の作成・保存により業務量が増加する。また過剰な要求レベルに応えるために通常業務においても過剰なモニタリングが実施されることで AI サービス導入時に期待していた費用対効果を得られないリスクも考えられるため、期待される保証レベルについては適切な設定が重要となる。
AI システムの保証制度を作るためには、監査法人によって手続や結果にバラつきがでないように、評価規準、保証業務基準の作成に加え、専門性、独立性、品質管理体制と整える必要がある。さらに報告書の比較可能性を担保するため、報告書の内容や様式の定型化、雛形も必要となる。
現在、保証業務基準や報告書のひな型は SOC でも提供されている。しかし、AI のシステム評価規準はまだ世の中にはない。AI システム評価の難しさの一つとして、評価タイミングが通常のシステム開発と異なる点が挙げられる。例えば、AI システム完成
後に学習データの収集や偏りについて指摘されても、事業者は対応できない。適切に評価するためには、監査法人がどの段階から関わるべきかが難しく、内部監査と外部監査で協力するといった新しいスキームが必要になる可能性が高い。
一方で、既存の保証業務のフレームワークを利用する方法も考えられる。既存のフレームワークの一つとして、SOC2＋が挙げられる。SOC2＋は SOC2 で決められた評価規準だけではなく、外部団体の基準をのせることができる保証報告書である。AI のシステム評価規準を作成し、SOC2＋にのせるという形をとれば、既存の保証のフレームワークを利用できる。メリットは AI のシステム評価規準のみ作成すればよいことである。デメリットとしては SOC2 の評価規準にも準拠しなければいけないことであり、保証報告書を取得するハードルが高くなる。
4.

質疑応答での論点
第 3 回研究会では AI の監査について、内部監査、外部監査の視点から議論が行われた。話題提供を踏まえて以下のような質疑応答が行われた。
内部監査✓

内部監査で評価する基準は、プロセスが適切に計画、実行されていたかである。導入価値の検討・企画段階の評価では、取締役会で審議され、AI の導入がなされているか等のプロセスの妥当性を評価する必要がある。仮説立案と検証の段階ではプロセスの中身まで評価することはできないが、数値等の評価基準

52020 年 11 月
JDLA 事務局を記載した評価計画書、結果を閲覧して、プロセスが組み込まれ実施、評価されているのかという基準で評価することが良い。
✓AI サービスのリスクが低い場合、監査が入り込むことはない。リスクが小さい
場合は経営部門がリスクを受容しているとみる。基本的に業務部門や経営管理部門に寄り添いながら評価していくのが内部監査である。

✓

内部監査として問題ないと判断する線引きが非 AI システムと比べて AI システムは難しい。AI システムの監査の観点として、プロセスを見ていくべきではあるが、プロセスの十分性はリスク、会社、AI システムによって異なり、一概には言えない。今まではシステム監査人はシステムだけを評価していればよかったが、業務システムの中に AI が組み込まれていることを考えると業務監査の中で AI を評価することが必要となる。そのため、業務監査をする監査人が AIを監査できる能力を身につけ、専門的能力を強めていく必要がある。

✓

AI システムを単体で評価することは難しく、ビジネスプロセスとして評価をしていくことが模索される。プロセス全体としてリスクを抑えていくという考え方が重要である。

✓

一般的に外部監査では費用対効果については確かめていない。一方で、内部監査では事業に対してバリューを生み出すか、将来性を経営者がどう判断しているか確かめる必要がある。

✓AI システムを利用している会社が、自社の AI のリスクがどれくらい大きいのか、リスク評価をしてみることから始めていくと良い。

外部監査・保証
✓AI システムの評価に関しては AI サービス提供側だけではなく、AI サービス利活用側に依存する部分もでてくる。しかし、AI サービス利活用側について監査をすることは難しい。SOC 報告書ではユーザー側で検証が必要な統制について、記述している。

✓AI の保証を考えた場合、プロセスに重点を置くとコストが高くなる。
AUP(Agreed Upon Procedures)4を検討することも必要である。しかし、AUPでは保証意見がないため、最終利用者の満足度が上がらないケースもある。その点を踏まえて、AUP とするのか、保証とするのか考えることが求められる。

✓B2B2C の 2C については、保証というより利用者側で担保すべきことを説明し、同意してもらうことがベースとなると考える。利用規約等に同意したうえでサービスを利用するようになっていくと考えられる。

✓4

全てのケースを満たすようなガイドラインを作成することが難しい。ケースバ

合意された手続。業務実施者が業務対象に関して合意された手続を実施し、その結果のみについて報告を行う。

62020 年 11 月
JDLA 事務局
イケースで進めていく必要があり、この点を詰めていく必要がある。
AI の公平性、バイアス✓

AI の公平性の保証に関しては、国によって公平や倫理のレベル感、定義が異なる。保証のための評価規準を日本国内の倫理観に合わせるのか、グローバルに合わせるのか、議論の余地は大きい。

✓AI システムがもたらすバイアスにおいて検討すべき内容は、事例や分野によって異なる。倫理的に許される範囲であるか早い段階から検討する必要がある。
学習段階の途中で確認するプロセスが用意されているか、リリース後のフォローアップを評価しているか、過学習していないかという観点を監査では見る必要がある。

ベンダーの役割✓

ベンダーの立場では、具体的な利用場面を想定して公平性など倫理的な観点まで保証して設計できるかどうかは不明である。ベンダーとして AI がもたらす倫理的な課題へどのように取り組むべきか検討する必要がある。

✓教師あり学習の場合、学習データや教師ラベルが妥当かどうかの判断は業務部門に求められることであり、ベンダーがデータ品質を評価することは難しい。
誰がデータの品質を評価すべきか考えていく必要がある。

次回以降も引き続き、本研究会を通じて、日本国内外の AI ガバナンスに係る検討を続ける。
（文責：清見友来）＜第 3 回開催概要＞
日時 ：2020 年 9 月 25 日（火）16:00-18:00（Zoom 開催）
内容 ：話題提供「AI システムの内部監査 〜監査のポイントとプロセス〜」
阿子島隆氏（Japan Digital Design 株式会社）「AI システムに対する保証制度の展望と課題」
長谷友春氏（有限責任監査法人トーマツ）
質疑応答/ディスカッション

72020 年 11 月
JDLA 事務局
付録 1：参考とした AI システム関連の基準やガイドライン（発行機関,参考資料名,発行時期,URL）
1.

AI ネットワーク社会推進会議, 国際的な議論のための AI 開発ガイドライン案,
平成 29 年 7 月 28 日, https://www.soumu.go.jp/main_content/000499625.pdf

2.

総務省情報通信政策研究所, AI 利活用原則案, 平成 30 年 7 月 31 日,
https://www8.cao.go.jp/cstp/tyousakai/humanai/4kai/siryo1.pdf

3.

経済産業省, システム監査基準, 平成 30 年 4 月 20 日,
https://www.meti.go.jp/policy/netsecurity/downloadfiles/system_kansa_h30.p
df

4.

経済産業省, システム管理基準, 平成 30 年 4 月 20 日,
https://www.meti.go.jp/policy/netsecurity/downloadfiles/system_kanri_h30.p
df

5.

経済産業省, AI・データの利用に関する契約ガイドライン検討会, 令和元年 12月, https://www.meti.go.jp/press/2019/12/20191209001/20191209001-1.pdf

6.

統合イノベーション戦略推進会議, 人間中心の AI 社会原則, 平成 31 年 3 月 29日, https://www8.cao.go.jp/cstp/aigensoku.pdf

7.

金融情報システムセンター, 金融機関のシステム監査基準, 2019 年 3 月

8.

同文館出版, 島田 祐次, よくわかるシステム監査の実務解説 第 3 版, 2019 年 1
月 25 日9.

The Institute of Internal Auditors, GLOBAL PERSPECTIVES AND INSIGHTS
Artificial Intelligence ‒ Considerations for the Profession of Internal Auditing

10. The Institute of Internal Auditors, GLOBAL PERSPECTIVES AND INSIGHTS
The IIAʼs Artificial Intelligence Auditing Framework Practical Applications, PartA
11. The Institute of Internal Auditors, GLOBAL PERSPECTIVES AND INSIGHTS
The IIAʼs Artificial Intelligence Auditing Framework Practical Applications, PartB
12. Future of Life Institute, ASILOMA AI PRINCIPLES, https://futureoflife.org/aiprinciples/?cn-reloaded=1
13. OECD, 人工知能に関する理事会勧告,2019 年 5 月 22 日に採択,
https://www.soumu.go.jp/main_content/000642217.pdf
14. 国立研究開発法人産業技術総合研究所, 機械学習マネジメントガイドライン,
2020 年 6 月 30 日, https://www.cpsec.aist.go.jp/achievements/aiqm/

8