2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

システム監査学会2021年度

第35回研究⼤会「AIと個⼈情報〜AIの諸問題と個⼈情報保護〜」
プロジェクト＆個⼈情報保護専⾨監査⼈部会
報告「AI利⽤での社会的・法的な課題からAIシ
ステム構築・運⽤時の課題まで」
2021年6⽉11⽇
報告者 朝倉 俊道 CISA

1@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

⽬次
1. 経緯
2. 活動メンバー
3. 活動状況
4. 資料／⽂献（1）「AIと社会と法 パラダイムシフトは起きるか︖」
宍⼾常寿・⼤屋雄裕・⼩塚荘⼀郎・佐藤⼀郎 編（2）「企業ITに⼈⼯知能を⽣かす AIシステム構築実践ノウハウ」
アビームコンサルティング P&T Digital ビジネスユニット
Advanced Intelligenceｾｸﾀｰ

5．AI利⽤での社会的・法的な課題
6．AIシステム構築・運⽤時の課題
7．振り返り8．今後の展開@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

1．経緯
私たちのまわりに浸透しつつあるAI利⽤での社会的・法的な課題
として、データ流通取引の課題、契約と取引の課題、専⾨家責任の課題等、さまざまな課題があがってきているので、システムをとりまく継続的な検討事項として、課題を整理しておく。
また、システム現場においても、AIシステムを構築・運⽤する
プロセス毎に、さまざまなリスクと課題があがってきているので、AIシステム構築・運⽤時の課題として整理しておく。
今回は中間報告として、AI利⽤をとりまく社会的・法的な課題か
ら、AIシステム構築プロセスでの現場での課題をとりあげましたが、整理したリスク・課題をベースに、次のステップとして課題の対策を検討し、浸透するAIに取り組むシステム監査はどうあるべきかについて調査・研究を継続していきたいと思っていますので、興味のある⽅はこのプロジェクトに是⾮参加願います。
3@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

2．活動メンバー

個⼈情報保護専⾨監査⼈部会メンバー
研究プロジェクトメンバー

６名

所属

研P

⽒名

個⼈

朝倉

俊道

エムビーーメタルソリューション 株式会社

稲垣隆⼀

稲垣隆⼀ 法律事務所

主査

●

⿊澤

兵夫

TAKE国際技術⼠研究所

副主査

●

●

東野

憲康

株式会社 ムーンライトシステム

●

●

牧野

博⽂

株式会社 東芝

●

●

芳仲

宏

「法とシステム監査研究」プロジェクト●●

3．活動状況
•⽉に⼀回ペース

平⽇●

18:30 or 19:00開始 約1時間30分

回数

開催⽇

場所

内容

第１回

２⽉３⽇

オンライン会議

今後の進め⽅等

第２回

３⽉１９⽇

オンライン会議「AIと社会と法」「AIシステム構築実践ノウハウ」
⽂献資料の検討

第３回

４⽉２１⽇

オンライン会議

研究⼤会発表内容について（ディスカッション）

第４回

５⽉１２⽇

オンライン会議

研究⼤会発表内容について（ディスカッション）
4@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

4．資料／⽂献調査

参考⽂献
No
1

書名
ＡＩと社会と法パラダイムシフトは起きるか？

著者
宍戸常寿・大屋雄裕・小塚荘一郎・佐藤一郎 編

出版社

発行年月日

有斐閣 2020年8月10日

概要
AIと社会と法の関係は現在進行形で変化しており、論ずべき課題も増えつつある。
基礎法・私法・公法の研究者と情報技術の専門家がコアメンバーとなり、座談会形
式で知見を提供しつつ、議論を行っている。論及ジュリストでの連載をまとめたもの。
No
2

書名
企業ＩＴに人工知能を生かす

ＡＩシステム
構築実践ノウハウ

著者
アビームコンサルティング
P&T Digital ビジネスユニット
Advanced Intelligenceｾｸﾀｰ

出版社

発行年月日

日経BP 2019年6月24日

概要
第１章では、AIとは何か、AIで何ができるのか、AIで利用されるアルゴリズムやその活用のポイントについて、分かりやすく説明。
第２章では、AIを使ったシステムの構築を、ウォーターフォール型の開発プロセスに当てはめて説明。従来の開発プロセスと何が同じで何が違うのか、異なる部分をど5のように進めていけばよいのか、実体験を基に解説。
@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

5．社会的・法的な課題（1／27）「AIと社会と法 パラダイムシフトは起きるか︖」
宍⼾常寿・⼤屋雄裕・⼩塚荘⼀郎・佐藤⼀郎 編【選択理由】AIの普及によって社会、あるいは法はどう変わりつつあるのか、法律の研究者と情報技術の専⾨家がコアメンバーとなり、テーマに沿って招いた
ゲストと座談会形式で知⾒を提供しつつ⾏っている議論に関⼼を惹かれたこと。
【トピック】※以降は全て【出所】「AIと社会と法 パラダイムシフトは起きるか？」 宍戸常寿・大屋雄裕・小塚荘一郎・佐藤一郎 編

第１章

テクノロジーと法の対話（1）テクノロジーと法の対話
１）⾃動運転を素材に◆⾃動運転が適切かというのは、その⾃動運転をするAIのアルゴリズムが正しいかだけではなくて、学習データが適切なのかにも⼤きく関わってくる。
⇒⾃動運転の場（⽥舎・都会・海外）に適切な学習データかどうか考えないといけない。
◆AIは使いながら、あるいはバージョンアップしながら学習して賢くもなっていくが、挙動もおかしくなって、研究開発者が責任を取れないようなことが、それもグローバルに起きてくる。
⇒AIの応⽤事例を考えると、サイバー空間ならば耐えられた（⾦銭損害等）が、現実に⾝の周りで起きてしまう問題（⼈⾝損害）にどう応えるか。
◆⽇本の⾃動⾞メーカーの⾃動運転は⾞そのものが賢くなる⽅向性であるが、Googleなど
は世界中から集めたデータをクラウドに集めて賢くする⽅向性である。
⇒集めたデータをクラウド上で判断するときに、⽇本の法律で⾃動運転の⾞を判断でき
6
なくなってくる。（いずれ⾞とその⾃動運転制御は切り離される。）@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（2／27）◆ディープラーニングは理論モデルがないので、なぜディープラーニングを使うとよい結果が出るかについては理由が分からないまま使っている。したがって、ディープ
ラーニングは何ができるのか、できないのかという、技術的な限界も分からない。
⇒現状は、ある意味魔法の箱のような未知の技術で、それを⾃動運転を初めとして現実世界で使おうとしている。
◆⾃動運転⾞の事故原因をはっきりさせるには、センサーなどからの⼊⼒データ、AI処理のアルゴリズム、その学習データ、この三つの把握が条件となる。
⇒事故直前の学習データが適切に保存されていないと事故原因が学習データにあったか否かは分からない。
◆事故の責任問題と⾔ったときに、メーカーの⽴場から⾒ると、AIのアルゴリズムと、初期状態で⼊っている学習データまではメーカーの責任かもしれないが、ユーザーが運転した結果、集まった学習データまでメーカーに責任を取らせるのは、技術屋視点
からすると無理がある。
⇒⼈間は無意識であったとしても、そのドライバーが責任を取るという建て付けになっている。そのロジックが⾃動運転でも有効なのかについて今後検討すべき。
◆⾃動運転がクラウド化してくると、事故を起こすに⾄った学習データはどこの誰に由来するものなのか、責任を負うべきなのは誰かが判別できなくなってくる。そこに悪意ある混ぜ込みが発⽣する可能性も出てくる。
⇒悪意ある混ぜ込みを防ぐための学習データの洗練やフィルタリングに、誰がどこまで責任を持つのか。
◆アルゴリズムと学習データを明らかにすることは、企業にとっての営業秘密に関わってくる。学習データは、その⾃動⾞のドライバ－であったり、AIの機器のユーザーのプライバシー情報を含んでしまう。
⇒技術の透明性のために学習データを開⽰するわけにもいかず、難しい問題が浮上。
7@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（3／27）◆ドライブレコーダーのプライバシー問題がEUでは厳しく指摘されていて、周囲の⼈の映り込みがあるという。記録した情報がYouTubeに公開されているとか、その中に私のよからぬ⾏動が映っていたらプライバシー侵害だというのはよく分かるが、その記録が周囲の物の動きのレベルまで解体して記録されていて、事故が起きたときにだけ検証対象になるとしたら、誰のどんなプライバシーが侵害されているのか。
⇒監視の先にいる機械に仮に⼈格があれば、そこは⼈間と同⼀視できる。ないと決めるのであればそれは⾃動化されたシステムであって、⼈間の間の問題としてのプラ
イバシーと関係はないと割り切ることになるのかもしれない。
⇒EUがAIの包括規制案を公表、顔認証などでの利⽤で事前審査制を導⼊（2021年4⽉22⽇⽇経）◆⾃動運転⾞が⾃賠法上の⾃動⾞の定義を満たす限り、法が改正されなければ現在の⾃賠法が適⽤になる。そのときに運⾏供⽤者は誰なのか、その⾃動⾞の構造上の⽋陥という免責４要件の⼀つはどう判断されるのかという問題がある。知的財産の話も同じで、AIが⽣み出した創作物に著作物性はあるのか、創作物が⽣み出されてしまえば、
どこかで誰かが判断しなければいけない。
⇒現在ある法律の下でAIが取りあえず使われ始めたときに、その法律をどう適⽤していくか。
◆将来の⾃動運転の⾃動⾞は、特定の路線であればビーコン型のほうが実⽤化の可能性が⾼い。そうすると道路供⽤者という当事者が加わってくるが、現在の責任の議論は、運転者と製造者等にやや特化している。
⇒道路を供⽤している国道であれば国、県道・市道等であれば地⽅公共団体の責任の議論も今後は必要になってくる。
8@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（4／27）◆AIの普及が途中にある時期で、例えば⾃動運転で⾔うと、⾃動運転で運転する⼈と、
今までどおり⼈間が最初から最後まで運転している、あるいは⾃動運転のレベルによって、レベル４を使っている⼈もいればレベル２の運転をしている⼈もバラバラにいる。AIをよく使う⼈であれば、AIのことをそれなりに分かっていて、AIというのはこういうものだからこういう規制がいいと思うかもしれない。しかし、AIをそんなに使い慣れていない⼈にとっては何かAIが怖い、だから厳しい規制があったらよいということになる。
⇒AIについての認識が⾮常に違うけれども、普及は急送に進んでいく中で、どうやって社会的な合意を形成していって、この社会に有意義な形で秩序を作っていくことができるのか。
◆例えば、電⾞の⾃動運転はできているが、閉鎖されていて他の⾞両や⼈が⼊ってこないことが重要な前提になる。鉄道線路への⽴⼊りは法的に禁⽌されている。だから事
実としては⽴ち⼊る⼈間がいるかもしれないが、いないはずだと前提して鉄道⾞両は⾛⾏してよろしい、事故が起きても⽴ち⼊った側の責任だという制度になっている。
⇒⾃動運転⾞についても、優先順位をどのように法定するかという社会制度の問題に打ち返されてくるはずで、例えば⽥舎道で⾃動巡回バスを時速20〜30㎞で⾛らせて、通常の運転者は常にそれを避けなければならないという法規制を敷くという対応も可能かもしれない。

9@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（5／27）◆⾞を運転するときにどういうことを考えて、どういう判断をしているのか、実は⾃分⾃⾝でよく分からない。「暗黙知」と表現された問題である。何かの事故が発⽣した
場合には、その原因が追究される。そこで、ぼーっとしていたとか、⾒落としたとか、後から考えて理由を⽣み出しているにすぎない側⾯が相当にあり、だとするとディー
プラーニングとの違いがどれだけあるのか。
⇒解けていない問題は社会にたくさんあり、解けない⼈たちもホモ・サピエンスの中に相当いる。それでもこの社会を運営していくことを我々が選択しているのならば、AIの思考が今⼀つ理解できなくてもそれを社会の中に包含していく⽅法は当然あるだろうし、それは何かを考える⽅が⽣産的ではないか。
２）消費者・市⺠の⽴場を素材に◆AIになり、アルゴリズムとは別に学習データの話になって、どのようなデータを学習
したかは最後は分かりませんと⾔われてしまうと、そこでの消費者の不安感をどうやって救済していくかが、社会にAIを普及させる上で⼤きなポイントになっていく。
さらにAIが社会の産業構造⾃体を変えたときに、それに合わせて新しい法制度が必要ではないかという問題が出てくる。
⇒消費者の利益あるいは消費者の不安感を法制度の中でどう受け⽌めていくか。
◆⽇本はプライバシー保護を訴える側は個⼈プレーです。欧⽶だと、プライバシー保護団体のような組織があって、そこがある意味で組織化されていて、技術的な専⾨性も⾼い。その組織が、これは安全、これは安全でないという判断をしている。
⇒AIの透明化も、NPOとかNGOとか、そうした判断を第三者的に⾏える組織を作らな
いと、AIのアルゴリズムやデータが透明化されても、それの妥当性は分析ができず、消費者の不安感は取り除けない。
10@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（6／27）◆これまで我々には⾃律性があることを社会の⼀応の前提にしていて、それが不⼗分な存在は例外的に社会システムの側が⾯倒を⾒てきた（典型は成年後⾒制度）。AIが出てくることによって⼈間に求められる⾃律性の⽔準が上がり、限定的な⾃由権・⼈格権に追い込まれていく⼈の数が増えるのではないか。
⇒「そこそこのAI」を活⽤する能⼒のある⼈とない⼈の格差が広がり、活⽤できない
⼈を社会から疎外する⽅向に動くかもしれない。
⇒AIという技術を使うべきだという⼒学が、社会の中で⾮常に強く働いてくると、AIを利⽤しない⾃由あるいはAIを拒否する⾃由があるのかどうかが問題になってくる。
⇒AIでサポートなり機能強化されていくと、⼈間がAIに依存していって⾃由が奪われるというのは、かなり根本的な問題で、そういう次元になったときのAIはある意味、
⽇常⽣活に⾄るまで細かい戒律の多い宗教に近いのかもしれない。それを信じて、それに従って⽣きていますという状態になっていくと思う。それが我々が求めてきたものなのかというと、それは違うという気はするし、AIに逆らえるか否かが、⾃⽴した⼈間として重要な意味を持つ。

11@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（7／27）
３）法律業務を素材に◆YouTubeに投稿された著作権侵害被疑画像を⾒付けるのは、今はかなりAIで発⾒している。今は精度が悪いから、その後に⼈間が⽬を通しているが、精度がよくなったら、全部⾃動でやって、訴訟も⾃動でやる時代が来ると思う。
⼀⽅、企業の契約に関わって商法云々、いろいろな法律が関わってきたときに、いろ
いろな契約、規定、法律を照らし合わせて、そこに含まれている問題を⾒付けるのは、AIにとって⼀番苦⼿な分野です。情報と情報とか、関係と関係を組み合わせるといった計算量が膨⼤になることや、類似した事例では関係があっても、対象の事例に限れば関係がない情報と判断することは、今のAI技術では難しい。そこの部分を置き換えられるのは、まだ当⾯は先かと思う。
⇒AIで弁護⼠の業務が要らなくなるといった意⾒があるが、AIで置き換えられるものと置き換えられないものがある。
◆裁判をAIで⾃動化する場合、既存の判例を学習データとしてAIを使って判断することになるが、AIが、判決を⾏った判例を学習データとして取り込んでいいかという問題がある。ある偏ったAI裁判官がいて偏った判例をどんどん出していくと、その判例が学習データとなり、他のAIの裁判官もその偏った判例に引き寄せられてしまい、それが更に偏りを⽣み出し結果として世の中全体がそっちに寄っていってしまう怖れがある。
⇒⼈間の介在が、当⾯は不可⽋と思う。

12@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（8／27）
第２章

データの流通取引－主体と利活⽤（1）本⼈関与の下でのデータ流通の促進ーデータポータビリティー◆AIとデータの関わりには、⼆つの側⾯がある。
①AIの学習⽤データとしてのデータという側⾯
IoTによって現実空間全体から取得されてくる膨⼤なデータをビッグデータとしていかにAIの糧としていくか。
⇒法的論点として、情報の取得や収集に関わるプライバシー・個⼈情報保護、集積したデータをいかに知的財産で守るか、データ独占に関わる競争法の問題がある。
②AIに認識される我々⾃⼰としてのデータという側⾯
私たち個々⼈がAIによって可能になる様々なサービス（例えばパーソナライズされた医療、就職や⼤学⼊試でのプロファイリングによる合否の判定など）を享受できるのは、全て個⼈がデータとして表象されて初めて成り⽴つ。
⇒AI社会では、⼈はデータとしてしか存在し得ない。そういったAI社会における⾃⼰を規定するデータに対して、我々がいかに主体的に関わっていくべきか。データ
ポータビリティの権利が重要性を増してくる。
◆データポータビリティがあることと、実際にデータを利⽤できるかは別問題である。
⇒事業者が関⼼事に応じて収集したデータを他の事業者が別の関⼼事に使えるようにするのは難しい。技術的な限界が３つある。①ある個⼈に関するデータでも、事業者によってデータの表し⽅が違うこと、②データの格納の仕⽅が様々なこと、③属性情報が違うこと。
⇒新しいサービスやその情報に関してはまず標準化されていない。個⼈の情報に関わるデータポータビリティに関して、事業者には⼿間をかけて標準化するメリットがない。
13@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（9／27）◆様々なプラットフォームから取り戻した⾃⼰のデータを蓄積・管理する上で、PDS（Personal Data Store）のような機能は不可⽋になる。そこに蓄積されたデータを誰に渡すか、どういう条件ならば提供するかを、個々⼈が逐⼀判断するのは認知限界という点からも難しく、効率的かつ安全に⾃⼰のデータを活⽤するためには、情報銀⾏のような代理⼈の存在が不可⽋になる。
⇒課題が３点①情報銀⾏、PDSを誰がやるのか、根本的なビジネスモデルすら⾒えていない。
②個⼈に関わるデータはサービス依存で、例えばSNSの場合、ユーザーの登録情報
は預かることができたとしても、ユーザー同⼠の関係はSNS事業者の内部実装に依存するし、⼆者間で共有しているデータについてどちらのユーザーのデータなのかは簡単に切り分けられない。
③データ共有・連携⼿段の⽋如で、例えば、同じユーザーでも職場と家では個⼈情報の管理の仕⽅は違うように、１⼈のユーザーが複数のPDS、複数の情報銀⾏を使うケースが想定される。現在提案されているPDSや情報銀⾏の多くは、１⼈が１つのPDSや情報銀⾏を使うことを暗に想定しており、ユーザーの個⼈情報をPDS間や情報銀⾏間で安全に共有や連携する⽅法は解決されていない。

14@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（10／27）（2）データの流通と保護に関する規制の在り⽅

１）共同規制というアプローチ◆共同規制の最近の動向２点①共同規制は、ルールの形成・運⽤の両⾯において業界団体という存在を重視していた。ある業界全体に影響⼒を持つ団体でまとまってもらえれば、⾃律的なガバナン
スも働きやすく、また国家としても働きかけをしやすい。
⇒今のデータ・AIを⽜⽿るプレイヤーは海外のグローバルなプラットフォーム企業で、業界という単位も⾃明でなくなりつつある。伝統的な団体⾏政の⽅法論が通⽤し難い環境で、いかに官⺠の協働に基づくルール形成と運⽤を実現するかが課題。
②プラットフォームは規制を受ける客体でありながら、規制する主体としても良いポ
ジションにいる。リアル空間のデータも含めて、プラットフォームが現実の振る舞
いを規制するために必要な幅広いデータをも持つようになってきている。
⇒プラットフォームの持つデータを、いかに望ましいガバナンスにつなげていくか。
AI／IoT／ビッグデータによりプラットフォームの影響⼒が現実空間にも及ぶようになる中で、規制の代理⼈としての役割も拡⼤・変容しつつある。
⇒グーグルが新OSでスマホの個⼈情報管理機能を強化（2021年5⽉20⽇⽇経）◆GAFAのビジネスの源泉はプラットフォームで、プラットフォームには数多くのユー
ザーと多様なサードパーティーが乗っかっているが、プラットフォームの提供・運⽤
側は、プラットフォームの秩序を維持するために、強権的に運営することがある。例
えばスマートフォンのアプリマーケットでは、AppleもGoogleも独善的にこのアプリ
は良い、悪いと判断し、悪いとするアプリだけでなく、そのアプリを開発したサードパーティーもプラットフォームから排除することがある。
⇒プラットフォーム秩序維持のために強権的な運営をするときの基準がよく⾒えない。
15
これは競争法や共同規制などを通じてクリアにすることが求められる。

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（11／27）◆最近、Facebookのフェイクニュース騒動があったが、将来、いまのアプリ以上に、プラットフォーム内で提供・利⽤されるデータの正しさを担保することが求められる。
⇒プラットフォームだからこそできるデータの正しさを担保する仕組みは求められ、その仕組みとしてプラットフォームには何らかの共同規制を実装することが然るべきというケースもあり得る。
２）データ政策について◆データの集積が⾮常に重要なので、そこで多少汚いことをしても競争優位が成り⽴つ。
新薬の開発に必要な治験を先進国でやると、ものすごい⼿間と費⽤が掛かる。それをアフリカでやって回避している企業があるという話も聞く。規制の緩い国でデータを収集して競争優位を確保しようとする事業者が出てくるかもしれない。
⇒⼈体の共通性が⾼いのに⽐べて、パーソナルデータとか個⼈の振る舞いは社会によって違いそうなので、規制の緩い国でデータを収集して競争優位を確保する戦略
がどのぐらい有効かは分からないけれど、警戒が必要。
◆⼤量のデータがそろったものからサ－ビス提供や実⽤化に⾄るとなると、マジョリ
ティーの⾏動が有利になる。その社会で⼀般的なパターンで⾏動している⼈が有利に扱われて、そうではない⼈は劣位に置かれていく。意図的な差別はなくてもマーケッ
ト的にそうなっていく。
⇒少数派の⼈が社会からマーケット的に疎外されていくことにも、憲法的な観点などからは注意が必要。

16@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（12／27）◆データをオープンに共通させていく、場合によっては、公共部⾨のイニシアティヴ、国の責任で共通に使えるデータのインフラを確⽴すべきではないかという議論がある。
⇒データ形式の相違に加えて、データに何を表すのかという関⼼事の違いがあり、技術で解決できることとできないことがある。さらに、個⼈情報保護法や著作権法などの法制度や、社会的な規範で縛られているという課題がある。
⇒⼟地などと同様、データの利⽤もトラストの段階にいかなければいけない。現状はデータ利⽤に関してはユースの段階なのにトラストというキーワードだけが先⾏しているし、⼟地やお⾦などの延⻑戦でデータを扱おうとしている。
◆AIによる解析は、例えば農業や、環境、パンデミック対策などにも有益で、⼟地とか、気象とか、環境の状態に関するデータも、実は学習データとして使われる。データを取得するのにそれなりにお⾦も⼿間も掛かるし、環境データはステークホルダーが多い。センサーで取得した事業者がいるし、センサーの設置場所の⼟地のオーナー、
データを分析する事業者もいる。
⇒現状はステークホルダー、いわゆるマルチステークホルダー間の整理がきちんとできていないので、利活⽤ができないケースが多いと思われる。
◆政府⾃⾝は、地理空間情報などのオープンデータ化を進めることを施策として打ち出
して、少しずつは進んでいる。都市計画基礎調査情報についても、オープンデータ化を進め、個⼈情報保護との関係で問題があって完全にはできない場合でも、例えば研究者への限定公開といった議論は⼀応やっている。
⇒まだブレイクスルーが起きておらず、なかなか広がっていかない。⾃分が持っている情報が⼈に使われることをどう納得できるか。それはイコール・フッティングでもいいし、データ収集の努⼒に対するリワ－ドでもいい。それがきちんと保証される仕組みをつくらないとこれからの社会は動かないという課題が浮上。
17@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（13／27）
３）データローカライゼーション◆新興国を中⼼に拡⼤しているデータローカライゼーション規制は、個⼈情報に限られない産業データなどを含めた様々なデータの⾃国内保存を求める。しかし、例えば、
⾃動運転やコネクテッドカーなどが本格的に普及してきたときに、街中を⾛り回る⾃動運転のデータが全て海外に置かれて、それを管理するプラットフォームも⾃国の法が必ずしも及ばない状況を、我々はどの程度許容可能だろうか。
⇒事故や重⼤犯罪の場合の捜査機関によるデータへのアクセスも必要になってくる中、保護主義的な規制として批判されるデータローカライゼーションにも多少の理があるかもしれない。アメリカでは国際的なデータアクセスのルール作りが進⾏中。
⇒個⼈情報の6割が海外移転か海外からアクセス可能で、企業の丁寧な説明が必要（2021年5⽉13⽇⽇経）

18@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（14／27）
第３章

契約と取引の未来－スマートコントラクトとブロックチェーン（1）AIと契約条項の個別化・約款規則◆⺠法は平成29年に⼤きな改正があり、定型約款に関する条項（不特定多数の⼈間を対象とした⼀定の条項）が⼊った。⼊れたのは、①顧客ごと、相⼿⽅ごとに契約条項を変えるのに⾮常に⼤きなコストが掛かる、②契約を⾏う前には、相⼿⽅に関する特性や個別性に関してあまり情報を⼿に⼊れることができない、からである。
⇒①は、⼀部AI等々で置き換えることで下がってくる。②は、検索サービスやショッ
ピングサ－ビスなどで事前に商品情報が⼊⼿できるように契約前に相⼿⽅の情報が⼊⼿可能になる。２つの前提がAIの登場によって変わるので、定型約款のような現象が今後続いていくかどうか⾃体が疑問。
⇒ビットコインには運営者がおらず、あるのはBitcoin Improvement Proposals（BIP）という技術⽂書のみで、約款を提⽰する⼈はいない。BIPを読んで、これなら乗っかってもいいと思った⼈がビットコインの世界に⼊ってくる。契約が技術規格で置き換えられてしまって、定型約款の規制どころか、約款に対する規制そのものが場として消滅してしまう。
◆AIにより契約の相⼿⽅ごとに約款を変えることは技術的には可能だが、個⼈の⾏動や将来起き得ることを予測するのはプロファイリングの⼀つで、プロファイリングの結果に基づいて、その個⼈を格付けし、約款を含めて、その個⼈への対応を変える時代がやってくる。
⇒プロファイリングは個⼈の権利利益に関わるにもかかわらず、事業者間で⾏われる
ため、個⼈はそのプロファイリングの結果はもちろん、プロファイリングされていることにすら気付くとは限らないため、オプトアウト的な対処は向かない。現⾏の個⼈情報保護法はプロファイリングには対応しきれているとは⾔えない。AIによる
19
契約条項の個別化は有⽤性もあるものの、解決すべき問題も多い。

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（15／27）（2）電⼦書⾯と紙の書⾯◆⺠法上書⾯は贈与にしかなく、紙の書⾯だけだった。平成16年の保証法の改正により、保証・消費貸借は電⼦書⾯でもよくなった。しかし、贈与・無償契約⼀般については、
依然として紙の書⾯しか認められていない。電⼦書⾯のほうが基本的には意思の慎重性は確保しづらいが、プロがやるのだったら意思の慎重性はある程度確保しなくても⼤丈夫だろうということらしい。
⇒ブロックチェーンなど、電⼦的に記録することの確実性が増していくとどうなるのか。意思の慎重性確保が要請される場⾯でも、電話やインターネットだけで契約が完結する状況で、電⼦書⾯と紙の書⾯を区別する意義がそこまであるのかどうか。

20@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（16／27）
第５章

専⾨家責任

（1）専⾨家責任とAIー医療機関を素材にー◆診療過程にAIが投⼊された場合、医師や医療機関の責任の在り⽅がどういった影響を受けることになるか。
⇒①医師の判断が関与しない仕組みとすると、医師の裁量の⾏き場をなくして、診断・治療を悪い意味で定型化させてしまうおそれがある。
②AIの判断過程、判断理由が説明不可能だとすると、医師と同じだけの裁量を認めることに、患者側の納得が得られないと思われる。
③厚⽣労働省は、⼈⼝知能を⽤いた診断・治療⽀援を⾏うプログラムを利⽤して診療を⾏う場合、「診断、治療等を⾏う主体は医師であり、医師はその最終的な判断の責任を負うこととなる」という⾒解を公にしている（2018年12⽉19⽇）。
⇒患者の⾝体の安全のためには、AIが判断を誤るリスクに備えて、医師による最終判
断を介在させる仕組みが不可⽋。
⇒⼿術で治る⾼⾎圧をAIが判定、かかりつけ医で早期発⾒（2021年5⽉23⽇⽇経）◆画像診断でAIに読ませるとなると、そもそも画像化せずにデータの状態で機械に読ませるほうが効率的で、そうなると、読影可能でなくなるので、医師はAIが選別した数枚の画像すら⾒られない。もう画像を⾒る作業は⼈間である医師から切り離してしまって、そこはAIに完全に依存してしまってもよいのではないか。
⇒結果を判断するのが医師の義務の内容だと整理するか、画像の中の何枚かは最後に読影可能な形に打ち出して、⼈間たる医師が⾒なければならないとみるか。
⇒今後はカメラやセンサー技術の向上により、⼈間には⾒えない情報も⾒えるようになる（例えば、可視光線以外の周波数帯域の情報）。医師を含めて⼈間には⾒えな
い情報も使うことになり、AIを使ったほうが診断精度が上がる可能性もある。 21@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（17／27）◆⽣活習慣病に対する未病対策では、医師が⾒るべき情報は診療情報だけでなく、何を⾷べたのか、何時に寝て、何時に起きたのか、どれだけ歩いたのかのような⽣活に関わる⼤量かつ雑多な情報を⾒て、患者に適切な治療をしてもらうことになる。
⇒⽇々の⽣活に関わる⼤量データの扱いは⼈間の医者には無理で、AIに頼るしかない。
その結果何らかの疾患の疑いがあるとなれば、医師が診療⾏為を始める。
◆病院がAIによる診療⽀援を提供しているとしたら、AIの精度によって病院が選ばれる
ことが想定される。
⇒機械学習系のようにデータ量により精度が依存する場合、サーバーの性能とストレージの量によって病院が選ばれる時代もあり得る。
◆医師の過失を考えるときに、医師にどれだけの責任を負っていただくのが社会全体として適切に回るのかとか、患者ないし⾮専⾨家から⾒て、医師に対する期待が後ろにあって、医師が何をすべきか、注意義務の範囲が決まってくるのではないか。
⇒今の医師あるいは医療の現状をベースラインとして、それが改善されるのであれば、AIを使うことによって医師の責任を重くするのではなく、基本的には構造を変えな
いままAIが使われる⽅向で、過失等の判断を緩めていく⽅向で議論すべき。
◆専⾨家は、善管注意義務を含めて様々な義務があるが、明⽰的にこうしなさいという義務（例えば銀⾏の役員に課せられた義務はガイドライン等で定まっていることが多い）以外に倫理性や良⼼に依存した義務がある。
⇒倫理的なことはデータにしにくいので、今のAIに必要な学習データが作れるとは限らない。倫理的判断が問われるのは既存の状況ではなく、何らかの未知な状況であり、その状況に関するデータがないので、今のAIは苦⼿である。
⇒義務と⾔ったときに全体を⼀つで捉えるのではなくて、AIで扱うのであれば、AIに向いている義務と向いていない義務は整理したほうがよい。AIにより従来の義務とは違う概念の義務が⽣まれる可能性もある。
22@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（18／27）◆専⾨家のほうが依頼者よりはリスクのコントロールができる可能性が⾼いので、対等な当事者が依頼した場合に⽐べると、責任を負うケースが多くなる。加えて専⾨家のサービスのqualityが依頼者には必ずしも分からない。
⇒資格という形で最低限この程度のレベルは確保してくださいと、国なり業界団体なりが設定していると、これはやっておきなさいという裁量が明確になる。そうすると、義務違反が⽴証しやすくなって、責任が肯定されるケースが多くなるかもしれない。これが専⾨家であることの特徴かもしれない。

（2）社会全体のインセンティヴ設計◆経済分析の世界では、ハンドの定式がある。marginalな予防コストの⼩さな⼈、
marginalなリスクコントロール能⼒の⾼い⼈に責任を負わせる。そうすると、うまくリスクを減らすように⾏動してくれるので、よりよい結果が導かれる。それを実現するための法ルールとして、⺠事法、刑事法、⾏政規則があり、いろいろな社会制度があるので、そうした様々なものを組み合わせて最適なインセンティヴを与えればよい。
⇒専⾨家がAIを使うケースについては、安全な、能⼒の⾼いAIを開発・製造するというインセンティヴを与える必要があるし、製造者やAIサービスの提供者から利⽤者たちに対して、AIの精度についての情報が⾏く、そういった説明義務を与える必要がある。また、それを受け取った利⽤者（診療過程で⾔えば医師）の側が、その情報に基づいて正確に⾏動するというインセンティヴを与える必要がある。

23@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（19／27）◆医師はもちろん、弁護⼠でも税理⼠でも多様な専⾨家責任があり、それを全てAIで置き換えるのではなく、AIに向いている専⾨家責任にAIを使ったほうが合理的で、例えば専⾨家責任の⼀つとして、説明責任、または情報開⽰責任があるが、これはAIで⽀援しやすい。
⇒医師による患者への説明では、医師という有資格者が説明しているところに、ある種の根拠を持たせているところがあり、それをAIに任せられるか。単に医師による説明を聞くだけではなくて、何らかの同意を求められるような場合に、AIによるインフォームド・コンセントで、患者などの同意は⾃由意思で⾏われているのかは、
今後の課題。
◆⼤出⾎しているとか切迫した状況があって、⼗分な情報を収集しているとその間に患者さんが死んでしまう。そこで何が適性だったかということは同じ専⾨性を持つ同輩にしか分からないから同輩たちに評価させる。その結果、否定されるなら医師失格で資格停⽌みたいな制裁システムを機能させる仕組みを社会的に創ろうとか、そういうものがあるから法的世界はそこへの⼲渉を差し控える形で形成されてきたのが、専⾨家のシステム。
⇒事前の統制も事後評価も⼀般⼈には難しいという領域は、医師や弁護⼠に限られていたのが、拡⼤している。経営コンサルタントにも情報の⾮対称性があって、顧客の側での評価は難しい。そういう状況で適切な⾏動へと⼈々を動機付けるために、専⾨家責任の法理を拡⼤していく必要があるのではないか。

24@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（20／27）◆医療の世界ではEBM（Evidence-based Medicine）を通じてガイドラインが作られ、事前の指⽰を⼀定程度はするようになってきた。ガイドラインは絶対に守るべき指⽰
ではなくて状況に応じて逸脱することが避けられないけれど、例えば適応外投与なら病院の委員会で審議しなさいというようにコンプライ・オア・エクスプレイン（Comply or Explain）、遵守するならよし、逸脱する場合には説明責任を果たしな
さいという形での統制に移ってきたのではないか。
⇒もう医師や弁護⼠を特別扱いする必要もないのではないか。

（3）不法⾏為とAI◆製造者の責任も運⾏供⽤者の責任も考えられるときに、通常の過失責任だと、被害者がどちらを相⼿取って訴訟するか選択しないといけないが、被害者は基本的に⼀番⼒が弱く、被害を受けていて救済の必要性が切迫している。そうしたときに、取りあえ
ず運⾏供⽤者を相⼿取ればいいことにして、運⾏供⽤者に不満がある場合には製造者との間の分配についてその後のステップで解決する、としておくと紛争の解決経路が⼀義に決まり、被害者の側からはとにかく救済を得ることができる。
⇒現在の制度は、被害者を含む⼈々が⾏動するときに、いかに効率的、道徳的に問題を処理するかという価値観が埋め込まれている。全体的な⾒直しも必要だし、現状の⽴法制度が、そのために必要なスピードや包括性を備えているかが問題である。
◆専⾨家責任の場⾯と機械装置の⾃動運転の場⾯で、前者は過失責任にとどめ、後者は当該設備がはらむ危険を捉えて無過失責任がふさわしいと⾔われている。AIが登場して性能が向上した段階でどうかと⾔うと、熟慮による判断は、なお⼈の領分に残されて過失責任が妥当し続ける。機械装置のほうは、運転も含めてAIに置き換わるため、技術的設備による事故という性格が更に強まって、⼀層、無過失責任が求められる。
⇒⾃動⾞以外の機械装置の⾃動運転について、思い切った無過失責任⽴法が要請される。
25@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（21／27）
第８章

サイバーセキュリティ（1）サイバーセキュリティの機能と国内における対応◆企業・個⼈は⼀義的にはサイバー攻撃の被害者になるが、その被害者が、実は加害者、
あるいは加害者に使われる⽴場でもある。その先で発⽣した損害に対して、⼀体誰がその責任を負うのか、あるいはその損害をどうやって分担していくのか。
⇒⺠間主体としては、セキュリティに関して注意を尽くしていたレベルであった場合に、サイバー攻撃から⽣じる損害を誰がどういう形でカバーしたらいいのか。特定
分野、特定の態様にとらわれず、横断的にサイバーセキュリティによる損害に対する仕組みを作っていく必要があるのではないか。
⇒私的主体として注意義務を尽くしたと⾔えるのはどのレベルなのか。重要インフラ
事業者などは、⺠事法の問題として相当に⾼い注意義務を要求されるのではないか。
⇒政府はサイバー攻撃を国家のリスクと位置づけ、重要インフラ防護に重点を置いた
新戦略を策定。（2021年5⽉14⽇⽇経）◆⾃動運転の⾃動⾞の事故原因のデジタル・フォレンジックをどのように⾏うのか。警察の交通部⾨かサイバー部⾨が１台１台デジタル・フォレンジックを⾏って交通事故
証明書を発⾏できるかと⾔うと、現実的には難しい。しかし、警察の交通事故報告書がないと、保険会社は保険⾦を出してくれない。
⇒⾃動運転の場合は事故原因調査のためのデジタル・フォレンジックも含めて事故証
明に関する⼿続を保険会社に転嫁するのか。ISPの通信の秘密の関係、その他の現⾏法制とどのように調整を図るのか。費⽤負担の問題が発⽣してくる。

26@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（22／27）◆⽇本年⾦機構に対する攻撃事案が発⽣したときに、年⾦機構は被害者なのか、加害者なのかという議論があった。どの程度の努⼒を⾏っていれば正当性があると認められるのか。セキュリティ対策はどこまでやればいいのか、誰がやるべきなのかよく分からない。セキュリティを所管する役所・組織が責任を持つものなのか、個々の事業者・独⽴⾏政法⼈・⾏政機関がやるべきなのか線引きができない状態だけど、セキュ
リティ対策への要求は広がっていく。
⇒どこまで対策を打てばいいのかというのは永遠の課題。重要なことは、リスクの定量化、数値化・⾦額化をやっていくことで、ある程度定式化できてくると、⾃分の企業はどれぐらい個⼈情報を持っているから、どれぐらいの想定損害賠償額が必要となる、したがって、それに⾒合うだけの投資であったり、保険に⼊っておかないといけない、ということが⾒えてくる。
⇒政府ではサイバーセキュリティ保険の議論が出ている。⼀定の保険に⼊って、⾃分で保険料を払い、⼀定の措置を講じている、あるいは監査を受けている場合には責任が⼀定程度で免除されて保険⾦が下りる、というようにリスクを経済価値に置き換えるのも⼀つの考え⽅。中⼩企業⼀社⼀社が対策を打つのは⼤変なので、リスクをプールして、みんなで負担をする。
⇒東京海上、企業向けに、サイバー攻撃の被害予測・対策・保険を提供（2021年5⽉13⽇⽇経）⇒事業者がある程度の努⼒義務を果たした場合には免責にする仕組みが法的に確⽴しないと、事業者は怖くて個⼈に関するデータを扱えなくなる。

27@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（23／27）◆外部組織によるSOCなどのセキュリティ監視でやれることは、対象組織の不正アクセスを発⾒しても、気を付けてくださいと⾔うだけで、そこから先へは⾏けない。本気でやろうとしたら、NICTにある種の捜査権を与えないと安全性は得られないのでは。
⇒NICTはNOTICEの業務を恒常的に続けて、国⾃らがサイバー捜査官になっていくのか。NICTは研究組織であり、こういうことをやって、その脆弱性の構造であったり、考えられる対策、技術開発を⾏っていくことが⽬標となっている。
⇒サイバーセキュリティに関して⾃⼒救済や被害者側からの対抗を認めるべきか、アメリカ等で浮上しているActive Cyber Defense（ACD）を認めるべきか。
◆サイバーセキュリティで直⾯しているのは、本来あるはずの⾏為指導性に、みんな
ちゃんと従ってくれない。乗っ取りを受けるとまずいから合理的な⼈間はパスワードを変えるはずなのに、世の中の⼈はおおむね合理的ではない。そこでセキュリティ・
バイ・デザインと⾔われるように、あらかじめ⼈々の⾃由を制約するとか、責任を負わせるのとは違う形で⾏為を直接に指導する、直接的な捜査や監督を加える形に世の中がシフトしている。
⇒セキュリティ・バイ・デザインのデザインする側が利⽤者の機器利⽤の形態をよく理解してコントロールできるという推定が正しいかどうか、正しいことを誰がどう担保するのかが問われる。
◆主たる責任を端末供給者やサービス供給者に負わせようという考え⽅がある。他⽅でインターネットに物理的に繋がっていてコントロールできるのはISPなので、主たる役割はISPに対して期待するという考え⽅がある。他⽅でパスワード変更は消費者の責任なので、消費者にもっと⾃覚してもらうという⾒⽅もある。
⇒従来の⽇本の製品安全・製品保証の考え⽅では、消費者の末端に⾏き渡るのは完成品であって、消費者がそれをいじるのは改造になる。常にアップデートしなければその保証は受けられませんという発想を消費者に受け⼊れてもらうのはかなり厳し28
く、時間がかかる。

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（24／27）
第１０章

これからのAIと社会と法－パラダイムシフトは起きるのか︖（1）AIと社会と法をめぐる動向を振り返る◆AIといってもその中⾝は多様であるし、使われ⽅とか⼈間との関わりについても⾮常に幅が⼤きいし、まだまだ変化しているテクノロジーなので、ハードローでカチッと規制するのは難しいから当⾯は温かく⾒守るしかない。
⇒極端にネガティブな結果を⽣じさせないようにすることと、形が⾒えてきたものに対しては然るべき規制⽅法を考えていこうという程度の合意は得られた。
◆AIなり、AIを組み込んだシステムなりを、なぜ我々は信頼することができるのか、安⼼して使うことができるのかというトラストの論点が浮上。
⇒法律の分野では、代理⼈をどういう状態で、どういう形で信頼することができるのか、不定形な他者にどうやったら権限を委ねることができるかという問題に対する解決そのもので、古くて新しい問題と⾔える。
◆Googleが2018年に発表した「BERT」は、⾃然⾔語の解析精度を⼤幅に上げたことに加えて、特定の⾃然⾔語に特化しなくても精度が⾼くてインパクトがあった。従来は、⽇本語向け、英語向けなど、⾃然⾔語ごとに解析や処理をしてきたが、「BERT」では英語も⽇本語も関係なく、⾼い精度で分析できてしまう。
⇒AIに対する⼈間の優位性として、⽂章読解⼒が挙げられていたが、⼈間とAIの差がなくなってきており、⽂章読解⼒を含む、⾔語的な認識もAIのほうが上になる可能性も考えるべき段階に⼊っている。

29@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（25／27）◆今までIT系のビジネスは、新しいサービスを思い付くことがビジネスの源泉だった。
しかし今は、新しいキラーアプリとなるサービスは、実はみんなが知っている。でも、それを実現するAIのための学習データがないことがネックになって、そのサービスを誰も始められないことが多い。
⇒AIを使う以上は、データを先に⼊⼿した者がサービスを先⾏して始められて、その市場を押さえられる。
◆AIではデータをたくさん持っている所が有利であり、その結果、⼤量データを保有する事業者がますます有利となり、⼩規模事業者は不利なままとなり、今後は新規参⼊が減ってしまい、IT業界が停滞する懸念がある。
⇒データに関する農地⾰命を含めて、何らかの法制度で補完していかなければいけな
いのではないか。

（2）座談会を振り返る◆「AIによる『⺠主化』」はそれ⾃体良い側⾯もあるが、そのことによって、この社会が何となく前提にして成り⽴ってきた、トラストが消滅していく部分がある。専⾨家にトラストの確保を期待するのであれば、逆にその専⾨家は当然、AIをうまく使いこなせないと、トラストを⽣み出せるような存在にならない。
⇒専⾨家の法的な位置付け、資格制や規律の在り⽅が問題になる。
◆クラウド上にAIがあって、情報通信ネットワークを通じてデータが流れていく中で、国家の規制権限が⼀番だ、主権があるのだと頑張ってみても、機能しなくなってくる。
国⺠、消費者にとってもハッピーだし、事業者にとっても従うことが得だというインセンティヴを供給できるルールでなければいけない。
⇒強⼒な事業者がAIを使ってサービスを提供する場⾯では、様々な差別などの社会的混乱が起きる可能性があるので、そのAIの監査の在り⽅が今後は重要になる。 30@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（26／27）◆⽇本の⺠事法は、解釈できる幅が広いので、何か新しい技術ができたからといって、すぐに無過失責任制度を導⼊しようとか、新しいAI法⼈格のようなものを認めるかという議論は進まず、既存の制度を微調整しながら社会的に受け⼊れられる結論を導く対応になっている。他⽅で、中⻑期的には⼤きなインパクトを持ちそうな問題が起こってきている。
⇒データの取引、特にデータの収集を考えると、個⼈を単位にすること⾃体が、あまりにもフィクションであることが明らかになりつつある。⼀⽅では、個⼈としての意思決定能⼒がない⼈からも、場合によっては、主体としての⼈が介在しないまま、機器からデータが取られる状況もある。他⽅では、家庭内に置かれた機器からのデータ取得について、⼀体、誰が権限を持つのかという⺠事法における家族の位置
付けとも絡んで難しい問題が出てきている。
⇒契約法の前提は⾃然⾔語による取引活動だった。それが、AIになると⾃然⾔語を介さない形で処理される。法や契約が前提にしていたこと⾃体が、変わっていってしまっている。
◆法律は基本的に⾃然⾔語をベースにしている。GAFAなどのプラットフォームは、ある種の秩序を作っている仕組みになっているが、その秩序は⾃然⾔語の法律ではなく、プログラムのコードとして表わされていて、それが仕組みを動かしている。
⇒今後、⼈間が介在する部分は減っていくと思われる。そろそろAIが扱いやすいように法律の表現を変えていくことを考えてもらわないと、AIを含むシステム側の法令遵守が現実問題として、難しくなっていく。

31@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５．社会的・法的な課題（27／27）◆AIは⼈間の道具であるというスタンスをとってきたが、これが本当にいいのかは分からない。現状のように事故をあくまでも⼈間に責任を負わせるという建て付けにしてしまうと、技術サイドから⾒ると、怖くて技術的な新しいことはできなくなる。例えばメーカーも、新しいAI⼿法を使って責任を負わされるのは嫌だし、ユーザーも新し
いものは予⾒できないので怖くて使えないということになると、技術の進歩が⽌まってしまう可能性がある。
⇒AIに法⼈格を与えるというのは、それはそれで⼀つの考え⽅である。例えば法⼈格を持つAIが何か問題を起こしたときに損害賠償で解決するとしたり、保険的なやり⽅でAIに責任を取らせることもできる。AIによる問題を⼈間から切り離していかな
いとAIの技術の進歩は⽌まってしまう。
◆⼦ども向けSFでも、AIを扱う以上は、いわゆる法制度を避けて通れなくなっている。
逆に⾔うと、AIという技術が社会に⼤きく影響を与えるし、そのことが多くの⼈に理解されていることだと⾔える。ただその変化はいいことばかりではない。今のITは、
プライバシーの問題や差別の問題に関しても、AIないしはITが⽣み出してしまう問題が多くなっている。
⇒問題によっては、AIという技術、またはITという技術だけでは、それらの問題は解決できない段階に来ていて、他の⼿段を考えなくてはいけない。ITの研究者から⾒ると、有⼒なものが法制度で、ITと法制度は⼀体で考えなければいけない時代になってきている。IT系の技術者も、研究開発の最初から法律のことを考えるべきだ
し、法律のほうも、技術の発展を考えながら法制度を整備、執⾏してもらいたい。

32@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

6．AIシステム構築・運⽤時の課題（1/17）「企業ITに⼈⼯知能を⽣かす AIシステム構築実践ノウハウ」
アビームコンサルティング P&T Digital ビジネスユニット
Advanced Intelligenceｾｸﾀｰ【選択理由】AIを使ったシステムの構築プロセスは、従来のウォータフォール型の開発プロセスと⽐べて何が同じでどこが異なるのか、異なる部分をどのように進めていけばよいのか、実体験に基づいて解説していること。
【トピック】※以降は全て 【出所】「企業ITに人工知能を生かす AIシステム構築実践ノウハウ」

アビームコンサルティング P&T Digital ビジネスユニット Advanced Intelligenceセクター■AIシステムにおける予測・判断機能の実現⽅法
従来のシステム処理
Process（人が定めた計算ロジック）

Input

OutputAIのシステム処理
Process（AIが学習したパターン）

Input

Output〇業務を⾏う中でこれまで⼈が担っていた「予測・判断」の役割を、AIが代替または⽀援するシステム
をAIシステムとする。
〇「予測・判断」以外の⼊⼒や出⼒に関わる機能の構築は、従来のシステム構築と⼤きく変わらない。
〇AIの予測・判断の処理は、学習
データをアルゴリズムへ投⼊することで、アルゴリズムがデータのパターンを⾃動で学習し、予測・判断を⾏うモデルを⽣成する。
33@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

6．AIシステム構築・運⽤時の課題（2/17）■AIシステムの構築プロセス〇AIシステムの構築プロセスをウォーターフォール型のプロセスに当てはめると、以下の図のようになる。⼊⼒、出⼒は従来のシステム構築と同様のプロセスで構築するが、予測・判断の実現には⻩⾊で⽰すプロセスを追加する。
〇追加するプロセスの中で最も特徴的なのが、要件定義フェーズの進め⽅で、業務要件を定めた後、システム要件の定義を⾏う中で「AI要件定義」を⾏う。AI要件定義ではシステ
ムを構成する１つの領域として、AIの機能や⾮機能要件を定めていき、AI要件定義の実現性をPoC（Proof of Concept）で検証し、その結果を基に要件の⾒直しや詳細化を⾏う。

設計フェーズ

要件定義フェーズ

システム
要件定義

従来のシステム
構築プロセス

実装・テストフェーズ

アプリケーション設計
基盤設計

アプリケーション開発
基盤構築

アプリケーション設計
AI基盤設計

AI学習
基盤構築

業務要件
定義
AIシステム構築の追加プロセス

AI
要件定義

PoC

AI学習
精度検証

運用・保守フェーズ

システム運用・保守
結合テスト
ｼｽﾃﾑﾃｽﾄ
受入テスト

AI精度
AI
監視・評価 再学習

リリース
管理

34
@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

6． AIシステム構築・運⽤時の課題（3/17）（1）要件定義フェーズ（業務要件定義、AI要件定義）◆ユーザーがAIの果たすべき役割やAIシステムの構築⽬的を絞り切れていないケースが多い。
⇒通常のシステム構築以上に要件定義の難易度が⾼い。
◆ほとんどのAIシステム構築プロジェクトは、要件定義フェーズでの机上の整理では判断し切れない事項が数多く存在する。
⇒要件定義と前後して、PoC（概念実証）フェーズに取り組む。
◆AIを適⽤して構築したシステム全体を⾒渡すと、⼀連の求められる機能の中にAIでの実装が向いていることと、これまで通りのシステム機能で実現した⽅が効率的なことが混在している場合が多くある。
⇒AIを採⽤しないケースも検討すべき◆データの粒度や更新頻度を確認しておくべきで、業務要件では⽇次ベースでの売り上げ予測が求められているのに、営業活動実績データは⽉次更新となっている、といったミスマッチはよく⽬にする。
⇒データの網羅性、粒度を確認◆PoCフェーズで検討すべき論点が多いほど、PoCの⼯数や期間も増加する。論点が多ければ、PoCフェーズ内でいくつものパターンのデータ処理やモデル構築を試⾏し、それらの結果を⽐較・検証するステップを踏まなければならなくなる。
⇒最初のPoCでスコープに含めなかった要件は次に⾏う⼩規模なPoCで検証するといったように、要件定義とPoCを繰り返しながらプロジェクトを進めることもある。

35@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

6． AIシステム構築・運⽤時の課題（4/17）◆画像認識や⾳声認識などの先進的な分野では、PoCでAIのアウトプットを⾒ながら、AIで何ができるのか、実際の業務のどのような領域に⽣かせるのかを考えながら、プ
ロジェクトを進めるケースが多くなる。
⇒要件定義からPoC、PoCから要件定義と、試⾏錯誤的に進める。
ケース ②PoC先行

ケース ①要件先行

社内の画像データを利用して、流行のAIで何か業務に活かせることはないかな。いま人件費がかかっている商品のキズ監視作業をAIで代替することもできるのかな。よし、まずはPoCを外注して実現可能性を検証してみよう！

これまでは法人顧客向けに行っていた
AIでの商品購入予測を個人顧客にも拡大して、システム構築しよう！AIモデ
ルで使う変数や基盤の見積もりはPoCで検証するとして、要件定義フェーズで業務のデザインから考えて行こう！
要件定義

PoCが必要
でない領域

PoC

要件定義
PoC

PoCが必要
な領域

PoC
要件

PoC

ある商品のみ、ある業務のみなど、一部のみのPoC
要件定義

要件定義
詳細化

（2）要件定義フェーズ（PoC）

PoC

要件定義

◆AIシステム構築プロジェクトでは、実際に機械学習モデルを構築してみなければ、期待する効果を得られるかわからない。
⇒PoCフェーズで必要最低限の時間と予算を使い、実際にデータを収集・分析し、これから取り組もうとしているモデル構築がシステム化に値するか否か、技術的に本当に実現することができるのかどうか検証。
36@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（5/17）◆要件定義フェーズで想定したデータが、実際に取得したり活⽤したりできるかを検証する際、外部データの取得を検討する場合には、注意点が２つある。
①クローリングやスクレイピングといった技術を活⽤してデータを取得する場合、ア
クセス先のサーバーに負荷をかけず、利⽤規約を順守する。
②データが公開されなくなるリスクを考慮する。データ形式が変更されることもある。
⇒上記リスクも踏まえて、外部データを使⽤するかどうか検討◆PoCフェーズで最も重要になるのが、「データアセスメント」で、取り扱うデータがモデル構築に⾜る品質か否かを評価する。統計的な視点だけでなく、ビジネス上利⽤
可能かといった視点も重要になる。データアセスメントの際のポイントが６つある。
①データ量︓必要なデータ量を事前に決めることは難しいため、PoCで実際にモデルを構築しながら決めていく。
②データの粒度︓データの粒度を細かくすれば、その分データセットが⼤きくなり、
データ加⼯やモデル構築にかかる時間が⻑くなる。
③データの期間︓モデルを構築する際には、どの時点のデータを使い、いつ時点の状態を予測するのかを正確に決める。
④データの質︓統計値に表れないデータの質の変化に注意する。
⑤データが事実を正しく表しているかどうか注意する。
⑥アセスメント︓ポイントは、⽬的変数と説明変数の関連を調べること。
◆モデル構築の際には、データを組み合わせたり、変換したりすることで、よりモデルの精度向上に効果のあるデータセットを作成する。実際にモデルを構築して精度を確認しながら、試⾏錯誤を繰り返して適切なデータを作成する。PoCでモデル構築を⾏う場合、適当にデータを投⼊すると、モデルのパラメーターを正しく推定できなかったり、過学習の原因になったりする。
⇒アセスメントの段階で相関が⾼いと分かった変数同⼠は⼀⽅を利⽤するなど、変数
37
選択が必要

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（6/17）◆複数のモデルを構築した場合、いずれのモデルも⽬標値を達成していなければ、デー
タ加⼯に戻って変数を追加したり、データの取得期間を延ばしたり、利⽤するデータの種類を増やしたり、アルゴリズムを変更したり、パラメーターを調整したり、試⾏
錯誤を繰り返す。それでも⽬標値に達しない場合は、後続フェーズを断念するか、要件定義で設定した⽬標値を⾒直すか、⽬標を達成するまでPoCを続けるか、判断する。
⇒試⾏錯誤を繰り返す。

（3）設計フェーズ◆AIシステムの設計フェーズでは、PoCの結果をベースに、機械学習モデルと業務オペ
レーションの整合を取りながら設計しなければならない。機械学習モデルに関する設計だけでなく、モデル周辺に付随するシステムも含めた全体構成を検討する。
⇒⼊⼒→機械学習モデル→出⼒にいたるシステム全体の検討＋業務オペレーションとの整合性
AIシステムモデル関連以外の機能

モデル関連の機能
推論基盤

外部システム

①受注確度予測の機能群
行動履歴
データ

データ加工

有望顧客
リスト作成

受注確度予測実行（モデル）

メール
配信

AI監視
②モデル管理の機能群
学習データ・モデル蓄積
データ加工

営業担当者

モデル生成・モデル評価（アルゴリズム）
学習基盤@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

38

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（7/17）◆利⽤期間が⻑くなれば、当初は精度が⾼くて有⽤だった機械学習モデルにも、処理
データへの推論制度において「経年劣化」が起きる。
⇒「経年劣化」を想定して継続的な改善サイクルを⽤意◆前処理では、機械学習モデルに投⼊するデータの⽣成だけではなく、データ⾃体が劣化、変化する可能性も考慮しておく。劣化には、⼊⼒している特徴量の粒度、均質性、定義が汎化する可能性が含まれる。業務システムで⽣成されるデータの場合、同じカラム名称の特徴量でも時間の経過とともに、⽰す内容が変化するケースが想定できる。
⇒データの劣化に対応するため、「学習データのバージョン管理」が必要◆機械学習モデルが、学習を実⾏するためには⼤量の計算リソースが必要になるので、段階的に増強できる仕組みを⽤意する。⇒機械学習の学習プロセスは実⾏環境に対してのシステム上の環境依存性があるので、コンテナを使った仮想化などにより、学習基盤を業務システムやアプリケーションとは疎結合にして、独⽴した存在として整備◆機械学習モデルを⽤いたAIシステムを構築する際には、機械学習モデル専⽤の学習基盤を確保する。
⇒主な選択肢としてクラウド型とオンプレミス（物理サーバー）型があり、業務要件に合った設計を⾏う。
◆機械学習モデルはデータに基づいて学習、推論を⾏うため、学習データが変われば同⼀のアルゴリズムでも異なる推論結果となる。⼀⽅で、機械学習モデルが特定時点で利⽤した学習データは、全ての時点を想定した場合、単なるサンプリングデータで、⺟集団から⽣成されるデータの⼀部にすぎない。上流となる業務システムでシステム稼働後、データ定義、内容が変更される可能性も⼗分ある。機械学習モデルは原理的にPoC時点が最⾼精度で、期間に応じて精度が低下する。
⇒精度低下を避けるため、機械学習モデルの状態監視、ハイパーパラメーターの更新、
または再構築を実⾏
39@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（8/17）（4）実装・テストフェーズ◆機械学習モデルの内部がブラックボックスであるため、設計フェーズでは把握し切れない不確実性を内在している。
⇒不確実性を排除するために、プログラム設計から単体テストまでのプロセスでは、
より反復的な開発プロセスを採⽤。
要件定義

受入テスト

検証

システムテスト

検証

概念設計
詳細設計

検証

結合テスト
単体テスト

プログラム設計
モデル実装◆想定した精度が出なかった場合は、モデルを修正する。インプットデータ、アルゴリ
ズム、学習時に設定したモデルのハイパーパラメーターのどれを変更するかは、⼯数との⾒合いによって決定する。
⇒原則、対応⼯数やコストを抑えられるハイパーパラメーターの変更から⾏う。改善
しない場合は、アルゴリズムの変更で対応する。最後はインプットデータの変更も検討する。インプットデータ変更の場合、データフローの実装を⾒直す必要がある。
インプットデータ
決定

アルゴリズム選定

優先順位：２

ハイパー
パラメーター設定

精度検証

修正が必要に優先順位：１

優先順位：３@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

40

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（9/17）◆機械学習モデルは、要件定義、設計段階で明確になっていない学習プロセスを経て実装されるので、しばしば作成者が意図しなかった想定外の挙動をする。
⇒モデルの挙動をコントロールするためのテスト設計が必要◆モデルが想定外の挙動をするのは、機械学習モデルの学習を完璧にはコントロールできないからである。学習プロセスのコントロールの限界について、AIシステムへのハッキングと、⼈間にとって都合の悪いアウトプットという２つの例からみてみる。
・AIシステムに対するハッキング⼿法として現在、問題になっているのがデータを通じた操作である。AIシステムは、⼊⼒された学習データを学習し、新規データに対し学
習結果を基に推論するためのシステムで、ハッキング時は、この新規データに対して意図したノイズを加えることで、モデルに誤った推論をさせる。学習に対しても、モデル訓練時に誤ったデータを与え学習を歪めることができる。AIシステムへのハッキ
ングの問題は、⼈間がハッキングされたことに気付きにくいことである。ハッキング対策も、機械学習プロセスの不確実性という点で困難である。
・⼈間にとって都合の悪いアウトプットの例は、近年、⾃然⾔語処理を利⽤したAIシス
テムにおいて、オープンデータ、スクレイピングデータ（ウェブサイトから情報を取得し、利⽤しやすく加⼯したデータ）を学習したことに起因し、特定の政治の話題や差別の傾向を学習してしまう例が頻発している。学習データを完全にコントロールすることは困難であり、システム稼働後にも気付かない間に進⾏してしまう可能性がある。
⇒モデル内部のパラメーターそのものを把握することは困難なので、「⼊⼒を変えると、出⼒はこう変わる」という⼊⼒と出⼒の関係性を検証することで、モデルの挙動を把握する。機械学習モデルの単体テストでは、この関係の検証を実施
41@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（10/17）◆モデルの単体テストは、未だ研究段階で、何をもってテスト完了とするかはAIの専⾨家でも意⾒が分かれている。
⇒リリース前にモデルの不具合を可能な限り減らし、リスクを低減させる。
◆モデルの単体テストに加え、業務システムと連携したテストも実施し、業務シナリオ
テスト、障害回復テスト、ユーザー部⾨での最終業務確認などを⾏う。
テスト対象
機能要件

アプリケーション機能
外部システムインターフェース機能
機械学習モデル
セキュリティ

非機能要件

移行データ
運用・障害回復
パフォーマン
利用環境

単体テスト

結合テスト

プログラムテスト

機能間の
結合テスト

テストフェーズ
システムテスト

受入テスト
AIシステム
独自の考慮が必要

業務シナリオテスト

動作検証
権限テスト
脆弱性動的解析

脆弱性静的解析移行ツールテスト

移行データ
アプリテストジョブテスト

移行データを用いた
業務シナリオテスト

ユーザー部門での最終業務確認AIシステム独自の考慮が不要

障害回 障害回復後の業
復テスト 務シナリオテスト

実データ相当量でのパフォーマンステスト
保証環境での
動作確認◆AIシステムでは、学習・推論時のモデルエラーや、データフローでのエラーなどが障害の要因になりがちである。障害対応のためには、学習データおよび学習済みモデルのバックアップを⾏い、ある程度過去のモデルをシステム内で保持し、障害時には、
これらのバックアップデータを連携することで復元可能な状態にできる。
⇒障害回復テストで検証
42@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（11/17）◆AIシステムの実装やテストは未だに⼿探りで⾏われ、組織にノウハウが定着し切っていない。
⇒決まった正解はなく、アーキテクチャー設計、モデル単体テストの設計などは、開発ベンダーやデータサイエンティストだけでなく、社内の業務担当者など専⾨家との協働が不可⽋（5）運⽤・保守フェーズ◆AIシステム運⽤時の課題は、システムを利⽤可能な状態に維持することである。通常の業務システムの運⽤と異なる点が２点ある。
①AIシステムではシステム化の対象となるモデルが変化し続けること②モデルの性能、機能を維持するための保守が必要になること
AIシステムは、学習という動的な処理を伴う都合上、稼働後も絶えず性能を⼀定に保つ必要がある。その上で、推論タスクにおける精度の維持が課題になる。
⇒AIシステムの運⽤フェーズでは、データの変化と、継続的に学習のサイクルが機能しているかどうかの検証がポイントとなる。システム的な挙動の監視だけではなく、ビジネスを踏まえて「精度をどのように測定するのか」「何をもって機能悪化とするのか」といった判断基準を⽤意する。精度が悪化した際の対策も⽋かせない。
要件
定義

設計

開発・
テスト

リリース
管理

モデル
再学習

モデル精
度の監
視・評価

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

43

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（12/17）◆実装済みのモデルは常に新しいデータに対して推論を⾏う。このため何の対策もせずに、⾼い精度の推論結果の出⼒を維持し続けるモデルはまれである。精度が低下した
際は、原因となるデータの傾向変化に、機械学習モデルを対応させなければならない。
この対応が「モデルの再学習」と呼ばれ、運⽤フェーズにおける重要なタスクとなる。
⇒再学習が必要かどうかは、直近のデータに対するモデルの精度から判断◆推論モデルの精度（KPI、KGIの設定）は、構築時の学習データと稼働後の本番データの特徴の差異が⼤きいほど低下する。
⇒精度が悪化していないかどうかを絶えずモニタリングし、精度が悪化したモデルがあれば、対処を検討◆KPI、KGI上の⽬標⽔準を達成するため、モデルの精度向上が必要と判断された場合、モデルに対して変更を加える。実装段階では汎化性能の確保を⽬指してモデルを開発するが、⼀定以上の精度低下が発⽣した場合は、学習モデルを⾒直す。
⇒対応策によっては、モデルの⼊⼿⼒データの加⼯部分の改修や、新たなデータの取得機能開発などが発⽣し、⾒直しには、業務、時間的な開発コストを要するので、コスト負担を勘案し、対応策実施の要否を検討する。対応策を実施しても精度の改善が⾒込めない場合は、⼀時的にモデルの利⽤中⽌も選択肢として考える。
時間

費用

１．直近の学習データの投入

低低

業務システムへの影響
低２.ハイパーパラメーターのチューニング

中

低

低

３．アルゴリズムの変更

高

中

中

４．新しい種類のデータの追加・変更

高

高

高

５．モデル利用の一次中断

低

低

中

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

44

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（13/17）◆最近、AIを取り巻く法整備の検討が進み、AIの判断について企業に説明責任が求められるようになっている状況を踏まえると、AIの⾏った判断の内容を説明可能にしておく必要がある。加えて、過去に採⽤したモデルの内容や更新履歴を説明できるようにすることが求められている。
⇒保管・記録しておくべき情報は、学習データ、データ定義、アルゴリズム、ハイパーパラメーターといった、モデルの再現が可能な情報で、モデル精度を確認した
結果も併せて保管しておく。

（6）プロジェクトの⽴ち上げ◆【業務課題の整理】プロジェクトの期間や予算を検討する際に前提となるのは、シス
テム開発対象の全体像であるが、AIシステムの場合、プロジェクトの発⾜時に対象シ
ステムの全体像は明確ではない。
⇒システム開発対象の検討と、PoCは並⾏して実施◆【PoCのスケジュール設定】AIシステムの構築⽬標を持たずにPoCを⾏った場合、業
務課題を解決するためのアプローチを検証する視点が不⾜し、プロジェクトの失敗につながるリスクがある。
⇒ポイントは、アプローチの絞り込み、モデルの⽬標精度設定、モデルに関する合意◆【PoCのスケジュール設定】PoCで構築したモデルを採⽤するためには、社内で合意を得ることになり、モデルの効果だけでなくリスクを共有する必要がある。モデルの効果は業務課題を解決するという説明で可能になるが、リスクが不透明であるケースも多々あり、その場合は説明が難しい。モデルの推論結果の解釈性、透明性をどのように説明するのかも課題である。
⇒学習時に利⽤した変数のデータ定義を説明するだけでは、モデルの実態を⼗分に⽰さないため、モデルの挙動が影響を与える範囲や、想定される誤差の⽔準、予想精
45度のばらつきなどを併せて伝える。

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（14/17）◆【予算】AIシステムの開発プロジェクトを⽴ち上げるときの期待として、機械学習モ
デルの⾼度さと投資効果が⽐例関係にあるという発想が⾒られるが、システムによる業務課題の解決度合いと、機械学習モデルの⾼度さは必ずしも⼀致しない。
⇒⾼度な機械学習モデルの構築にはアーキテクチャーの開発費⽤、検証期間、対応ベンダーが限られるなどの課題がある。
◆【予算】投資額に含まれるのは、構築時のコストだけではなく、AIシステムの運⽤体制の維持にかかるコストも勘案する。AIシステムを継続的に運⽤するためには、通常の業務システムのような使⽤機器のリース契約の更新といった定期的に発⽣する費⽤と異なり、データの変化に応じて実⾏するモデルの開発費⽤などが含まれる。
⇒運⽤コストを踏まえる。
◆【プロジェクトの体制】AIシステム開発のプロジェクト体制が通常のシステム開発と異なる点は、AIシステムで⽤いる機械学習モデルの開発が現時点で⾼度な先端分野であることで、⾃社のみで開発できる⼈材を確保できる企業はまれで、社外から開発要員を調達したり、社外に開発を委託したりする必要が⽣じる。
⇒プロジェクトリーダー以下が専⾨性（モデル設計・構築、アーキテクチャー構築、
AI運⽤）の⾼いメンバーを統括し、プロジェクトマネジメントを⾏う。
⇒AIシステムによって業務課題を解決するという観点からは、プロジェクトリーダー
が、ビジネスとアナリティクスをつなげるために、双⽅向の視点を持って意思決定を⾏うポジションをこなす必要がある。
◆【プロジェクトの体制】PoCフェーズのみを専⾨として後続フェーズであるシステムの設計が全くできないベンダーに依頼した場合、システム稼働後の運⽤の枠組みを想定できないといった問題が発⽣してAIシステムの実現が危ぶまれる。
⇒⼀部フェーズに特化したベンダーに依頼する際には、プロジェクトのフェーズ全体
を⾒ることができるサポートのITベンダーを同時に依頼することで体制を強化 46@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

５． AIシステム構築・運⽤時の課題（15/17）◆【契約関連】AIシステムの開発では、PoCや要件定義フェーズまでは、成果物の要件をあまり明確化できないため、準委任契約で⾏い、設計フェーズ、実装・テスト
フェーズは請負契約となる。ただし、AIシステム内の機械学習モデルの実装は、状況に応じて結ぶ契約が異なる。AIシステムの実装をシステム開発の⼀環として請負契約に含む場合もある。
設計フェーズ以降も継続して検証やモデルの⾼度化を⾏いながら実装を⽬指す場合には、準委任契約を採ることもある。
⇒AIシステムの場合、契約形態は開発フェーズごとに適切に設定
PoC

要件定義

成果物の要件を明確化できない

準委任契約

設計

実装

テスト

成果物の要件を明確化できる

請負契約◆【契約関連】AIシステムの開発では、成果物についても契約時に合意しておく。準委
任契約の場合、成果物の要件を特定できないが、作成すべき成果物の種類は事前に決めておく。
⇒プログラムコード、開発環境の保存といった成果物に加え、PoC終了時やシステム
開発完了時に次フェーズで利⽤する検討資料も確保
47@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

6．AIシステム構築・運⽤時の課題（16/17）◆【契約関連】開発・構築したモデルに関しての権利関係も、事前に合意することで後々のトラブルを防げる。様々な業務課題に対する解決⽅法の検討経緯や、アルゴリ
ズムのチューニング⽅法は各企業の重要なノウハウで、開発契約でこれらの提供を依頼した場合、開発ベンダーとの間で著作権や特許権などでトラブルが発⽣する可能性がある。また、ベンダーが提供する学習済みモデルを利⽤する場合などでは、特許申請などで業務プロセスにも関わる内容が第三者公開される可能性などのトラブル発⽣もあり得る。
⇒AIシステム関連の契約⼿続き、権利関係については、経済産業省「AI・データの利⽤に関する契約ガイドライン」を参照
トラブルの例

AIを使って業務
課題を解決したい

ベンダーが提供した解決
策の著作権や特許権の所有があいまいに

解決方法を
提案

ベンダー

ユーザー企業

トラブルの例
開発を効率化したい

ユーザー企業

学習済みモデルを提供

ベンダーが学習済み
モデルの特許申請で、ユーザー企業の業務プロセスを公開ベンダー
48@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

6．AIシステム構築・運⽤時の課題（17/17）◆AIシステム開発における⽅法論、プロジェクト管理⽅法についてはいまだに正解がな
く、多くの企業で経験則に基づいて⾏われているのが実態である。
⇒AIシステムのプロジェクトを発⾜する際に押さえるべき５つのポイント①業務課題の整理②PoCのスケジュール設定③予算④プロジェクトの体制⑤契約関連に共通するのは、業務課題を意識して、各ポイントを検討するという点である。
◆AIシステムを利⽤する際には、解釈性・透明性の確保など適切な実装を促す動きにも留意する。内閣府は2018年に「⼈間中⼼のAI社会原則」を検討して、企業におけるAIによる判断の公平性、説明責任および透明性を確保することなどが提案され、2019
年3⽉に正式版が策定された。
⇒AIの⾏った判断の内容を説明可能にしておく。過去に採⽤したモデルの内容や更新履歴を説明できるようにしておく。
⇒AIが意図せず差別などを助⻑するのを防ぐため、製品開発などの際の倫理ルールを作る動きが広がる（2021年5⽉17⽇⽇経）◆AI開発においてはプログラムの不備よりも、⾃律的に学習・判断するシステムという前提に基づき、判断の間違いが問題視される傾向にある。判断の間違いは、あくまでも⼈間社会における評価に基づくものであり、具体的なバグ、瑕疵などのシステム実
態とは無関係に、システムが対象としている領域に応じて発⽣する。
⇒今後は現状よりもAIを使うことを避けるべき領域が明確化され、規制の対象になっていくことが予想される。
49@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

7．振り返り（1/2）（1）AI利⽤での社会的・法的な課題■専⾨家責任とAI〇AI投⼊の医療への影響
・AIは⼀定のアルゴリズムで結論を出してくるので、診断・治療が定型化⇒患者の⾝体的・⼼理的状況を勘案した個別治療⽅針得られず・AIの判断過程、判断理由は説明不可能⇒患者の納得感得られず
・AIは固定した領域の医療、例えば画像診断、⾎液判定などが得意⇒医療⽀援
・AIは診療情報、⽣活情報などを収集して診断精度が向上⇒医療⽀援
・AIの判断の信頼性や精度に残る⼀定の限界⇒AIが判断を誤るリスクへの備え⇒医師の裁量、判断理由、最終判断が不可⽋〇AIの監査への影響
・AIを選択して構築し、設計通り動いている。
⇒それをきちんと把握していないと責任が⽣じる。責任は後から追求される。
・AIを利⽤したシステムという観点
DBを利⽤したシステム、パッケージを利⽤したシステムとそれほど変わらない。
⇒画像処理をやりたいので画像処理のところだけAIを使って構築する。
・監査もAIだからと⾔って特別視する必要はない。
⇒AIの専⾨監査⼈を設ける必要はない。
・監査の⽬的とテーマが具体的になれば、ある時点のある状況のAIシステムの監査はできる。
⇒セキュリティの監査、適合性の監査、有効性の監査、倫理の監査、etc.
⇒専⾨家は依頼者よりリスクのコントロールができるので、責任を負うケースが多くなる。専⾨家のサービスの品質が依頼者には必ずしも分からないので、資50格設定により裁量と責任が明確になる。

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

7．振り返り（2/2）（2）AIシステム構築・運⽤時の課題

・【要件定義】AI要件定義と業務要件定義を擦り合わせて決めていくところが⼤事。
⇒対象システムの全体像を明確にする。
・【運⽤・保守】AIを使った結果、特異な結果、契約外の結果が出てきたら、AIを使うのを⽌める。
⇒テストデータを作り変えるなどして、モデルの再学習を⾏う。
・【運⽤・保守】説明責任のためにデータを保管・記録しておく。
⇒開発でテストした時はこうでした、運⽤していて想定外のものが出てきました。
例えばテストでヘイトスピーチは出ていなかったが、運⽤していたら出てきた。
・【予算】システムによる業務課題の解決度合いと、AIの⾼度さは必ずしも⼀致しない。
⇒経済的、能⼒的に出来る範囲で精度、検証を⾏い、その範囲で出来ることで合意する。開発費⽤、検証期間、⼈材確保、運⽤・保守費⽤などを踏まえる。
・【契約関連】実装・テストフェーズ→運⽤・保守フェーズ⇒同じ業者だとフェーズ区切りが不明確になりやすい。
・AIを、最初は⾮常に危険なものと⾒ていたが、危険なAI（⼈々の健康や安全、経済的・社会的な利益に関わる利⽤）と危険でないAI（規制に即した利⽤）の利⽤がある。
⇒説明責任として、どういうところにAIを使うのか明確にしておく。
・AIに責任を負わせるようでは、システムを開発する資格はない。
⇒AIを使っているのはこのプロセスだと明確にし、設計通り動いていることをきちんと把握する。
⇒AIシステム開発の⽅法論、プロジェクト管理⽅法は経験則に基づいて⾏われてい51る。システム管理基準に、検討しなければならない要件としてあげることは可能。

@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

8．今後の展開
・これまでに分かったことは、「社会があっての技術で、AIも社会があってのAIであり、AIを使ったシステム構築の際は、社会制度なり法律の動きに対応した取り組みが求められる」のではないかということと、「AIで置き換えた⽅が効果的であれば使えば良いということで、特別視する必要はなく、システム監査も特別視することはない」のではないかということです。
・今後はＡＩを使っているのはこのプロセスだと明確にすることで、検討しなければならない要件として、システム管理基準にうたうことができないかと思っています。
・新型コロナの影響もあり、今後の活動でカバーできればと考えています。

52@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.

2020年度「「AIと個人情報～AIの諸問題と個人情報保護~」プロジェクト＆「個人情報保護専門監査人部会」成果報告

ご清聴、ありがとうございました。

53@2021JSSAシステム監査学会「AIと個人情報～AIの諸問題と個人情報保護~プロジェクト＆個人情報保護専門監査人部会」All right reserved.