第Ⅰ章 講演会

Ⅰ－２－２

講演会

AI 法規制のない日本で必要となる企業の自主的対策---4 つのリスクと海外の現状を踏まえて何をすべきか
講師：渥美坂井法律事務所・外国法共同事業

パートナー弁護士

大阪大学招聘教授（社会技術共創研究センター）
三部

開催日：2024 年 4 月 4 日

開催場所：JBMIA 会議室（第 1、第 2 会議室）＋Zoom 開催

参加者

：75 名

記

：坂津 務 ∗

１．はじめに裕幸の心情に引きずられ、規制化されるとよくないという

2024 年 3 月 6 日に開催された第 1 回目の講演では、先入観があったので、ガイドラインや業界団体ルール欧州・アメリカ・中国の AI 法規制動向が講演内容であなど法的強制力のないソフトローの方向に向かった。

った。第 2 回目となる今回は、第 1 回目に解説していそのため、AI 法規制の点で西側諸国と比べて日本は大ただいた国際情勢を踏まえた上で、AI に携わる企業がきく出遅れる事となってしまった。

生き残るための 4 つのリスク対応策についてお話しいただいた。（第 1 回目の講演の内容については、Ⅰ―

2.2. AI 法規制のない日本における 4 つのリスク
ソフトロー偏重の独自路線をとった日本では以下の２―１を参照のこと。）

4 つのリスクが生じる。

２．講演内容

悪意あるものから攻撃を受けるリスク

2.1. 明確に後れを取った日本の現状何が許され許されないかの羅針盤がないリスク

第 1 回目の講演のおさらいとして、欧州・アメリカ・



現行法が障害となるリスク

中国の AI 法規制動向に対して明確に後れを取った日

海外との関連でのリスク本の現状を確認しておく。アメリカ、中国の AI 関連投これらのリスクに見舞われた企業をソフトローは全く資規模を考えると生成 AI の基本開発に巨額投資する守ってくれない。国が本腰をあげるまでに時間がかかのは現実的ではない。日本独自の AI の勝ち筋を見出ると考えられるため、企業は自主防衛策が急務となる。

し、そこに資源を集中することが大切である。また、

4 つのリスクについて具体的な事例を紹介しながら解アメリカや EU は国民・国家・企業を守るため 2019 年説する。

から法制化を検討してきた。日本は一部の AI 開発者∗ 技術調査専門委員会委員- 1 -第Ⅰ章 講演会
AI の法制度を作った方が何をやってよくて何をやったらだめかという事がはっきりするので、予見可能性を確保することができるが、今のところ日本の中にはそのような法制度がない。AI 法がない中で強く社会的制裁を受けた事例を 3 つ紹介する。
日本のリクナビ事例は記憶に新しい。リクナビは就活生が就職用に使う Web サイトであるが、そこでリク
Fig.1 AI 法規制のない日本における 4 つのリスク

ナビ側が取得した就活生の情報をアルゴリズムで分析し、就活生が内定を辞退する確率を算出して就活先企業に提供するサービスを実施した。個人情報保護法に2.2.1. 悪意あるものから攻撃を受けるリスク
ソフトロー中心では権威主義的国家や犯罪集団など加え労働法にも違反している事案だが、行政指導されからの AI 攻撃を防ぐことができない。AI を使った攻る以前からマスコミ・SNS・大学などから強く非難され、撃も防げないし、また AI に対する攻撃も防げない。ス

主な顧客である大学からも締め出され、大株主が株をパイウェアなどよりもはるかに巧妙かつ効果的な攻撃売り出し、就職先企業にも行政指導が及ぶこととなりを受けるリスクがあると考えられている。6 つの事例

迷惑をかけた。その結果業界全体から背を向けられるを挙げるが、アメリカ大統領令ではこれらのリスクにこととなり、大きな損害となってしまった。
カナダのトロントのスマートシティ事例は、Google取り組むことを既に命じている。






国家や企業の重要な財産・知的財産が盗まれる、の子会社が計画したスマートシティで AI を活用した消される、操作されるサービスがプライバシー侵害ではないかとメディア・絶対に攻撃されてはならない設備にサイバー攻撃

住民が批判した事例である。市民団体が訴訟を提起し、を受ける（原発、防衛施設など）トロント市も疑問を述べる報告書を公表した。市民の危険性の高い兵器が開発され安全保障の脅威とな反対でスマートシティ計画は頓挫してしまい、大きなる損害を負う事となった。

偽情報の被害が続発する（人権侵害、選挙操作な

イギリスの英国警察事例は、犯罪予防のために自動ど）

顔認証システムを導入し約 50 万の顔画像撮影を実施



詐欺集団による広域的・効率的詐欺が発生するした事例である。市民活動により提訴され違法と判断

バイオセキュリティを侵害する（生物テロなど）された。欧州人権条約やデータ保護法、平等法の違反

これらのリスクに対して、日本ではほとんど対策がが理由だが、システムを納入した企業の将来の大きな立っていない。偽情報の被害の一部に対して検討され収益が消えてしまった。AI 法が制定されていれば AIているだけである。日本のソフトローでは太刀打ちで企業はそれほど損害を受けなかったと思われる。

きるわけがない。
2.2.3. 現行法が障害となるリスク
2.2.2. 何が許され許されないかの羅針盤がないリス

今までいろんな事業者を代理してきているが、様々な業域をカバーする法律が存在している。しかしながク
法律がないから罰せられることがないかというとそら、それらの法律は AI の登場を想定していない。そのうではない。日本のような民主主義国では民主主義のため多くの場面で AI 利活用を邪魔しかねない。個人価値観に合わない AI 利活用は社会的制裁を受ける。

情報保護法や知的財産法などは関連する法律として一そのような事例は国内外で多数発生している。本当は般的に議論されやすいが、その他にも例えば介護、労- 2 -第Ⅰ章 講演会
働、健康医療、防災災害対策など、それぞれの分野でうすると関連する部門は本来の業務がほとんど止まり、現行法がいろいろと関わってくる。

収益が得られなくて非常に大変な状況になるという事

介護施設での AI カメラの事例は、トイレや浴場にが起こる。

カメラやセンサーを設置して、AI によって介護施設のそれと同時に、資金ショートと資金調達難の悪循環

働き方改革や介護される人がどのような状況になったのスパイラルによって経営危機になりやすくなる。評ら介護が必要かという事を明確にするという狙いがあ判や信用が悪化すると、売上げが下がるだけでなく、った。しかしながら、個人情報保護法だけでなくカメ状況説明や謝罪のため営業活動もストップし、更に利ラで撮るという事は高齢者保護の法律に反してしまう。

益が減って資金ショートをもたらす。一方、株価下落

私が担当した事案では、厚生労働省へ確認した後、技につながると市場で資金調達も難しくなり。こうなる術を組み直して問題をクリアすることができた。もしと銀行借入もしにくく、株式の発行による資金調達も改善しないで運用していたら違法行為となっていた。

出来なくなり経営危機になりやすい。大企業でも大きそのほか、労働分野における職業安定法、健康医療なダメージである。

分野における医師法や薬機法（旧薬事法）、防災災害対策における消防法や災害対策基本法など、例示し切れないほど様々な法律が関わってくるので、それらを含めて対策を考えていく必要がある。

2.2.4. 海外との関連でのリスク
AI 法規制の点で西側諸国と比べて日本は大きく出

Fig.2 悪循環のスパイラル遅れる事となってしまってガラパゴス化している。そのため、西側先進国と AI ルールが大きく異なり、AI に役職員が文字通り疲弊するということもダメージが関する輸出入・投資・M＆A の実行時に多くの障害に遭大きい。重労働・重圧が長時間継続し体調やメンタル遇する。

を崩すケースがある。残業、徹夜、休日長期休暇返上などが常態化しやすいという事も起こる。

2.3. 不祥事が起き危機に進むと企業はどうなる？

AI のケースではないが実例を見ると、通信教育会社

様々なタイプの危機管理を担当してきた経験から、の個人情報漏洩事例では、長期間にわたって株価が下不祥事を起こした企業がどういうことになるのかとい落した。漏洩についての記者会見・謝罪の段階で下がう事を紹介する。

った後、いったん持ち直したが、会員数の減少が決算

まず、AI 関連で不祥事を起こすと、AI 関連業務だけ短信で公表されると一気に下落して、3 分の 2 くらいが止まるだけでなく、様々な対応を迫られるので通常まで落ちた。AI の場合だと国民が敏感なので株価下落業務がストップする。例えば、まず、マスコミが次々の影響が大きく長期間続くであろう。と報道するというのが典型的である。国民への状況説
明や記者会見が当然必要になる。被害者がいれば謝罪2.4. 企業の危機管理を行う弁護士としてのアドバイ対応や賠償が必要である。監督官庁が報告を求めたり、ス指導・命令が出されたりする。株主や顧客・取引先へ不祥事が発生すると損失が極めて大きくなる。弁護の状況説明や質疑応答が要求される。これらのことに士費用だけで 2,000 万円～3,000 万円、ちょっと大き対応しながら、同時並行で事実確認・原因分析、再発くなると 7,000 万円～8,000 万円はかかる。大きな不防止策の策定、訴訟対応を進めなければいけない。そ祥事の場合長期間の訴訟や巨額の逸失利益に苦しむ。

- 3 -第Ⅰ章 講演会
不祥事の原因ビジネスがストップするだけでなく通常ずは EU について対策を立てるというのを優先課題とのビジネスも出来なくなる。新人採用もストップするすればよい。4 つのリスク分類の内、許容できないリなど規模の縮小も余儀なくされるという事が起こる。

スクのある AI の懸念がある場合は早急に対応しない

これらのような事態になってしまうことを考えると、といけないが、その次のリスク順位である、ハイリス

不祥事になる前に資源を使う方が圧倒的にコストは安クのある AI に対する内部統制の概要として 7 項目がく済む。日本や世界の法律や動向に詳しい弁護士に事挙げられる。

前に相談するための費用を用意する方がはるかに安く済む。

リスク管理システム
リスクを特定・分析・評価できるシステムを作り、取引先・業務提携先・買収先などのリスクも対策がリスク対策と残るリスクが許容範囲な設計となってい必要である。AI ビジネスはいろんな企業と結びついてるかを判定する。ゼロリスクを目指す必要はない

いかないとできないビジネスなので自社の体制整備だ

データ・データガバナンス

けでは不充分である。納入する大手企業のサービスに学習用・検証用・試験用データセットについて、管不備が見つかり連邦政府がその大手企業を締め出した理方法やデータの関連性・代表性・完全性に関して対事例もあった。海外との関係で輸出入・投資・M＆A を策をとるする場合や国内案件でもリスクの検討が必要である。

技術文書
AI の一般的な説明、開発プロセス、モニタリング・

2.5. AI に携わる日本企業の自主企業防衛策に向けた機能・制御・適合性の情報、市販後の評価、など事前提言に技術文書を作成する

AI 法規制の動きが見えない日本で企業が取り組む

べきこととして下記 3 つを提言する。


記録保持
ログの記録機能を開発し、なにかあった時にトレー事実を踏まえてリスクを分析するスできるようにしておく、市販後のモニタリングがでアメリカ・EU・日本の AI 法務に詳しい法律専門家とディスカッションを開始しリスクを分析する。リスクきるようにしておく。


炙り出しのプロセスが重要で多くの会社はこれができ透明性・情報提供動作の透明性が確保できるように設計する。使用上ていない。の指示をユーザーに明確に示すことが重要である。



AI 内部統制体制を確立する
EU の AI 規則やアメリカ大統領令を参考に体制を確人間による監視人間が効果的に監視できるように設計することが重立する。コンプライアンスなど既存の社内体制を応用要である。

することも可能である。安全保障に関するリスクを押さえながら、アメリカ・EU・日本の AI 法務に詳しい法

正確性、頑健性およびサイバーセキュリティ
適切なロバストネスが達成できているかを明確にす

律専門家との協議が必要である。

る。使用上の指示で正確性の水準を示すことでよい。

AI に関する輸出入・投資・M＆A の観点を掴むゼロリスクにしなければならないという事ではない。

海外とつながりのある企業では輸出入・投資・M＆A

一方、データポイズニング・敵対的サンプル・モデルに対する対策を講じることが重要となる。の欠陥に関しては防止・制御しなければならないので対策を立てる必要がある。安全に関する一定の AI は2.5.1. 必要となる内部統制の項目

第三者評価を受けないといけないが、それら以外のほ

上記の 3 点の提案の中で、2 つ目の内部統制に関しとんどのハイリスク AI は自主評価でよいという事にて詳しく述べる。EU が AI 法案を可決しているのでまなっている。ただその自主評価の基準が欧州委員会か- 4 -第Ⅰ章 講演会
ら示されることになっているが、今後標準化団体と協議をして基準が制定されることになる。現時点では企

最後に、申し上げたい事を 3 つにまとめた。


業側でできることを考えていく。

日本独自の AI の勝ち筋を見出し、資源を集中
もともと日本が得意としてきた AI 分野・技術を活用

以上の 7 項目のほか、AI ビジネスによっては次の 2しそれを生成 AI の応用開発と組み合わせて価値の創項目を検討する必要もある。

造を目指す。地方創生につなげて日本全域でソリューション創出する構造とする

アメリカ大統領令固有の AI リスク
アメリカと関係のあるサービスや安全保障を考えな

いといけない AI は大統領令を意識する必要がある。
AI ガバナンスで西側諸国と歩調を合わせ AI 法規制の導入と現行法の改正を進める

AI に関する輸出入・投資・M＆A のリスク

今のままでは羅針盤がないため AI 不祥事が頻発し国内専業の企業でない場合は輸出入・投資・M＆A のAI 攻撃を受けやすく輸出・投資・M＆A にも支障があ場合のリスクとして、権威主義的国家との貿易管理上る。国民・国家・企業を守るためには 4 つのリスク対のリスクやデューデリジェンスの困難性に対する対処策をやらなくてはならない。そのためにも法規制があなどを考える必要がある。

った方が都合がよい。
2.5.2. AI 内部統制体制づくり

企業は自主的な AI リスク対策を急げ国が歩調を合わせるまでの期間は、これまで日本で既存のガバナンス体制を利用し、無理なくすすめる

議論されてきたソフトローでは企業は守れない。日本のがよい。それぞれの事業本部の方に AI リスク担当

企業は自らリスク対策を講じる必要がある。アメリカ・を兼務してもらい、その担当の方に責任を負わせるのEU の内部統制を参考に体制を構築し、EU・アメリカ・ではなく情報を上げてもらうようにお願いし、情報が中国の AI 法規制に詳しく日本の現行法の障害についガバナンス組織まで上がってくるような仕組みを作る。ても詳しい法律家と協議する事がよい。
最後に、早合点しては危険だという事を申し添える。
アメリカ・EU は 2019 年から多くの専門家を動員し長い時間をかけて現在に至っている。日本で AI 法の議論をする方も、AI ビジネスの法務知識が必要な方も少しの情報だけでわかっていると考えるのは危険だ。AIリスク対策は国内外の法律の動き、不祥事事例、その他さまざまな動きをわかっていないとできない。企業が個別に情報収集しようとすると膨大なエネルギーとコストと人員がかかってしまう。私は長年取り組んでFig.3 AI 内部統制体制きた経験や知見を企業の皆様のお役に立てている。是
非相談いただきたい。

ガバナンス組織には AI リスク統括担当を置くが、技術のわかる技術部門の方を中心に、ガバナンスをやっている方や法務の方にも入っていただく。ただし、いずれも本来業務と兼任とし、負担を分担しあうやり方がよい。専門組織を作るとうまくいかない。社内で軋轢を生んで大変なことになってしまうケースが多い。

３．おわりに全 2 回に分けて講演していただいた。欧州・アメリ
カ・中国の AI 法規制動向およびそれらに立ち遅れている日本の現状、その国際情勢を踏まえた上で AI に携わる企業が生き残るための 4 つのリスク対応策についてお話を聞くことができた。多面的で幅広い情報収2.6. まとめ- 5 -第Ⅰ章 講演会
集とそれらの情報を読み解く洞察力で大局的な関係性や細部の具体的事項の紹介および提案などで大変わかりやすく且つ幅広い観点で解説していただいた。AI 関連のビジネスを推進していくことの大変さを突き付けられた感じだが、取り巻く環境や取り組む方向性などを垣間見ることができたのは貴重な一歩となった。今後、企業が AI リスク対策を検討する際には、専門の弁護士に相談することも選択肢の一つとなる。
AI 法規制に関しては、2023 年後半から急進展を迎えている。ビジネス機器業界も無関係ではいられない状況の中で、世界の動きと日本の対策について今後も注目していく必要があると考えている。
講演会には会員各社の方が多数参加され、講演終了後の質疑応答、講演会前後のディスカッションでも多くの質問や意見があり、講演内容への関心の高さが伺えた。
最後に、三部様にはお忙しい中、時間を割いていただき、分かりやすい講演を行っていただいた。この場を借りて御礼申し上げる。

- 6 -第Ⅰ章 講演会

禁 無 断 転 載2023 年度「ビジネス機器関連技術調査報告書」“Ⅰ－２－２”部
発行2024 年 6 月
一般社団法人 ビジネス機械･情報システム産業協会（JBMIA）
技術委員会 技術調査専門委員会〒108-0073 東京都港区三田三丁目 4 番 10 号 リーラヒジリザカ 7 階
電話 03-6809-5010（代表） / FAX 03-3451-1770- 7 -