資料１−１

AIと個⼈情報保護：
欧州の状況を中⼼に
１．GDPRとAI
２．EU AI法案：AIシステム全般と⽣成AI
３．EUデジタルサービス法とAI
４．3年ごと⾒直しに関連しうる論点
論点に関する補論

2024年4⽉3⽇
⽣⾙直⼈ 博⼠（社会情報学）
⼀橋⼤学⼤学院法学研究科教授
1

１．GDPRとAI• ⾃動決定からの保護• 透明性、異議を申し⽴てる権利等（22条）• 信⽤スコアが与信判断に決定的な役割を果たす場合、判断を⼈間が⾏っても22条の⾃動決定と評価されうる（ECJ C-634/21、2023年12⽉）→AI法での補完規律へ• 学習データとスクレイピング（CNIL、2022年10⽉等）• 法執⾏機関への顔識別システム提供のための顔画像収集・処理を、6条(f)の正当な利益根拠の対象とならないと判断→AI法での補完規律へ• 透明性ある情報提供（12条）、アクセス権（15条）、消去権（17条）→ChatGPT（EU各国）に関しても類似の論点（特に法的根拠）
2

２．EU AI法案：AIシステム全般• AIシステムをリスクに応じて4段階に分類した規律を置く• 許容できないリスク（禁⽌されるAI慣⾏）• ハイリスク（適合性評価等の義務）• 限定的リスク（透明性義務）• 低リスク・無リスク（拘束⼒の無い⾏動規範）• 禁⽌されるAI慣⾏（概略）• 判断能⼒を著しく損なうサブリミナル技法や操作的・欺瞞的技法• 年齢、障害、特定の社会的・経済的状況に起因する脆弱性の悪⽤• 本⼈や集団に不利な影響を与える社会的スコアリング（例外有）• 個⼈の性格特性や特徴のプロファイリングのみに基づく犯罪予測• 顔識別DB作成⽬的のインターネット・CCTV顔画像無差別スクレイピング• 職場及び教育機関における感情識別（医療・安全⽬的の例外有）• ⽣体識別データに基づく特別カテゴリーデータの推測（例外有）• 法執⾏⽬的の公共のアクセス可能な空間での⽣体識別（例外有）3

２．EU AI法案：AIシステム全般• ハイリスクAIのカテゴリー• 既存EU法での適合性評価義務対象：機械、玩具、レジャー⽤船舶、リフト、爆発性雰囲
気装置、無線機器、圧⼒機器、索道設備、個⼈⽤保護具、ガス機器、医療機器• AI法での新たな指定：バイオメトリクス（遠隔⽣体識別・感情識別）、インフラ管理・運⽤、教育や職業訓練での学⽣や希望者の評価や受⼊れの合否、雇⽤、労働管理、⾃営業へのアクセス、重要な⺠間・公共サービス（公的⽀援⾦給付、融資、緊急対応措置）、
法執⾏、移⺠・亡命・国境管理、司法⼜は⺠主主義プロセス• ハイリスクAIシステムの要求事項• リスクマネジメントシステムの構築、データとデータガバナンス、技術⽂書、記録保持、透明性と利⽤者への情報提供、⼈間による監視、正確性・堅牢性・セキュリティ• ハイリスクAIシステム提供者の義務：上記要求事項の遵守確保等• ハイリスクAI配備者の義務：基本権影響評価の実施等

4２．EU AI法案：⽣成AI• 汎⽤⽬的AIモデル（⽣成AIはその典型）を含むコンテンツ⽣成AI提供者の義務• 出⼒が機械可読形式でマークされ、⼈為的に⽣成⼜は操作されたことを検知可能とする• 汎⽤⽬的AIモデル提供者の義務• 設計や学習等の技術⽂書作成と当局への提供• 下流事業者への情報開⽰• DSM著作権指令4条（学習データオプトアウト）遵守措置、学習データの詳細な要約公表• システミックリスクを有する汎⽤⽬的AIモデル（10^25FLOPs以上等）提供者の義務• システミックリスク特定・軽減のためのレッドチームテスト実施・⽂書化を含むモデル評価• システミックリスクの評価・軽減• 重⼤インシデントへの対応⽂書化と当局への報告• サイバーセキュリティ対策→それぞれの義務は整合規格により具体化、それまでは欧州委員会主導で策定する⾏動規範（codes of practice）の遵守
3条(65)「「システミックリスク」とは、汎⽤⽬的AIモデルの⾼インパクト能⼒に特有のリスクであって、その影響範囲の広さにより連合市場に重⼤な影響を及ぼし、または公衆衛⽣、安全、治安、基本権もしくは社会全体に対する実際の若しくは合理的に予⾒可能な悪影響により、バリューチェーン全体にわたって⼤規模に伝播し得るリスクをいう」

5

２．EU AI法案：⽣成AI• 前⽂133「さまざまなAIシステムが⼤量の合成コンテンツを⽣成できるようになり、⼈間が⽣成した本物のコンテンツとの区別がますます難しくなっている。こうしたシステムが広く利⽤可能になり、その能⼒が⾼まることは、情報エコシステムの完全性と信頼性に重⼤な影響を及ぼし、誤情報や⼤規模なマニピュレーション、詐欺、なりすまし、消費者への欺瞞といった新たなリスクを引き起こす。こうした影響、技術の進歩の速さ、情報の出所を追跡するための新たな⼿法や技術の必要性を考慮すると、こうしたシステ
ムのプロバイダーに対し、機械が読み取り可能な形式で表⽰し、その出⼒が⼈間ではな
くAIシステムによって⽣成または操作されたことを検出できる技術的ソリューションを組み込むことを求めることが適切である。(…)」“GHOST IN THE MACHINE: Addressing the consumer harms ofgenerative AI” (Norwegian Consumer Council, June 2023)「⼈間の⾏動をエミュレートする能⼒に制限を設けることなく、⽣成AIモデルを⼀般に公開することには根本的な問題がある。モデルが⼈間の感情をシミュレートするコンテンツを⽣成する場合、これは本質的に操作的（manipulative）である。"→仮想友⼈サービスReplikaに対するイタリアGaranteの停⽌命令

6

３．EUデジタルサービス法とAI• EUのプロバイダ責任を規定してきた電⼦商取引（2000年）を元に、違法・有害情報に対するプラットフォームの責任・責務や透明性のあり⽅を全⾯的にアップデート• 媒介サービス事業者（IS）⼀般やオンラインプラットフォーム（OP）事業者⼀般に適⽤される規律の他、EU域内で⽉間アクティブ利⽤者4,500万⼈以上を有する「超⼤規模オンラインプラットフォーム（VLOP）」＋「超⼤規模オンライン検索エンジン（VLOSE）」事業者に、偽・誤情報を含むシステミックリスクの評価・軽減義務を課す• 2023年4⽉25⽇に17のVLOPと2のVLOSEが指定、2024年2⽉全⾯適⽤開始• デジタルサービス法の要点• コンテンツモデレーション：透明性と救済（省略）• プロファイリング関連規制• VLOP/VLOSEとシステミックリスクの評価・軽減

7

３．デジタルサービス法とAI
プロファイリング関連規制• PF上のターゲティング広告のパラメータ等の明⽰（OP~VLOP段階、26条他）• レコメンダーシステムのパラメータ明⽰とユーザーによる修正可能性（VLOPはプロファ
イリングに基づかない選択肢の提供を含む）（OP〜VLOP、27条他）• GDPR特別カテゴリー個⼈データのプロファイリング広告利⽤禁⽌（OP、26条3項）• ⻘少年保護と未成年個⼈データのプロファイリング広告利⽤禁⽌（OP、28条2項）• ※ダークパターンの禁⽌（OP、25条）：「サービス受領者を欺いたり操作したりするような⽅法で、⼜はその他の⽅法でサービス受領者が⾃由かつ情報に基づく決定を⾏う能⼒を実質的に歪めたり損なったりする⽅法で、オンライン・インターフェースを設計、組織、運⽤しないこと」

8

３．デジタルサービス法とAI
VLOP/VLOSEとシステミックリスクの評価・軽減• VLOP/VLOSEは、⾃らのサービスがもたらしうる違法コンテンツ流布、基本権（特に⼈間の尊厳、プライバシー、個⼈データ保護、表現・情報の⾃由、⾮差別、児童の権利、消費者保護）、市⺠⾔説と選挙、ジェンダー暴⼒・公衆衛⽣・⻘少年保護等への影響等の「システミックリスク」を⾃ら特定・分析・評価し（34条）、合理的・⽐例的・効果的な軽減措置を採る義務（35条）と、公共の安全・公衆衛⽣への重⼤な脅威における危機対応メカニズムにおいて出される欧州委員会の要請決定の対象となる（36条）• 欧州委員会が奨励・推進・招請して策定する、⾏動規範（codes of conduct）（45条）や危機プロトコル（48条）を通じて具体化する共同規制メカニズム• 34条・35条の義務及び、⾏動規範・危機対応プロトコルの遵守について、年1回以上の独⽴監査を受ける義務（37条）• 評価・緩和措置検証のための外部研究者データアクセス提供義務（40条）

9

４．3年ごと⾒直しに関連しうる論点• プロファイリング・⾃動決定に関わる規律• バイオメトリクスデータと⽣体識別の位置付け• スクレイピング、特に顔識別DB構築の位置付け• ハイリスクや⾏うべきでないAI利⽤⾏為の特定• ⻘少年やそれに限られない個⼈の脆弱性への対応• デジタルプラットフォーム上のAIリスクへの対応• 個⼈情報保護関連法制多元化への対応

10

論点に関する補論11補論①：個⼈情報保護関連法制多元化への対応• データ、プラットフォーム、AI等の重要性の⾼まりに合わせ、国内外において個⼈情報保護関連法制の多元化が進む中、関係する各法領域と、個⼈情報保護法及び委員会の関係性を深化させていくべきではないか。
• EU法の例：• デジタルサービス法：26条3項・28条2項（特別カテゴリーデータ・未成年データプロファイリング広告利⽤制限）等のGDPR直接補完規定• デジタル市場法：5条1項（個⼈データ統合等の制限）、40条ハイレベルグループ（BEREC、EDPS、EDPB、ECN、CPCネットワーク、ERGAからの代表者で構成）• ePrivacy指令：5条3項（所謂cookie条項）の仏国内法をGDPRと合わせCNILが執⾏• AI法：禁⽌AI⾏為やハイリスクAIシステムでのプロファイリング関連規律• また、GDPR70条に基づくEDPBオピニオン等を参考に、個⼈情報保護関連施策に対する委員会の助⾔機能の強化も検討の余地があるのではないか。
12

補論②：AIとプロファイリング
• 各領域におけるAIの利⽤が拡⼤する中、GDPRにおける⾃動意思決定の透明性確保やデータ主体保護の規定等を参考に、ベースラインとなるプロファイリング規律を検討する意義はあるのではないか。
• 同時に、プロファイリングが持ちうる個⼈の権利利益へのリスクは多様であり、特に「ハイリスク」な⽤途、あるいはそもそも⾏うべきではないプロファイリング関連⾏為も存在する（例えば個⼈の脆弱性を悪⽤するAIシステム等）。
• EUではGDPR以上の具体的規律はAI法を別途⽴法する形としたが、我が国においては、他法との補完関係を念頭に置きつつも、個⼈情報保護法においてリスクベースの具体的規律を検討する選択肢もあるのではないか。

13

補論③：デジタルプラットフォーム• 同意の実質性の確保、特に当該サービスを事実上利⽤せざるをえない場合などへの対応は、独占禁⽌法等他法との補完関係を念頭に置きながらも、個⼈情報保護法においても規律の在り⽅を検討していくべきではないか。
• また、同意の論点以外にも、例えばデジタルサービス法における個⼈情報保護関連規律などを参照しつつ、マニピュレーション等の現代的課題への対応も視野に、事業者の規模やリスク等に応じた規律を個⼈情報保護法の中に設けることも検討する余地があるのではないか。

14

補論④：多様な個⼈の脆弱性への対応• 同意取得や情報提供の在り⽅を含め、⻘少年の保護に関する具体的な規律を検討していく必要性は⾼いのではないか。それに際しては、データ保護バイデザイン・バイデフォルトや、⾏動規範・認証制度等の、⼀定の柔軟性を有する制度枠組を参考にするべきではないか。
• 同時に、⻘少年保護の他にも、⾼齢者や⼼⾝に障がいのある⼈々など、広く個⼈の脆弱性の観点を視野に⼊れた形で、本⼈保護の在り⽅を⾒直していくべきではないか。

15

補論⑤：認定個⼈情報保護団体制度等• 認定個⼈情報保護団体制度につき、GDPRの⾏動規範制度（40・41条）における⾏動規範⾃体への認定枠組等を参考に、参加インセンティブの向上や指針の位置付けの⾒直し等を通じて、その役割を拡⼤する余地は⼤きいのではないか。
• 同時に、GDPRの⾏動規範制度は、個⼈データ処理の法的根拠（特に正当な利益）等の規律の具体化や、アカウンタビリティ（遵守の証明）といった、制度全体の特性がその役割を規定している側⾯が⼤きい。個⼈情報保護制度の中期的な在り⽅も考慮しつつ、当事者の知識を活かすための、官⺠の共同規制枠組の役割を検討していくべきではないか。
• 合わせて、国際的な認証制度の重要性が拡⼤する中、GDPRの認証制度（42・43条）も参考に、認証制度の法的位置付けについても検討する余地があるのではないか。
16