資料4

AIをめぐる法制度に関する⼀考察

情報通信研究機構(NICT)
⿃澤 健太郎2024年8⽉23⽇

1

⽣成AIのリスクは顕在化しつつある• NICTの分析では、能登半島地震でXに発信された救助要請の約１割がフェイクと推定された• 読売新聞2024年8⽉５⽇朝刊⼀⾯「救助要請 偽投稿１割」他、NHK
ニュース７や多数のWebサイト、地⽅紙等で報道。韓国でも報道。

• 「⽣成AI悪⽤しウィルス作成疑い、男を逮捕 警視庁」
• ⽇経新聞 2024年5⽉18⽇• 「⾼まる熱狂︓増加する⽣成AI悪⽤に関する最新情報」• トレンドマイクロ 2024年8⽉2⽇• 「英⼥王暗殺計画、AIチャットボットが犯⼈を⿎舞するまで」• BBC⽇本語版 2023年10⽉10⽇• ご参考: 2016年7⽉5⽇内閣府「⼈⼯知能と⼈間社会に関する懇談会第2回」⿃澤からのアンケートの回答• 「悪意を持って作成された対話エージェントによって⽣じる問題（を検討すべき）。例えば過激派は⾃派へのオルグの⽬的を持って作成した対話エージェント等が実現する可能性がある。…検知にも技術が必要である。」 ( https://www8.cao.go.jp/cstp/tyousakai/ai/2kai/2kai.html )2

⽣成AIの悪⽤に対抗できるのは⽣成AIだけ• ⽣成する情報の質はともかく、⽣成情報の量では⽣成AIは⼈間、あるいは⼈間社会を凌駕• 短期間に１億⼈と対話した⽣成AIも実在。⼈間には不可能。
• フェイクニュースの量も⼈間あるいは⼈間社会の対処可能量を圧倒する可能性• 従って、近い将来、⽇本社会は⽣成AIで守るしかない
フェイクニュース、偽情報

現在想定できない何か

誹謗中傷
マルウエア

ダークサイドからの攻撃

正義を志向する⽣成AIが防御⽇本社会

ダークサイドの「野良⽣成AI」(開発者も運⽤者も不明な⽣成AI)
3

⽣成AIの悪⽤に対抗できるのは⽣成AIだけ• 例えば、正義を志向する⽣成AIがフェイクニュースに反論
NICTが開発した⽣成AIによる反論

厚労省はコロナワクチンで⼈⼝削減を狙っている

ダークサイドからの攻撃

正義を志向する⽣成AIが防御⽇本社会

ダークサイドの野良⽣成AI

4課題1︓強い規制は社会を守る⽣成AIを弱体化させる• 例えば、不適切情報を⼀切⽣成AIの学習データから排除すれば、不適切情報への反論、検知等が⼀切不可能に
ダークサイドは法規制など気にせず、増⻑正義を志向する⽣成AIは萎縮、弱体化
ダークサイドからの攻撃

ダークサイドの野良⽣成AI

ご提案︓⽣成AIを使⽤するユーザや使⽤⽬的に従って、安全性の検証、認証にレベルを設けるべきでは︖ 特に学習データのフィルタリングに⼀律の条件を課すのは社会を守る上で問題

5課題2︓すべてのハルシネーションが悪ではない• 仮にハルシネーション０の⽣成AIができたとすると、その⽣成AIは学習データ等に書いていない斬新なアイディアは出せず、⽣産性向上への貢献は限定的となる
NICTの「尖った仮説⽣成システム」が出⼒した⾼齢者向け対話システムの⽤途の例• 対話システムで詐欺的投資勧誘等の悪質商法から⾼齢者を保護する
à ⾼齢者等を狙った悪質商法や特殊詐欺の⼿⼝等の情報を提供する対話システムを構築する• 対話システムで⾼齢者の⾷⽣活を⽀援する
à 対話システムが⾼齢者に対して、宅配による配⾷サービスを実施する• 対話システムで地域住⺠との交流を促進する
à対話システムが地域住⺠の⽅々とバーベキュー⼤会を企画する

ご提案︓ユーザや使⽤⽬的によって、要求されるハルシネーションの抑制レベルには差をつけるべき。加えて、⽣成AI⾃体の中にハルシネーション抑制のメカニズムを統合するのではなく、⽣成情報に対する事後のハルシネーションチェックを⾏うシステムと併⽤することも許容すべき6まとめ︓社会を守るための⽣成AIの必要性• ⽇本社会を「正義を志向する⽣成AI」で守る必要• 正義は⼀意に定まるわけではないし、正義の⽣成AIが意図通りに動かないこともある→複数の「正義を志向する⽣成AI」が互いに連携、議論、ネガチェックをしながら社会を守るべき複数の「正義を志向する⽣成AI」

攻撃

⽇本社会

ダークサイドの野良⽣成AI

ご参考
⽉刊正論2024年5⽉号、複数の「正義」で「悪」を無効化する、⿃澤健太郎
⽇経新聞2024年8⽉7⽇私⾒卓⾒、「正義志向するAI」を国産で、⿃澤健太郎
デジタル空間における情報流通の健全性確保の在り⽅に関する検討会、NICTプレゼン資料
https://www.soumu.go.jp/main_content/000942562.pdf

7

理研におけるAI研究及びAIを活用した科学研究の総合的推進とリスクへの対応

2024年8月23日
国立研究開発法人理化学研究所
泰地 真弘人AI研究及びAIを活用した科学研究における理研の総合的な取組
Transformative Research Innovation Platform of RIKEN platforms（TRIP）を活用し、理研の強みを生かしてAI研究及びAIを活用した科学研究を総合的に推進 革新知能統合研究センター（AIP）を中心としたAI学理研究と、理研内の異分野の連携融合研究を促進する「TRIP」プラットフォームも活用し、理研としてAI研究及びAIを活用した科学研究を総合的に推進 生成AIの急速な進展を受けて、科学研究向けAI基盤モデルの研究開発を推進するTRIP-AGISを開始
理研におけるAI研究及びAIの活用• AI学理研究• 科学研究向けAI基盤モデルの開発・共用• 各科学研究分野におけるAIを活用した研究、事務部門でのAI利用

 推進に当たって理研内のAIガバナンスを総合的に検討する体制を構築（理研としてAIガバナンス委員会を設置）
2

理研の取組 ～TRIP-AGIS～
Advanced General Intelligence for Science of Transformative Research Innovation Platform (TRIP-AGIS)TRIP Second Stepとして、生成AIの技術も導入し、科学研究向けAI基盤モデルを開発することで、より一層の研究サイクルの加速を実現
先端科学を社会インパクトへ導く活動を強化
強みを有する計測技術や実験自動化を通じた良質且つ膨大なデータ生産

科学研究向けAI基盤モデルの開発・利用・共用（生命医科学・材料物性）
良質なデータ「富岳」とAI４S専用計算機を連携させデジタルツインと AI を融合
スーパーコン
ピュータ「富岳」

計算資源

先進モデル

研究サイクルを加速し、基礎科学を起点とした先端科学を社会的インパクトに導く（GX,包摂社会など）
AIによる科学研究の加速と科学によるAIの新たな学理と技術の開拓
3

AI for Scienceに関するガバナンスにおける課題
国際的な動きUSEU

2023年10月、AIの安全な開発と利用に関する大統 2024年5月AI規制法（世界初のAI規制法）
領令発令。AIの一般社会に対するガバナンスと、科学 ・研究開発活動は適用除外。
技術に対するガバナンスの明確な違いが示された。
ただし、科学的研究目的のみで開発・利用

AI for Science のガバナンス: エネルギー されるAIシステムであっても市場投入された省の管轄。CBRNの危険性に対処。
AIシステムとそのアウトプットは適用対象。

2024年4月、上記大統領令に基づく各政府機関のア・軍事、防衛、または国家安全保障の目的でクションを発表。

DOE, DHSのサイエンスに関する安全性と、 のみ開発・利用されるAIシステムは市場投入
DOC/NISTの商業AIに対する安全性が別 された場合であっても適用除外。に語られている。

Research7+（2024/5/6-7 in Bologna)

Trillion Parameter
Consortium

科学技術一般、特に公的な AI 研究および AI
for Science の研究、それらをサポートする公的基盤の国際連携等が議論された。
【共同宣言】
2.2 AI for Science：AIに関する科学、（AI for Scienceに関わる研究者による国際コンソーシアム。
約100機関が参画）

AIによる科学ともグローバルな連携が必須。
2.4 Trustworthy AI: 安全、安心、信頼できるAIの開発には、責任あるAIシステム、規格、フレームワークが必要。

科学者間でのAI
Governance for Scie
nceの議論が活発化。 最近では6月19-21日に会合を実施。（＠スペインバルセロナ）

 検討に当たって留意すべき事項•••

米国のAI for Scienceのガバナンスは、一般のAIガバナンスと異なり、AIによって起こりうるCBRN (chemical, biological, radiological, nuclear)の危険性に対処することが必要（米国ではNISTではなくエネルギー省（DOE）で検討）。
科学に関する既存の規制との整合性を取り、CBRNと同様、国際的に統一されたレギュレーションとすることが必要。（個別の国の法令や慣習によって異なってくる一般社会向けAIの規制と異なっている）研究開発（特に基礎研究）のイノベーションの発展やグローバル性と、規制のバランスが重要（過度な規制はイノベーションを阻害し、更には日本で各国に比べ過度な規制を行えば世界から立ち遅れるおそれ）。

上記のとおり、AI for Scienceに関するガバナンスは、一般的なAIガバナンスと異なる部分があり、一定の整合性をとりつつ、分けて検討することが必要。

4

AI リスクについて

国立研究開発法人産業技術総合研究所
フェロー
辻井潤一

人間知能と人工知能：不完全な知能の連携• 人間知能• 能動的知能：限定合理性• 情報の積極的な取捨選択• 認知バイアス• 確証バイアス• 正常性バイアス• 生存者バイアス• 帰属の誤り• アンカリング• フレーミング• 人工知能（LLM）• 受動的知能：価値・倫理観の欠如• データクレンジング、アライメント、FT、RAGなど、情報選択の外在化• データバイアス• ブラックボックス• 説明性、可制御性の欠如• 多数のAIシステムの統合• マルチベンダー化

AIによる人間知能の補完
AIリスクの強調だけでなく、人間の誤りリスク軽減や新たなイノベーションの可能性も考える必要

技術の現状と社会制度: AI Safety• LLM・生成AIの内包する危険性• 人間の認知に直接影響• 情報の生成：真理性の欠如、情報空間の大規模な汚染• 生成される情報の管理：権威主義国家・技術を主導する企業• 多様な価値観の許容 vs 偽情報による汚染• コンセンサスに基づく開かれた組織：BPOのような組織• ブラックボックス、マルチベンダー化• 責任と権利の所在の明確化：規制というより法制度の整備• 説明可能性、可制御性の欠如：研究開発の必要性• システムの暴走：監視と制御の技術、規制

補足資料

技術的観点での産総研の取り組み

機械学習AI品質プロジェクト
AIの「得体の知れなさ」「社会的影響」への恐怖も顕在化•• 動作が説明できないブラックボックス的なシステム、説明可能になった場合でも正しさは保証されない• AI開発プロセス全般にわたっての、品質保証が必要
全産業共通のガイドライン
AIガイドライン策定（品質目標の類別・レベル分け・測定指標）• 機械学習AIの品質保証手法の体系化• 機械学習品質マネジメントガイドラインの作成• 機械学習品質マネジメントリファレンスガイドの作成• 実際に品質を作り込む道具立ての整備• AI品質管理テストベッドの開発• AI品質評価技術の開発• 品質目標：5特性×レベル• 機械学習AIが持つべき品質の目標• リスク回避性、AIパフォーマンス、公平性、プライバシー、セキュリティ• 品質管理の14ポイント• 品質向上させるために抑えるべき技術的14項目• TR5469に内容を反映、TS22440への反映働きかけ

共通要素の抽出
フィードバック

具体化
事例毎のリファレンス

対応

具体化
事例毎のリファレンス

具体化
事例毎のリファレンス

参照

実際の製品開発プロセス
利用

管理

機械学習品質管理テストベッド
呼び出し

結果の集積管理

個別の品質評価技術5産総研はAIの国際標準化をリード

AIセーフティー・インスティテュート との連携

 標準化の主な舞台: ISO/IEC JTC1 / SC42

 日本のAI安全政策の要となる機関が9府省庁等・4国研の連携で設立

 日本のNational Body を産総研がリード リーダー: 杉村 領一 チーフ連携オフィサ
 実行部隊: デジタルアーキテクチャ研究センター・人工知能研究センター
 トップレベルのプレゼンス
 55プロジェクト中 17プロジェクトでリーダシップ発揮（全体の3割）
 エディター引き受け 8件（米：8, 英：7, 独：7, 中：6, 韓：6, 印：5, 仏：4）

 Standard Diplomacy の中心国として認知 欧州のAI法案に対応した欧州標準検討のCEN/CENELEC SC21においても単なるオブザー
バーを越えた具体的な技術貢献

 産総研は，AI品質・標準化の知見を活かし，パートナーシップ機関としての貢献を目指す
 産総研発のAI安全ガイドライン・国際標準
 AI安全の評価基準・評価技術の開発
 NIST などとの海外連携
6

技術からの取り組み：AI Safetyに関する産総研の取り組み

4研究センターの連携による研究体制• AI安全の基準・標準化： DigiARC, AIRC
• データの対策技術： AIRC, DigiARC• モデルの対策技術： AIRC
• システムレベルの対策技術： ICPS, CPSEC, DigiARC, AIRC