State of AI Report 2024: Safety - 政府と企業の対応の変化、政府の取り組みと課題

### State of AI Report 2024(Benaich, 2024)

https://www.stateof.ai/


## AI安全対策における政府と企業の対応の変化：安全性重視から加速主義へ

AI技術の急速な進歩に伴い、その安全性確保は世界的な課題となっています。ソースによれば、AI安全性に関する取り組みにおいて、政府と企業の対応に顕著な変化が見られます。特に、2023年における安全性重視の姿勢から、2024年には商業化と普及を優先する「加速主義」とも呼べる変化が顕著です。

### 1. 企業における変化：安全性より商業化を優先

以前は、AIの潜在的なリスクを強調し、慎重な開発と規制を求める声が強かったAI企業は、2024年には消費者へのAI製品の普及を加速させています。 特にOpenAI社内では、倫理的な懸念を重視する立場と、商業化を推進する立場の対立が表面化し、後者が主導権を握った結果、CTOやリサーチ部門の幹部が相次いで退社しました。 

この変化は、AI技術の商業的可能性に対する期待の高まりと、競争激化を反映していると考えられます。しかし、安全性軽視の姿勢は、AIの誤用や予期せぬリスクにつながる可能性があり、懸念の声も上がっています。

### 2. 政府の対応：規制と安全性確保の取り組み

政府レベルでは、AI安全性に関する取り組みが強化されています。

* **米国**: バイデン政権は、2023年10月にフロンティアモデル規制に関する大統領令に署名し、政府機関によるAIの利用に関する安全基準や報告義務を定めました。 また、AI安全性研究所（AISI）を設立し、高度なAIモデルの評価や安全性研究、国際連携などを推進しています。 しかし、2024年の大統領選挙では、共和党が大統領令の撤廃を公約に掲げており、今後のAI規制の行方は不透明です。
* **EU**: 2024年3月、欧州議会はAI法を可決し、AIシステムのリスクに基づいた規制の枠組みを導入しました。  顔認識技術の利用や、AIモデルのトレーニングに使用されるデータの開示など、厳しい規制が盛り込まれていますが、米国企業は対応に苦慮しています。 
* **英国**: 2023年11月に開催されたブレッチリーAI安全サミットを主導し、政府と産業界の連携によるAI安全性確保の重要性を訴えました。  また、世界初のAI安全性研究所（AISI）を設立し、AIシステムの安全性評価や研究、国際連携などを推進しています。 さらに、国家の重要なインフラストラクチャに対するAIの潜在的なリスクを評価し、対策を講じています。
* **中国**: 中国政府は、サイバースペース管理局を通じて、最先端のAIモデル開発を監督しています。一方で、政治的にセンシティブな質問に対して「不適切な」回答を避けると同時に、検閲を受けているように見えないようにするなど、複雑な課題にも直面しています。  企業は、モデルリリース前に、数万件の質問に対するテストをクリアする必要があり、コンサルタント業界が活況を呈しています。

### 3.  国際協力の進展と課題

AI安全性確保には、国際協力が不可欠です。

* **ブレッチリー宣言**: 2023年11月のブレッチリーAI安全サミットでは、米国、英国、EU、中国などが、AIの安全性課題の特定とリスクベースの政策導入に関する協力に合意しました。 
* **ソウルAI安全サミット**: 2024年5月のソウルAI安全サミットでは、EU、米国、英国、韓国など、11カ国が相互運用可能なガバナンスの枠組みの開発に合意しました。

しかし、これらの合意は法的拘束力を持たない高レベルのものであり、具体的な進展には課題も残ります。例えば、フランスはAIの利点の実現に焦点を当てた「AIアクションサミット」を提案するなど、安全性重視の姿勢に消極的な国も存在します。

### 4.  AI安全性の研究動向

AI安全性研究も活発化しています。

* **敵対的攻撃への対策**: AIシステムに対する敵対的攻撃の脅威が高まる中、その検出と防御に関する研究が進んでいます。OpenAIは、「以前の指示をすべて無視する」攻撃への対策として、「指示階層」を提案しています。 また、Anthropicは、「注意喚起防御」として、警告テキストをモデルに付加することで、敵対的攻撃への耐性を高める方法を研究しています。
* **説明可能性の向上**: AIシステムの意思決定過程を理解しやすくする「説明可能性」に関する研究も進展しています。Anthropicは、大規模言語モデルの内部表現を分析し、安全性評価に活用する手法を開発しています。 OpenAIも、スパースオートエンコーダを用いて、AIシステムの内部構造を可視化する研究を進めています。
* **バイオリスク評価**: AI技術のバイオテロリズムへの悪用を防ぐための研究も注目されています。Anthropicの研究は、大規模言語モデルが生物兵器開発を加速させる可能性を示唆しましたが、他の研究機関は再現性に疑問を呈しています。 

### 結論

AI安全性に関する取り組みは、政府、企業、研究機関など、様々な主体によって進められていますが、その対応は国や組織によって大きく異なります。AI技術の急速な進歩と普及に伴い、AIの安全性確保はますます重要な課題となっており、国際的な協力体制の構築、倫理的なガイドラインの策定、安全性研究の推進などが急務となっています。



## AI安全性に向けた政府の取り組みと課題：国際的な協調と国内政策の模索

AIの安全性に対する懸念が高まる中、各国政府はAIの潜在的なリスクを軽減するための取り組みを強化しています。情報源によると、これらの取り組みは、国際的な協調、国内法の制定、AI安全性研究所の設立、重要なインフラストラクチャの保護、AIの悪用対策など、多岐にわたります。しかし、AIの急速な進化と複雑さ、そして国家間の競争や政治的な思惑などが絡み合い、課題も多く存在します。

**1. 国際的な協調：安全性の確保に向けた模索**

AIの安全性は、国境を越えた課題であり、国際的な協調が不可欠です。情報源によると、近年、AI安全保障に関する国際的な議論が活発化しています。

* 2023年7月に開催されたブレッチリーサミットでは、米国、英国、EU、中国などの国々が、AIの安全性に関する課題を特定し、リスクベースの政策を導入することに合意しました。
* 2024年5月には、ソウルで同様のサミットが開催され、EU、米国、英国、オーストラリア、カナダ、ドイツ、フランス、イタリア、日本、韓国、シンガポールが、相互運用可能なガバナンスフレームワークの開発に合意しました。

しかし、これらの取り組みは、まだ**高レベルかつ法的拘束力のない**合意にとどまっており、具体的な政策や規制に落とし込むには、さらなる議論と調整が必要です。また、フランスのように、AIの安全性よりも**経済的な利益を優先**する国もあり、国際的な協調を阻害する可能性も懸念されます。

**2. 国内政策：規制と支援のバランス**

各国政府は、AIの安全性に関する国内政策の整備にも取り組んでいます。

* **米国**は、2023年10月に、バイデン大統領がフロンティアモデルの規制に関する大統領令に署名しました。この大統領令は、政府機関に対し、サイバーセキュリティ基準の開発、AI使用ポリシーの公開、AI関連の重要インフラストラクチャのリスクへの対応などを義務付けています。しかし、大統領令は**次期政権によって撤回される可能性**があり、法的安定性に欠けるという指摘もあります。
* **EU**は、2024年3月に、世界で初めて包括的なAI規制の枠組みである**AI法**を制定しました。この法律は、AIシステムをリスクレベルに応じて分類し、高リスクAIシステムに対しては、厳しい要件を課しています。しかし、AI法の**具体的な運用方法**はまだ明確になっておらず、企業活動への影響が懸念されています。
* **英国**は、2023年に設立されたフロンティアAIタスクフォースを、2024年にAI安全研究所（AISI）に改組しました。AISIは、高度なAIモデルの展開前の評価、安全性に関する国家能力の構築と研究、国際的なパートナーとの連携という3つの主要な機能を担っています。

**3. AI安全性研究所：リスク評価と研究の推進**

AI安全性研究所は、AIの安全性に関するリスク評価、研究、国際連携などを推進する機関として、重要な役割を担っています。

* **英国のAISI**は、世界初のAI安全性研究所として、注目を集めています。AISIは、OpenAIなどの企業と協力し、AIモデルの安全性評価を実施しています。また、LLMの安全性評価のためのフレームワークである**Inspect**を公開するなど、AI安全性の向上に向けた積極的な取り組みを行っています。
* **米国**も、AISIに倣い、AI安全性研究所を設立しました。米国と英国のAI安全性研究所は、安全性評価のテスト開発などで協力することで合意しています。

AI安全性研究所の設立は、AIの安全性に関する研究とリスク評価を促進する上で重要な一歩です。しかし、AI安全性研究所が、**標準設定**と**評価**のどちらに焦点を当てるべきか、という議論もあります。

**4. 重要なインフラストラクチャの保護：AIの悪用への備え**

AIは、エネルギー、医療、通信などの重要なインフラストラクチャの運用にも利用され始めています。しかし、AIの悪用によるインフラストラクチャの機能停止や破壊といったリスクも存在します。

* **英国**は、先端研究開発機関（ARIA）を通じて、「ゲートキーパー」と呼ばれるシステムの開発に5900万ポンドを投資しています。ゲートキーパーは、エネルギー、医療、通信などの重要な分野におけるAIエージェントのリスクを理解し、軽減することを目的とした高度なシステムです。
* **米国**も、エネルギー省が、AIが重要インフラストラクチャとエネルギー安全保障にもたらすリスクを評価するために、独自のテストベッドを使用しています。また、国防総省と国土安全保障省は、国家安全保障と民間目的で使用される政府ネットワークの脆弱性への対応に焦点を当てています。

**5. AIの悪用対策：jailbreaking への対応**

AIモデルは、**jailbreaking**と呼ばれる手法によって、開発者の意図しない動作をさせることができる場合があります。Jailbreakingは、AIモデルのセキュリティ上の脆弱性を悪用して、有害なコンテンツを生成させたり、個人情報を漏洩させたりするなどの悪意のある行為に利用される可能性があります。

* 研究者たちは、jailbreaking攻撃に対する防御策を開発しています。例えば、OpenAIは、「以前のすべての指示を無視する」攻撃への対策として、**指示階層**を提案しました。Anthropicは、**注意喚起防御**と呼ばれる手法を提案しており、これは、jailbreakingを防ぐために、警告文をモデルに入力するものです。
* 一方で、jailbreaking攻撃の手法も進化しており、防御策をすり抜ける新しい攻撃手法が次々と開発されています。例えば、DeepKeepというイスラエルのサイバーセキュリティスタートアップは、Llama 2から個人情報を漏洩させることに成功しました。

Jailbreaking対策は、AIの安全性を確保する上で重要な課題です。攻撃手法と防御策の開発競争は今後も続くと予想され、政府は、最新のjailbreaking攻撃の手法を把握し、適切な対策を講じる必要があります。

**6. 課題：AIの急速な進化への対応**

AI技術は急速に進化しており、政府の取り組みは、常に**後手に回っている**状況です。新しいAI技術が登場するたびに、新たなリスクや課題が生じており、政府は、AIの進化に追いつくための努力を継続する必要があります。

* AIの安全性に関する**専門知識を持つ人材の不足**も課題です。AIの安全性に関する政策や規制を策定・実施するためには、AI技術に関する深い知識と経験を持つ人材が必要です。しかし、世界的にAI人材が不足しており、政府は、AI人材の育成と確保に力を入れる必要があります。

**結論：複雑化するAI安全性問題への対応**

AI安全性に関する政府の取り組みは、国際的な協調、国内法の制定、AI安全性研究所の設立、重要なインフラストラクチャの保護、AIの悪用対策など、多岐にわたっています。しかし、AIの急速な進化と複雑さ、そして国家間の競争や政治的な思惑などが絡み合い、課題も多く存在します。

政府は、AI技術の進歩を常に注視し、リスクと利益のバランスを考慮しながら、**柔軟かつ効果的な政策**を策定・実施していく必要があります。また、国際的な協調、産学連携、市民社会との対話などを積極的に推進し、AIの安全性を確保するための**多層的な取り組み**を強化することが求められます。