State of AI Report 2024: Safety

### State of AI Report 2024(Benaich, 2024)

https://www.stateof.ai/


## AI安全性に関する主要な懸念事項

AI技術の急速な発展に伴い、その安全性に関する懸念事項も増加しています。ソースに基づいて、AI安全性に関する主要な懸念事項を3つ挙げます。

### 1. 悪意のあるAIの出現と利用

AI技術、特に基盤モデルは、その能力の高さから、悪意を持った個人や組織に利用される可能性があります。ソースでは、LLM (大規模言語モデル) を利用した**バイオテロリズム**のリスクが議論されています。LLMは、生物学的な知識や情報を提供するだけでなく、生物兵器の設計や製造方法を指南する可能性も懸念されています。

さらに、LLMは、**サイバー攻撃**にも利用される可能性があります。ソースでは、GPT-4が人間のフィードバックなしでウェブサイトをハッキングできることが示されています。LLMは、SQLインジェクションなどの攻撃手法を理解し、実行できる能力を持っているため、サイバーセキュリティ上の脅威となる可能性があります。

### 2. AIの制御不能化

AI技術の進歩により、将来的には人間の能力を超えたAIが出現する可能性も指摘されています。このようなAIを人間が制御できなくなるリスクは、AI安全性における大きな懸念事項です。

ソースでは、**AGI (汎用人工知能)** の出現時期に関する議論が紹介されています。AGIは、人間と同等以上の知能を持つAIであり、その出現は社会に大きな変化をもたらすと予想されます。しかし、AGIをどのように制御し、安全性を確保するかは、未解決の課題です。

### 3. AIによる社会への悪影響

AI技術は、雇用、プライバシー、公平性など、社会の様々な側面に影響を与える可能性があります。

**雇用**: AIによる自動化は、多くの仕事がAIに代替される可能性を示唆しており、大規模な失業を引き起こす可能性があります。ソースでは、AIによる自動化の影響と、それに対応するための政策として**ユニバーサルベーシックインカム (UBI)** について議論されています。

**プライバシー**: AIは、個人情報の収集、分析、利用を容易にするため、プライバシー侵害のリスクを高める可能性があります。ソースでは、AIモデルの学習に用いるデータの収集方法として、**ウェブスクレイピング** が問題視されています。ウェブスクレイピングは、ユーザーの同意を得ずにウェブサイトから情報を収集するため、プライバシーの観点から問題となっています。

**公平性**: AIは、学習データに含まれる偏見や差別を反映する可能性があり、AIによる判断や予測に不公平が生じる可能性があります。ソースでは、**AIによる差別** を防ぐための規制や政策の必要性が議論されています。


AI技術の安全性確保は、AI技術の発展と普及に伴い、ますます重要な課題となっています。AI開発者、研究者、政策立案者、そして社会全体が協力し、AIの安全性に関する議論を深め、適切な対策を講じていく必要があります。


## AIの安全性：脅威と対策

AI技術の急速な発展は、人類に大きな恩恵をもたらす一方で、新たな脅威も生み出しています。AIの安全性は、これらの脅威に対処し、AIを人類の利益のために安全かつ倫理的に利用するために不可欠な要素です。本稿では、ソースに基づき、AIの安全性に関する様々な側面について解説します。

### 1. セーフティズムからアクセラレーションイズムへの転換

2023年には、主要なAI企業はAIの潜在的なリスクについて積極的に議論し、安全性確保を重視する姿勢を示していました。しかし、2024年に入ると、これらの企業は消費者をターゲットにしたAI製品の普及を加速させています。この背景には、AI技術の商業化競争の激化や、投資家からの収益への圧力などが考えられます。

特にOpenAIでは、安全性重視派と商業化重視派の対立が表面化し、CTOのミラ・ムラティ氏やチーフリサーチオフィサーのボブ・マクグルー氏など、安全性重視派の幹部が相次いで退社しました。この動きは、AI業界全体に大きな波紋を広げ、AIの安全性よりも商業的な成功を優先する傾向が強まっていることを示唆しています。

### 2. AIの安全性に関する国際的な取り組み

AIの安全性に対する懸念が高まる中、国際的な協力体制の構築が進んでいます。2023年11月には、英国のブレッチリーパークでAI安全保障サミットが開催され、米国、英国、EU、中国などの国々がブレッチリー宣言に署名しました。

この宣言では、AIの安全性に関する課題を特定し、リスクベースの政策を導入することで合意しました。また、2024年5月には、韓国のソウルで同様のサミットが開催され、EU、米国、英国、オーストラリア、カナダ、ドイツ、フランス、イタリア、日本、韓国、シンガポールが相互運用可能なガバナンスの枠組みを開発することで合意しました。

しかし、これらの取り組みは、まだ高レベルかつ拘束力のないものにとどまっています。具体的な政策や規制の策定には、さらなる議論と調整が必要であり、各国の思惑や利害の調整が課題となる可能性があります。

### 3. 国家レベルのAI安全保障対策

AIの安全性確保に向け、各国政府も独自の取り組みを進めています。英国は、世界初のAI安全研究所（AISI）を設立し、高度なAIモデルの評価、安全性に関する国家的能力の向上、国際的なパートナーとの連携などを推進しています。

AISIは、米国と協力して安全性評価テストの開発に取り組んでおり、サンフランシスコにもオフィスを構設する予定です。また、AISIは、LLMの安全性評価のためのフレームワーク「Inspect」を公開しており、基本的な知識、推論能力、自律的な能力などを評価対象としています。

米国も、AISIと同様の機関を設立しており、AISIとの協力関係を強化しています。OpenAIは、米国のAISIに次期モデルへの早期アクセスを提供するとしています。

さらに、英国は、エネルギー、医療、通信などの重要分野におけるAIエージェントのリスクを理解し、軽減するための高度なシステム「ゲートキーパー」の開発に5,900万ポンドを投資しています。米国エネルギー省も、AIが重要インフラストラクチャやエネルギーセキュリティに及ぼすリスクを評価するために、独自のテストベッドを活用しています。

### 4. AIの悪用と対策

AI技術の悪用は、深刻な脅威となりえます。ソースでは、AIを利用したバイオテロリズム、フェイクニュースの拡散、サイバー攻撃などのリスクが指摘されています。

**バイオテロリズム**: Anthropicは、LLMがバイオテロリズムのリスクを高める可能性を指摘する研究結果を発表し、議論を巻き起こしました。しかし、OpenAIやRAND Corporationなどの研究では、現在のLLMはバイオテロリズムのリスクを有意に高めるものではないという結論が出ています。

**フェイクニュース**: AIを利用したフェイクニュースの生成と拡散は、深刻な社会問題を引き起こす可能性があります。しかし、Nature誌に掲載された論文では、AIを利用した偽情報の拡散に関する研究は、過度に周辺的なグループに焦点を当て、ボットの役割を過大評価し、実際の影響を実証できていない傾向があると指摘しています。

**サイバー攻撃**: AIは、サイバー攻撃の高度化にも利用される可能性があります。ソースでは、GPT-4が人間のフィードバックなしにSQLインジェクションなどのタスクを実行し、Webサイトをハッキングできることが示されています。

これらの脅威に対抗するため、AIモデルの安全性評価、悪用防止のための技術開発、国際的な協力体制の構築などが急務となっています。

### 5.  AIの安全性確保に向けた今後の課題

AIの安全性確保は、AI技術の発展と普及に伴い、ますます重要な課題となるでしょう。今後の課題として、以下のような点が挙げられます。

* **安全性評価の標準化**: AIモデルの安全性評価のための標準的な方法論を確立する必要があります。AISIの「Inspect」のようなフレームワークは、そのための重要な一歩と言えますが、評価項目や評価方法については、さらなる議論が必要です。
* **悪用防止技術の開発**: AIの悪用を防止するための技術開発が不可欠です。「サーキットブレーカー」 や「注意喚起防御」 などの技術は、AIモデルの悪用を防ぐための有望なアプローチですが、さらなる研究開発が必要です。
* **国際的な協力体制の強化**: AIの安全性確保は、一国だけで解決できる問題ではありません。国際的な協力体制を強化し、AIの安全性に関する情報共有、共同研究、政策調整などを進める必要があります。
* **社会的な合意形成**: AIの安全性に関する議論には、技術的な側面だけでなく、倫理的な側面、社会的な側面も含まれます。AIの安全性確保に向けた政策や規制を策定するためには、社会全体で議論を深め、合意形成を図っていく必要があります。

### 結論

AIの安全性は、AI技術が人類に真に恩恵をもたらすために不可欠な要素です。AIの安全性に関する課題は複雑かつ多岐にわたりますが、技術開発、国際協力、社会的な合意形成など、様々な取り組みを通じて、AIを安全かつ倫理的に利用していくことが重要です。