情報法制学会 第3回研究大会

ＡＩと安全保障における新局面
自律型兵器の国際的規制に向けた取り組みを中心に

報告者：慶應義塾大学 新保 史生
令和元年（2019）年12月15日（日）明治大学駿河台校舎リバティホール

1. 本報告の概要① 機微技術管理への取り組みの必要性• 技術優位性の毀損や技術の脆弱性が安全保障上の重大な懸念事項となりつつある• 国際的な動向として、安全保障を理由とする機微技術の流出防止策や自国産業を中心に据えた産業政策が拡大• 軍事転用可能な技術の拡散防止の観点から、機微技術の流出防止策を講じることは国際的な義務• ネットワーク上を流通するパーソナルデータも含む安全保障に関わり得るデータの保護についても、機微技術管理に包含される論点として検討が必要であるとともに、経済成長や技術革新を阻害することを避ける必要がある• 実効性のある機微技術管理のあり方について検討すべき② 自律型兵器の国際的規制に向けた取り組み• AIや自律型ロボットをはじめとするエマージング・テクノロジーの急速な発展と産業における利用が議論される一方で、自律型致死兵器システム（LAWS）の研究開発も進展している• 国際的な議論としては、特定通常兵器使用禁止制限条約（CCW）の枠組みにおける規制について検討がなされ原則指針の提案にまで至っている• 本報告では、自律型致死兵器システムについて、LAWSに適用される国際人道法、国連軍
縮研究所（UNIDIR）の報告書、CCWのLAWS非公式専門家会議から政府専門家会合（GGE）における議論の状況、提案された基本原則の内容、法的・倫理的側面をめぐる検討
状況を踏まえて、LAWSの国際的な規制に向けた取り組みの現状について報告する©2019 SHIMPO Fumio

22. ＡＩやロボットの研究開発の進展、ビッグデータ解析の高度化、IoTの普及などのエマージング・テクノロジー（以下、本報告では「新興技術」という。）

新興技術に関する新たな可能性とそれに伴う問題は国内外で様々な側面から検討されている
日本国内における議論は？
• ＡＩやロボットの利用と産業振興の観点からの検討に関するものが一般的• 例えば、ドローンの技術開発に関するもの• 多種多様なサービスやビジネスでそれらを活用する提案• 宅配サービスにおける利用への期待• インフラ管理における点検監視• 測量や建設現場・農業等における利用• 個人の空撮などの趣味に至るまで

国外における議論は？
•無人戦闘航空機など軍事利用も含む研究開発•軍事研究や宇宙開発分野の研究予算の額が突出して多いことから当然•国内においても、新たな通常兵器であるドローンやロボット兵器といった人工知能搭載兵器をどのように位置づけていくべきかを検討する岩本誠吾「ドローンと法規制」防衛技術ジャーナル35(7)、PP.16-19（2015）をはじめとして、「先端技術の開発・規制のための適切な国際ルールの提案」「先端技術に関する国際政治経済の実態把握」「先端技術情報データベース構築」を三本柱に新興技術の利用をめぐる問題を研究し、当該研究の関連研究成果を示している、岩本誠吾「革新的技術の国際法政治経済への影響の分析」京都産業大学総合学術研究所所報13、PP.137-141（2018）がある。
•ドローン(Drone)という用語の出自•「人間が直接操作することなく自律的に飛行することができる無人航空機」を意味する• John Villasenor, What Is a Drone, Anyway? <https://blogs.scientificamerican.com/guest-blog/what-is-a-drone-anyway/>Scientific American, on April 12, 2012.

•無人航空機一般はUAV(Unmanned Aerial Vehicle)と表記される•ドローンはUAVに含まれるものの、自律的に飛行できない無人航空機も含むことからUAVのほうが概念上はドローンよりも広義であると解する指摘もある•「有人による地上からの遠隔操作」も含む無人航空機一般はUAS (Unmanned Aircraft Systems)•Global Hawkのように高度な操縦技能が必要なものをRPA(Remotely Piloted Aircraft)と表記することもある• Shawn Herrick, What's The Difference Between A Drone, UAV and UAS <https://botlink.com/blog/whats-the-difference-between-a-drone-uav-and-uas>November 14, 2017.
• LAWSの研究開発の現状については、富川英生「各国の軍事イノベーションと自律システムの開発『第3相殺戦略』を見据えた新興技術の研究開発動向」日本安全保障貿易学会第２７回研究大会• LAWSに至る兵器開発の歴史を紹介した上で、定義や自律性とは何かを考察するものとして、Nicholas W. Mull, The Roboticization of Warfare With Lethal Autonomous Weapon
Systems (Laws): Mandate of Humanity or Threat to It?, 40 Hous. J. Int'l L. 461 (2018).

©2019 SHIMPO Fumio

3

3. 安全保障関係研究に対する日本の学術界の反応
安全保障研究に対する学術界の姿勢は？
• 競争的資金制度として2015年から防衛装備庁が安全保障技術研究推進制度を実施している• 「軍事的安全保障研究に関する声明 - 日本学術会議」(平成２９年（２０１７年）３月２４日)の公表以降、安全保障関係の研究が積極的に推進されている状況とは言えない
声明公表後の報道例• 軍事応用研究採択14件（日本経済新聞2017年8月30日夕刊18ページ）• 軍事研究しない、京大が方針決定 ＨＰで明文化 （朝日新聞2018年3月29日夕
刊2面）• 軍事研究指針整備 3割のみ（東京新聞2018年4月4日朝刊3面）• 軍事研究規制の道筋（毎日新聞2018年6月4日朝刊4面）• 北大 防衛省研究を辞退（読売新聞2018年6月9日朝刊33面）
その他参考情報• 平成30年度安全保障技術研究推進制度公募要領 http://www.mod.go.jp/atla/funding/koubo/h30/h30koubo_full.pdf• 平成29年度の安全保障技術研究推進制度 採択情報 http://www.mod.go.jp/atla/funding/kadai/h29kadai291222.pdf• 大規模研究課題（タイプS）6件• 小規模研究課題（タイプA・B）8件©2019 SHIMPO Fumio

44. 本報告の意図

自律型兵器を用いた安全保障に関わる制度的な課題研究の必要性• 文字通りの軍事技術開発研究に研究者が従事することに反対の意思を表明するのと同時に、自律型兵器を用いた安全保障に関わる制度的な課題についてまでも、新たな軍事技術を利用した軍事研究開発をめぐる議論と同一視し研究への従事に萎縮することは避けなければならない

ＡＩ研究開発における規制のあり方• 自律型兵器の規制をめぐる議論は、安全保障分野における問題にとどまらず、ＡＩ研究開発における規制のあり方や、その検討過程における日本の位置づけを認識する機会としても重要原則策定に向けた取り組み• AIや自律型ロボットの日本における研究開発が後塵を拝しつつあると指摘される機会が増える一方で、そのルール作りでは先行しアドバンテージを維持している現状において、AIや自律型ロボットの開発や利用に伴う原則策定に向けた取り組みなどのノウハウを生かすことができる絶好の機会• 安全保障分野や軍縮問題で日本がイニシアチブを取ることができるのかという点については、諸外国との安全保障環境における我が国の位置づけからすると懐疑的にならざるを得ない• 一方で、そのような原則策定については日本国内における検討を積極的に活用するとともに、国際的な枠組みにおける議論への参画も可能©2019 SHIMPO Fumio©2019 SHIMPO Fumio

56

① 機微技術管理への取り組み

7

国際的な機微技術管理等の在り方の動向及び我が国の今後の対応(産業構造審議会 通商・貿易分科会安全保障貿易管理小委員会中間報告)

１．国際秩序の変容と我が国がとるべき経済政策へのインプリケーション
１．１．国際秩序の変容• 国内格差の拡大や、異なる政治・経済体制の台頭に対する不満や不安から、自国第一主義の傾向が顕在化• WTO 体制、EU 統合といった「民主主義」や「自由で公正な競争」といった価値観を軸とする国際秩序が、国際政治、
通商、テクノロジーなどあらゆる分野で揺らいでいる• 我が国としても、引き続き WTO を中心とする国際協調主義を基調としつつも、「安全保障と一体となった経済政策」
が必要となっている• 価値観・理念を共有する有志国との連携を進めながら、我が国の経済的優位性をどのように維持・向上させていくかが問われている

１．２．「安全保障と一体となった経済政策」の方向性（１）統合的アプローチの重要性• 世界的に、技術優位性の毀損や技術の脆弱性が安全保障上の懸念であるとの位置づけの下、安全保障を理由とする機微技
術の流出防止策や自国産業を中心に据えた産業政策が拡大• 軍事転用可能な技術の拡散防止の観点から、政府として然るべき機微技術の流出防止策を講じることは我が国が果たすべき国際的な義務• グローバリゼーションやオープン・イノベーションの結果として生じている流出経路の多様化に対応しつつも、経済成長や技術革新を阻害することを避ける必要• 技術優位性の確保や技術の脆弱性の解消は、機微技術の流出防止策を手当するだけでは実現できない• 「機微技術」＝「我が国の安全保障を確保し、もって経済の健全な発展を実現する上で、その優位性を保ち、脆弱性を解消すべき重要な技術（critical technology）」と定義• 「① 機微技術管理への取り組み」に関する、これ以降の資料は、当日の投影のみ
8

②

自律型兵器の国際的規制に向けた取り組み©2019 SHIMPO Fumio

9

1. 自律型致死兵器システムとは（用語について）
LAWS• Lethal Autonomous Weapon Systems• LAWSという用語で当該兵器に関する規制をめぐる検討状況を紹介した先行研究として、佐藤丙午「致死性自律兵器システム(LAWS)をめぐる諸問題 (ロボット技術と戦争) 」国際安全保障42(2)、PP.1-14（2014）。
• Rebecca Crootof, Autonomous Weapon Systems and the Limits of Analogy, 51 Harv. Nat'l Sec. J. 51,57 (2018)では、①完全自律、②準自律、③自動、④非自動(inert）にレベ
ル分け。Rebecca Crootof, The Killer Robots Are Here: Legal and Policy Implications, 36 Cardozo L. Rev. 1837, 1842(2015)においても、定義、定義の明確化の必要性、自律のレベル分けが示されている。
• Matthew Ormsbee, Centaur Warriors: A Legal Analysis of Autonomous Systems in Military Operations, 54 Willamette L. Rev. 47, 50 (2017)は、米国国防総省の認識として、①準自律システム(SAS)、②人的監視下にある自律システム(HSAS)、③自律兵器システム(AWS)に分類。
• 定義づけの試みとしては、Michael N. Schmitt, Autonomous Weapon Systems and International Humanitarian Law: A Reply to the Critics, Harv. Nat'l Sec. J. Features 1, 4(2013)では、LAWS are weapon systems that are capable - at a base minimum - of detecting, identifying, selecting, and lethally engaging human targets in war without direct
human supervision or controlとしている。

AWS• Autonomous Weapons Systems

LAWs• Lethal Autonomous Weapons

LAR• Lethal Autonomous Robots• LARという用語で当該兵器に関する規制をめぐる検討状況を紹介した先行研究として、岩本誠吾「致死性自律型ロボット(LARs)の国際法規制をめぐる新動向」産大法学47(3/4)、
PP.330-363（2014）。

Robotic Weapons
Killer Robots
現時点において研究開発に従事している国々

アメリカ、イギリス、イスラエル、韓国、中国、ロシアなど
Francis Grimal, Combat Drones: Hives, Swarms, and Autonomous Action?, J Conflict Security Law (2018) 23 (1): 105では、ドローンを軍事目的で利用している国の現状を紹介

LAWSの禁止に賛同する国は2018年11月22日時点で２９カ国あるとされる。
禁止に賛同する国々のリスト<https://www.stopkillerrobots.org/wp-content/uploads/2018/11/KRC_CountryViews22Nov2018.pdf>©2019 SHIMPO Fumio

101-1 LAWSの具体例と仮想例

Fergus Kelly, Killer robots? UN to hold talks on Lethal Autonomous Weapons Systems, The
Defense Post<https://thedefensepost.com/2017/11/10/killer-robots-lethal-autonomous-weaponssystems-un/>(2017)
Tasneem Jamal, Workshop: Meaningful Human Control and Lethal Autonomous Weapons
Systems<http://ploughshares.ca/2016/06/workshop-meaningful-human-control-and-lethalautonomous-weapons-systems/>(2016)

Artificial intelligence experts urge UN to impose curbs on autonomous
weapons<https://scroll.in/latest/847989/artificial-intelligence-experts-urge-un-toimpose-curbs-on-autonomous-weapons>©2019 SHIMPO Fumio

DARPA, Gremlins<https://www.darpa.mil/program/gremlins>

11

1-2 自律兵器と自動兵器防御システムとの違い
米海軍：MK15 Phalanx ファランクス接近防空システム (Close in Weapons System, CIWS)
米：対ロケット・野戦砲・迫撃砲システム (The CounterRocket, Artillery, and Mortar System, C-RAM)

イスラエルのIron Dome：ガザ境界線などに実戦配備

CIWS• https://dod.defense.gov/News/Special-Reports/Remembering-September-11th-2017/Videos/videoid/558866/dvpTag/CIWS/

CRAM• https://www.youtube.com/watch?v=9HR9BkL5S6k

Iron Dome• https://www.youtube.com/watch?v=BsrEY3YZqsI

IAI Mini Harpy• https://www.youtube.com/watch?v=cBmhJ-jrzrc©2019 SHIMPO Fumio

12

2. Lethal Autonomous Weapon Systems (LAWS)に適用される国際人道法

特定通常兵器使用禁止制限条約（Convention on Certain Conventional Weapons：CCW）
Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons which may be deemed to be Excessively
Injurious or to have Indiscriminate Effects (with Protocols I, II and III) Geneva, 10 October 1980.

国際的な武力紛争の犠牲者の保護を定めるジュネーブ諸条約
第一追加議定書（追加議定書）• 国際法の適用関係に関する解説は、福井康人「新たな技術と国際法の適用可能性 : 自律型致死性兵器システム(LAWS)を事例として (特集 21世紀における戦争と平和) 」世界法年報(36)、PP.154-185（2017）• Lieutenant Colonel Christopher M. Ford, Autonomous Weapons And International Law, 69 S.C. L. Rev. 413(2017)も同様の視点• LAWS規制については、川口礼人「今後の軍事科学技術の進展と軍備管理等に係る一考察 : 自律型致死兵器システム(LAWS)の規制等について」 防衛研究所紀要19号1巻、PP.213-231（2016）。岩本誠吾「ロボット兵器と国際法」弥永真生、宍戸常寿（編）『ロボット・AIと法』有斐閣(2018)、
齋藤洋「自律型致死性兵器システム(LAWS)の責任問題に関する現行国際法上の規制と課題」憲法研究50号、PP.67-86(2018)。
• Alan L. Schuller, At the Crossroads of Control: The Intersection of Artificial Intelligence in Autonomous Weapon Systems with International
Humanitarian Law, 8 Harv. Nat'l Sec. J. 379 (2017)では、国際人道法に基づくLAWS規制について論じた上でその限界を指摘。

©2019 SHIMPO Fumio

13

2-1 国際的な武力紛争の犠牲者の保護を定めるジュネーブ諸条約第一追加議定書（追加議定書）

第３６条「新たな兵器」

追加議定書の主な３つの原則• 締約国は、新たな兵器又は戦闘の手段若しくは方法の研究、開発、取得又は採用に当たり、その使用がこの議定書又は当該締約国に適用される他の国際法の諸規則により一定の場合又はすべての場合に禁止されているか否かを決定する義務を負う。
• 合法性について、兵器自体、その使用方法の2つの側面から定めている• 研究、開発、取得、採用の４段
階で国際人道法に適合しているか否かを決定する義務を締約国に課している• (1)戦闘方法・手段は無制限ではなく、過度の傷害や無用の苦痛を与えることへの禁止原則（第35条）• (2)文民と戦闘員とを、民用物と軍事目標とを常に区別し、軍事目標だけに限定して攻撃する区別原則（第48条、第51条、第52条等）• (4)予測される文民の巻き添えの損害と予期される軍事的利益との均衡原則（第51条等）• 交戦規定（ROE：rules ofengagement)

第３６条とLAWSへの適用に関する解説として、Ryan Poitras, Article 36 Weapons
Reviews & Autonomous Weapons Systems: Supporting an International Review
Standard, 34 Am. U. Int'l L. Rev. 465(2018).

©2019 SHIMPO Fumio

新たな兵器の合法性審査については、追加議定書３６条を根拠に議論することが期待されるとの指摘（福井康人「自律型致死性兵器システム(LAWS)を巡る
最近の動向」CISTEC journal : 輸出管理の情報誌(174)、PP.134(2018)。）14

2-2 特定通常兵器使用禁止制限条約（Convention on Certain Conventional Weapons：CCW）とは
特定通常兵器使用禁止制限条約（Convention on Certain Conventional Weapons: CCW）として1980年にジュネーブ
にて採択。1983年に発効。
条約の構成•本条約は，手続等基本的事項につき規定した本体条約（締約国125）及び個別の通常兵器について規制する以下の5つの附属議定書から構成される

1) 検出不可能な破片を利用する兵器に関する議定書（議定書I；1983年発効）•検出不可能な破片によって傷害を与えることを第一義的な効果とする兵器の使用を禁止している（使用の全面禁止）。

2) 地雷，ブービートラップ等の使用の禁止又は制限に関する議定書（議定書II；1983年発効，1996年に改正（改正議定書II），1998年発効）•1983年の議定書は，対人地雷が主に使用される内乱には適用されず，また，探知不可能な地雷等を禁止していない等の問題点を内包していたが，1996年に改正された議定書は内乱にも適用され，一定の地雷（探知不可能なもの又は自己破壊機能を有さないもの）の使用制限や移譲の規制が盛り込まれるなど規制が強化された。
•その後，本件改正議定書に基づく部分的な禁止では対人地雷問題の抜本的な解決には至らないとするNGO等によって，CCWの枠外でオタワ・プロセスが開始され，対人地雷全面禁止条約が作成された（1997年署名，1999年発効）。

3) 焼夷兵器の使用の禁止又は制限に関する議定書（議定書III；1983年発効）•文民及び民用物をナパーム弾等の焼夷兵器による攻撃目標とすること，人口周密地域にある軍事目標を攻撃目標とすること等を禁止している（部分的な使用規制）。

4) 失明をもたらすレーザー兵器に関する議定書（議定書IV；1998年発効）•永久に失明をもたらすように特に設計されたレーザー兵器の使用及び移譲の禁止等を規定している（使用の全面禁止）。

5) 爆発性戦争残存物（ERW）に関する議定書（議定書V；2006年発効，我が国は未締結）•主に不発弾等の危険を最小化するために，紛争後の対応措置や，不発弾の発生を最小化するための技術的予防措置を規定している。
外務省「特定通常兵器使用禁止制限条約の概要（Convention on Certain Conventional Weapons：CCW） 」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/ccw.html>平成30年10月9日。

15©2019 SHIMPO Fumio

3. 特定通常兵器使用禁止制限条約（CCW）自律型致死兵器システム（LAWS）非公式専門家会議

特定通常兵器使用禁止制限条約（Convention on Certain Conventional Weapons：
CCW）におけるLAWSをめぐる議論の現況について
外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html>に掲載されている会議の議事概要を抜粋して議論の状況を以下確認

1. 締約国会議（2013年11月11日から15日）• 自律型致死兵器システム（Lethal Autonomous Weapons Systems）に関し，2014年5月13日から16日まで，非公式専門家会合を開催し，その結果を2014年の締約国会合に報告することが決定された。
• 人道的配慮と安全保障の双方の観点から通常兵器の使用の規制を検討するCCWの枠組みにおいて自律型致死兵器システムに関する非公式専門家会合の開催が決定されたことは有意義との評価©2019 SHIMPO Fumio

163-1 自律型致死兵器システム（LAWS）非公式専門家会議（2014年5月）概要と評価

1．概要• （1）5月13日から16日まで，ジュネーブにて，特定通常兵器使用禁止制限条約（CCW）自律型致死兵器システム（LAWS）に関する非公式専門家会合が開催され，我が国を含む83か国の他，国際機関，NGOが参加した。我が国からは，佐野軍縮代表部大使を団長として，佐藤丙午拓殖大学国際学部教授，外務省，経済産業省，防衛省関係者が出席した。
• （2）今次会議においては，一般討論の他，各セッション（技術，倫理，法律，軍事）において専門家による発表が行われ，それに対して出席者から質問や意見が出された。我が国からは，和久田経済産
業省航空機武器宇宙産業課企画官及び佐藤丙午拓殖大学国際学部教授が，技術及び軍事のセッ
ションにおいてプレゼンテーションを行った。
• （3）今次会合においては，LAWSに関わる諸問題として，ロボット技術の自律性の程度，軍事的有用性，国際人道法の適用，LAWSの使用に伴う責任の所在，LAWSの使用にかかる倫理的問題等について議論された。本会合において議長の権限で作成された議長サマリーは，本年11月に開催されるCCW締約国会議において提出され，今後の議論の取り進め方について決定されることとなっている。

2．評価• （1）今次会合は，LAWSの問題点等について各国が意見交換を行い，共通の理解を深めることに役立ち有意義であった。また，我が国としても，一般討論の他，全てのセッションにおいて積極的に発言を行い，さらに技術及び軍事のセッションにおいて発表を行う等の貢献を行うことができた。
• （2）本年11月のCCWの枠組み締約国会議に提出される予定の議長サマリーにおいて，我が国の主張するロボットの民生技術の重要性が指摘されたこと，また多くの国(我が国を含む)がLAWSに関す
るCCWの枠組みにおける議論の継続を望んでおり，次回締約国会合の決定に従って，今後の議論を行っていくことが決定される旨明記されたことは，有意義であった。
外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html> 17

3-2締約国会議（2014年11月10日から14日）

3. 締約国会議（2014年11月10日から14日）• 1．概要• 自律型致死兵器システム（LAWS：Lethal Autonomous Weapons Systems）に関し，2015年4月13日から17日まで，第2回非公式専門家会合を開催することが決定された。また，履行支援ユニット（ISU）が作成した報告書（条約の普遍化の促進，自律型致死兵器システム，スポンサーシップ・プログラム，履行支援ユニット）が提出され，これに基づいて議論が行われた。
• 2．評価• 人道的配慮と安全保障の双方の観点から通常兵器の使用の規制を検討する
CCWの枠組みにおいて自律型致死兵器システム（LAWS）に関する第2回非公式専門家会合の開催が決定されたことは，有意義であった。

外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html>
18

3-3 自律型致死兵器システム（LAWS）第2回非公式専門家会議（2015年4月13日から17日）

1 概要• （1）4月13日から17日まで，ジュネーブにて，特定通常兵器使用禁止制限条約（CCW）自律型致死兵器システム（LAWS）に関する第2回非公式専門家会合が開催され，我が国を含む74か国の他，国際機関，
NGOが参加した。我が国からは，外務省，防衛省関係者が出席した。
• （2）今次会議においては，一般討論の他，各セッション（技術問題，LAWSの特徴，自律性の向上による国際人道法に対するあり得るべき課題，横断的な課題，透明性及び今後の取組）において研究機関等の専門家による発表が行われ，それに対して出席者から質問や意見が出された。我が方からは，一般討論においてロボット技術の汎用性は引き続き重視すべき論点であること等を内容とするステートメントを行った。
• （3）今次会合においては，LAWSの開発を確実視する発表はなく，LAWSに関わる諸問題として，LAWSの定義の明確化，LAWS使用に伴う責任の所在，LAWSが人間の生死に関わる意思決定を行うことの倫理上の問題，LAWSへの国際人道の適用，LAWSに関する透明性措置の可否，今後の取組のあり方等について議論された。本会合において作成された議長サマリーは，本年11月に開催されるCCW締約国会議に報告されることとなった。

2 評価• （1）今次会合は，LAWSの問題点等について各国が意見交換を行い，第1回非公式会合（2014年5月）での議論をより深めることができ，有意義であった。今次会合での議論では，LAWSの規制又は禁止を求める国や専門家がいる一方で，LAWSがもたらす倫理上の問題等に懸念を共有しつつ，具体的な規制や禁止については慎重であるべきであり，引き続き議論すべきとの立場を表明する国もあったことが注目された。
• （2）本年11月のCCWの枠組み締約国会議に報告される予定の議長サマリーは，引き続き議論を深めることが必要であるとの全般的な理解がある一方で，議論を継続する方途（非公式専門家会合，又は政府専門家会合の形式で実施するか等）については異なった考えがある旨を指摘している。本年11月の締約国会議
では，今後の議論の取り進め方についても検討が行われると思われる
外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html> 19

3-4 締約国会議（2015年11月9日から13日）

概要• 自律型致死兵器システム（Lethal Autonomous Weapons
Systems）に関し，2016年4月11日から15日まで，非公式専門家会合を開催し，その結果を第5回運用検討会議（2016年
12月12日～16日に開催予定）に報告することが決定された。
• 履行支援ユニット（ISU）が作成した4種類の報告書（条約の普遍化の促進，自律型致死兵器システム，スポンサーシッ
プ・プログラム，履行支援ユニットの活動報告）が提出され，これに基づいて議論が行われた。

外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html>

20

3-5 自律型致死兵器システム（LAWS）第3回非公式専門家会議（2016年4月）
1 概要• （1）4月11日から15日まで，ジュネーブにて，特定通常兵器使用禁止制限条約（CCW）自律型致死兵器システム（LAWS）に関する第3回非公式専門家会議が開催され，我が国を含む94か国の他，国際機関，NGOが参加した。
我が国からは，外務省，防衛省関係者が出席した。
• （2）本会議においては，一般討論の他，各セッション（自律性の考察，LAWSの作業場の定義に向けて，国際人道法上の課題，人権と倫理問題，安全保障）において研究機関等の専門家による発表が行われ，それに対して出席者から質問や意見が出された。我が方からは，一般討論においてロボット技術の汎用性は，引き続き重視していくべき論点であること等を内容とするステートメントを行った。これに関し，多くの国が，LAWSに関して取られる規制措
置が民生分野の開発を妨げることになってはならない旨主張した。
• （3）本会合においては，完全自律型兵器は将来開発され得るという意見がある一方で，そのような兵器は開発されることはないとする意見もあった。他方，LAWSの国際法（特に国際人道法）の適用の重要性については，ほぼ全ての国が主張していた。また，多くの国が，武器の法的審査が国際人道法の遵守を確保するために重要であることを主張した。その他，LAWSの使用が人権，特に人間の尊厳等に対して，深刻な影響を及ぼすことを危惧する意見が多数述べられた。
• （4）本会合において，LAWSに関する政府専門家会議の設立を含むCCW第5回検討会議（5RC）への勧告がコンセ
ンサスで採択された。また，議長の権限で作成された議長サマリーは，本年12月に開催される5RCに報告されることとなった。

2 評価• （1）本会合は，LAWSの問題点等について各国が意見交換を行い，第1回及び第2回非公式会議（2014年及び2015年）での議論を踏まえ，より政策的な議論を深めることができ，有意義であった。
• （2）本会合においてコンセンサスで採択された5RCへの勧告には，政府専門家会議（GGE）を開催することが明記されたが，2017年から開催されるGGEにおいては，LAWSの特徴についての特定及び作業上の定義の明確化，国際人道法等の国際法の関連原則の適用及び遵守について，専門的な議論を集中して実施することが期待される。
第5回履行検討会議では，GGEに関する今後の具体的な議論の取り進め方についても検討が行われる予定である。
外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html> 21

3-6 締約国会議（2017年11月）

概要• 11月13日から17日まで開催された自律型致死兵器システム（Lethal
Autonomous Weapons Systems: LAWS）に関する政府専門家会合からの報告書についても検討が行われた。
• 同会合の勧告に基づき，政府専門家会合の2018年における開催が決定された。
• その他，条約の着実な履行や普遍化へむけた締約国各国の努力を呼びかける等の最終文書を全会一致で採択した。

外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html> 22

3-7 特定通常兵器使用禁止制限条約自律型致死兵器システムに関する政府専門家会合（2018年4月9日から13日）

1.
• 4月9日から13日まで，ジュネーブにおいて，特定通常兵器使用禁止制限条約（CCW）の枠組で，自律型致死兵器システム（LAWS）に関する政府専門家会合（GGE）が開催され，我が国を含む約80か国の他，国際機関，NGOが参加しました。我が国からは，髙見澤將林軍縮代表部大使を団長として，佐藤丙午拓殖大学国際学部教授，外務省，防衛省関係者が出席。

2.
• 今回の政府専門家会合は，過去3年（2014年から2016年）にわたり開催された非公式専門家会合及び昨年11月の初めての政府専門家会合の成果を踏まえつつ，一般討論における各国，団体の代表者による意見表明の他，LAWSの特徴，人間と機械の相互関係さらにはLAWSに係る先端技術について議論が行われ，LAWSに関する認識の共有が図られた。

3.
• 我が国からは，一般討論等において，人間が関与しない完全自律型の致死性兵器の開発を行う意図は有していないとの従来からの考え方を示した上で，日々発展を続ける人工知能（AI）を含む先端技術は，正しい使い方をすれば人類にとって明るい未来をもたらす可能性を秘めている一方で，誤って使用された場合，人類への大きな脅威になり得る旨述べました。そのよ
うな観点から，ロボット技術やAI技術において先進的な技術を有する我が国としては，民生分野における同技術の健全な発展を妨げるものであってはならず，今次GGEの中で民間部門の意見も参考に議論することは，より現実的な認識を共有する
のに有意義である旨述べている。

4.
• また，自律型致死兵器の使用にあたっては，人による有意の制御（MHC: Meanigful Human Control）が必要不可欠であるという考え方のもと，いかなる次元で人間の介入がなされるべきなのかといった議論を通じ，国際的な共通理解を得られるよう継続的な議論を支持する旨述べている。

5.
• 今次政府専門家会合は，昨年11月のCCW締約国会議の決定に基づいて開催されたものであり，8月下旬には本年第2回目の会合が予定されています。我が国は，今後とも本件分野における国際的な議論に積極的かつ建設的に参加していくとしている。
外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html>

233-8 特定通常兵器使用禁止制限条約自律型致死兵器システムに関する政府専門家会合の開催（2018年8月27日から31日）

1.
• 8月27日から31日まで，ジュネーブにおいて，特定通常兵器使用禁止制限条約（CCW）の枠組の下，自律型致死兵器システム（LAWS）に関する政府専門家会合（GGE）が開催され，我が国を含む約70か国の他，国際機関，NGOが参加しました。我が国からは，髙見澤將林軍縮代表部大使を団長として，外務省及び防衛省関係者他が出席。

2.
• 今回の政府専門家会合は，4月に開催された第1セッションに続く2018年会期の第2セッションであり，
前回セッションと同様の議題の下，LAWSの特徴，LAWSの使用における人間の関与，国際人道法上の課題等について，活発な議論が行われた。

3.
• 会合において，我が国は，人間の関与が及ばない完全自律型の致死性兵器の開発を行う意図は有しておらず，兵器については，人間による関与が必須であるとの立場を表明。
• また，LAWSにも用いられるAI技術は，経済や社会の様々な分野で利用されており，今後も急速な発展や，多大なメリットをもたらすことが見込まれており，こうした技術の発展や技術革新を阻害する
ことのないよう，LAWSに関しては冷静かつバランスの取れた議論を国際的に継続していく必要がある旨述べている。

4.
• 会合の最終日には，報告書が採択され，本年の2つのセッションにおける議論の概要がとりまとめられるとともに，2019年も引き続きCCWの枠組みで議論を継続していくことが提言された。この提言
は，本年11月のCCW締約国会議において審議される予定。
外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html>

24

3-9 河野外務大臣主催自律型致死兵器システムに関する有識者との意見交換会の開催（第3回）（2018年10月）

1.
• 本5日午前11時10分頃から約1時間，外務省は，自律型致死兵器システム（LAWS）に関する有識者との第3回意見交換会を開催。

2.
• LAWSについては，特定通常兵器使用禁止制限条約の枠組みの下で昨年11月に引き続き，本年4月に第2回，8月にジュネーブにおいて第3回政府専門家会合が実施され，LAWSの特徴，人間と機械の相互関係さらにはLAWSに係わる先端技
術等について活発な議論が行われてきている。
• 本件意見交換会は，こうした国際的に深まる議論も踏まえ，外務省として一の研究を進める必要があるとの考えから，本年3月，7月に引き続き開催したもの。

3.
• 今回の意見交換会では，国際人道法や倫理的側面からのLAWSの問題，今後の国際的な規制のあり方等について議論を行った。

4.
• 外務省としては，LAWSに関する更なる研究を進め，今後とも本件分野における国際的な議論に積極的かつ建設的に参画していく考え。
外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html>

253-10 締約国会議（2018年11月19日から23日）

概要• 本年4月及び8月に開催された自律型致死兵器システム（Lethal
Autonomous Weapons Systems: LAWS）に関する政府専門家会合から締約国会議へ提出された報告書が承認された。
• 同政府専門家会合の2019年における開催が決定された。
• その他，CCW枠組条約及び各附属議定書の着実な履行や普遍化へ向けた締約国各国の努力を呼びかけることを主要な内容とする最終文書がコンセンサスで採択された。

外務省「特定通常兵器使用禁止制限条約関連会合」<https://www.mofa.go.jp/mofaj/gaiko/arms/ccw/index.html>

26

4. 国連軍縮研究所（UNIDIR）の2017年報告書
報告書の名称• United Nations Institute for Disarmament Research(UNIDR), The Weaponization of Increasingly
Autonomous Technologies: Concerns, Characteristics and Definitional Approaches, No. 6, 2017.

報告書策定の経緯• 2016年にCCW条約の締約国会議において、政府の専門家グループ（GGE）の設立を決定• LAWSの実用的な定義の検討に着手することが目的• LAWSをめぐる国際的な規制のあり方に関する議論をまとめたもの• CCWにおける検討における基礎資料• UNIDIRが公表しているAIやLAWSに関する報告書は、この問題を議論するにあたっての基礎となる情報を提供するとともに、具体的な検討事項を議論するための体系的な資料と位置づけられるもの

2018年のAIの基本に関する解説報告書• United Nations Institute for Disarmament Research(UNIDR), The Weaponization of Increasingly
Autonomous Technologies: Artificial Intelligence, No. 8, 2018.
• CCWにおける検討の基礎資料として2017年の報告書の後に公表されたもの• LAWSの議論の前提となるAIそのものについて理解することを目的とした構成• ①人工知能とは何か？
• ②機械学習• ③深層学習• ④コンピューティング・リソース• ⑤その他のAIおよび機械学習の方法• ⑥自律性の向上• ⑦特化型と汎用型AI• ⑧スーパーインテリジェンス©2019 SHIMPO Fumio

27

4-1 本報告書の構成（５つのセクション）

1. 国際的な議論として提起されている懸念事項の整理
2. LAWSに関連して生じている特有の問題の探求
3. 異なる定義付けのアプローチの解説
4. 定義の実例と懸念事項の特徴
5. 結論©2019 SHIMPO Fumio

28

4-2 懸念事項の変遷

自律兵器システムに関する国際的な議論の初期の段階は、人権と法的な問題を中心とした議論

現在は、政府が自律性を有する武器システムの開発を実際に進展させているため、当初とは異なる問題と懸念事項の深刻化が顕著になりつつある

本報告書はAIの進化に伴い自律的な動作が可能な技術が発達することに伴う具体的な懸念事項を示している• 1899年第2次ハーグ陸戦条約の前文に記され、1977年追加議定書IIに定められたマルテンス条項• 「実効性を有する法律が適用されない場合であっても、人は人道の原則に基づいて保護され、公共の良心に従う。」©2019 SHIMPO Fumio

29

4-3 UNIDIR2017年報告書が示す懸念事項① 人権と倫理(Human rights and ethics)② 合法性(Legality)③ 技術(Technological)④ 拡散及び軍拡競争(Proliferation and arms-racing)⑤ 戦略的安定性(Strategic stability)⑥ 技術のデュアルユースの側面(The dual-use nature of the technologies)⑦ 運用上の懸念(Operational concerns)⑧ 意図しないリスクと安全性の問題(Unintentional risk and safety issues)⑨ 「静的」又は「動的」自律性(Autonomy “at rest” or “in motion”)⑩ 懸念の切迫度(Immediacy of the concern)•懸念事項を検討するにあたっての本報告書の参考文献•人権と倫理(Human rights and ethics)•C. Heyns, 2013, Report of the Special Rapporteur on extrajudicial summary or arbitrary executions, United Nations Human Rights Council,
A/HRC/23/47,•www.ohchr.org/Documents/HRBodies/HRCouncil/ RegularSession/Session23/A-HRC23-47_en.pdf.
•合法性(Legality)•A wide variety of views on legal interpretations area available. See, for example, International Committee of the Red Cross,2016,
Autonomous Weapon Systems: Implications of Increasing Autonomy in the Critical Functions of Weapons, pp.
79?82,https://www.icrc.org/en/publication/4283-autonomous-weapons-systems#;•Human Rights Watch and International Human Rights Clinic, 2015, Mind the Gap: The Lack of Accountability for Killer Robots, Human
Rights Watch, https://www.hrw.org/sites/default/files/reports/arms0415_ForUpload_0.pdf;•Kenneth Anderson and Matthew Waxman, 2013, Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work and How theLaws of War Can, Hoover Institution, http://media.hoover.org/sites/default/files/documents/AndersonWaxman_LawAndEthics_r2_FINAL.pdf.

©2019 SHIMPO Fumio

304-4 UNIDIR2017年報告書が示す懸念事項の概要① 人権と倫理• LAWSに関する国際的な議論の初期の段階では、人権と法的な問題を中心とした議論が中心• 議論が進むにつれて、政府が自律性を有する兵器システムの開発を実際に進展させているため、当初とは異なる問題と懸念事項の深刻化が顕著になりつつある

倫理的側面における問題• 1899年第2次ハーグ陸戦条約の前文• 1977年追加議定書IIに定められたマルテンス条項• 「実効性を有する法律が適用されない場合であっても、人は人道の原則に基づいて保護され、公共の良心に従う。」

UNIDIRにおける倫理的問題の検討• 人間の尊厳に対し、自律性を有するシステムがその生死の判断を自律的に行うことについて、倫理的な側面からの検討が不可欠であると指摘• 国際人道法では倫理的課題について規制する法律が存在しない場合においても、マルテンス条項第4条の解釈に基づいて対応• CCWにおける検討は、国際人道法をどのように遵守するのか技術的な側面からも検討が必要であると指摘• UNIDIR, 2015, The Weaponization of Increasingly Autonomous Technologies: Considering Ethics and Social Values, UNIDIR Resources no. 3<
http://www.unidir.org/files/publications/pdfs/considering-ethics-and-social-values-en-624.pdf.>.LAWSとマルテンス条項の関係についての考察として、Peter Asaro, Jus nascendi,
Robotic Weapons and the Martens Clause, ROBOT LAW 367 (Ryan Calo et al. eds., 2016).

② 合法性• 追加議定書1の36条に基づく新しい兵器や戦争手段の検討にあたって、当該システムに組み込まれるアルゴリズムのテストについて、それらの使用にあたっての法的な観点からの説明責任や武力行使における人間の役割と責任について検討が必要であると指摘• 合法性の観点からの検討においては、技術的問題と法的問題は相互に密接に関係するものであるため、技術開発において合法性の観点からの基準をどのように満たすことができるのか検討が必要であるとしている③ 技術• 技術開発は、その開発の速度と取り組みが異なるだけでなく、技術者と政府の考え方や評価も異なる• 純粋に技術的な評価に関して政策的な議論を同じ位置で行うことは困難

技術的な懸念事項• 予測可能性や信頼性の確保のために求められる方法• 意図しないリスクの軽減方法• 追加議定書36条が定める検証に至るまで多岐にわたる④ 拡散及び軍拡競争• 過去3年間のCCWの非公式専門家会議における議論では、自律兵器の拡散の危険性が指摘されてきている• 小型で効率的なシステムを開発することが可能である現状• 拡散を完全に制限することは困難• テロリストなどの悪意ある者やグループによる利用を防ぐことは困難• 軍事技術の開発においては技術的な優位性を維持することが重要• 自律性を向上させるインセンティブがある• 自律兵器そのものの開発のみならず、その制御システムへの不正アクセスなどの技術開発や強力な電磁兵器の開発へのインセンティブも高まる©2019 SHIMPO Fumio

31

4-5 UNIDIR2017年報告書が示す懸念事項の概要⑤ 戦略的安定性• 自律兵器の拡散によって世界的に不安定な状況が生ずること• 武力行使の閾値が下がる可能性があること• 戦場における自律性の向上によって瞬時に作戦が実行され完了する「フラッシュ戦争(Flash War)」の勃興による不安定さの助長への懸念⑥ 技術のデュアルユースの側面• デュアルユースの問題は自律兵器をめぐる問題に限られない• 化学兵器禁止条約、生物毒素兵器禁止条約などの枠組みにおいてデュアルユースに係る技術や物資の規制がなされてきた• ミサイル技術管理や核不拡散さらにはワッセナーアレンジメントなどにおける取り組みがあげられる• 自律兵器開発においては、その研究開発を制限することは、民間部門における自律性を有する技術の研究開発の支障になりかねないと指摘する政府もあること⑦ 運用上の懸念• 自律兵器についての差し迫った運用上の懸念• システムが意図した機能を有するか、信頼性や予測可能性については不確実な要素がある実戦において利用するには懸念を払拭できる状況にはないと指摘⑧ 意図しないリスクと安全性の問題• 複雑かつ危険な技術には意図しないリスクが伴うこと• 設計者や利用者が意図しない問題を引き起こす可能性• 人命に対する脅威はコントロールできない可能性やリスクが存在• 高度に自動化されたシステムは予測不可能な動作をすることがある点• 高度なシステム設計は慎重になされ冗長性も確保されてはいるものの、そのような問題が発生することを全て防ぐことは困難であることを指摘⑨ 「静的」又は「動的」自律性• CCWにおける議論は、もっぱら、動的な兵器システムをめぐる問題に焦点を当てている自律性を有する軍事技術については、意思決定支援などの静的なシステムについても見落としてはならないと指摘• 目標の選択や戦闘における作戦の決定など軍事力を行使する際の決定をサポートする際に用いられるシステム（そのようなシステムは、直接弾丸を発射するシステムではない）⑩ 懸念の切迫度• 現段階で自律兵器と考えられるものは、既存のロボット兵士のスマート版にすぎない• 将来的な技術革新により、当該兵器は長期間にわたって通信や充電をしなくても自律的に動作し続けるようになる• ターミネーターの脅威といったシナリオで問題を考えることは容易ではあるが、短期的かつ潜在的な開発を懸念するのか、それとも遠い将来の開発も含めて問題を考えるべきなのか喫緊かつ緊急性が高い問題であることを認識すべきであると指摘©2019 SHIMPO Fumio

324-6 用語の適切な認識の必要性（報告書において確認すべき事項とされているもの）
誤解に基づく議論がなされているため、明確な定義と用語の適切な認識が必要
自動化と自律性(Automation or autonomy)

学習、適応および調整(Learning, adaptation and adjustment)

最適化(Optimizing)

精査性/説明性(Scrutability/explainability)

致死率(Lethality)

予測可能性と信頼性(Predictability and reliability)

精度と正確性(Precision and accuracy)

説明責任(Accountability)

人間の決定とそれに依存しない機械(Human decisions and agnostic machines)

システムのシステム(Systems of systems)

通信とコネクティビティ(Communications and connectivity)

モビリティ(Mobility)

速度(Speed)33©2019 SHIMPO Fumio

4-7 定義のアプローチ

技術中心のアプローチ(Technology-centric approach)

人間中心アプローチ(Human-centred approach)

タスク・機能アプローチ(Task/Functions approach)

アプローチの順序付け(Sequencing the approaches )•類似の定義付アプローチをしている文献•Vincent Boulanin, Mapping The Development of Autonomy in Weapon Systems: A Primer on Autonomy, SIPRI, 2016, pp. 29-30• https://www.sipri.org/sites/default/files/Mapping-development-autonomy-in-weapon-systems.pdf©2019 SHIMPO Fumio

344-8 各国政府や国際機関によるLAWS定義の試み
オランダ政府•Autonomous Weapon System: “A weapon that, without human intervention, selects and engages targets matching certain predefined criteria,
following a human decision to deploy the weapon on the understanding that an attack, once launched, cannot be stopped by humanintervention.”•参考文献•Government of the Netherlands, 2017, “Examination of Various Dimensions of Emerging Technologies in the Area of Lethal Autonomous
Weapons Systems, in the Context of the Objectives and Purposes of the Convention”, document CCW/GGE.1/2017/WP.2 of 9 October.

フランス•“Lethal autonomous weapons are fully autonomous systems. [...] LAWS should be understood as implying a total absence of humansupervision, meaning there is absolutely no link (communication or control) with the military chain of command. [...] The delivery platform of a
LAWS would be capable of moving, adapting to its land, marine or aerial environments and targeting and firing a lethal effector (bullet, missile,bomb, etc.) without any kind of human intervention or validation. [...] LAWS would most likely possess self-learning capabilities.”

赤十字国際委員会•Autonomous Weapon System: “Any weapon system with autonomy in its critical functions. That is, a weapon system that can select (i.e.
search for or detect, identify, track, select) and attack (i.e. use force against, neutralize, damage or destroy) targets without humanintervention.

スイス政府•Autonomous Weapon Systems: “Weapons systems that are capable of carrying out tasks governed by IHL in partial or full replacement of ahuman in the use of force, notably in the targeting cycle.”

イギリス•“An autonomous system is capable of understanding higher-level intent and direction. From this understanding and its perception of its
environment, such a system is able to take appropriate action to bring about a desired state. It is capable of deciding a course of action, from anumber of alternatives, without depending on human oversight and control, although these may still be present. Although the overall activity ofan autonomous unmanned aircraft will be predictable, individual actions may not be.”•Article 36, 2016, “The United Kingdom and Lethal Autonomous Weapons Systems: Analysis of UK Government Policy Statements on Lethal
Autonomous Weapons Systems”, http://www.article36.org/wp-content/uploads/2016/04/UK-andLAWS.pdf.
•United Kingdom Ministry of Defense, 2017, Unmanned Aircraft Systems, Joint Doctrine Publication 0-30.2, p. 43,•https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/640299/20170706_JDP_0-30.2_final_CM_web.pdf.

米国•“A weapon system that, once activated, can select and engage targets without further intervention by a human operator. This includes humansupervised autonomous weapon systems that are designed to allow human operators to override operation of the weapon system, but canselect and engage targets without further human input after activation.”©2019 SHIMPO Fumio

35

5. CCWの2018年・2019年報告書
CCWの2018年報告書• Group of Governmental Experts of the High Contracting Parties to the Convention on
Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be
Deemed to Be Excessively Injurious or to Have Indiscriminate Effects, CCW/GGE.1/2018/3,
23 October 2018.

同2019年の報告書• Group of Governmental Experts of the High Contracting Parties to the Convention on
Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May Be
Deemed to Be Excessively Injurious or to Have Indiscriminate Effects,
CCW/GGE.1/2019/CRP.1/Rev.2, 21 August 2019.

報告書の位置づけ• 2019年の委員会では、2018年に検討がなされた原則について引き続き検討を行うことについて確認• 継続的な検討にあたっては、５つの議題に基づいて追加で検討が必要な事項について討議2019年の報告書では、ヒューマン・マシン・インタラクションについての原則が新たに追加• 国際人道法に対する自律型兵器などの新たな技術によってもたらされる潜在的な課題の探索に関する議題が追加• CCWでは、原則案が提示されてはいるものの、当該原則案は確定したものではなく継続的に検討を行う原則• 原則案についてはさらに検討を進めること、法的、技術的及び軍事的側面における検討を継続する
ことを提示• 2019年の報告書では2017年、18年、19年の報告書を反映した結論を示すにとどまっている©2019 SHIMPO Fumio

365-1 CCWの2018年及び2019年報告書の目的

構成• 新たな共通点、結論および提言を示し、三つの提言から構成される• 作業計画（CCW / GGE.1 / 2018/2）に基づいて検討に着手し、以下の議題に係る項目について検討を実施。

目的• (a) 致死性自律兵器システム分野における新興技術によって国際人道法にもたらされる可能性がある潜在的な課題の調査(2019年報告書で追加）• （b）条約の目的及び当該目的に関連する概念及び特性に関する共通の理解を促進するため、検討対象のシステムの特徴を明確にすること。
• （c）致死兵器の使用における人的要素の継続的検討。自律型致死兵器システム
領域における新技術の開発、展開及び使用におけるヒューマン・マシン・インタラク
ションの側面を中心に。
• （d）当グループの検討課題との関連性において関係する技術が将来的に軍事利用される可能性の検証。
• （e）自律型致死兵器システム領域における新たな技術によってもたらされる人道及び国際安全保障における検討課題に対処するための提案が、本条約の目的および当該目的の趣旨において、事前審査による政策決定や過去、現在および未来の提案に左右されることなく選択可能な提案の検討が行われること。
©2019 SHIMPO Fumio

37

5-2 原則指針の提案
原則指針提案の前提•国際法、特に国際連合憲章及び国際人道法（IHL）並びに関連する倫理的問題に関し、当グループにおける検討を継続して行うことを確認•自律型致死兵器領域における新たな技術によって将来的にもたらされる可能性がある課題が、国際人道法にもたらす影響を踏まえ、以下のことを確認するとともに、今後の議論はこれに左右されるものではないことを確認

原則指針の意義•CCW/GGEの報告書の中核をなす部分•LAWSの規制に向けた検討の礎となる基本原則の提案

原則指針案• (a) 国際人道法が、自律型致死兵器システムの将来的な開発と使用を含め、すべての兵器システムに完全に適用され続けること。
• (b) 兵器システムの使用に関する決定における人的責任を保持し、アカウンタビリティを機械に委譲してはならない。これは、武器システムのライフサイクル全体を通して考慮されなければならない。
• （c） CCWの枠組みにおいて新たな兵器システムを開発、配備及び使用する際の責任は、人間の指揮統制の責任の範囲内
で当該システムを運用することを含め、適用できる国際法に基づかなければならない。
• （d） 新たな兵器、手段又は戦闘方法の研究、開発、取得又は採用において、その使用の一部又は全部が国際法によって禁止されるか否かにかかわらず、国際法の下における国家の義務に従う決定がなされなくてはならない。
• （e） 自律型致死兵器システムの領域において、新技術に基づく新しい武器システムを開発し又は取得する場合、物理的セキュリティ、適切な非物理的保護手段（ハッキングやデータのなりすましに対するサイバーセキュリティを含む）、テロ集団による取得のリスク及び拡散の危険性を考慮しなければならない。
• （f） リスクアセスメント及びその低減策は、あらゆる兵器システムにおける新技術の設計、開発、テスト及び展開サイクルに組
み込まなければならない。
• （g） 自律型致死兵器システム領域において新たに開発された技術を使用するにあたっては、国際人道法及びその他の適用される国際法上の義務が遵守されるよう検討しなければならない。
• （h） 将来的な政策を策定する際に、自律型致死兵器システム領域において新たに開発される技術を擬人化してはならない。
• （i） CCWが関係する議論及び将来的な政策判断は、インテリジェントな自律技術の平和的な使用の促進又はアクセスを妨げてはならない。
• （j） CCWは、本条約の対象と目的の観点から、自律型致死兵器システム領域において新たに開発された技術と関係する問題に対処するための適切な枠組みを提供し、軍事的必要性と人道的配慮のバランスを追求する。
38©2019 SHIMPO Fumio

（参考）原則指針提案の原文
原文• It was affirmed that international law, in particular the United Nations Charter and international humanitarian law (IHL)
as well as relevant ethical perspectives, should guide the continued work of the Group. Noting the potential
challenges posed by emerging technologies in the area of lethal autonomous weapons systems to IHL, the following
were affirmed, without prejudice to the result of future discussions:• Possible Guiding Principles• (a) International humanitarian law continues to apply fully to all weapons systems, including the potential
development and use of lethal autonomous weapons systems.
• (b) Human responsibility for decisions on the use of weapons systems must be retained since accountability cannot
be transferred to machines. This should be considered across the entire life cycle of the weapons system.
• (c) Accountability for developing, deploying and using any emerging weapons system in the framework of the CCW
must be ensured in accordance with applicable international law, including through the operation of such systems
within a responsible chain of human command and control.
• (d) In accordance with States’ obligations under international law, in the study, development, acquisition, or adoptionof a new weapon, means or method of warfare, determination must be made whether its employment would, insome or all circumstances, be prohibited by international law.
• (e) When developing or acquiring new weapons systems based on emerging technologies in the area of lethal
autonomous weapons systems, physical security, appropriate non-physical safeguards (including cyber-security
against hacking or data spoofing), the risk of acquisition by terrorist groups and the risk of proliferation should beconsidered.
• (f) Risk assessments and mitigation measures should be part of the design, development, testing and deployment
cycle of emerging technologies in any weapons systems.
• (g) Consideration should be given to the use of emerging technologies in the area of lethal autonomous weaponssystems in upholding compliance with IHL and other applicable international legal obligations.
• (h) In crafting potential policy measures, emerging technologies in the area of lethal autonomous weapons systems
should not be anthropomorphized.
• (i) Discussions and any potential policy measures taken within the context of the CCW should not hamper progressin or access to peaceful uses of intelligent autonomous technologies.
• (j) The CCW offers an appropriate framework for dealing with the issue of emerging technologies in the area of
lethal autonomous weapons systems within the context of the objectives and purposes of the Convention, whichseeks to strike a balance between military necessity and humanitarian considerations.
©2019 SHIMPO Fumio

39

5-3 条約の目的と検討対象のシステムの特徴
条約の目的及び当該目的に関連する概念及び特性に関する共通の理解を促進するため、検討対象のシステムの特徴を明確にすること。
1. 一部の国家にとっては、自律型致死兵器システムの実用的な定義は、問題が指摘されている潜在的なリスクに適切に対処するために不可欠である。その他の国家にとっては、定義に関する合意がないことによって、CCW内の議論やその発展を妨げるべきではない。特徴の明確化
又は実用的な定義を定めるにあたっては、その方針を事前に決定することや偏見に基づくことなく政策を決定しなければならない。また、利害関係者によって普遍的に理解されるものでなければならない。

2. 技術が急速に進化していることに鑑み、物理的性能、耐久性又は目標捕捉及び交戦段階における精巧さといった純粋に技術的な特徴だ
けでは、自律型致死兵器システムの特徴を明確にするには不十分である可能性が高い。

3. 機械学習（外部から提供された学習データなし）及び自己進化（人間による設計入力なし）に関連する技術的特徴は、さらなる研究がなされる必要がある。同様に、技術的基準のみに基づいて自律性の一般的なしきい値レベルを定義しようと試みることは、自律性がスペクトルであり、その理解が技術フロンティアの変化と共に変化し、武器システムの異なる機能が異なるレベルの自律性を有する可能性があるので、定義を明確にすることが困難になる可能性が高い。

4. GGEのマンデートにおいて明示された致死性は、敵対行為(the conduct of hostilities)に関連するすべての規則の適用及び尊重を害するものではない。

5. 軍事目標の捕捉及び交戦サイクルにおける自律性は、自律性が目標捕捉の全部又は一部に存在する可能性があり、近接戦闘などの他の状況ではさらに適用される可能性があることを考慮して、さらなる研究を行う必要がある。

6. CCWの趣旨に基づき、兵器の使用及び機械とのインタフェースとの関係における人的要素に関連する特性に焦点を合わせることは、説明責任（アカウンタビリティ）と責任の問題に対処する上で必要である。

©2019 SHIMPO Fumio

405-4 致死性兵器の使用における人的要素••

自律型致死兵器システム領域における新技術の開発、展開及び使用におけるヒューマンマシン・インタラクションの問題
CCWの目的と趣旨に基づき、自律型致死兵器システム領域における新技術の開発、展開及び使用におけるヒューマン・マシン・
インタラクションの性質や特性をめぐる問題について検討を行うことが重要であること

0）開発前段階における政治的指向 (Political direction in the pre-development phase)
1）研究開発 (Research and development)2）試験、評価及び認証 (Testing, evaluation and certification)3）展開、訓練、指揮統制 (Deployment, training, command and control)4）使用及び使用の中止 (Use and abort)5）使用後の評価 (Post-use assessment)••

人的要素（コントロール）については、赤十字国際委員会の報告書（ICRC, Autonomy, artificial intelligence and robotics: Technicalaspects of human control, 20 August 2019 <https://www.icrc.org/en/document/autonomy-artificial-intelligence-and-roboticstechnical-aspects-human-control>においては、民間部門における自律型システムの利用における人間によるコントロールをめぐる経験を生かすべきであると指摘している
ヒューマン・コントロールに焦点を当てた考察として、Thompson Chengeta, Defining the Emerging Notion of "Meaningful HumanControl" in Weapon Systems, 49 N.Y.U. J. Int'l L. & Pol. 833(2017).

©2019 SHIMPO Fumio

41

5-5 致死性兵器の使用における人的要素

ヒューマンマシン・インタラクションに係る検討事項• 1. 説明責任は、CCWの趣旨に基づき様々なヒューマン・マシン・タッチポイントにおいて一貫する問題である。人間は、武力行使に関する決定において適用される国際法に従い、常に説明責任を負う。
• 2. 独立した倫理審査を通じて、国家安全保障上の考慮事項や営業秘密の利用に関する制限を念頭に置いた学際的な検討を研究開発において実施することが望ましい。
• 3. 開発中の兵器システム又は既存の武器システムの使用を大幅に変更する改造は、国際人道法を確実に遵守した上で実施しなければならない。
• 4. あらゆる可能性又は想定される意図を網羅した使用シナリオの検証可能性及び認証手順を開発するにあたっては、そのような手順の適用の経験に関し、国家安全保障上の考慮事項又は営業秘密に関する規制を考慮して共有しなければならない。
• 5.武力紛争における武力行使の説明責任は、責任ある指揮統制の範囲内における新たな兵器システムの運用を含め、適用される国際法に従わなければならない。
• 6.武力行使における人的責任は保持されなければならない。この点について、国際人道法の遵守を確実にするために、武器使用の介入に拡張することが可能な限り求められる。
• 7. 国際人道法を遵守し、新たな技術の開発と展開のサイクルを通して人間による説明責任と責任を保持するために、人的資源及び訓練に必要な投資がなされるべきである。
• 8. 以上を踏まえ、この分野における国家の権威と責任を認識しつつ、兵器システムのライフサイクルの各段階において、これらのフェーズ全体を通して説明責任を明確にすることと同様に、人間と機械の相互作用の程度と質について共通の理解を得ることについて議論を続ける
ことが有用である。
©2019 SHIMPO Fumio

42

6. LAWS反対運動の展開「キラー・ロボット・ストップキャンペーン*」• Campaign to Stop Killer Robots•https://www.stopkillerrobots.org/• 2007 年 8 月にNoel Sharkeyが完全自律型致死ロボットの開発への懸念を表明する意
見*を公開したことに端を発し、2012年10月からNGOとして活動• Noel Sharkey, Robot wars are a reality: Armies want to give the power of life anddeath to machines without reason or conscience, Sat 18 Aug 2007https://www.theguardian.com/commentisfree/2007/aug/18/comment.military

NGO「ロボット軍備管理国際委員会(the International Committee for Robot Arms Control(ICRAC)」• ICRC•https://www.icrac.net/• Noel Sharkey,Jurgen Altmann, Peter M. Asaro, Robert Sparrowによって2009年からNGOとして活動。
• 武装自律型無人システムの開発、配備及び使用の禁止をMission Statementとして提言した• ICRAC, Mission Statement,September, 2009 .
•https://www.icrac.net/statements/「失われつつある人間性：殺人ロボットに反対する根拠」• Human Rights Watch, Losing Humanity: The Case against Killer Robots•https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots• 「殺人ロボット：完成前に禁止を 完全に自律稼動する兵器 増える市民への危険」2012年11月19日•https://www.hrw.org/ja/news/2012/11/19/248112©2019 SHIMPO Fumio

43

今、考えていること。これから考えたいこと技術の進化は誰にも止めることはできない（技術革新を阻んではいけない）

反対運動はＣＣＷや各国政府における取り組みに一定の影響力を及ぼすことは可能であっても、新興技術の利用をテロリストや反社会的な勢力に思いとどまらせることはできない実効性及び強制力なき単なる反対論や、空虚な規制論に陥ることは避けたい
ＣＣＷの2019年版の報告書では、2018年に示された基本原則の提案を発展させる必要性を議論することで、今後の技術動向の変化に柔軟に対応できる原則となっている
非公式専門家会議から政府専門家会合の議論においても、国際法、特に国際連合憲章及び国際人道法（IHL）
並びに関連する倫理的問題に関し、CCWの枠組みにおける検討を継続して行うことを「確認」するにとどまっている
自律型の致死兵器システム関連領域における新たな技術によって将来的にもたらされる可能性がある課題が、
国際人道法にもたらす影響を踏まえ必要な確認事項についても検討は行いつつも、将来的にどのように自律型システムに係る技術に依拠するLAWSが進化するのか見極めることが困難であることは否定できない
今後の議論の展開は、現在までの検討の範囲に制限されるものではないことは各国政府共通の認識とする段階にまでは至っていることは、LAWSの規制のあり方に関する議論をさらに深化させることが可能であることを意味する©2019 SHIMPO Fumio

44今、考えていること。これから考えたいこと新興技術の開発から利用に至る展開は、軍事技術として開発された技術が民間部門において利用される場合と、民生技術が軍事目的で用いられる場合がある

新たな技術開発には多額の研究資金が必要となることから、予算額が大きい軍事予算を背景とした研究が、結果的に民間における技術革新を促進させてきた事実があることも否定できない

例えば、インターネットの発展は、国防総省の国防高等研究計画庁（DARPA)が研究予算を投じて開発されたARPAネットを原型とすることはよく知られている。カーナビや様々な位置情報を利用するサービスにおいて用いられているGPSも同様

自律型兵器の分野においては、 兵器開発における自動化や遠隔操作の技術はもとより、AIやドローンなど民間において研究開発が進んできたものを、新たな自律性を有する軍事技術として発展させようというもの
軍需を背景とする軍事技術の開発によって将来的に民間において利用することができる技術がどの程度あるのか、現時点では定かではないが、その点が、いわゆるロボット兵器の規制を主張する論拠として、ロボット兵器の研究開発を規制したとしても将来的に民間における技術開発が制限されることがな
いという考えの根底にあるのかもしれない©2019 SHIMPO Fumio

45

技術革新が進めば進むほど、リスクも必然的に増大する• そのリスクについて、①利用することの脅威、②利用しないことによる脅威、③利用に反対することによる脅威の三つの側面から考えるべきではないだろうか①利用することの脅威• AIそのものへの脅威、AIを用いたサービスや装置の利用に伴う脅威、AIを利用した犯罪やテロなどである。

②利用しないことによる脅威• 軍事バランスのように安全保障上のバランスが崩れることによる脅威、テロリストなど正規軍による利用ではなく法的にも国際法上も制限の対象外における利用がなされる脅威などがあげられる。

③利用に反対することによる脅威• 理想論としても、AI兵器の開発は人類への脅威になることが明らかであるが故に、絶対的に禁止すべきであると考えられる• しかし、技術の進化は誰にも止めることができず、その利用を止めることも困難である• 核不拡散防止のように、核開発といった高度な技術を要するものとは異なり、市販の数万円のドローンと武器の組み合わせによって、簡単に強力な兵器を作り出すことができる状況で、それらにAIが搭載された自律型兵器の開発を禁止したり停止されることは事実上不可能であろう• 利用に反対することは簡単であるが、実際に研究開発や利用を禁止することは極めて困難な状況になりつつあるため、安全保障をめぐる問題においてAIや自律型兵器をめぐる問題を議論しないことは、将来的に禍根を残す最大のリスクである©2019 SHIMPO Fumio

46