番外編

EPANEWSLETTER

進化する軍事テクノロジーと人道支援（２）道徳的価値観や行動原理で言うところの「人類愛」「慈愛・博愛」ひいては「人道」

目次「ヒューマニティ」と「ハイブリッドヒューマニティ」

1

新しい兵器とその影響

２

戦争を扱う赤十字としての見解

３

国際人道法から見た自律型兵器

４

LAWS の規制

５

サイバー空間を使った戦闘

６

サイバー攻撃にも人道法の原則を

７

人道支援における AI の活用

８「ヒューマニティ」と「ハイブリッドヒューマニティ」
2019 年 12 月、第 33 回国際赤十字・赤新月運動会議が、赤十字国際委員会（ICRC）の本部があるスイスのジュネーブで開催されました。4 年に 1 度の同会議は、「Power of Humanity: ヒューマニティの力」の推進を掲げ、世界中の赤十字社・赤新月社や各国政府、国際機関や NGO などの代表者約 2,000 人と共に、世界の人道問題を見つめ、今後の取り組みについて話し合いました。
議論の軸となった「ヒューマニティ」。一概にヒューマニティと言っても、その言葉の意味するところを紐解くと、大きく３つに分けることができます。
（１）生物学的見地からの「人間」「人間性」（３）グローバルアイデンティティとしての「人類」＝人類みな兄弟的な概念
赤十字７原則の一つ目「Humanity」は、２の概念から来ています。
「いかなる状況下にあっても人間の苦しみを予防し軽減すること。そして、命と健康を守り、人間として尊重されることを保障すること」
これぞまさしく人道支援の精神で、赤十字のパートナー間で推進・共有され、日々さまざまな現場でその具現化にいそしんでいます。
極限の状況下でも、揺るぎない人類愛で行動を起こす実例と、そうした行動を共にする仲間、そして理解者や支援者を増やすことを赤十字は目指しています。

人類愛・人道の実践＝ヒューマニティの力
人間による利他的な行動によって、人類の生き残りが保障されると私たちは考えていますが、最近では、人間に優しいだけではなく、環境や動物にも配慮することが求められています。もはや、人間中心の振る舞いは見直され、制限することもいとわない世の中に変わりつつあります。
一方で、人間は、テクノロジーと切っても切れない関係を発展させてきました。バイオテック、ロボッ

1

ト、人工知能（AI）の新たな応用は、人間がさまざまな形態の AI と絶え間なく作用することを可能にしました。生物学的ヒューマニティ ( 人間・人間性 ) が、テクノロジーと交わることで、ハイブリッドヒューマニティ（ハイブリッド人間）が形成され、日々の生活や福祉の現場に利益をもたらしています。
ハイブリッド人間は近年、機械学習によって新たな段階へと発展を遂げています。その発展とは、テクノロジーが人間のコントロールの範疇を超え、自らが手順や判断基準を見つけ出し実行すること、つまり「自律化」です。
では、自律化したハイブリッド人間の行動倫理は、今後どのように “ 教育 ” されていくのでしょうか？
前述したように、人間だけでなく、環境や動物にも優しい世の中を目指す中で、どこまでヒューマニティ（人類愛・人道）を実践できるのでしょうか？
ハイブリッド人間が私たちが活動する紛争の現場に出現すると、難しい課題に直面します。それは、新たなテクノロジーと既存のルールとの整合性です。これまでも盲目化レーザー兵器など、国際法に違反する兵器や技術が開発されるたびに、国際社会がその使用を規制・禁止してきました。ハ
イブリッド人間が常に既存のルールに準じて行動するよう、国際的議論や法整備を進める必要があります。
今号では、自律型兵器システムなどの新たな技術と、それに関連する国際人道法上の議論を私た
ち ICRC の見解を交えてお伝えします。また、そうしたハイブリッド人間といかに共存していくか、人道支援における連携の可能性についても探ります。

新しい兵器とその影響テクノロジーの発展に伴い、戦場で用いられ自律型致死兵器システム（LAWS）る兵器も進化を遂げています。その代表例が、自律型兵器システム（AWS）に殺傷する能力人間の介在を必要としない AI を用いた兵器で（Lethal）が伴ったもので、標的の生死に関わす。その使用をめぐっては、法的・倫理的観る判断も機械が行う兵器システムです。完全点から問題視する意見が数多くあり、国際社に自律した（全く人間が関与しない）致死性会が活発な議論を繰り広げています。戦争被を備えた兵器は倫理的に許されず、攻撃の責害を予防し、戦時下の人々を支援・保護する任の所在を明らかにする点からも十分な情報
国際人道法の守護者として、ICRC はこうしたと状況の理解を備えた人間の関与が不可欠、議論に積極的に参加しながら、兵器システムというのが国際社会の総意です。の今後に注目しています。

自律型兵器システム（AWS）

自律型兵器システムに関する懸念

自 律 型 兵 器 シ ス テ ム（AWS: AutonomousWeapon Systems）は、人間の介在を必要とせずに、センサーや事前に組み込まれたプログラムを通して機械が自律的に軍事目標を選択し、攻撃することが可能な兵器システムです。
近年その発展は著しく、火薬、核弾頭に次ぐ第３の軍事革命とも言われています。元来人間が実施してきたこれらの判断を機械自らが担うようになるため、オペレーター（兵器システムの運用・管理者）が攻撃目標や攻撃のタイミング・場所を即時かつ正確に知ることが難しくなるとされています。

さまざまな議論が尽くされる中で、3 つの懸念が浮かび上がってきました。

自律型兵器システムの使用によって生じる予測不能性（どのような状況下でどのように機能し、どのような結果をもたらすのか予測ができないこと）は、民間人や民用物が誤って攻撃されるリスクを高めると共に、国際人道法を守るという観点からもさまざまな議論を引き起こしています。

22

第一に、故障や機能不全の可能性がある中で、機械をどの程度信頼するかという問題です。
誤作動や誤った判断を下す可能性があるにも関わらず、自動化された機械を信頼してしまう自動化バイアスがその一例です。
第二に、オペレーターへの心理的な影響があります。遠隔操作によってストレスや恐怖が与えられる環境への露出を大幅に減らし、感情的な要因によるエラーを減らす一方で、標的との物理的な距離が長くなればなるほど、その責任を感じる道徳心も低くなりかねません。
第三に、機械そのものが人間の命を左右するLAWS の合法性です。人間の関与が完全になくなった場合、その国際法に違反する行為（不必要な殺傷行為など）に対する責任の所在が不明瞭になることも懸念されています。

U.Bektas / REUTERS

戦争を扱う赤十字としての見解
ICRC は、戦争にまつわる新技術全般に反対しているわけではありません。一定の軍事技術の向上は、目標に対する攻撃の精度を飛躍的に向上させるなど、戦闘による民間人の被害を減らし、紛争当事者が国際人道法や兵器の使用に関する国際条約などの「戦争のルール」を遵守する上でも役立つと考えています。

その一方で、新技術が無制限に使用されることには疑問を呈しています。なぜなら、機械が人間の代わりに戦闘を担った場合、前述した倫理的問題に加えて、国際法上のさまざまな問題が伴うからです。あくまでも、AI は人間に奉仕し、人間の意思決定を補うために使用されるべきものであり、人間の代わりをするものであってはならない、と私たちは考えます。従って ICRC は、国際社会に対して、人間による制御の実質的な要素を確認するとともに、国際人道法に抵触しないかを徹底的に考察するよう訴えています。
例えば、ロボットが攻撃をする際に必ず人間の指揮官の許可を得るように事前にプログラムを組むことを義務付けたり、アクセス可能な情報に制約を加えて、一定の範囲の中でしか作動しないようにあらかじめロボットを設計するなどです。

物理的に人間の管理が担保されるように、兵器の研究・設計・製造段階から制約を課すことが求められます。

新技術の評価の際に重要なのは、それがどのような特徴を持ち、どのように使われるのか、ということです。新たな技術が出現した時、それをどのように戦時に使用するかの選択は国家に委ねられています。民間人や非戦闘員に対する人道上の被害や「公共の良心」など数々の留意事項があります。

ICRC 兵器担当課長（当時） キャスリーン・ラワンド：“ 人間は、武力や暴力を行使する決断を機械に任せてはなりません。殺傷・ICRC

破壊行為に関する決定は人間によって行われなければならず、法を適用、遵守するのはあくまで人間です ”

ICRC

ICRC 政策・人道外交担当課長（当時） ヒューゴ・スリム：“ 自律型兵器のリスクについては、かなりの社会的懸念が存在します。人々の良心は常に重要な道徳規範であり、国際人道法も各国が「人道の諸原則」や「公共の良心」を考慮するよう求めています。新技術の出現によって人類と兵器の関係性が大きな分岐点に置かれていることを、私たちは真剣に受け止めなければなりません ”

33Gettey Image

国際人道法からみた自律型兵器
どういった兵器が、いつ、どのような形で使用されるべきか。国際人道法上のルールで定めた「交戦法規」には、3 つの原則があります。

現段階では、自律型兵器等の新技術を戦闘行為に関する基本のルールに当てはめることが難しいため、開発・導入・使用の段階で以下の原則をきちんと守ることができるかを確認する必要があります。

区別の原則

マルテンス条項と自律型兵器

一般市民や民間施設への直接的な攻撃や無差

マルテンス条項は 1899 年のハーグ会議で提別攻撃は禁止。紛争当事者は軍事行動をとる案され、国際人道法においても引用されてい際、常に民間人・民用物と軍事目標を区別しる国際慣習法の一つです。諸条約による明文なければならない。

規定がない事項に関しても、慣習法や国際人均衡性の原則
攻撃の結果として、民間人や民用物に甚大な被害を与えるものは禁止される。紛争当事者は攻撃を実行する前に、民間人に生じうる影響が、予想される軍事的利益と比べて過大なものでないかどうか、毎回見極める義務を負う。

予防措置の原則
民間人・民用物に対して武器を使用する際、直接的に敵対行為に参加しているかや、軍事目的で使用されているかなど、軍事目標であるか否かを事前に確認する。

44

道法の諸原則および公共の良心の要求に従わなければならないことを明記しています。国際人道法は、すべての自律型兵器を明示的に禁止してはいないものの、規制がないからといって既存のルールの適用対象となっていない武器が無制限に使用されることを許しておらず、それが公共の良心の要求と国際慣習法に違反すると判断される場合、マルテンス条項に反すると見なされます。

LAWS の規制
自律型致死兵器システム（LAWS）など AI を2017 年 か ら は、LAWS に 関 す る 国 際 社 会 のト技術の軍事利用を憂慮した市民社会からのLAWS に関する政府専門家会合（GGE）が公式搭載した兵器に対する規制は、増加するロボッ共 通 認 識 の 形 成 を 目 的 に、CCW の 枠 組 み で要請によって始まりました。

化され、2018 年以降は毎年 2 回ずつセッションが開催されています（2020 年 8 月末現在）。

規制への機運は 2010 年頃から徐々に高まり、LAWS が国際法、特に国際人道法を遵守すべき2012 年には国際的な組織「キラーロボット反であること、致死性を有する兵器には有意な人対キャンペーン」が発足。倫理上・道徳上の懸間の関与が必須であること、の 2 点に関して念だけでなく、安全保障の側面からも問題を提国際的な合意が得られてきました。

起し、国際社会の議論に拍車をかけました。

しかし一方で、実際にまだ存在しない兵器であこうした流れを受けて、2014 年から特定通常るため、「LAWS をどう定義するか」という基兵器禁止条約（CCW）の枠組みの中で LAWS本的な問題ですら各国間で合意が得られていに焦点を当てた非公式専門家会議が開催されないという現実があります。人間の関与の在りるようになりました。会議は 3 年にわたり、方や使用した際の責任の所在など、議論は難航

約 80 の国のほか、国際機関、NGO がさまざしています。

まに懸念される問題を話し合いました。

これまでの国際的議論の歩み
CCW 第 2 回 非公式専門家会議

キラーロボット反対キャンペーン発足
28 カ国から 64 団体が参加。

完全自律型兵器開発の先制的かつ全面的な禁止を目的に掲げる。

2012

CCW 政府専門家会合（GGE）

74 カ国、国際機関、NGO 参加。
LAWS の定義の明確化、LAWS 使用に

約 90 カ国、国際機関、NGO 参加。
一般討論における各国、団体の代伴う責任の所在、倫理上の問題、国際人道法の適用、LAWS に関する透明性措置の可否などについて議論。

2014

2015

CCW 第 1 回非公式専門家会議
83 カ国、国際機関、NGO 参加。

表者による意見表明の他、「技術」「軍事的効果」「法律・倫理」の各セッションにおいて発表と質疑応答。

2016

2017

事的有用性、国際人道法の適用、CCW 第 3 回
非公式専門家会議
94 カ国、国際機関、NGO 参加。
自律性の考察、国際人道法上の倫理的問題などについて議論。

けて、人権と倫理問題、安全保ロボット技術の自律性の程度、軍LAWS の使用に伴う責任の所在・課題、LAWS の作業場の定義に向障などについて議論。

CCW 2019 年度 GGE 第一セッション
約 70 カ国、国際機関、NGO 参加。
規制すべき LAWS の特徴、人間の関与のあり方、今後の取り進め方などについて議論。

CCW 2019 年度 GGE 第二セッション
約 70 カ国、国際機関、NGO 参加。

国際人道法を遵守するための人間の関与を含む
LAWS に関する指針の論点や翌年以降の議論の進め方について協議、報告書案をまとめる。

2018

2019

CCW 2018 年度 GGE 第一セッション
約 80 カ国、国際機関、NGO 参加。
一般討論における各国、団体の代表者による意見表明の他、LAWS の特徴、人間と機械の相互関係、LAWS に係る先端技術について議論。
CCW 2018 年度 GGE 第二セッション
約 70 カ国、国際機関、NGO 参加。

LAWS の特徴、LAWS の使用における人間の関与、国際人道法上の課題などについて議論。

東京大学におけるシンポジウム「人道への挑戦～自律型兵器の発展と人間による制御～」
日本でも自律型兵器への関心が高まると共に、専門家による議論も深まっています。ICRC 駐日代表部は 2019 年 9 月、東京大学大学
院「人間の安全保障」プログラムとエセックス大学人権センターとの共催で、シンポジウム「人道への挑戦：自律型兵器の発展と人間による制御」を開催。ジュネーブ諸条約 70 周年を記念した同イベントでは、AWS の定義や、「区別の原則」、有意な人間の関与の 3点を軸に多様な議論が展開されました。
パネルディスカッションでは、「本物の銃を持った兵士とおもちゃの銃を持った子どもの違いを自律型兵器が区別できるのか」「民間人と軍人の双方が使用する施設を攻撃する場合に均衡性をどのように計るのか」などを論点に、具体的な例を用いて問題点を追究。また、LAWS の法的・倫理的懸念などについて、国際人権組織、政府機関、教育機関の代表者や ICRC 法務官がそれぞれの立場から意見を述べました。

55

サイバー空間を使った戦闘自律型兵器に加えて、ICRC が新たな戦闘手段として危機感を募らせるのがサイバー攻撃です。こ
こでいうサイバー攻撃とは、紛争当事国（者）が敵対国（者）のコンピューターシステムを破壊・損壊、または機能不全に陥らせる、もしくはサイバー空間における強奪などを指します。紛争時だけでなく、平時のサイバー攻撃が引き金となり、物理的な紛争につながる可能性も懸念されます。

サイバー攻撃は武力攻撃とみなされる？
そもそもどのようなサイバー攻撃が武力攻撃に該当するのか。この疑問に対して国際的な議論の決着はついていません。北大西洋条約機構（NATO）の協力機関であるサイバー防衛センター（CCDCOE）が発表したタリン・マニュアルでは、「サイバー行動が武力攻撃に該当するか否かは、その規模と効果により決まる（規則 71）」とし、その “ 規模と効果 ” が他の手段による武力攻撃と同じ水準であるかどうかが判断基準とされています。
この概念からすると、大多数への殺傷や財産への重大な損害をもたらすサイバー攻撃は武力攻撃に該当すると考えられています。一方で、証券取引所の機能停止など、死傷や破壊を伴わずとも重要なインフラに深刻な影響をもたらすサイバー攻撃については、意見が一致していません。

コロナ禍のサイバー攻撃
新型コロナウイルス感染症のパンデミックに見舞われた 2020 年、世界では医療施設をはじめ、世界保健機関（WHO）などの国際機関や複数の保健当局がサイバー攻撃の被害にあいました。
治療や感染拡大防止に奮闘する医療や保健システムを守るため、ペーター・マウラー ICRC 総裁を筆頭に、国際社会のリーダー 40 人以上が公開書簡に署名。サイバー攻撃を禁止する国際ルールの見直しと審議の必要性をすべての政府に訴えました。
公開書簡の内容など、詳細はこちら：jp.icrc.org/event/69682/

サイバー攻撃の事例
事例①：WannaCry（ワナクライ）
WannaCry は、Windows オペレーティングシステム間の自動伝播を利用して、EternalBlue と呼ばれるエクスプロイト（脆弱性を悪用する行為に用いられるスクリプトまたはプログラム）によって、2017 年 5 月に広まったマルウェア（悪意のあるソフトウェア）の一部です。150 カ国において、多数の企業や公共事業を混乱させました。英国の 80 の診療所が影響を受け、139 の緊急紹介を含む 19,000 件の予約がキャンセルされました。

事例②：NotPetya（ノットペティア）
NotPetya は、WannaCry エクスプロイトに追加の拡散コンポーネントが含まれるマルウェアです。
2017 年、ウクライナの企業を発端に、他国のシステムにまで広がっていきました。製造工場や物流企業に加えて、輸送機関にも多大な影響を及ぼし、世界の 76 の港が混雑する事態になりました。
損害コストは推定 10 億ドル（約 1100 億円）を超えるとみられています。

事例③：Triton（トリトン）
産業安全制御システムを破壊する機能を備えたカスタム設計のマルウェア Triton も、2017 年に発見されました。その特徴は、産業過程が十分な制御のもと動作することを保証する安全計装システ
ムを改ざんすることです。物理的な破壊や、状況によってはケガや死を招く可能性もあります。一部の報告では、そうした可能性を狙って攻撃したとも言われています。

66

サイバー攻撃にも人道法の原則を紛争が起きている、もしくは起こり得る国のサイバーセキュリティが一般的に脆弱であること、そして紛争時におけるサイバー攻撃が水道や電力、医療サービスの停止など甚大な人道被害を起こし得ることから、ICRC はサイバー攻撃に関して強い危機感を抱いています。
国際人道法をはじめとする戦時におけるルールと制限は、生物兵器や化学兵器といった従来の兵器だけでなく、実際の被害を出し得るサイバー攻撃にも適用されるべきでしょう。サイバー空間を利用した交戦行為においても、交戦国（者）は民間人を巻き込まないためにも、「区別」「均衡性」「予防措置」のそれぞれの原則を守る必要があると考えています。

ICRC 総裁

ペーター・マウラー：“ 悪意を持った無数のサイバー攻撃が日々報告される現状にあって、コロナ禍における医療への攻撃のみならず、電力や水などのインフラや油田、原子力発電所を標的にしたサイバー攻撃によって、人間の生命が著しく脅かされる事態ICRCを懸念しています。国際社会での法による取り国連安保理アリア・フォーミュラ非公式会合

締まりに加えて、攻撃から守る仕組みを産官学が力を合わせて作ることも必要です ”（2020 年 8 月 26 日）

ICRC 軍縮管理調査官
ヴェロニク・クリストリー：“ 国際人道法は、医療サービスが守られ、尊重されることを求めています。現状、医療イン

フラはサイバー攻撃から十分に守られていません。そうした攻撃によって危害が与えられることはあってはならず、偶発的被害を防ぐICRCためにも最大限の注意が払われなければいけません。サイバー攻撃に対する医療施設の脆弱性に関して、各国は責任を持って取り組む必要があり、そのための新たな指針が求めら

国際安全保障における情報・通信の発展に関する国連オープ
ン・エンド作業部会（2020 年 2 月 11 日）

れているのではないでしょうか ”

ICRC 法務官
ティルマン・ ロデンハウザー：“ たとえサイバー攻撃が軍事目標だけに絞られたとしても、その被害の広がりによっては、民間人や民用物に大規模な二次災害を起こす可能性は大いにあります。国際人道法上の均衡性のICRC

原則は、武力紛争において偶発的被害が過剰に国際安全保障における情報・通信の発展に関する国連オープ
ン・エンド作業部会（2020 年 2 月 12 日）ならないよう規定しています。ICRC は、国際人道法がどのようにサイバー攻撃に適用されるのかについて共通理解を持つために、各国にさらなる取り組みを行うよう求めています ”

7人道支援における AI の活用
紛争被害の予測
国際人道法における基本的な原則の一つである均衡性の見極めに、AI が利用できます。人道上の被害の度合いを予測し、民間人への被害を最小限に抑えることが可能になります。その他にも、インフラ被害、地雷や不発弾などによる兵器汚染、また避難民のとる行動パターンの計算などにも有用と考えられています。

支援物資のニーズ評価2018 年 9 月、ICRC は 国 連 や 世 界 銀 行 と 共に飢餓行動メカニズム「FAM: Famine Action
Mechanism」を立ち上げました。これは、AI及び機械学習などの革新的技術を活用して、食料危機が飢餓へと進行する時期を特定し、将来の飢餓を防止するグローバルなパートする前の初期段階で警告を発し、飢餓の根本原因に対処するための投資を促すことが可能になりました。各国政府や人道支援組織が迅速かつ効果的に対策を打てるようにすることが目的です。

ICRC

ナーシップです。FAM により、飢餓が深刻化

2018 年 9 月 FAM 発足を記念してICRC 総裁ペーター・マウラー（写真後列左）、元世界銀行総裁ジム・ヨン・キム（前列左）、国連事務総長アントニオ・グテーレス（前列右）

離散家族の問題解決にもICRC は 1870 年以来、各国にある赤十字・赤新月社と連携して離散家族再会支援を展開しています。私たちはこれまで、AI を応用した顔認証や姓名照合の技術を研究してきました。2013 年には民間企業と共同で、顔認証のアルゴリズムを応用した離散家族追跡のためのオンラインプラットフォーム「Trace the Face」を立ち上げ、離れ離れになった家族や友人を探す人たちの写真を掲載し、再会へと導きます。
人道支援における AI の活用は、一方で、支援対象者をリスクにさらす危険性もあります。特に行方不明者の個人情報を扱う上で、データ保護、プライバシーや人権の保障などを考慮しなければならず、人間の関与が法的かつ倫理的に必要となります。ICRC は、新技術の性能を現実的に評価し、AI を利用した人道支援向けアプリケーションが、プライバシーを尊重し、デジタル環境において危害を加えることがあってはならないと考えています。

産学連携で日本の貢献にも期待
日本においても、ICRC と早稲田大学が、人道支援の革新的技術の開発を含む共同プロジェクトを立ち上げ、地雷探知のための研究を開始しました。ドローンに搭載された赤外線カメラから撮影した地雷や不発弾の画像を機械学習プログラムに取り込むことにより、確認の速度と正確性の向上を図るもので、日本企業とも連携しながら進めています。武器汚染のみならず、埋められた遺体の所在の特定や、避難民キャンプのモニタリング等の活動への活用方法についても検討されて赤十字国際委員会 駐日代表部〒 107-0052 東京都港区赤坂 1-11-36
レジデンスバイカウンテス #320
facebook.com/ICRC.jp

Tel: 03-6628-5450
Email: tok_tokyo@icrc.org

8jp.icrc.org

twitter.com/ICRC_jp

2020.1410/209 09.2020 3000

います。