A/HRC/44/57
先行編集版

配布：一般
2020年6月18日
原文：英語

人権理事会
第44会期
2020年6月15日～7月3日
議題項目9
人種主義、人種差別、排外主義および関連の形態の不寛容／
ダーバン宣言および行動計画のフォローアップおよび実施

人種差別と新興デジタル技術：人権面の分析
現代的形態の人種主義、人種差別、外国人嫌悪および関連する不寛容に関する特別報告者の報告書 *要約
本報告書で、現代的形態の人種主義、人種差別、外国人嫌悪および関連する不寛容に関する特別報告者のE・テンダイ・アチウメ（E. Tendayi Achiume）は、新興デジタル技術の設計・利用におけるさまざまな形態の人種差別（このような差別の構造的および制度的側面を含む）について分析している。また、このような差別と闘う国家の人権法上の義務および企業の責任についても概観している。

*

本報告書は、直近の情報を含めるため期限後に提出されたものである。

A/HRC/44/57

I．はじめに
1．新興デジタル技術は私たちの生活のあり方を根本的に変容させてきており、そのためこれらの技術が人権面でどのような影響を及ぼしているかについては人権理事会の特別手続 きによる重要な分析の主題とされてきた 1 。これまでの報告書では、これらの技術が幅広い範囲の人権（意見・表現の自由および平和的集会・結社の自由についての権利ならびに極度の貧困下に置かれている人々の人権を含む）にどのような影響を及ぼしているかについて取り上げられている。国連人権高等弁務官は、新興デジタル技術とプライバシー権に関する分析に寄与してきた 2 。本報告書で特別報告者が目指すのは、新興デジタル技術が国際人権法上の人
種平等原則および差別禁止原則と交差する状況に関して、同じように徹底した分析を前進させることである。
2．本報告書では、あらゆる形態の人種差別の撤廃に関する国際条約（人種差別撤廃条約）にのっとり、人種、皮膚の色、世系または国民的もしくは民族的出身に基づく人種主義、不寛容、差別ならびにその他の形態の有害な排除および差異化を対象としている。これには先住民族に対する差別も含まれる。特別報告者が本報告書で強調するのは、人権の視点に立った新興デジタル技術の管理に対する、平等を基盤とするアプローチである。そのためには、「カラーブラインド（皮膚の色を考慮しない）」戦略または「人種中立」戦略を超えていくことが要求される 3 。法的、社会的、経済的および政治的諸条件に関するカラーブラインドな分析は公平さを志向するものであり、たとえ個人および集団が（歴史的な意図的差別の 構造
等により）異なる状況に置かれていたとしても、人種的または民族的分析をはっきりした形で行なうことを避けてすべての個人および集団を同一に扱う。新興デジタル技術との関係で必要なのは、政府職員、国連その他の国際機関および民間セクターが、このような技術の人種化された影響および民族的影響にきめ細かな注意を向けることである。 特別報告者は本報告書で交差的形態の差別（ジェンダーおよび宗教に基づくものを含む）を 特に取り上げるとともに、各国およびその他のステークホルダーが、人種、民族、ジェンダー、障害の状態、性的指向および関連の事由が交差する場で生じる多重的形態の差別の追跡およびこのような差別への対処を怠り続けていることに注意を向けるよう呼びかける。
3．特別報告者は、新興デジタル技術が移住者、難民その他の市民でない人々に及ぼす人種
差別的影響については簡単に扱うに留める。これらの集団については、特別報告者が総会に提出する別の報告書で焦点を当てることになるためである。
4．本報告書の知見のひとつは、新興デジタル技術が、すでに存在する不平等（その多くは人種、民族および国民的出身に基づいて存在している）を悪化・増強させているというものである。本報告書で取り上げた事例は、新興デジタル技術の設計・利用におけるさまざまな形態の人種差別についての懸念を生じさせるものである。このような差別は、直接的で、あからさまに不寛容または偏見を動機としている場合もある。他方で、たとえあからさまな差
別の意図がなくとも、集団がその人種、民族または国民的出身にしたがって異なる影響を受けることから差別が生じる場合もある。さらには、直接的・間接的形態の差別が組み合わさって存在している場合もあり、これは、生活のあらゆる分野で人権へのアクセスおよび人権

1 www.ohchr.org/Documents/HRBodies/SP/List_SP_Reports_NewTech.pdf 参照。
2 A/HRC/39/29 参照。

3 https://qz.com/1585645/color-blindness-is-a-bad-approach-to-solving-bias-in-algorithms

参照。

2

A/HRC/44/57の享有を妨げる人種差別的構造に集団を従属させるほどの、著しい総体的または組織的効果を持ちうる。
5．たとえば新型コロナ ウイルス感染症（ COVID-19 ）との関係では、 周縁化された人種的・民族的集団が新興デジタル技術の利益から排除されていること、または新興デジタル技
術がこれらの集団に対する人権侵害のおそれを高めるようなやり方で展開されることなどの理由により、このパンデミックがこれらの集団に対して異なる影響を及ぼしてきた ことが、これまでの報告で明らかにされている。新興デジタル技術は中立的かつ客観的に運用されているという見方が広く行き渡っているにもかかわらず、これらの技術が浸透するようになったあらゆる分野で、人権へのアクセスと人権の享有のあり方は人種および民族によって決定されている。国にはこのような差別を防止し、これらの差別と闘いかつその是正を図る義務があり、企業のような民間の主体には同様の対応をとる関連の責任がある。
6．新興デジタル技術のなかでも、特別報告者が本報告書で焦点を当てるのは、ネットワー
ク化された予測技術（その多くにビッグデータと人工知能が関わっている）である。その際、アルゴリズムによる（およびアルゴリズムの支援を受けた）意思決定にやや力点を置く。人種差別と新興デジタル技術に関してこれまで行なわれてきた人権分析の多くは、特定 の論点
群――オンラインのヘイト事案と、人種主義的コミュニティおよびその活動の調整・資金調
達・支援構築を目的とするデジタル・プラットフォームの活用――に光を当ててきた。特別
報告者は本報告書でさらに一歩踏み出し、人種平等原則と差別禁止原則を、研究者や権利擁護活動家等が憂慮すべき問題に挙げてきた新興デジタル技術の構造的・制度的影響と関連させて検討する。懸念される問題のひとつは、雇用、教育、保健ケアおよび刑事司法における日常的な結果の決定で新興デジタル技術が広く用いられるようになっており、制度化された差別が前例のない規模で行なわれるおそれが生じていることである。欧州連合基本権庁が最近発表した報告書は、欧州連合におけるこのような懸念の実例を挙げ、必要な対応についての貴重な勧告を行なっている 4 。
7．「差異化、序列化およびカテゴリー化を行なう分類技術」としての人工知能システムは 、その中核において「差別のシステム」である 5 。機械学習アルゴリズムは、たとえステレオタ
イプ化を行なう露骨なアルゴリズム規則が存在しなくとも、人間に関する黙示的バイアスの模倣・再生産につながりかねない大規模なデータセットに埋めこまれたバイアスを再生産す
る 6 。人間による設計の産物であるデータセットは、「歪み、欠落および誤った憶測」のためにバイアスのかかったものとなりうる 7 。また、データが不平等な方法で作成・収集されるた
めに人口集団の一部がまったくまたは過少にしか代表されない「シグナル問題」の 影響を受ける可能性もある 8 。不正確なデータ、欠落しているデータおよび代表性が不十分なデータに加え、「ダーティー（汚染）データ」には意図的に操作されたデータまたはバイアスによって歪められたデータも含まれる 9 。このようなデータセットは、特定の人口集団、とくに人種、民族、宗教およびジェンダーに関するアイデンティティにしたがった、マイノリティに対す4 https://fra.europa.eu/en/publication/2018/bigdata -discrimination-data-supported-decision-making 参照。
5 Sarah Myers West, Meredith Whittaker and Kate Crawford, “Discriminating systems:
gender, race and power in AI” (New York, AI Now Institute, 2019), p. 6.
6 https://philmachinelearning.files.wordpress.com/2018/02/gabbriellejohnson_algorithmic bias.pdf 参照。
7 https://foreignpolicy.com/2013/05/10/think-again-big-data 参照。
8 Ibid.
9 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3403010 参照。

3

A/HRC/44/57

る差別またはその排除につながりかねない。
8．たとえ差別が意図されていない場合でも、人種および民族に代わるものとしても機能す
る、無害で真に関連性を有する基準を用いることで間接差別が生じることがありうる。その他の懸念としては、法執行、国家安全保障および出入国管理などの文脈における、歴史的データ――差別的バイアスや不正確なプロファイリングを反映していることが多いデータ――を組み込んだ予測モデルの活用およびこれへの依拠が挙げられる。より根本的なレベルで、新興デジタル技術の設計に際しては開発者が最善の目標達成方法に関する選択を行なわなけ
ればならず、この選択が異なる配分的影響（distributional consequences）をもたらすことにつながる 10 。本報告書で特別報告者が示す中核的懸念のひとつは、個人および集団の人権に対し、その人種、民族および関連の事由に基づいて異なる影響を及ぼす、このような選択に関わるものである。
9．とくに階級との関係では、政策立案者、公務員および科学者が、より効率的かつ公正な決定を行なえるようにすることを意図して意思決定の自動化を追求した場合でさえ、このよ
うな目的を達成するために用いられたシステムが不平等を強化し、貧困下で暮らしている
人々に過酷な結果をもたらすことが、研究により明らかにされてきた 11 。人種的・民族的に周縁化されているコミュニティが人口比から見て不均衡なほど貧困状況下で暮らしていることが多い点に鑑みれば、社会福祉およびその他の社会経済的制度に関して行なわれる新興デジタル技術の人権分析の中心に、平等原則と差別禁止原則が位置づけられるべきである。極度の貧困と人権に関する特別報告者が最近提出した重要な報告書は、社会的保護・援助制度が新興デジタル技術によって運用されている国々において、社会福祉に対して深刻な人権上の悪影響を与えるようなやり方でデジタル福祉国家が勃興していることを明らかにしている
12。後掲のセクションで詳しく述べるように、特別報告者の評価では、現状のデジタル国家

は「差別的デジタル福祉国家」と呼ぶほうが的を射ている。そこでは、人権へのアクセスのあり方が（さまざまな事由のなかでもとくに）人種と民族によって形作られることを許容する傾向があるためである。このような差別的パターンを抑制するために緊急の介入が必要とされる。
10．本報告書の作成にあたり、特別報告者は、諸研究機関が主催した専門家グループ会合（ジュネーブ大学グローバルスタディーズ研究所、カリフォルニア大学ロサンゼルス校（UCLA）ロースクール・プロミス人権研究所およびUCLA批判的インターネット研究センター）、２つの研究機関による研究（インターネットと社会に関するバークマン・クライ
ン・センター（ハーバード・ロースクール）サイバー法クリニックおよび ニューヨーク大学
ロースクール人種・不平等・法律センター）、研究者へのインタビュー、そして公開意見募
集に応じて幅広いステークホルダーから提出された意見書から得られた貴重なインプットを活用した。非公開のもの以外の意見書は特別報告者のウェブページで閲覧可能になる予定である 13 。

10 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2477899 参照。

Automating Inequality: How High-Tech Tools Profile, Police, andPunish the Poor (New York, Picador, 2018).
11 Virginia Eubanks,
12 A/74/493参照。

13 www.ohchr.org/EN/Issues/Racism/SRRacism/Pages/Callinformationtechnologies.aspx参照。

4

A/HRC/44/57

II．新興デジタル技術における差別と不平等の発生要因
11．新興デジタル技術に関するいかなる人権分析においても最初に取り上げなければならな
いのは、その設計と利用のあり方を決める社会的、経済的および政治的諸力の問題であり、これらの技術の人種差別的な設計・利用を助長するように機能する個人的・集団的な人間の利益と優先順位の問題である。
12．大衆的な技術観では、技術は本質的に中立的・客観的なものであると考えられる傾向にあり、技術は客観的・中立的であるというこのような推定が、技術を生み出す側にも依然として目立つと指摘する声もある。しかし、技術が中立であることはけっしてない――技術は、その設計・利用に影響を及ぼす人々の価値観と利益を反映しており、根本的に、社会で機能しているものと同一の不平等の構造によって形づくられているのである 14 。たとえば、世界中の99の開発者が作成した189の顔認証アルゴリズムを検証した2019年の研究では、「これらのアルゴリズムの多くは、黒人または東アジア系の人の顔写真を不正確に識別する確率が、白人の顔写真の場合と比べて10倍から100倍高かった。データベースから特定の顔を検索する作業では、アルゴリズムのほとんどについて、黒人女性の場合に画像の選択を誤る確率が他の人口集団の場合よりも有意に高かった」ことが認められた 15 。社会の内部および社会横断的に存在する人種的不平等を再生産し、強化し、悪化させさえする著しい可能性が新興デジタル技術にあることは、もはや疑いを受け入れる余地がない。多くの重要な学術研究が、技術の設計・利用によって、すでにさまざまな状況下でまさにこのような影響が生じつつあることを具体的に明らかにしている 16 。一部の人工知能技術の中核にある帰納的処理（機械学習など）でさえ平等および差別禁止のような価値の低下を助長しており、これがどのような過程で進行するのかを十全に解明するために、さらなる調査研究と資金が必要である 17 。
13．新興デジタル技術をつくり出す分野および産業の内部には、数字の中立性または客観性
および人種主義を克服する数字の力に対する見当違いの信頼が存在しており、これが差別的結果の発生を助長していることがわかっている 18 。新興デジタル技術の設計・利用における公正性、アカウンタビリティおよび透明性を促進するために発展してきた分野でさえ、差別および不正義のより幅広い社会構造にいっそうの注意を払わなければならない 19 。実際のところ、新興デジタル技術の人種差別的な利用・設計に対処する際の最大の課題のひとつは、この問題を完全にまたはもっぱら技術的問題として扱い、コンピューター科学者やその他の産業専門家がバイアスのないデータとアルゴリズムを運用することで解決すればよいと考えるアプローチである。技術は社会の産物であり、社会の価値観と優先順位の産物であり、人種主義と不寛容に関連するものを含む社会の不公正さの産物でさえある。技術決定論――技The Whale and The Reactor: A Search for Limits in an Age of HighTechnology (Chicago, University of Chicago Press, 1986), p. 29.
14 Langdon Winner,

15 www.scientificamerican.com/article/how-nist-tested-facial-recognition-algorithms-for-racial-bias 参照。
16 たとえば、Cathy O’Neil, Weapons of Math Destruction: How Big Data Increases
Inequality and Threatens Democracy (New York, Penguin, 2016); Ruha Benjamin, Race
After Technology (Cambridge, United Kingdom, Polity Press, 2019); and Safiya Noble,
Algorithms of Oppression: How Search Engines Reinforce Racism (New York, New York
University Press, 2018) 参照。
17 たとえば Gabrielle M. Johnson, “Are algorithms value-free? Feminist theoreticalvirtues in machine learning”, Journal of Moral Philosophy (forthcoming) 参照。
18 たとえば West, Whittaker and Crawford, “Discriminating systems” 参照。
19 たとえば www.tandfonline.com/doi/full/10.1080/1369118X.2019.1593484 andhttp://sorelle.friedler.net/papers/sts_fat2019.pdf 参照。

5

A/HRC/44/57

術は社会に影響を及ぼすものの、技術自体は基本的に中立であり、社会的・政治的・経済的諸力からは隔離されているという考え方――は、新興デジタル技術およびその影響のあり方を決定している諸力を隠蔽し、その発見と改革を困難にする役割しか果たさない。 「技術至上主義」（techno-chauvinism ）――社会問題は技術で解決できるという考え方への 過信
20――も同様の効果を持ち、技術と技術的成果のあり方を決定している価値観および利益の探

求・変革を紛糾させる可能性がある。
14．平等原則と差別禁止原則の確保に関わる技術的運用の質については引き続き詳細な検討とアカウンタビリティの履行促進を図っていく必要があるが、両原則その他の人権原則を確保するためには、核心にあるのは政治的、社会的および経済的問題であって単なる技術的ま
たは数学的問題ではないことを、まず認識しなければならない。不平等と差別は、たとえそれが新興デジタル技術の設計・利用の産物である場合でも、平等および差別禁止のより完璧なモデリングによって「治癒」されるものではない。具体的に言えば、民間・公共両セクタ
ーで新興デジタル技術の設計・利用における人種差別と闘おうとする思索および行動は、技術専門家の独占的・半独占的領分にされるべきではないということである。そうではなく、新興デジタル技術に関して専門的知見を有する研究者等が主張してきたように 21 、このような施策および行動はより包括的なものでなければならない。政府と民間セクターは、 新興デジタル技術の人種差別的な設計・利用を緩和するための調査研究、議論および意思決定のあらゆる段階で人種差別の政治的・経済的・社会的側面に関する専門家を包摂するアプローチ
を堅持しなければならない。関連のプロセスにおいては、当事者である人種的・民族的マイノリティのコミュニティが意思決定の役割を果たさなければならない。
15．民間企業は新興デジタル技術の設計・利用においてとてつもない影響力を発揮している。
デジタル・プラットフォームのなかでも、7つの「スーパープラットフォーム」――Microsoft（マ イク ロソフト） 、Apple（ アップル） 、Amazon （アマゾン ）、 Google（グーグル）、Facebook（フェイスブック）、Tencent（テンセント）およびAlibaba（アリババ）――は、世界の上位70位までに位置する大規模プラットフォームの時価総額の３分の２を占めている 22 。その新興デジタル技術は世界全体に広がっているにもかかわらず、これらの技術に最大の影響力を振るっている企業は圧倒的に米国のシリコンバレーに集中しており、これに対してヨーロッパのシェアは3.6パーセント、アフリカのシェアは1.3パーセン
ト、ラテンアメリカのシェアは0.2パーセントである 23 。たとえばGoogleは世界のインターネ
ット検索市場の90パーセントを手中に収めている 24 。世界のソーシャルメディア市場の３分の２を独占するFacebookは、世界の国々の90パーセント以上でソーシャルメディア・プラ
ットフォームのトップに位置している。Amazonが世界のオンライン小売活動に占めるシェ
アはほぼ40パーセントに達する。その結果、シリコンバレーに特有の文化的・経済的・政治的価値観が、この北米の小さな地域からはるかに遠くに隔てられた状況下も含め、世界的に運用される新興デジタル技術の数を根本的に決定しているのである。
Artificial Unintelligence: How Computers
Misunderstand the World (Cambridge, Massachusetts, Massachusetts Institute of
20 たとえば Meredith Broussard,

Technology, 2018) 参照。
21 たとえば www.odbproject.org/2019/07/15/critiquing-and-rethinking-fairnessaccountability-and-transparency 参照。

Digital Economy Report 2019: Value Creation and Capture: Implications forDeveloping Countries (United Nations publication, Sales No. E.19.II.D.17), p. xvi.
22

23 Ibid., p.2.

24 Ibid., p. xvii.

6

A/HRC/44/57

16．企業は、市場を支配するだけには留まらず、政府とその国の国民との間を媒介する主要な存在でもあり、人権状況を相当に変容させる力を有している。グローバルノースの強力な企業が生み出す技術は、非常に特殊な政治的・経済的・社会的・統治的文脈のなかでつ くられたものである。その他の文脈（グローバルサウスにおける文脈など）では、きわめて好ましくない効果を発揮する可能性もある。ひとつの例はミャンマーでFacebookが果たした役割である 25 。グローバルサウスの個人および国民のデータが、責任を問うことのできないグ
ローバルノースの利潤追求企業によって、何らの規制もなく、場合によっては搾取的な条件で取得されていることについての懸念も存在する 26 。
17．シリコンバレーにあるような新興デジタル技術セクターの特徴は、ジェンダーおよび人種の観点から見た「多様性の危機」であり 27 、とくに最高意思決定レベルでその傾向が強い。
この分野における重要な研究のひとつによれば、「現状、大規模なAIシステムの開発は一握りのテクノロジー企業と少数のエリート大学の研究室にほぼ独占されており、西側における
このような空間は、白人で裕福な技術系の男性が著しく多数を占めている。そこはまた、これまで差別と排除とセクシュアルハラスメントの問題が生じてきた空間でもある」 28 。同研
究はさらに、「これは不適切な行動をとる者が１人や２人いるという問題をはるかに超えている。このことが指し示しているのは、AI分野およびその製造を推進している業界の内部にある排除のパターンと、AI技術のロジックおよび適用に表れるバイアスとの間にある、組織的な関係の存在である」 29 としている。女性や人種的・民族的その他のマイノリティを不均衡に排除するこのような分野でつくり出される技術は、実際の展開時にこれらの不平等を再生産する可能性が高い。複雑な社会的現実および既存のシステムのなかでうまく機能する技
術をつくり出すためには社会的・法的・倫理的文脈を理解することが必要であり、このような理解は、多様で代表性の高い視点と専門的知見を取り込むことによって初めて可能になる
30。

18．市場勢力および経済的勢力は新興デジタル技術の設計・利用に強力な影響を及ぼしており、それが今度は市場に、そして資本主義そのものに対してさえ変容効果を及ぼしている 31 。
一方では、一部の経済的有力者が差別と不寛容を意図的に促進しようとしている。優越主義的思想を唱道するオンライン・プラットフォームに資金を提供する裕福な個人などがその例である 32 。他方、もっとも有力な市場勢力は、露骨な人種主義的意図または不寛容の意図を持たず、新興デジタル技術から生じる、利潤につながる成果をもっぱら求めようとするかもしれない。しかし、科学的知見の示すところによれば、利潤につながる製品は人種差別を生み出す可能性がある。経済構造が――世界中でそうであるように――人種的・民族的不平等によって規定されている場合、利潤の最大化は人種的・民族的不平等をともなうのが通例で

25 A/HRC/39/64参照。

26 たとえば https://privacyinternational.org/long-read/3390/2020-crucial-year-fight-data-protection-africa 参照。
27 www.technologyreview.com/2018/02/14/145462/were -in-a-diversity-crisis-black-in-aisfounder-on-whats-poisoning-the-algorithms-in-our; Noble, Algorithms of Oppression ; andWest, Whittaker and Crawford, “Discriminating systems” 参照。
28 West, Whittaker and Crawford, “Discriminating systems”, p. 6 (footnote omitted).
29 Ibid. p. 7.
30 Ibid.
31 たとえば Shoshana Zuboff, The Age of Surveillance Capitalism: The Fight for a Human
Future at the New Frontier of Power (New York, Public Affairs, 2019) 参照。
32 たとえば https://journals.sagepub.com/doi/full/10.1177/1536504218766547 参照。

7A/HRC/44/57

あり、多くの場合にはこのような不平等を強化しまたは悪化させることにつながる。
19．新興デジタル技術の恩恵へのアクセスおよびその享有に関する不平等は、かなりの程度、(a) 国際的レベルにおける地政学的不平等と、(b) 個々の国の内部における人種的・民族的不平等およびジェンダー化された不平等のパターンに沿って生じている 33 。
20．国際的レベルで見ると、グローバルサウスの国々にはグローバルノースのようなデジタ
ル・インフラが存在しない。グローバルサウスにおける稼働ブロードバンド契約数はグロー
バルノースの半分以下である 34 。アフリカにおける個人のインターネット利用率は、ヨーロッパが80パーセントであるのに対し、22パーセントとなっている 35 。いわゆる開発途上国で５人に４人がオンラインに接続できているのに対し、いわゆる後発開発途上国では５人に１人にすぎない 36 。COVID-19パンデミックへの各国の対応において技術が有用であったとしても、その恩恵が平等に行き渡っているわけではない。後発開発途上国は、COVID-19の人的・経済的影響に対してもっとも脆弱であるのみならず、デジタル面で、公衆衛生上の情報にオンラインでアクセスする態勢も、学校教育、就労および買い物のためのデジタル ・プラ
ットフォームを活用する態勢も、もっとも整っていない 37 。
21．諸国のなかでは、米国とカナダが世界デジタル経済を支配している。この２か国で、世界の上位70位までに位置する大規模プラットフォーム（ソーシャルメディアおよびコンテン
ツ・プラットフォーム、eコマース・プラットフォーム、インターネット検索サービス、モバイル・エコシステム、産業用クラウド・プラットフォームを含む）の株式時価総額の9割を占めている 38 。現時点の予測では、新興デジタル技術により、このような技術を活用する能力がある国々とそのような能力がない国々との間でデジタル・ディバイドがさらに拡大す
るのはほぼ確実とされる。
22．デジタル・ディバイドは各国の内部にも存在する。たとえば、世界デジタル経済における米国の支配的地位にもかかわらず、同国の人種的・民族的マイノリティは新興デジタル技術の恩恵を異なる形でしか享有できていない。後掲IIIで明らかにするとおり、これらのマイノリティは多くの場合に、新興デジタル技術に関連したもっとも重大な人権侵害の対象となっている。ピュー研究所（Pew Research Center）による2019年の調査によれば、米国では、黒人およびヒスパニック系の成人がコンピューターを所有している割合または自宅で高速インターネットにアクセスできる割合は依然として他よりも低いままである 39 。デスクトップまたはラップトップのコンピューターを持っていると回答した者の割合は、白人が82パーセントであるのに対し、黒人は58パーセント、ヒスパニック系は57パーセントに留まる 40 。
ブロードバンドの利用に関しても相当の人種的・民族的差異が存在しており、自宅でブロードバンドに接続していると回答する白人の割合は、黒人またはヒスパニック系よりも13～18パーセント高い 41 。人種および民族を軸とするこのようなデジタル・ディバイドは相当なも33 たとえば https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3403010 参照。
34

Trade and Development Report 2018: Power, Platforms and the Free Trade Delusion (United
Nations publication, Sales No. E.18.II.D.7), p. viii.
35
Ibid.
36
Digital Economy Report 2019, p. 13 参照。
37
https://unctad.org/en/PublicationsLibrary/dtlinf2020d1_en.pdf 参照。
38
Digital Economy Report 2019, p. xvi.
39
www.pewresearch.org/fact-tank/2019/08/20/smartphones-help-blacks-hispanics-bridge-some-butnot-all-digital-gaps-with-whites 参照。
40
Ibid.
41
Ibid.

8

A/HRC/44/57のである。ただし、研究者が主張してきたように、人種的・民族的マイノリティのデジタ
ル・インクルージョンを促進するための介入策は、これらのマイノリティをさらなる権利侵害（プライバシーや監視に関わる問題の結果として生じるものを含む）にさらすようなやり方で追求されてはならない 42 。中国の事案（後掲III）は、新興デジタル技術の設計・利用によって人権に関わる深刻な結果が生じることを例証するものである。これらの懸念は、グローバルサウスで中国系の新興デジタル技術の影響力が高まりつつあることによって増幅されている。
23．先住民族も新興デジタル技術の恩恵から差別的に排除されている 43 。カナダでの推計によれば、先住民族が多数を占める北部の住民は、南部の住民が利用している高速接続を利用できていない 44 。先住民族のデジタル・インクルージョンはオーストラリアでも、とくに都市以外の場所では進んでおらず、遠隔地にあるいくつかのアボリジナル・コミュニティでは、
2011年の段階で住民の６パーセントしかコンピューターを所有していなかった 45 。2015年に至ってもなお、何らかの形でインターネットに接続できているアボリジナル系住民の割合は
非アボリジナル系住民よりも69パーセント低かった 46 。

III．新興デジタル技術の設計・利用における人種差別の事例
A．露骨な不寛容および偏見を動機とする行動
24．人種差別的発言や差別・暴力の煽動を拡散しようとする者は新興デジタル技術に依拠しており、なかでもソーシャルメディア・プラットフォームが中心的役割を果たしてきた。特
別報告者は、人材募集、資金調達および活動調整のためにソーシャルメディア・プラットフ
ォームに依拠しているネオナチその他の白人至上主義者グループに関するこれまでの報告書
で、このような傾向を取り上げたところである 47 。露骨に偏見を動機として新興デジタル技術が活用されているもうひとつの顕著な事例として、ミャンマーの過激な民族主義的仏教徒グループと軍の関係者が、とくにイスラム教徒および民族的マイノリティであるロヒンギャへの差別・暴力を激化させるために行なっているFacebookの利用が挙げられる 48 。2018年、Facebook の マ ー ク ・ ザ ッ カ ー バ ー グ 最 高 経 営 責 任 者 は 米 国 議 会 上 院 で 証 言 台 に 立 ち 、Facebookの人工知能システムはこのような文脈におけるヘイトスピーチを検知できなかったと述べた 49 。事例はこれだけではない。ある意見書でも、インドで差別的かつ不寛容なコンテンツ（宗教的・言語的マイノリティ集団への暴力を煽動するコンテンツを含む）を増幅させるためにFacebookが利用された事例が取り上げられている 50 。
25．ソーシャルメディアでは、政治的言説の流れを変え、世論を見誤らせるためにボット―
42 https://journals.uic.edu/ojs/index.php/fm/article/view/3821 参照。
43 https://unesdoc.unesco.org/ark:/48223/pf0000260781 参照。

44 https://rightscon2018.sched.com/event/EHqs/addressing -the-digital-divide-in-indigenous-communities-in-north-america 参照。
45 www.creativespirits.info/aboriginalculture/economy/internet -access-in-aboriginalcommunitie 参照。
46 Ibid.
47 A/73/312およびA/HRC/41/55参照。
48 A/HRC/42/50, paras. 71–75.
49 www.commerce.senate.gov/2018/4/facebook-social-media-privacy-and-the-use-andabuse-of-data 参照。
50 Avaazによる意見書。

9

A/HRC/44/57―自動投稿アカウント――が利用されてきた。2019年には、調査対象に選ばれた70か国中50か国で、ソーシャルメディア上の情報操作活動でボットが利用されていた 51 。人種的・民族的・宗教的な不和および不寛容を助長する戦略として新興デジタル技術に依拠する集団にとっては、ボットがあってこそ、人種差別的な発言またはディスインフォメーション（意図的な偽情報）をオンラインで拡散することが可能になる。複数の事例が示唆するところによれば、ボットの組織的利用がとくに広く行なわれるのは選挙前の時期である。たとえば、2018年にスウェーデンで選挙が実施されるまでの時期には、国内政治を議論するTwitterア
カウントの６パーセントがボットであったと研究者によって認定されている。これらのボッ
トは、移民やイスラム教に関連したトピックについての投稿を、ボットではないアカウント
よりも多く行なっていた 52 。同様に、米国の2018年選挙前には、反ユダヤ主義的ツイートを行なうTwitterアカウントの28パーセントがボットであり、反ユダヤ主義的ツイート全体の43パーセントがこれらのボットによって行なわれていた 53 。ロシア連邦では、ソーシャルメ
ディア上で民族的・人種的分断を助長するために新興デジタル技術が利用されてきており 54 、
Twitter、Facebookその他のソーシャルメディア・サイトに設けられた数百の身元偽装アカ
ウントやページを通じてこのような活動が行なわれている。民族的マイノリティ集団に向けて人種平等を呼びかける投稿もあったものの、多くの投稿はこのような集団を非難して人種的緊張を助長しようとしていた。白人ナショナリスト集団を支持し、人種的マイノリティに対する差別や暴力を煽る偽装アカウントもあった 55 。
B．新興デジタル技術の直接差別的・間接差別的設計／利用
26．新興デジタル技術の設計・利用は、さまざまな人権へのアクセスに関して、人種的または民族的要因による直接的・間接的差別をもたらす可能性がある。
27．労働権に関して、ある意見書は、パラグアイが実施しているデジタル雇用システムでは雇用主側がさまざまなカテゴリーで採用候補者のソートおよびフィルタリングを行なえるよ
うになっており、そのカテゴリーのなかには人種の代替として機能するものもあると報告している 56 。さらに、パラグアイでは村落部の先住民族のうちスペイン語を話す者は半分以下であるのに、このシステムはスペイン語でしか利用できない。このように言語面でのアクセ
シビリティが制限されているために、たとえ政策立案者が意図するものではなかったにせよ、求職者による同システムの利用は民族に基づいて制約されている。
28．北米やヨーロッパで採用合格者を選抜するために用いられているアルゴリズムも、差別的な推薦を行なうとして批判されてきた。これらのシステムはこれまでに「合格」して採用された被雇用者のデータセットに基づいて候補者の特定を行なうよう教え込まれており、そこには保護対象である属性（ジェンダー、民族、宗教など）に関する情報も含まれる。その結果、それぞれのアルゴリズム・システムは、雇用においてすでに存在する不平等を反映した決定を行なうことにより、人種、民族、ジェンダーその他の属性をめぐる既存のバイアス

51 https://comprop.oii.ox.ac.uk/wp-content/uploads/sites/93/2019/09/CyberTroop-

Report19.pdf 参照。
52 www.semanticscholar.org/paper/Political-Bots-and-the-Swedish-General-ElectionFernquist-Kaati/2af3d1e16d5553dc489d8b44321ea543d571a4a9 参照。
53 www.adl.org/resources/reports/computational-propaganda-jewish-americans-and-the2018-midterms-the-amplification 参照。
54 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3304223 参照。
55 Ibid., p. 180.
56 Equal Rights Trust による意見書。

10

A/HRC/44/57

を再生産・強化してしまうのである。このようなシステムは直接的・間接的形態の人種差別を現実のものとする 57 。他方、このようなシステムにおいて人種・民族などの保護対象である地位をいかなる形でも考慮してはならないということになると、平等な雇用機会の促進のために国がとることのある特別措置またはアファーマティブ・アクション（積極的差別是正措置）が阻害されることにもなりかねない。
29．その他、差別的なインプットまたはプロセスに直接依拠するわけではない自動化システ
ムの導入も、そのために働き口が減少しまたは消滅することによって、周縁化された集団への間接差別が生じる可能性がある。ある意見書で提示された実例では、人工知能を基盤とする新たな衛生管理プロジェクトがインドで導入されたことにより、一般的に最下層カースト（ダリット）の人々によって担われてきた多くの仕事が要らなくなるおそれが生じている 58 。
ダリット、とくにダリット女性は衛生部門でしか就労先を見つけられないことが多く、インドの州のなかには衛生関連の職に関してダリットを優先的に採用しているところもある。 ス
マート衛生システムの実施は、ダリット、とくにダリット女性の職と生計 に不均衡な影響を及ぼす可能性が高い。インドにおけるダリットの社会経済的・政治的周縁化の状況をより広く踏まえれば、衛生部門における自動化は、衛生部門の仕事に依存している人々にとって、労働へのアクセスが根本的に損なわれることにつながりかねない。
30．新興デジタル技術は健康に対する権利にも差別的影響を及ぼしている。米国市場で用いられている上位10位の保健アルゴリズムは、将来のコスト予測のため患者の過去の医療費データを利用しており、これが保健ニーズの代替指標として用いられている 59 。保健分野で主導的地位にある会社が利用しているこのようなアルゴリズムについて最近行なわれた研究によれば、このようなアルゴリズムは米国の黒人患者を意図的ではないにせよ組織的に差別していることが明らかになった 60 。ハイリスクな患者をケアマネジメント・プログラムに登録しやすくすることを意図したこのアルゴリズムは、リスクレベルの予測のため患者の保健ニーズの代替指標として当該患者の保健コストを利用することにより、人種的バイアスをコード化していたのである 61 。人種がインプット対象とされていないことから「人種を考慮しない」（race-blind）ものだと開発者が考えていたこのアルゴリズム 62 は、病気の程度が白人の患者と同等であった黒人の患者に対し、一貫してより低いリスクスコアを付与していた 63 。
このアルゴリズムは、白人患者の場合と比べて、複雑な医療ニーズを有しているおそれがある黒人患者を半数も発見できなかった。その結果、健康状態改善のための介入プログラムに黒人患者が付託される可能性が低くなっていた。病院、保険会社および政府機関は、毎年200万人以上にのぼる人々のケアマネジメントに役立てるために、このアルゴリズムまたは類似のアルゴリズムを利用している 64 。
31．米国のもうひとつの実例として、ある最近の事例研究では、電子健康記録の開発に関し

57 https://fra.europa.eu/en/publication/2018/bigdata -discrimination-data-supported-decision-making 参照。
58 Association of Progressive Communications による意見書。
www.apc.org/sites/default/files/gisw2019_artificial_intelligence.pdf も参照。
59 www.sciencenews.org/article/bias-common-health-care-algorithm-hurts-black-patients参照。
60 https://science.sciencemag.org/content/366/6464/447 参照。
61 Ibid.
62 www.thelancet.com/journals/landig/article/PIIS2589-7500(19)30201-8/fulltext 参照。
63 https://science.sciencemag.org/content/366/6464/447 参照。
64 Ibid.

11

A/HRC/44/57て世界で先頭を行くエピックシステムズ社（Epic Systems Corporation）が開発した予測モデルを検証した 65 。エピック社の人工知能ツールは、既存の電子健康記録に直接組み込まれ、患者の個人情報（民族、階級、宗教およびボディマス指数を含む）や過去の非来院歴を利用して、患者が予定どおりに来院しない可能性を推定する。この研究を行なった研究者らは、脆弱な状況に置かれた患者集団への差別が行なわれる明らかな可能性を指摘して、「モデルからセンシティブな個人的属性を取り除くことは、バイアスの除去へのアプローチとしては不完全である」とする 66 。たとえば、過去の非来院歴は、患者が交通費や保育費用を負担できなかったこと、または予約にあわせて仕事を休めなかったことに表れる社会経済的状況と相関している可能性が高い。社会経済的状況と人種・民族との間には相関があるため、非来院歴は人種および民族とも相関している可能性が高い 67 。最近行なわれた別の研究では、黒人の患者の来院予定は予約が重複する時間帯に入れられる可能性がより高く、そのため来院しても通常より長く待たなければならないことが明らかにされている 68 。
32．居住との関連では、米国で行なわれた研究により、Facebookのターゲティング広告における民族差別が明らかにされてきている。Facebookはかつて、広告ターゲティングツー
ルの「人口属性」カテゴリーに基づいて一定の「民族的親和性」を有するFacebookユーザ
ーを除外することにより、広告出稿者が「オーディエンスを絞る」ことを可能にしていた 69 。
このターゲティング広告手法を用いて黒人が特定の住宅広告を閲覧できないようにすることができたが、これは米国の反差別法で禁止されている行為である。米国のデジタル広告市場
におけるFacebookのシェアは推定22パーセントに達しており 70 、同社のビジネスモデルの中核であるターゲティング広告 71 には人種的排除の傾向があることが明らかにされてきた 72 。このような慣行はデジタル・レッドライニング（特定警戒地区指定）の一形態として理解するのがもっとも適切であり、これは「すでに周縁化されている集団への差別的慣行をさらに固定化する技術慣行の創造および維持」と定義される 73 。Facebookは雇用との関連でもターゲティング広告を用いており、同様の懸念を生じさせている。
33．さらに別の事案として、技術――および技術を通じて入手できる情報――へのアクセスが、異なる影響を生じさせるやり方で、または特定の人種的、民族的または宗教的集団を（ときとして差別的に）標的とするようなやり方で、否定される場合もある。2019年には、バングラデシュ、コンゴ民主共和国、エジプト、インド、インドネシア、イラン・イスラム共和国、ミャンマー、スーダン、ジンバブエを含む複数の国が、特定宗教の信者によるイン
ターネットへのアクセスを完全に制限し、これらの地域の内外でほぼすべての通信が妨げられる効果をもたらした 74 。研究者らは、マイノリティ集団がより集中している地域でいっそ65 www.healthaffairs.org/do/10.1377/hblog20200128.626576/full 参照。
66 Ibid.

67 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3467047 参照。
68 Ibid.

69 www.propublica.org/article/facebook-lets-advertisers-exclude-users-by-race 参照。

70 www.emarketer.com/content/us-digital-ad-spending-will-surpass-traditional-in-2019 参

照。
71 www.motherjones.com/politics/2019/12/facebook-agreed-not-to-let-its-ads-discriminatebut-they-still-can 参照。
72 www.propublica.org/article/facebook-advertising-discrimination-housing-race-sexnational-origin 参照。
73 www.congress.gov/116/meeting/house/110251/witnesses/HHRG -116-BA00-WstateGillardC-20191121.pdf 参照。
74 www.hrw.org/news/2019/12/19/shutting-down-internet-shut-critics 参照。

12

A/HRC/44/57

う対象の明確なインターネット遮断が行なわれたと指摘している 75 。
34．公正な裁判に対する権利との関連では、ラテンアメリカの複数の国の裁判所で、司法手続の合理化のためにPrometea（プロメテア／音声認識および機械学習予測を用いるソフトウェア）の利用が始まっている。ブエノスアイレスの地方検察局と裁判所は、この人工知能システムを用いて単純な事件（タクシー免許に関する紛争、学校用品について補償がされないという教員からの申立てなど）の司法決定を自動化している 76 。このような事件では、入力された事実関係をPrometeaが解釈し、同様の事件における過去の裁判例に基づいて法的結論を提案するのである。裁判官の承認がなければ決定は公式なものにならないが、承認率は96パーセントにのぼる 77 。真に懸念されるのは、この高い承認率が、技術は客観的かつ中立であるという、これまでに論じてきた推定の結果である可能性が高いことである。コロン
ビアの憲法裁判所は、Prometeaを用いてトゥテラ（ tutelas 、個人による憲法権利請願）の振り分けを行ない、どの請願を審理するか決定している 78 。Prometeaおよびこれに類する他の多くの人工知能システムに関して懸念されるのは、その「ブラックボックス」効果である――その意思決定の根拠は不明瞭であり、裁判官、その他の法廷職員および訴訟当事者にとって（そしてこれらのシステムを注文する公的機関にとってさえ）、設計、インプットまたはアウトプットにおけるバイアスの有無を判断することは困難または不可能である。
Prometeaが人種的・民族的マイノリティに及ぼしている（または及ぼしうる）影響を知る
ことは不可能だが、このようなシステムが、その投入先である司法制度にすでに存在している人種的・民族的格差を強化しまたは悪化させるおそれは強い。
35．刑事司法との関連では、世界各地の警察署で予測警察活動（predictive policing）のために新興デジタル技術が利用されており、人工知能システムが、犯歴、犯罪統計、 近隣地区の住民構成といった複数のデータソースから情報を引き出している 79 。これらのデータセッ
トの多くは既存の人種的・民族的バイアスを反映しているため、これらの技術の「中立性」が推定されているにもかかわらず、あるいはこれらの技術が人間を補完しまたは人間にとって代わることによってバイアスが緩和される可能性があるとさえ考えられているにもかかわらず、人種差別を強化するようなやり方で運用されてしまう。さらに、警察署には、民族的または人種的マイノリティが多数を占める貧困地区に、不均衡なほど予測技術を投入する傾向がある。
36．たとえば英国では「ギャング暴力マトリックス」（Gangs Violence Matrix）として知られるデータベースが利用されているが、これは差別的であることが明らかになっている 80 。
警察官は個人に関してその人種、ジェンダー、年齢および社会経済的状況に基づく憶測を行なっており、そのためこれらのステレオタイプがさらに強まっているとされる 81 。これにより、マトリックスに登録されている個人の78パーセントは黒人であり、これに加えて９パー75 www.accessnow.org/cms/assets/uploads/2020/02/KeepItOn -2019-report-1.pdf 参照。
76 www.bloombergquint.com/businessweek/this-ai-startup-generates-legal-papers-

without-lawyers-and-suggests-a-ruling 参照。
77 www.giswatch.org/2019-artificial-intelligence-human-rights-social-justice-anddevelopment 参照。
78 www.ambitojuridico.com/noticias/informe/constitucional-y-derechoshumanos/prometea-inteligencia-artificial-para-la 参照（スペイン語）。
79 Association for Progressive Communications による意見書。
80 A/HRC/41/54/Add.2, para. 40.
81 www.amnesty.org.uk/files/reports/Trapped%20in%20the%20Matrix%20Amnesty%20rep
ort.pdf 参照。

13

A/HRC/44/57

セントがその他の民族的マイノリティ集団の出身者という結果が生じているが、警察自身が発表している数字では、若者による深刻な暴力事件の加害者のうち黒人は27パーセントにすぎない。警察はまた、公共職業安定所、住宅組合、教育機関といった他の機関ともマトリックスを共有しており、ギャングとつながりがあると疑われて個人が差別される結果を生じさせている。このような情報がどのように共有されるかによっては、プライバシー権が侵害される可能性に機会が開かれるほか、居住および雇用に関わる権利にも差別的影響が生じかねない。マトリックスに名前を載せられている人々は「いかなる法的根拠もないと思われる職
務質問と所持品検査を複数回」経験している 82 。警察による職務質問と所持品検査を200回受けたという者もいれば、1000回にも達しているという者もおり、毎日何回も職務質問を受けているという報告もある。これは、プライバシーおよび恣意的逮捕からの自由に対する民
族差別的干渉によって、自由に対する個人の権利に影響を及ぼすものである。
37．もうひとつ例を挙げれば、ある意見書では、予測警察活動が、ロサンゼルスなどの米国の都市において、いわゆる犯罪防止戦略における地域警察活動で用いられる手法になりつつあることが強調されている 83 。ロサンゼルス市警察は最近まで、今後12時間以内に犯罪が起きる可能性の高い時間と場所を予測するため、PredPol（プレッドポル）と呼ばれる、10年間の犯罪データ（犯罪の種別、日時、場所および頻度を含む）を検討する技術を利用していた。警察官によって収集・分類されるこれらのデータは、黒人コミュニティおよびラテンア
メリカ系コミュニティで監視が強化されたことの産物でもあり原因でもある。予測警察活動
は、中立的とされるアルゴリズムによる意思決定を理由に客観性を装いつつ、警察制度内に存在するバイアスを反復し、悪化させているのである。ロサンゼルス市警察はPredPolの使用を停止したものの、同様の懸念を生じさせる可能性が高いその他の予測 警察活動用製品の使用は否定していない。
C．人種差別的構造
38．世界各地の実例から明らかになっているのは、異なる新興デジタル技術の設計・利用が意識的・無意識的に組み合わせられることによって人種差別的構造がつくり出されうるということであり、その構造のために、一部の集団による人権の享有が、その人種、民族または国民的出身を理由として、その他の属性ともあいまって、総体的または組織的に阻害されているということである。すなわち、新興デジタル技術を、個別の人権へのアクセスおよびその享有の水準を低下させうる存在としてのみ捉えるのではなく、人種的・民族的排除を組織的にまたは構造的につくり出し、維持しうる存在としても理解することが求められ る。特別報告者は、本節で、すでに存在している（生じる可能性がある）差別的構造の実例を検討し、このような構造の維持において生体データ認証システム、人種化された監視および人種化された予測分析が広く採用されていることを強調する。
39．中国は、生体認証・監視技術を利用して民族的マイノリティ集団であるウイグル人の移動および活動を追跡・制限することにより、とくに平等および差別禁止に対するこの集団の構成員の権利を侵害している 84 。ウイグル人は警察による根拠のない職務質問を頻繁に経験しており、また警察の検問所で電話をスキャンされてプライバシー権を侵害されている。ウ
こうさい

イグル人については、DNAサンプルおよび虹彩 スキャンを含む詳細な生体データも義務的に82 www.stop-watch.org/uploads/documents/Being_Matrixed.pdf 参照。
83 Stop LAPD Spying Coalition による意見書。
84 CERD/C/CHN/CO/14-17参照。

14

A/HRC/44/57

収集されている。信頼できる複数の報告によれば、国は、「顔認証技術と全土に設置した監視カメラを組み合わせて、容貌を頼りにもっぱらウイグル人を追跡し、検索と再調査のために彼らの往来を記録している」 85 。また、やはり複数の報告で指摘されているところによれ
ば、このような監視・データ収集活動が行なわれるかたわら、多数の民族的マイノリティが、宗教的過激主義に対抗するという名目で政治的「再教育キャンプ」に隔離拘禁されており、被収容者の告発または審理も行なわれないままとなっている 86 。浮かび上がってくるのは、
多くの新興デジタル技術に支えられており、これらの技術によって可能になった組織的民族差別の姿であり、そのためにウイグル人の幅広い人権が侵害されている。
40．ケニアとインドは公共サービスへのアクセスのために生体認証を実施しており、それぞれフドゥーマ・ナンバ（Huduma Namba）、アドハー（Aadhaar）と呼ばれている 87 。これらのプログラムには、指紋、網膜・虹彩パターン、音声パターンその他の識別手段を含む、さまざまな形態の生体データの収集が含まれる。これらのシステムを通じて公共サービスにアクセスしようとする際、両国の一部の人種的・民族的マイノリティ集団は、サービスから排除されることもあれば、運用上の障壁や時間のかかる審査プロセスに直面して、受給資格のある公共サービスから事実上排除されかねない状況に置かれる場合もある。このようなサービスには、インドでは年金および失業手当が含まれ、ケニアでは、投票、出生証明書や民事婚の登録、税の支払い、不動産権利書の受け取りをはじめとするすべての必須行政サービスが含まれる。インド最高裁判所は、国の福祉を受給するためにはアドハー番号が必要であるとする法律を支持している。同じ判決で、民間の主体が国の業務以外の目的（銀行業務、雇用および携帯通信など）でアドハー番号を利用することが禁じられたにもかかわらず、実際にはこのような要件は依然として広く用いられている。さらに、障害のある人々――障害のある民族的・人種的マイノリティを含む――は、指紋または虹彩のスキャンに応じられないために差別を経験している。法律ではこのような人々のための特別な仕組みが定められているが、多くのセンターは生体データを用いずにこのような利用者を登録することについて訓練を受けていないため、障害のある人々は運用上の障壁に直面し続けている 88 。公共サービスのためにデジタル認証システムを用いることは、厳格な保護措置をとらないかぎり、人
種的・民族的マイノリティ、とくに市民としての地位が不安定なマイノリティを不均衡なほど排除することにつながる 89 。
41．多くの国が福祉制度に新興デジタル技術を組み入れる試みを進めており 90 、そこでは人
種差別的構造を強化するような方法も用いられている。オーストラリアは、一般的にはロボデット（robo-debt）として知られる、「オンライン法令遵守介入」システムを実施してきた 91 。この自動意思決定システムは、機械学習アルゴリズムを用いて国の福祉手当の超過支払いが疑われる事案を特定し、受給する資格がある額を超えて福祉手当を受け取ったと判断
85 www.nytimes.com/2019/04/14/technology/china-surveillance-artificial-intelligence-

racial-profiling.html および A/HRC/41/35, para. 12 参照。
86 CERD/C/CHN/CO/14-17参照。
87 A/74/493参照。
88 https://timesofindia.indiatimes.com/city/kolkata/court-relief-in-disabled-womansaadhaar-battle/articleshow/68961357.cms 参照。
89 市民権へのアクセスにおける人種差別について人権の視点から分析したものとして、
A/HRC/38/52参照。
90 A/74/493参照。
91 www.unswlawjournal.unsw.edu.au/forum_article/new -digital-future-welfare-debts-with
out-proofs-authority および www.ombudsman.gov.au/__data/assets/pdf_file/0022/43528/R
eport-Centrelinks-automated-debt-raising-and-recovery-system-April-2017.pdf 参照。

15

A/HRC/44/57

された者に対し、必要書類の提出を要求するものである。このシステムにより、2016年から2017年にかけての６か月間に毎週およそ２万件の債務通告書が発送された。調査の結果、債
務通告書のうち、システムプロセスおよびデータの瑕疵のために誤って過払い認定が行なわれたと推定される者の割合は20～40パーセントにのぼった。国は、国に対する債務がないことの立証責任を福祉手当受給者側に課した。白人のオーストラリア人よりも高い割合で福祉手当を受給している先住民族のオーストラリア人 92 は、直面している障壁のために異議申立てを行なう余裕がもっともないにもかかわらず、このシステムの欠陥による負担をもっとも多く負わされている。最近発表された人権に関する裁判意見書では、オランダでも同様の懸念が生じていることが明らかにされ、社会福祉の支給における新興デジタル技術の利用が、同国の最貧層およびもっとも脆弱な状況に置かれている人々への人権侵害につながっていることが指摘されている 93 。同国でも人種的・民族的マイノリティが不均衡なほどの社会経済的周縁化に直面しており、階級差別は人種差別でもあるという切迫した懸念を生じさせている。
42．デンマーク、ニュージーランド、英国、米国などの国によって例証されているように、各国がリスクの算定とニーズの分類を目的としてますます新興デジタル技術を利用しつつあ
るなか 94 、新興デジタル技術が人種的または民族的マイノリティに対して異なる影響を及ぼす可能性についていっそう詳しく検討することが、国の優先課題とされなければならない。
福祉制度のデジタル化が進められつつある社会では、諸集団が人種的・民族的理由で周縁化され、差別され、かつ排除されているため、国が積極的に予防策をとらないかぎり、このようなシステムがこれらの不平等を強化することはほぼ確実である。デジタル福祉国家は、緊急の介入が行なわれなければ、差別的デジタル福祉国家として固定化されてしまうおそれがある。
43．場合によっては、人種差別的構造はある部門（たとえば刑事司法）に限定されていても、影響を受けている人々の人権をその構造が総体的に掘り崩し、社会における構造的抑圧を強化させてしまうこともある。このようなケースに該当する米国では、新興デジタル技術により、刑事司法の運営における人種差別的構造が維持・再生産されている。同国では、警察活動だけではなく司法制度においても新興デジタル技術が一般的に利用されており、人種的・民族的マイノリティにとって差別的な結果が生じていることとの関連が指摘されてきた。 米
国のいくつかの州では、刑事司法プロセスのあらゆる段階で人工知能によるリスク評価ツー
ルが利用されている。このようなシステムによって客観的な、データに基づく司法判断が行なわれることを開発者は意図しているものの 95 、そこで用いられるアルゴリズムが依拠するのは、「瑕疵のある、人種的バイアスに基づいた、ときとして法律にも違反する実務および政策から、記録対象期間中に作成されたデータ」であることが多い 96 。これらのアルゴリズ
ムは量刑に影響を与えることから、法律の前の平等、公正な裁判および恣意的逮捕・拘禁からの自由に対する個人の権利の侵害につながりうる。このようなリスク評価では、 過去の逮捕歴および前科、親の犯歴、郵便番号に基づく居住地ならびにいわゆる「地域崩壊」のよう

92 www.aihw.gov.au/reports/australias-welfare/australias-welfare-2019-data-

insights/contents/summary 参照。
93 www.ohchr.org/Documents/Issues/Poverty/Amicusfinalversionsigned.pdf 参照。
94 A/74/493, para. 27.
95 www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing 参照。
96 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3333423 参照。

16

A/HRC/44/57

な因子が重視されることが多い 97 。ある研究の報告では、著者らが次のような知見を明らかにしている。「これらの因子は、対象とされる人々の行動に関わる何かではなく、過剰な警察活動、黒人・有色人種の居住地域における法執行行動、人種的カースト制度から生じる より広範囲の社会経済的不利益のパターンを反映するものである。換言すれば、これらのデー
タがよりよく予測するのは、ある人物の行動よりも、被疑者・被告人の地域における人種化された不利益の状況と警察の活動状況なのである」 98 。

IV．新興デジタル技術の設計・利用における人種差別への構造的・分野横断的人権法アプローチ：分析と勧告
44．新興デジタル技術は、人権の視点に立てば、規制および管理に関わる巨大な課題を突きつけるものである。多くの場合、差別的結果と関連の結果を生じさせているデータ、コード
およびシステムは複雑であり、契約や知的財産法などによって詳細な検討ができなくされている。状況によっては、コンピュータ・プログラマー自身でさえ、自分のアルゴリズム・シ
ステムがどのように機能しているのか説明できない場合もある。この「ブラックボックス」
99

効果により、影響を受けている集団は、法的手続を通じて差別を証明するために通常必要とされる法外な立証上の負担を――そもそも裁判手続を利用できたとして――なかなか克服できない。他方、新興デジタル技術の製作・実施に責任を負う企業が、自社のシステムが人権原則を遵守しており、人種差別的な結果を生み出さないことを証明する ように法律で要求されることは、あったとしても、ほとんどない。
45．国際人権法は、本報告書で明らかにされた諸問題を解決するための万能薬ではけっしてないものの、人工知能がもたらす社会的害を特定してこれに対処し、かつこれらの害に関してアカウンタビリティを確保するうえで重要な役割を果たすべき位置にある 100 。表現および意見の自由に対する権利の促進および保護に関する特別報告者が強調したとおりである 101 。
新興デジタル技術の管理に対する倫理的アプローチは国際人権法にのっとって追求されなければならず、国は、このような倫理的アプローチが、法的拘束力のある現行法上の義務の発展および執行の代替物として機能しないことを確保しなければならない。 特別報告者は本セクションで、国際人権法上の直接的・間接的・構造的人種差別の概念と理論について説明するとともに、新興デジタル技術に関わって国にどのような義務が課されているかを概観する。
これらの義務は、これらの技術に関して多くの点で国よりも大きな統制力を有しているテクノロジー企業などの非国家主体にも関連するものである。本セクションには、取り上げた規範および義務を具体的に実施するための勧告の非網羅的リストも含まれる。
A．新興デジタル技術の設計・利用において法的に禁じられる人種差別の範囲
46．特別報告者は、国際人権法が、すべての人は人間であることをもっていかなる理由によ
る差別もなくすべての人権を享有するべきであるという前提に基づいていることを想起する。

New York University Center on Race, Inequality, and the Law による意見書。
Ibid.
99
Frank Pasquale, The Black Box Society: the Secret Algorithms that Control Money and Information(Cambridge, Massachusetts, Harvard University Press, 2015).
100
https://datasociety.net/wp-content/uploads/2018/10/DataSociety_Governing_Artificial_Intelligence_Upholding_Human_Rights.pdf 参照。
101
A/73/348, paras. 19–60.
97
98

17

A/HRC/44/57

人種差別の禁止はすでに国際法の強行規範 102 としての、また対世的義務（ erga omnes 、国際社会全体に対して負う義務） 103 としての地位を得ている。国際人権法上、各国は、多くの異なる条約体制全体を通じて、人種平等および差別禁止の義務についてさらに詳し い規定を定めてきた。平等および差別禁止の原則はすべての人権条約で成文化されている 104 。市民的および政治的権利に関する国際規約第26条では、法律は、あらゆる差別を禁止するとともに、人種、皮膚の色、性、言語、宗教、政治的意見その他の意見、国民的もしくは社会的出身、
財産、出生または他の地位等のいかなる理由による差別に対しても平等のかつ効果的な保護をすべての者に保障しなければならないと述べている。経済的、社会的および文化的権利に関する国際規約もこれらの理由による差別を禁じている 105 。
47．人種差別撤廃条約第１条(１)は、人種差別を、人種、皮膚の色、世系または民族的もし
くは種族的出身に基づくあらゆる区別、排除、制限または優先であって、政治的、経済的、
社会的、文化的その他のあらゆる公的生活の分野における平等の立場での人権および基本的自由を認識し、享有しまたは行使することを妨げまたは害する目的または効果を有するものと定義している。同条約が目指すのは、形式的な平等観をはるかに超えた地平である。国際
人権枠組みにおける平等は実質的概念であり、各国に対し、故意のまたは意図的な人種差別と闘うための措置とともに、事実上の、意図的ではないまたは間接的な人種差別と闘うための措置をとることも要求している 106 。
48．各国は、新興デジタル技術との関連で、国際人権法にのっとった、人種差別の禁止に関する構造的理解を適用しなければならない。新興デジタル技術の特定の利用を通じて生み出される人種差別の意味を国家がどのように判断するかについて決定する重要な作業においては、人権法の定義が採用されなければならず、各国は、民間セクターのアプローチにおいてもこれらの定義が踏まえられることを要求するべきである。すなわち、各国は、新興デジタ
ル技術の利用・設計における露骨な人種主義および不寛容だけではなく、当該技術の設計・利用から生じる間接的および構造的形態の人種差別にも、まったく同様の真剣さをもって、対処しなければならない。人種差別と闘う義務は、前掲IIIで述べた、人種差別的構造およびその他の形態の直接的・間接的差別にも及ぶ。各国は、新興デジタル技術の 管理および規制に対する「カラーブラインド」アプローチを拒絶しなければならない。このようなアプロ
ーチは、人種的・民族的マイノリティが置かれている特有の周縁化状況を無視するとともに、これらの技術に関連する問題および解決策を、当該技術がこれらの集団に及ぼす可能性のある影響を考慮することなく概念化しようとするものである。
49．ダーバン行動計画パラ92－98を想起し、特別報告者は、各国に対し、新興デジタル技術の設計・利用に関連する個人的および集団的な人種的不平等に対処する目的で、人種的または民族的事由に基づいて細分化された信頼できる統計データを収集し、とりまとめ、分析し、普及しかつ公表するよう促す。特別報告者は、各国に対し、データの収集および保存における細分化、自認の尊重、透明性、プライバシー、参加およびアカウンタビリティを確保

102 自由権規約委員会「緊急事態における規約の規定からの逸脱に関する一般的意見29号」（2001年）、パラ8および13(c)。A/CN.4/727, para. 59も参照。

Barcelona Traction, Light and Power Company, Limited, Judgment, I.C.J. Reports
1970 , p. 3, at p. 32, para. 33.
103

104 A/HRC/32/50, paras. 10–14.
105 第2条(2)参照。

106 人種差別撤廃委員会「条約における特別措置の意味および範囲に関する一般的勧告32号」（2009年）、パラ6－7。

18

A/HRC/44/57

することにより、データに対する人権基盤アプローチをとるよう促すものである 107 。直接的・間接的形態の差別を特定して対処するためには、新興デジタル技術の異なる影響を明らかにすることのできるデータを（人権基準を遵守しながら）収集することが必要とされる。
しかし、このようなデータを収集していない国または収集を要求していない国は多い。それどころか、欧州連合諸国のなかには、民族または人種に基づく差別の特定および是正を可能とする細分化されたデータの収集を禁じているところもある 108 。このような禁止は、人種差別を防止しかつこれと闘う義務をこれらの国が履行することを妨げるものであり、改革 されるべきである。この点に関する最近の前向きな進展の例としては、英国の人種格差監査（Race Disparity Audit）がある 109 。
50．国際人権法が命ずる人種差別の撤廃のためには、交差性の観点に立った分析が必要である。交差性（intersectionality）に関する次の定義は、その重要性をうまく捉えている。
「交差性」の概念は、２つ以上の形態の差別または従属化システム間の相互作用がもた
らす構造的結果と動態的結果の両方を把握しようとするものである。そこでは、人種主
義、家父長制、経済的不利益その他の差別的システムが、女性および男性、人種ならびにその他の集団の相対的立場を構造化する不平等の層をつくり出すことにどのように 寄与しているかについて、具体的に扱われる。さらに、これらの交差する軸に沿って存在
し、ディスエンパワーメントの力学をつくり出すことに寄与している重荷が、特定の行為および政策によってどのように生み出されているかについても扱う。 110
51．人種差別撤廃委員会は、人種差別撤廃条約が複合的および交差的形態の差別にも適用されることを明らかにしてきた 111 。さらに、同条約における人種差別の禁止の適用は、同様に直接的・間接的形態の差別を禁止しまたは非難している、女性に対するあらゆる形態の差別の撤廃に関する条約（第1条）、障害のある人の権利に関する条約（第２条）および先住民族の権利に関する国連宣言（第２条）とあわせて追求されるべきである。
52．各国は、人種および民族と交差するその他の形態の差別との闘いにもあわせて努めるべきであり、国家の義務は、複合的かつ交差的な差別構造の対象とされている集団および人々の人権状況の理解の向上を可能とする、細分化されたデータの収集および分析 を要求するものであると理解されるべきである。このことは、新興デジタル技術との関連では、 人種差別に対抗するための介入においてはジェンダー、障害に関わる地位およびその他の保護対象カ
テゴリーに意味のある形で注意が向けられなければならないことを意味する。アフリカ系の人々に関する専門家作業部会は、最近の報告書で、この分野で不可欠な交差的分析がどのようなものであるかの範を示している 112 。
B．新興デジタル技術の設計・利用における人種差別を防止しかつこれと闘う義務
53．人種差別撤廃条約は、新興デジタル技術の具体的文脈において注意が向けられなければならない国家の一般的義務を多数規定している。同条約は、個人、集団または団体に対する人種差別の行為または慣行に従事しないことならびに国および地方のすべての公の当局およ107 A/HRC/42/59参照。

108 https://fra.europa.eu/en/publication/2018/bigdata -discrimination-data-supported-decision-making 参照。
109 A/HRC/41/54/Add.2, paras. 16–19.
110 www.un.org/womenwatch/daw/csw/genrac/report.htm 参照。
111 人種差別撤廃委員会、一般的勧告32号。
112 A/HRC/42/59参照。

19

A/HRC/44/57

び機関がこの義務にしたがって行動するよう確保するという法的約束を、すべての締約国について確立したものである。締約国は、このような行為または慣行に従事するのではなく、あらゆる形態の人種差別を撤廃する政策を、すべての適当な方法により遅滞なくとらなければならない 113 。条約はまた、締約国に対し、政府（国および地方）の政策を再検討し、かつ、
人種差別を生じさせる効果またはすでに差別が存在する場合にはそれを永続化させる効果を有するいかなる法令も改正し、廃止しまたは無効にするための効果的な措置をとることも要求している 114 。さらに、状況により正当とされる場合には、締約国は、特定の人種の集団またはこれに属する個人に対して人権および基本的自由の十分かつ平等な享有を保障するため、
社会的、経済的、文化的その他の分野において、当該人種の集団または個人の充分な発展および保護を確保するための特別かつ具体的な措置をとらなければならない 115 。
54．条約第7条に基づき、締約国は、人種差別につながる偏見と闘うため、とくに教授、教育、文化および情報の分野において即時的かつ効果的な措置をとることを約束している。特
別報告者は、最近発表した他の報告書で、人種主義的・排外主義的言動（オンラインで行なわれるものを含む）と闘うために各国が有している人権法上の義務について詳しく述べた 116 。
これらの義務は、本報告書で分析した諸問題についても同じように適用される。新興デジタ
ル技術との関連では、各国は、市民的、政治的、経済的、社会的および文化的権利へのアクセスにおけるこれらの技術の人種差別的設計・利用を発見し、これと闘うための効果的措置をとらなければならない 117 。
55．新興デジタル技術の設計・利用における人種差別を防止しかつ撤廃する国の義務を履行するためには、前掲IIで取り上げた、これらのセクターにおける「多様性の危機」に対処することが必要となる。各国は、新興デジタル技術の設計・利用に関連する意思決定のあらゆ
る側面において人種的・民族的マイノリティが意味のある形で代表されることを確保するために必要な特別措置を発展させる目的で、民間企業と協働しなければならない（法的拘束力のある枠組みに基づいた協働を含む）。新興デジタル技術のさまざまなセクターにおける真の力関係の転換が必要であり、女性および人種的・民族的マイノリティ集団を形ばかり加えるだけで済ませてはならない。力関係を――民間セクターの内部においてさえ――転換させるためにもっとも重要なのは、新興デジタル技術の設計・利用における差別についての理解を
学際的視点から深めることをとくに目的とする調査研究および知識生産にいっそう深く関与
し、かつこれらの調査研究等に資金を拠出することである。批判的人種・デジタル研究セン
ター（Center for Critical Race and Digital Studies）とつながりのある研究者らが実例を提供してくれている 118 。
56．各国は、新興デジタル技術が人種差別的に利用・設計される危険性の防止および緩和のため、迅速かつ効果的な行動をとらなければならない。そのための手段としては、このような技術を基盤とするシステムを公的機関が採用する際、人種平等・差別禁止に関する人権影
響評価の実施を前提とすることなどが挙げられる。このような影響評価には、 人種的または民族的に周縁化されている集団の代表と共同で立案・実施を行なうための、意味のある機会
113 第2条(1)(a)。
114 第2条(1)(c)。
115 第2条(2)。

116 A/73/305, A/73/312およびA/HRC/38/53参照。
117 条約第5条は、人種差別の禁止が市民的、政治的、社会的、経済的および文化的権利へのアクセスおよびこれらの権利の享有にも適用されることを明確にしている。
118 https://criticalracedigitalstudies.com 参照。

20

A/HRC/44/57

が組み込まれなければならない。平等影響評価については、完全に自主的なものとするアプ
ローチも、または主として自主性なものとするアプローチでさえ十分ではなく、義務的アプ
ローチが不可欠である。たとえば、このような方向への進展が最近欧州評議会で見られるのは称賛に値する 119 。そこでは、人種差別が軽視されてはならず、意思決定から人種的・民族的マイノリティが排除されてもならない。ときとして、公的機関による新興デジタル技術の設計・利用において人種差別的結果およびその他の人権侵害が生じることを防止するため、これらの技術によって害が生じるおそれが十分に緩和されるまで、その利用を完全に禁止しなければならないこともありうる。地方政府による顔認証ソフトウェアの利用を禁止したサンフランシスコ市の決定はこの点に関する好例である。
57．各国は、平等および差別禁止に関する義務を遵守するため、公共セクターによる新興デジタル技術の利用に関して透明性とアカウンタビリティを確保するとともに、監査可能なシステム以外は利用しないことなどにより、独立した分析および監督ができるようにしなければならない。新興デジタル技術の利用に関する公共セクターのアカウンタビリティを確保するためにカナダが最近行なった改革は、この点に関する重要な第一歩の例である 120 。
58．各国は、新興デジタル技術の柔軟で、実際的かつ効果的な規制および管理のために策定される倫理上の枠組みおよび指針が、法的拘束力を有する国際人権原則（人種差別を禁ずる原則を含む）を基盤としたものとなることを確保しなければならない。機械学習システムにおける平等および差別禁止に対する権利の保護に関するトロント宣言は、拘束力を有する国
際人権法と、人工知能管理のための倫理指針または倫理原則との間に存在すべき共生関係のよい例である 121 。トロント宣言は、国際人権法に基づく平等および差別禁止に拘束力があることを強調し、これらの法の実際的実施のために活用可能な指針を提示している。

民間企業と国連その他の国際機関
59．国際人権法が直接の法的拘束力を有するのは国家に対してのみだが、国家がこの点に関する自国の法的義務を履行するためには、企業を含む私人に責任がある人種差別について効果的な救済を確保することが要求される 122 。人種差別撤廃条約に基づき、各国は、官民双方の領域全体で人種的平等を達成・保護するための特別措置を定めなければならない 123 。これには、新興デジタル技術に関与する企業の緊密な規制監督が含まれるべきである。
60．ビジネスと人権に関する指導原則で詳しく述べられているように、民間企業には、人権
デューデリジェンス等を通じて人権を尊重する責任がある。人権デューデリジェンスにおいては、実際のまたは潜在的な人権への影響を評価すること、その知見を統合しかつこれに基づいて行動すること、反応を追跡すること、および、このような影響への対処方法を知らせることが要求される 124 。同指導原則をデジタル技術に適用する「技術におけるビジネスと人

119 Recommendation CM/Rec(2020)1 of the Committee of Ministers to member States on

the human rights impacts of algorithmic systems, 8 April 2020.
120 www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=32592 参照。
121 www.torontodeclaration.org/declaration-text/english 参照。
122 たとえば自由権規約委員会「規約締約国に課される一般的な法的義務の性質に関する一般的意見31号」（2004年）、パラ8参照。
123 人種差別撤廃委員会、一般的勧告32号、パラ23。社会権規約委員会「経済的、社会的および文化的権利における差別の禁止に関する一般的意見20号」（2009年）、パラ11、および人種差別撤廃委員会「条約第1条(1)の文脈における世系に関する一般的勧告29号」（2002年）、セクシ
ョン7も参照。
124 A/HRC/17/31付属文書、原則17。

21

A/HRC/44/57

権」プロジェクト（B-Techプロジェクト）で強調されているように、デューデリジェンスは、新製品のコンセプト立案、設計およびテスト段階とともに、それを下支えするデータセットとアルゴリズムにも適用されるべきである 125 。トロント宣言では、機械学習システムに関して企業の人権デューデリジェンスを履行するための中核的要素またはステップが３つ挙げられている。(a) 潜在的な差別的結果を特定すること、(b) 差別の防止と緩和を図り、反応を追跡すること、そして (c) 差別の特定、防止および緩和のための努力に関して透明性を確保することである。最近の報告書で強調されているように、予防的人権デューデリジェンス・ア
プローチが、「製品開発から始まるすべてのライフサイクル段階に沿って、状況に特有の環境下でAIの死角の特定およびシステム全体に影響を及ぼすバイアスの発見を行なえる職種横断型チーム」に組み込まれなければならない 126 。
61．各国は、新興デジタル技術に関与する企業を対象とする人権倫理枠組みが、拘束力のある国際人権法上の義務（平等および差別禁止に関するものを含む）と関連づけられ、 かつこ
れらの義務を踏まえたものとなることを確保しなければならない。企業が、たとえ人権原則を運用するために意味のある介入策をとらなくとも、倫理的であるとみられることの広報上の利益のために、総花的に人権に言及するおそれは現実のものとしてある。企業ガバナンス
関係の書類では人権に、また平等および差別禁止にさえ盛んに言及されるようになっているが 127 、このような言及だけでアカウンタビリティが確保されるわけではない。同様に、ビジネスと人権に関する指導原則の枠組みの実施（B-Techプロジェクトのようなイニシアティ
ブを通じた実施を含む）には、人種差別を禁止する――そして人種差別に対する効果的救済を提供する――法的拘束力のある義務が組み込まれなければならない。
62．企業が広げている倫理基盤型のアプローチに内在する問題として、倫理的コミットメン
トは、職場におけるアカウンタビリティ体制と直接結びつけられるのでないかぎり、ソフト
ウェア開発実務への測定可能な影響がほとんど生じないことが挙げられる 128 。人権の視点に立てば、企業の自主規制に頼ることは誤りであり、国の責任の放棄である。人権を（とくに、商業的に有力ではない周縁化された集団を対象として）意味のある形で保護することに対する企業の意欲は、利潤動機と真っ向から対立する可能性がある。リスクが高い場合、株主に対して負っている善良な管理者の注意義務のほうが、これらの企業の責任を問うすべのない
集団の尊厳と人権に関わる考慮よりも重視される傾向が生じよう。さらに、善意の企業でさえ、より幅広く、社会全体を視野に入れた、尊厳を基盤とする人権枠組みの視点ではなく、もっぱら技術的な視点を用いて倫理的指針を策定・適用するおそれがある。
63．各国は、企業の人権デューデリジェンスを確保するにあたり、国際人権法上の人種差別の禁止に依拠しなければならない。期待が持てる進展の例としては、企業を対象とする義務的デューデリジェンスに関する欧州委員会の提案がある 129 （ただし、このような要件を課す
ことにより、実質的な人権の実施および執行が確保される場合）。

125 www.ohchr.org/Documents/Issues/Business/B-Tech/B_%20Tech_Project_revised_scoping_final.pdf 参照。
126 www.institut-fuermenschenrechte.de/fileadmin/user_upload/Publikationen/ANALYSE/
Analysis_Business_and_Human_Rights_in_the_Data_Economy.pdf 参照。
127 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3518482 参照。
128 https://ainowinstitute.org/AI_Now_2018_Report.pdf 参照。
129 https://responsiblebusinessconduct.eu/wp/2020/04/30/european -commission-promisesmandatory-due-diligence-legislation-in-2021 参照。

22

A/HRC/44/57

C．新興デジタル技術の設計・利用における人種差別について効果的救済を提供する義務
64．国際人権システムは、国際人権法の違反があった場合、当該違反の被害者に十分かつ効果的な救済を提供する義務が違反者に対して課されるという前提で運用されている 130 。人種
差別による侵害を含む人権侵害の被害者には、その被害に対応して、全面的救済（裁判所または行政によって決定された賠償によるものを含む）を受ける権利がある。この点に関して、
人種差別撤廃条約第６条は明確である。締約国は、自国の管轄の下にあるすべての者に対し、権限のある自国の裁判所およびその他の国家機関を通じて、この条約に反して人権および基本的自由を侵害するあらゆる人種差別の行為に対する効果的な保護および救済措置を確保す
るとともに、その差別の結果として被ったあらゆる損害に対し、公正かつ適正な賠償または満足を当該裁判所に求める権利を確保しなければならない。このような要件が課されるのは、権利が意味を持つためには、侵害を是正するための効果的な救済措置が利用できなければならないためである。
65．新興デジタル技術の設計・利用における人種差別に対する効果的救済措置との関係で、各国は、司法へのアクセス、行なわれうる侵害からの保護ならびに侵害の中止および再発防止の保障を含む一連の効果的救済措置を全面的に確保しつつ、不処罰とも闘わなければならない 131 。国際人権法の著しい違反および国際人道法の重大な違反の被害者が救済および賠償を受ける権利に関する基本原則および指針は、人権侵害に対する救済措置および賠償を構成する５つの主な要素として、原状回復、補償、リハビリテーション、満足および再発防止の保障を挙げている 132 。これらの各要素は、総体的かつ効果的な救済措置を確保する際に それぞれ異なる役割を果たすが、これは移行期の正義の概念と密接に関連したものである 133 。
66．原状回復とは、国際人権法の著しい侵害が起きる前の原状に被害者が復帰できるようにすることを目指すものである 134 。補償とは、経済的評価が可能な損害（身体的・精神的危害、
社会的給付の喪失、物的損害、道徳的損害および発生した費用を含む）に対する金銭の支払いをいう 135 。リハビリテーションには、医療的・心理的ケアおよび法的・社会的サービスの提供が含まれる 136 。満足は、多岐にわたる賠償・救済の形態である。満足には、適当なときは、侵害を止めるための措置、真実を明らかにする措置、尊厳回復措置、責任を受け入れる
措置、被害を記念する措置および加害当事者への制裁を確保する措置が含まれる場合がある
137。最後に、再発防止の保障とは、再発防止に寄与する賠償・救済の措置である。これらの措置は、国の機関の構造的改革と強化を図り、文民による十分な監督および人権の適正な尊重を確保することと、もっとも密接に関連している 138 。
67．各国は、新興デジタル技術の設計・利用における人種差別の被害者に対し、原状回復、補償、リハビリテーション、満足および再発防止の保障を確保しなければならない。各国は、たとえば市民的および政治的権利に関する国際規約第2条および人種差別撤廃条約第6条参照。
131
人種差別撤廃委員会「刑事司法制度の運営および機能における人種差別の防止に関する一般的勧告31号」（2005年）および自由権規約委員会の一般的意見31号。
132
国連総会決議60/147付属文書、パラ18。
133
A/69/518, para. 20.
134
国連総会決議60/147付属文書、パラ19。
135
前掲パラ20。
136
前掲パラ21。
137
前掲パラ22。
138
前掲パラ23。
130

23

A/HRC/44/57

真実、正義、賠償および再発防止の保障の促進に関する特別報告者が賠償措置の立案および実施に関して示している指針と、先住民族の権利に関する専門家機構の指針も参照するべきである 139 。
68．救済措置および賠償に関する現行の人権枠組みは、新興デジタル技術の設計・利用における人種差別と闘う決意を有している民間企業にとっても、重要なリソースである 。他の文脈においては、民間の関係者が、人種差別における自らの責任を引き受けることなどにより、人種差別への賠償に関して重要な役割を果たしてきた 140 。Microsoft、Apple、Amazon、Google、Facebook、Tencent、Alibabaのような民間企業は、自社の技術および製品に関連する人種差別の被害者に対して原状回復、補償、リハビリテーション、満足および再発防止の保障を行なううえで重要な役割を有している。

＜了＞

日本語訳発行：

反差別国際運動
翻訳：

139 A/HRC/EMRIP/2019/3参照。
140 A/74/321, para. 62.

24

平野裕二