特集：デジタル化はジェンダー平等に寄与するか

AI 開発におけるダイバーシティの必要性

村上明子

はじめにご紹介ありがとうございます。日本 IBM の村上でございます。本日はお招きいただいて，このようなお話しをさせていただくのを大変楽しみにしておりました。ありがとうございます。
私でございますけれども，今，ご紹介がございましたように，日本 IBM という IT の会社で開発をしております。皆さまのご専門と全く違うところからまいりましたので，本日は私が勉強させていただくというようなつもりでまいりました。
もともと研究者として IBM に入社をいたしまして，もう 20 年程度たっておりますけれども，今は開発の現場に異動いたしまして，お聞きになったことがあるかと存じますが，日本 IBM では Watson という人工知能系のソリューションを提供しております。こちらのソフトウエアの開発をリーダーとしてさせていただいております。
一方で，個人的な活動といたしましては，IT をもって災害に対応をするという，災害ボランティアもしています。IT での災害復興や災害対応をしておりまして，情報支援レスキュー隊という社団法人を設立いたしまして，理事もしております。
今日は AI とジェンダーという非常に興味深いテーマをいただきました。私はジェンダーの専門家の皆さまがお話しされる前に，そもそも AI ってどういうジェンダーの問題があるの？というところを，皆さまに課題提供させていただき，考えていただくきっかけを担当させていただければと思っております。
私の自己紹介をもう少し，続けさせていただきます。中学，高校と私立に行っておりまして，1 年だけ国立大学の女子大にいきまして，その後に早稲田の大学と大学院を出て IBM に入社をしております。講演を依頼されてよく用いるのがこの図です。縦軸が割合で横軸をライフステージとして見ていただき，これは何―8―AI 開発におけるダイバーシティの必要性の割合でしょう？とよく尋ねるのです。正解は女性の割合です。女子中高大と100％女子校で来ていましたが，早稲田大学の理工学部に入りますと，一気に 4％，130 人中の 5 人というところに落ち込みまして，さらに大学院にいきますと，5人いたはずの同級生が全員就職，あるいは他大の大学院に 1 人行ってしまって，私１人になってしまったということで，非常にマイノリティー街道を突っ走っております。
職場に入りました時，女性は約 10％ぐらいでした。研究所も開発も 10 人に 1人ぐらいなのですけれども，感想としては女性が多いなと思ってしまいました。
でも別の職場の方が研究所にいらして打ち合わせをすると，「男ばかりですね」と驚かれます。弊社は営業や現場の技術者に女性が非常に多くなっておりまして，大体 4 割ぐらい女性がいますので，やはり研究や開発は，それに比べますとまだまだ女性が少ないなと思っています。これも理系の教育で問題の 1 つなのかなと考えることができると思います。

+

自分の人生を年表にしてみると・・・

12歳

18歳

私立
女子中・高校19歳

某国立女子大23歳

25歳

早稲田大学 早稲田大学
理工学部
大学院
応用物理学科 修士課程

日本アイ・ビー・エム
東京基礎研究所

東京大学
受託研究員

学校・職場の女性比率

東京大学
大学院
博士課程

100%

約10%

～～
約 4%
(130人中5人）
約 1.5%(60人中1人）

3© 2019 International Business Machines Corporation

本稿は，国際ジェンダー学会 2019 年大会の公開シンポジウム 2「AI とジェンダー」における村上明子氏による招待講演「AI 開発におけるダイバーシティの必要性」を書き起こしたものである。

―9―

国際ジェンダー学会誌

Vol. 18（2020）

私はジェンダーが専門ではございませんが，日々起こる問題としてのマイノリ
ティーの問題は，私たちがなぜ職場でマイノリティーとして存在するのかということを考えながら，研究あるいは開発をしているところであります。

AI の印象について
本日のテーマは，AI とジェンダーということなのですが，皆さま AI というとどのような印象をお持ちでいらっしゃいますでしょうか。世の中で新しいことが起こり得るときというのは，どうしてもネガティブな考えというのが付きまとってしまいます。AI でよくいわれるのが，AI で人が仕事を奪われてしまうのではないかということです。こうした考えを，皆さまは不安に思われたことがおありではないかと思います。実際に AI が人の仕事を奪ってしまったということもあります。確かに，奪うというのはネガティブな例ですけれども，人の仕事を助けてくれていて，その仕事がなくなったという例がもう次々に起こっています。
これは海外の記事なのですけれども（実は日本の会社です），保険会社では保険の支払いのオペレーター，判断をする方々が，その会社に何十人もいらっしゃいます。保険の支払いや請求があったら，支払い請求の書類を精査して，この人にはいくら払おうと決める人がいるのですね。それが AI に置き換えられて，34名の社員が仕事を配置転換されましたということです。これは非常にネガティブなニュースとして伝えられました。ネガティブニュースとして報道されたのは大変残念なのですけれども，私が担当した仕事でございます。IBM がこの会社（A社）の保険の支払い部分を AI で置き換えることによって人を減らす，というとネガティブですけれども，実は配置転換されています。これは今までルーティンワークとして，毎日毎日書類を見て評価をするということをやっていた方たちが，もっとクリエイティブな仕事，人間でないとできない仕事に配置転換されたということで，私たちはポジティブに思っているのですが，どうしても世の中ではセンセーショナルにネガティブに報道されてしまうようです。

AI の歴史
それでは AI というのは，何で急にこんなに起きてきたのだろうと思われるかもしれませんが，この部屋にもいらっしゃる人生経験豊富な諸先輩方は覚えていらっしゃると思います。1970 年代，80 年代にもう人工知能というのはブームになっていて，これから人工知能が世の中を変えるよというのが何回も言われてきていました。2006 年以降，第 3 次 AI ブームと言われていますけれども，第 3 次― 10 ―

AI 開発におけるダイバーシティの必要性

AI ブームの前はもちろん第 1 次，第 2 次というのがございました（Wikipedia，2019）。
第 1 次というのはかなり古くなりまして，1956 年から 1974 年ぐらいまでと言われています。今日はウィキペディアから取り上げさせていただきましたけれど
も，最初に出てきたのは機械に何かを話しかけると，話しかけたことに対応してくれるというような，今でいうとよく人工無能と悪い言い方をしますが，そうした単純なものから始まっています。これはルールベース，あるいはパターンベースと呼んでいるもので，話しかけた内容のルールを作っておいて，それに対して対応するということです。私たちにとっては，単純なことに思えるのですけれども，この当時はすごいことでした。やはり人間ではないものから適切な答えが返ってくるのは，非常にセンセーショナルなことで，第 1 次人工知能ブームというのが起きておりました。
その後少したちまして，第 2 次の AI ブームが起きます。これは第 1 次に続けて起こっていまして，単なるルールではなくて，人間の持っている知識を全てコンピューターに書き記すことができれば，人間と同じ知識を持った機械が作れるのではないかというものでした。知識をルールで記述するのに，もっと専門的なスキーマ（決まり事）を作りまして，全てを記述すれば人間の知能が再現できるという夢をみた時代になります。賢い皆さんはもうお気付きだと思いますが，人間の頭の中を全て記述するというのは難しそうですよね。これは残念ながらやはりあっという間に破綻をしてしまいまして，この後は人工知能なんて実現できないということで，人工知能冬の時代がその後 20 年ほど続きます。
私が人工知能の研究を始めたのは，この人工知能冬の時代真っ盛りのときでしたので，私はレッドオーシャンに行くよりはブルーオーシャンに行く方がいいと思いまして入りました。その後 2006 年以降，機械学習やディープラーニングなど，キーワードでお聞きになったことがあると思いますが，これらが出てきたときに非常にブームが起きまして，現在も第 3 次人工知能ブームが続いています。

第 3 次人工知能ブーム
今も第 3 次人工知能ブームが続いているのは 2 つほど理由があります。1 つは今言っていたような機械学習とディープラーニングの技術が発達してきたことです。もう一つの理由が，インターネットができたことによって，データが生成されるスピードが，加速度的に上がったことです。ですから，加速度的に作られるようになったデータを利用して，そしてかつ機械学習やディープラーニングを使って，人が今まで一生懸命書き下していた知識を機械が学習してくれます。そ― 11 ―

国際ジェンダー学会誌

Vol. 18（2020）

もそも学習する過程を機械がやってくれますので，人が知識を記述する必要がなくなってきたということになります。
今問題となっているのは，第 3 次 AI ブームでのビッグデータを使った機械学習において，本当に人間を模するようなものができるとすれば，社会が今抱えている問題－例えばジェンダーも 1 つの問題です－をそのまま映し出してしまうのではないかということです。

さまざまな学習パターン
その問題の話に入る前に，この後のディスカッションのために，少しだけ AIの基本的なことをお話しさせていただければと思います。よくご存じの方もいらっしゃると思いますので恐縮ですが，ここで復習をさせてください。先ほどの第 1 次，第 2 次 AI ブームでのルールベースやパターンベースについて軽くご説明をいたします。人間の経験と知識に基づいてパターンやルールを記述するのが，ルールベース，あるいはパターンベースの学習です。例えば目の前にいる動物が，ネコなのかイヌなのか，ウシなのかヘビなのか，を判断するのは，人間は一瞬でできます。でもこれを例えば機械に判断させるためには，いろいろなルールを入れてあげることが必要です。例えば 4 本足があるのか，どういう鳴き声なのか，などで人間は判断しています。例えば単純なルールでいうと，泣かせてみて「ニャー」と言えばネコなのだろうなと判断します。そういうものですね。鳴き声が「ニャー」であればネコ，鳴き声が「ワン」であればイヌであるということを記述して判断させるのが，ルールベースというものです。
例えば先ほどの保険会社 A 社の例で言うと，保険の請求書に「手術しました」と書いてあれば，「支払いに 20 万円加算してください」など，そういうことを書くのがルールです。これで世の中のものが全て書き込めればいいのですけれども，人間が作ったものというのは，非常に複雑になっていますので，全部ルールで書き下すというのが大変になってきます。そこで登場してきたのが，先ほどから出ている機械学習です。機械学習というのは，要はルールを機械的に作っていくものと思っていただいて大丈夫です。
大きく分けて 2 つあります。1 つは「こういうふうに考えてね」と教師を与えて学習させるやり方で，教師あり学習と言います。例えば先ほどのような，「写真を見せたらこれがどの動物かを当てなさい」という問題があったときに，「この写真はネコですよ」，「この写真はイヌですよ」というような正解を教師がデータを与えて学習させるのが教師学習です。
一方で，教師なし学習というのがあります。単に入力データがあるだけで，こ― 12 ―

AI 開発におけるダイバーシティの必要性

れはネコだとかイヌだとか全く教えないで，自分で自由に動物の種別を考えて，分類をするということをさせるというのが，教師なし学習になります。皆さん，
Google が人工知能でネコを認識したというニュースって覚えていらっしゃいますでしょうか。数年前に非常に話題になったのですけれども，これは実は大量にデータをインプットして，何もイヌだとかネコだとか，そうした事前知識を与えずに学習をさせることによって，ぼんやりとネコの顔だとか，人間の顔というのを認識できるようになりましたというのが，Google の教師なし学習の成果です。
ところが出てきたものは，人間であるとかネコであるというラベルが付いていませんので，私たち人間が種別しているものと同じ区別を教師なし学習できたというのが，1 つのトピックとして話題になっていたわけです。
実はこの教師なし学習と呼ばれるものは，非常にコンピューターリソースがかかります。Google が全世界の検索エンジンで獲得したお金を投入して，何日間もかけて人の顔がぼんやり理解できる，ネコの顔がぼんやり理解できるというレベルなので，まだまだ世の中でいわれている実際の AI というのは，教師あり学習で実装されているのがほとんどです。

教師なし学習とブラックボックス
第 1 次，第 2 次ブームで使われたパターンベース，ルールベースも，まだ現実の世界では大きく使われています。教師あり学習と教師なし学習をもう少し細かく見ていきましょう。例えば，ランダムに三角やハート，星型などのマークがあります。これを「分類しなさい」と，人間が問題として出されたりすると，人によっては色ごとに分けます。黄色と青とグリーンに分ける人がいます。このほか，星型とハートと三角に形で分ける人もいます。あるいは，大きいものと小さいものというように，大きさで分ける人もいるかもしれません。この分け方を指定しないのが，専門用語で言うとクラスタリングです。これが教師なし学習の 1 つです。
でもそうすると，私たちはハートだけを取り出したいという場合に，色で分けられてしまうと何もできなくなってしまいます。ですから，今，世の中で多く使われているのは，「これはハートですよ」，「これは三角ですよ」，「これは星ですよ」という形で，教師データを与えてやって，ちゃんとハートを取り出せるようにする機械学習をしていることになります。これは先ほどの保険の話で言いますと，手術の有無で，請求書を分類してくださいということになります。これは手術をしている請求書です，これは手術をしていない請求書ですということを，あらかじめ教えておいてあげると，書類が入ってくると「これは手術をしているので 10 万円を加算しましょう」「これは手術をしていないので加算はなしですね」― 13 ―

国際ジェンダー学会誌

Vol. 18（2020）という分類ができるようになるわけです。
実際に保険の支払い業務を人手でやる場合，1 次査定員という人が書類を見て査定結果を出して，最終決定者が判断して支払うという形をとります。それではAI はどこを置き換えたのかというと，1 次査定のところです。最終決定するのはあくまで人間です。機械が下した判断が正しいのかどうかを見るのは，あくまで人間なのです。
1 次査定員というのは，多くの専門知識が要求されます。医療の知識もなければいけないですし，契約書の書類を見る力も必要です。ただ，この能力というのは非常に属人性があるものになります。ですから，当たり外れが起きてしまいます。この人が担当すればたくさん保険金を支払いしてくれそうだけれども，別の人が担当したら支払金額が非常に少ないということが起きてしまう可能性があります。こうした属人性を排除できるという意味で，また公平性を保つために，今AI が活用されています。
その際，先ほど申し上げました分類が重要になってきます。教師データを作らなくてはいけません。まず「手術をしているかどうかで保険金の支払いを変えますよ」，あるいは「手術の中でも難しい手術なので高い金額を出しますよ」，そこを決める必要があります。教師あり学習では，このデザインの部分を人間が行います。
それでは，人工知能のデザインをする人間がもし偏っていたらどうなるでしょうか。そもそも教師なしの機械学習は例を出してモデルを学習させているので，上記の例では教師データがなければ「手術をした」と判断するかどうかはわかりません。教師なしの機械学習は，何を学習するのか，ブラックボックスになってしまいます。機械が学習するデータを作るのは人間ですので，そもそも学習データや，どのようにモデルが作られるのかということがブラックボックスですので，学習データを作った人によって潜在的なバイアスがかかる可能性があります。
ルールベースの学習ですと「それはあなたの思い込みじゃないですか」と他人が指摘できますが，教師なしの機械学習でのデータやモデルについては，その指摘が難しいのです。今言われている AI の潜在的なバイアスの問題には，こうした背景があります。

AI におけるバイアス
AI におけるバイアスは，非常に長い間議論されてきています。機械学習のエンジニアは，今まで与えられた正解セットに対してのモデルを作っていればよかったのですが，訓練に用いたデータに存在しない例外についても心配する必要― 14 ―

AI 開発におけるダイバーシティの必要性が出てきました。例えば，訓練に用いていないデータの存在について問題が起きたのは，Amazon です。Amazon は皆さんご存じですね。もともとはインターネッ
トでの本屋さんでしたが，今や様々なものをインターネット上で販売している会社です。
この会社はテクノロジーの会社ですので，エンジニアの採用が毎年必要です。
エンジニアの採用にあたり技術の会社ですから，AI での採用を試みた頃がありました。ところが，それまでエンジニアは男性の方が多かったのです。そこで過去に合格した人を正解データとして先ほどのモデルを作るところに入れてしまいました。これはアメリカの事例ですので，女性とわかるような性別は申請書には書きません。ところが，例えば「女子大に所属していました」，あるいは，「女性エンジニアのコミュニティーをやっています」ということが書かれている書類は，自動的に落ちるようになりました。
なぜなら，女性を今まで採用し続けなかったからなのですね。もしかしたら過去に，採用のバイアスがあったかもしれないし，あるいはエンジニアとしての教育を受ける人に女性が少な過ぎて，たまたま男性しか入らなかったからかもしれないです。決して女性が，男性に比べてエンジニアとして能力が劣っているというわけではないのに，こうした判断を下されてしまったことで，Amazonはすぐにそれに気が付きまして，AI での採用というのは打ち切りになりました（Dastin,2018）。

バイアスの連鎖もう一つこれはジェンダーの話ではないのですけれども，人工知能がデータの偏り，あるいはアルゴリズムの偏りによって，非常にまずいことをしてしまった
例として挙げさせていただきます。Google では画像に対して自動でタグ付けをするという機能があります。「これはテニスをしています」や「これは女性の写真です」など，写真に対してそうしたタグ付けをします。例えば人の顔ですと，「30 代から 40 代の女性の写真です」みたいなことをタグ付けするのですけれども，自動で作ったものの中に，残念ながら黒人の方に対して「ゴリラ」と付けてしまった例がありました（Simonete,2018）。これはどういうことが理由なのか，Googleは一切オープンにしていないので分からないのですけれども，訓練データに黒人の写真を使っていなかったのではないかというようなことが推測されています。
訓練データの偏りや，アルゴリズムの偏りがあったかもしれません。どういうふうに結果を出すかをデザインするところをアルゴリズムと言いますけれども，それを作るところに肌の色を強く判断材料にするようなものを入れておくと，も― 15 ―

国際ジェンダー学会誌

Vol. 18（2020）

しかすると人間とゴリラとの区別が付かなかったかもしれないのですね。やはり「偏った」人が訓練データを作っていると気付けない問題があるのかもしれません。
偏り，そこが非常に問題視されています。2019 年 3 月 8 日の世界女性デー
に関して Forbes が女性の活用に対する様々な記事を出しています。これはそのうちの 1 つで，「AI はなぜもっと女性が必要なのか」という記事のタイトルで書かれたものの中に，次のようなコメントがありました。AI というのは“white men of a certain age”つまりある年齢層の白人男性しか作っていない（Nilsson,2019）。アメリカでは，白人男性のインテリ層が多く，新しい技術です
のでどうしても若いエンジニアの方が多いということです。人種や性，年齢などで偏った人たちがデザインを作ると，データやアルゴリズムの偏りがどうしても出てしまい，偏見やアンコンシャス・バイアスを助長してしまいますよと，警鐘を鳴らしているわけです。

AI の問題～ジェンダーロールの潜在的な刷り込み
それでは，モデルや学習データの偏りだけが AI の問題なのでしょうか。実はもう一つ問題があると私は考えています。これは私の出身母体に関する非常にお恥ずかしい話なのですが，皆さまの中でご存じの方もいらっしゃるかと思います。
人工知能学会が，学会誌の表紙に掃除をしている女性のロボットを掲載しました。
これがあっという間に問題になりまして，この表紙を理事会が通したことも，私は非常に情けなく感じました。学会は差別する意図はなくて，単にロボットが自分の生活に溶け込んでいるということを示したかったらしいです。ただ，「掃除をするのは女性だ」というジェンダーロールの固定が非常に見えてしまうということで，たいへん話題になり炎上してしまいました。
同じような問題として，AI でやりとりをするアシスタントで，Apple ですとSiri，Amazon では Alexa が販売されています。スマートスピーカーと呼ばれるものです。これらは実は販売当初女性の声だけで，アシスタントといえば女性という，ジェンダーロールの固定の話です。アメリカはポリティカル・コレクトネスの観点からあっという間にこのことが話題になり，たちまちに男性の声も選択できるようになりました。サービス系と呼ばれるチャットボットの多くは女性名で，女性の声であることが多いです。日本の有名な AI アシスタントも，非常にかわいらしいアニメのものになっています。こちらもサービスというと女性，助けてもらうような案内係は女性というジェンダーロールが固定されてしまいます。性別による職業の思い込みを助長してしまうという危険性もあると思います。
― 16 ―

AI 開発におけるダイバーシティの必要性

テクノロジーの開発においては，先ほどの機械学習のモデル，そしてジェンダーロールの刷り込み，こうしたものが AI の開発の現場で問題視されています。

ジェンダーの打開にむけてこれらを打開する方向で人工知能の現場も奮闘していることを最後に報告します。1 つご紹介するのは，SWE，ソサエティー・オブ・ウーマン・エンジニアリングです。人工知能に限りませんが，アメリカのみならず，全世界で女性のエンジニアのソサエティーが作られていて，こうしたバイアスを女性の観点から打開していくにはどうしたらいいのかについて，コミュニティーの中で話し合っています。学会では，ジェンダーの問題だけではなく，マイノリティーのもたらす問題の解決も必要です。たとえば AAAI という人工知能の中では一番権威のある国際会議にも，毎年女性のセッションがあり，人工知能を作るときのバイアスについて毎年議論がされています。
こうした取り組みはあるのですけれども，今日はぜひ皆さんと AI におけるジェンダーの問題点について議論ができればと思っています。ジェンダーに代表されるバイアスを考慮した AI を作るにはどうしたらいいか，ということを常に考えておりますので，今日のディスカッションでは，そのお話もさせていただければと思います。ご清聴ありがとうございました。（拍手）（むらかみ あきこ

日本 IBM）［引用文献］
Dastin, Jeffry（2018） 焦 点： ア マ ゾ ン が AI 採 用 打 ち 切 り，「 女 性 差 別 」 の 欠 陥 露 呈 でREUTERS（2018 年 10 月 11 日配信）https://jp.reuters.com/article/amazon-jobs-ai-analysisidJPKCN1ML0DN（2019 年 8 月 31 日最終閲覧）
Simonite, Tom（2018） グーグルの画像認識システムは，まだ「ゴリラ問題」を解決できていない ─見えてきた「機械学習の課題」 WIRED（2018 年 1 月 18 日配信）https://wired.
jp/2018/01/18/gorillas-and-google-photos/（2019 年 8 月 31 日最終閲覧）
Wikipedia（2019）「人工知能の歴史」https://ja.wikipedia.org/wiki/（2019 年 8 月 31 日最終閲覧）
Nilsson, Kim（2019）Why AI needs more women Forbs（2019 年 3 月 8 日配信）
https://www.forbes.com/sites/kimnilsson/2019/03/08/why-ai-needs-more-women/#6c6f7bd27f90（2019 年 8 月 31 閲覧）― 17 ―