Human-in-the-LoopのAI技術を目指して
Aiming at Human-in-the-Loop AI

国立研究開発法人産業技術総合研究所

フェロー

人工知能研究センター

研究センター長

辻井潤一

国立研究開発法人産業技術総合研究所 フェロー、人工知能研究センター 研究センター長、英国マンチェスター大学教授、国際計算言語委員会（ICCL）委員長、AAMT ／ Japio 特許翻訳研究会委員長

1 はじめにを破るということで、AlphaGo は、人間のプロ棋士では全く歯が立たない能力を示すようになった。韓国のDX（デジタル・トランスフォーメーション）と脱炭トップ棋士との対戦が行われていた時、私も別の AI 国

素社会の構築は、近い将来の社会の在り方を考える上で際会議でソウルに滞在しており、この対戦が引き起こしの 2 つの中心的な課題になっている。私がセンター長た韓国社会の驚愕を現地で味わうことになった。

をしている産業技術総合研究所・人工知能研究センター

この 2015 年以降の AlphaGo の活躍は、2005 年

では、DX の中心技術の一つである人工知能（AI）技術のレイ・カーツウェルの「2045 年に人間を超える知の研究を推進している。また、産総研には、ゼロエミッ性体の出現を予測する技術的特異点―シンギュラリション国際共同研究センターが設立され、ノーベル賞受ティ」の議論と結びついて、「AI は人間を超えるのか」と、賞者の吉野博士をセンター長として、脱炭素社会のためAI 研究者の中でも真剣に議論する人たちが現れることの技術開発が行われている。いずれのセンターも、単なにもなった。

る産業振興だけでなく、社会全体のあり方を変え、人類この種の熱に浮かされたような議論は、AI 技術が日社会への貢献を目指す中で新たな産業技術を生み出す研常化し、社会に広がるにつれて変化してきている。むし究を行っている。

ろ、AI が社会の幅広い局面で使われることにより引き

本稿では、DX 時代の AI 技術が目指す方向、これからの科学技術の在り方について、私見を述べる。

起こされる労働市場の変化、個人生活への AI の関与による監視社会の出現への危惧、AI がもつバイアスなど、より具体的な課題が議論されるようになっている。ただ、2 AI と人間人工知能研究センターの設立は 2015 年であり、この 6 年余りという短い間に AI 技術は大きな変貌をとげ

AI の判断を絶対的なものとしてみる AI 信仰や、逆に、AI を人間疎外の技術とみて排除する AI 警戒論の二極化は今も根強く残っている。よりバランスの取れた見方からの議論が必要になっている。てきた。センター設立の当時は、人工知能の能力を人間と比較することで、その可能性と影響の大きさが議論されていた。

103 人間を超える AI の出現

たとえば、Google 傘下に入った英国の DeepMind

大規模なデータと機械学習に基づく現在の AI 技術にが開発した AlphaGo が、人間のプロ棋士に勝ったのが道を拓いたのは、その前に起こったビッグデータ解析の2015 年の 10 月であった。翌年の 3 月には、韓国のトッブームであった。このビッグデータ解析の時代には、サプ棋士、さらに 2017 年には中国の世界トップの棋士

イバー空間に集積されているデータを解析したり可視化したりする技術、あるいは、そのデータの中に潜む規則であることは、一般論としては正しい。ただ、この論理性を取り出すデータマイニングの技術が研究された。

を飛躍させて、膨大なデータから学習する AI の判断は、膨大なデータというエビデンスに基づいているがゆえ術がその典型であるように、膨大なデータに潜む傾向やに、人間の判断よりも常に合理的なものとなる、という規則を取り出し、それを人間が解釈し、それに基づいてのは間違いであろう。

人間が判断や戦略を立てることに焦点があった。

まず、第一に、碁では、盤面にすべての情報があり、膨大なデータには、そのデータを作り出す背後にある過去の棋譜や模擬ゲームの棋譜としてデータ化されてい種の機構が存在するはずで、それを人間が把握するのをる。これに対して、現実のタスクでは判断に必要なデー助ける技術が、ビッグデータ解析であった。人間は、こタが限定できず、判断に影響するものすべてがデータ化の技術を使うことで、自らの判断や戦略決定をより合理されていないことも多い。このことは、現在、コロナ禍

的におこなうことができる。エビデンスに基づくことで、の中で、同じデータを見ても専門家の予測や判断に大き合理的な判断や戦略決定を行える。

な差がでることからも、明らかであろう。人流や感染者

これに対して、現在の AI を特徴づける機械学習の技数など、膨大なデータが集積されても、データ化されて術は、データに潜む規則性を膨大なデータから把握し、いない未知の要因や、データの背後にあるメカニズムのそれを内化し、判断に結びつけるところまでを計算機が変化（例えば、変異ウィルスの出現）がある。これは、行う技術である。AlphaGo は、過去の棋譜から学習し、碁のような規則が明確な世界から、現実の問題に向かうその結果を使って、碁を打つプログラムを作り、さらに場合には、しばしば起こることである。

は、このプログラム同士が計算機の中で模擬的なゲーム

第 2 に、合理的判断かどうかは、評価の基準に依存を行うことで、膨大な量の棋譜を作り出す。このようなする。碁の場合には、ゲームの勝ち負けという評価基準

人間がそのままでは解釈できない膨大な棋譜データをが共有されており、勝ちに至る確率の高い指し手を選択使って学習することで、人間の棋士の判断能力を凌駕すすることが合理的な判断となる。これに対して、現実のる能力をもった。

問題では、この合理性の基盤となる価値が必ずしも明確膨大なデータを整理して人間に示すことで、人間の判ではないことが多い。

断をより合理的なものにすることから一歩進んで、膨大

この 2 つ、AI が判断の拠り所とするデータに関するなデータから学習し、判断までを行う AI プログラムが問題と、合理性の基盤となる価値の問題が、AI の社会出現することになった。膨大な学習データから学習する実装にとって考えるべき課題となっている。前者のデーことで、自ら判断し碁を指す AI、戦略選択までを行う

タに関する問題には、学習に使われたデータに偏りがあ自律的（Autonomous）な AI ができた。

るとか、すべての状況を被覆していないなど、多くの解判断に人間の介在を不要にして、自らが判断する AI

特別寄稿

ビッグデータ解析では、可視化やデータマイニング技決すべき問題がある。の出現である。碁を指すという能力だけを見ると、人間少し、価値の具体的な例として、医療分野での治療戦の名人よりも優れた判断能力と戦略選択能力を有する

略の選択を考えてみよう。合理的な戦略選択の基準としAI が出現することになった。て、平均の生存期間が長いことを基準すると、外科手術単純化すると、ビッグデータ解析では、人間が判断のの治療方針を選ぶことになる、とする。ただ、この外科主体であった。これに対して、機械学習に基づく AI では、的な治療方針では、直後に死亡する率もある程度あると判断の主体が計算機プログラムに移行した。これが、AIなると、平均生存期間は短くても、より安全な内科的治とビッグデータ解析技術の大きな差である。

療を選ぶ人もいるであろう。それ以外にも、生存期間中の生活の質（Quality of Life）やその経済的コストな4 AI の自律性ども、判断に影響する大きな要因であり、どの要因を重視するかで、合理的な判断は個々のケースに依存する。

エビデンスに基づく判断は、エビデンスを無視した、

この例のように、合理的な判断の基盤となる評価の基思い込みに基づく判断や戦略よりも、より合理的なもの準が、判断によって影響を受ける側（例えば、患者やそYEAR BOOK 2O2111の近親者）の価値観に左右される場合には、一律な判断している。たまたまデータに偏りがあったり、不完全なを AI が行う自律性は問題になる。また、上のコロナ禍

被覆があったりすることで、誤った判断を下している可への対処のように、最適な戦略の選択に、データ化され能性があっても、それを検証することができない。対象ていない要因が関与することも多く、観測されデータ化を理解している人間からすると、ナンセンスなデータのされたものだけで判断を行う閉じた自律系では対処でき偏りに判断が左右されている可能性もある。

ない問題も多い。

よく挙げられる例に、動物が写っている写真とそうでない写真とを一見うまく識別できる深層学習モデルがあAI のブラックボックス性と人間との5 共同る。このモデルは、実は背景がぼやけているかそうでないかを基準に写真を分類していた、という。実際、動物

AI の自律性が問題となる大きな理由に、AI のブラッの写っている写真では、動物に焦点が当たっているためクボックス性がある。機械学習の中でも、現在の AI 技に背景がぼやけていたので、そういう特徴が識別に役に術の中核となっているニューラルネットワーク、深層学立っていた、というわけである。これは、訓練データの習にこのブラックボックス性が強い。

偏りが判断に影響していた例で、訓練データに、車や人

ブラックボックス性とは、AI が下した判断や戦略選択の根拠が外部の人間からは不明である、ことをいう。などに焦点が当たっていて背景がぼやけた写真が大量に入っていれば、このような誤りは起こらなかった。

膨大なデータに潜む、人間の判断にとって有用な規則

ここでのポイントは、ブラックボックス性の高い手法性を提示していくことで、人間の解釈や判断をより合理

では、このようなナンセンスな誤りが入り込んでいても、的なものにしていこうとしたのがビッグデータ解析で外からはわからないこと、ブラックボックスの AI の判あった。膨大なデータというブラックボックス性の高い断を絶対的な判断ととらえることの危険を示している。

ものを、人間にとって解釈しやすい、有用な形に整理す

また、ブラックボックス AI が、特定の価値観を合理るというデータマイニングやデータ可視化から、機械学性の基盤に置いていて、別の価値観からの判断では非合習の技術が発展する中で、膨大なデータをもとにした判理的な判断をしている可能性も排除はできない。

断へと発展してきた。そのような過程でも、判断の過程複雑な判断や戦略の選択には、このようなブラックを理解しやすい形で内的な構造化を行う決定木の手法なボックス性が常に付きまとう。人間の専門家の判断におどが開発されてきた。

いても、外部の人間から見るとブラックボックス性は高

ただ、判断の過程を人間にわかりやすい形で内化するい。ただ、AI と人間の専門家との大きな差は、人間のことと、判断の精度を上げることとは、相反する方向性

専門家の場合には、必要に応じて、自らの判断の根拠をを持っている。データが持つ、判断に有効な規則性を最（完全にではないが）説明することができる。また、説大限に活用して精度を上げる方向に向かうと、ブラック明の過程で、異なる価値観からの判断も提示することがボックス性が強くなる。

できることである。

この典型が、ニューラルネットワーク、深層学習の手複雑な判断の過程をできるだけホワイトボックス化す法になっている。深層学習では、データが持つ判断に有ることで、AI と人間との共同作業を促進させること、効な規則性が、モデル中の数百万－数億個のパラメータ

これが説明できる AI（Explainable AI - XAI）として（単純にいうと、モデル中のニューロン間の結合の重み）

現在、我々の研究センターでも、研究を進めている。の形で内化されている。したがって、AI がある判断を行った根拠が人間にとって理解できない、ということになる。膨大なデータが持つブラックボックス性が、学習結果のモデル中の膨大なパラメータ集合に移行し、外部の人間には、判断結果だけが示されることになる。

12

6 AI と責任
XAI の議論は、AI と責任の議論とも関連が深い。自律性を持った AI が下した判断が誤っていて、事故や経これが、前節の自律性の抱える課題（データと価値）済的な損失が生じた場合の責任をだれがとるのか、の問と組み合わさって、現在の AI の応用分野を狭いものに題は、多くの要因が絡み、今後、議論がさらに活発になる、と思われる。
当該の AI システムを開発した Vender、AI を訓練す

7 人間と AI の共進化
Human-in-the-Loop は、前節で議論したような AI行っている人、当該 AI システムの使用者など、異なっシステムの運用時だけではなく、AI システムの構築時たステークホルダーが関与して AI システムが構築されにおいても重要となる。

使用されることから、その責任の所在を同定することは容易ではない。
学習する前のシステムの不具合、学習に使われたデータ集合の不備、特定のデータアイテムが引き起こした誤AI は、摩訶不思議な魔法の杖ではない。AI システムを構築するためには、AI に行わせようとするタスクについての知識を、AI に与えていくことが必要であり、AI を人間が訓練する必要がある。

判断など、ある判断に関与した要因がトレースできるここの AI システムの訓練に結構な時間とコストがかかとが、責任の所在を明確にするには不可欠となる。このる。AI は、導入した次の日から、コストが削減されたり、トレース可能性（Traceability）は、XAI と類似の問題生産スピードが格段に向上したりする魔法の杖ではな（AI のブラックボックス性）と深く関係している。

い。我々の研究センターは、あるタスク用の AI システ

また、医療診断の例では、AI の判断結果を追認して医療行為を行う医師（AI システムの使用者）の責任もムをできるだけ簡単に構築するための技術の体系を作ろうという、大型のプロジェクトを推進している。

問題となろう。この場合には、AI システムが自らの判AI システムに訓練する段階では、当該のタスクに関断根拠を医師にある程度説明し、医師自らがその説明にする知識を備えた専門家が Human-in-the-Loop の形納得して AI の判断結果を採用できることが、不可欠とで従事する必要がある。現在、この人間が持つ知識をなる。AI が下した判断を盲目的に採用する運用では、

AI 側に移行するためには、大量の訓練データを準備す医師が責任をもって判断に関与することができない。

る必要がある。この訓練データの作成は、入力の観測デーXAI の技術が、不可欠となる。

タとそれに対する望ましい判断とを対応付けるアノテー

医療と同じようなクリティカルな AI 応用に、人事評ション（付記）という作業になる。言い換えると、デー価や与信評価（Credit rating）の応用もある。この場

タとそれに対する正しい判断の対を訓練のために専門家

合には、個人の利害に直接影響がある判断を AI が行うが用意することが必要となる。このアノテーションのコことになるために、不利益を被る評価を受けた個人に、ストが大きくなり、AI の社会実装をする上での大きなその評価の根拠を開示する必要がある。データの誤りの障害となっている。

ために不利益を被る可能性をチェックできるなど、ここ単純化していうと、専門家の役割は、データとそれにでも、判断過程のトレーサビリティと判断根拠の説明が対する正しい判断の対をたくさん用意することで、その必要となろう。

後は、AI の学習能力に任せる、という形をとっている。

AI の自律性は、人間の労働コストを下げる AI の最大訓練データの準備と AI システムによる学習の過程がの利点である。実際、現在、自律性を持つ AI が社会に切り離されている。この開発過程においても、AI と分広がることで、人間が行うよりも誤りが少なく、また、野の専門家が緊密に協力する Human-in-the-Loop のコストも下がる場合も多い。自律性は AI を使う最大の考え方を積極的に取り入れようというのが、AI と人間利点でもある。AI 活用においては、自律性のある AI にの共進化という、我々の研究センターが推進しているプ任せられる AI 応用と、Human-in-the-Loop で AI のブロジェクトである。

ラックボックス性を軽減することが必要な応用とを慎重に判断していく必要がある。

特別寄稿るデータ提供者、当該 AI システムを使ってビジネスを専門家が、観察データに対して正しい判断結果を与えた訓練データを作成する、と言っても、簡単なことではない。複雑な課題では、専門家の判断そのものが個人によって変わることも多い。例えば、画像からのがんの病
理診断では、熟練した病理画像の専門家と、そうでない一般の医師の間では、30 － 40% の画像で判断の差がYEAR BOOK 2O2113出るといわれている。また、病理画像による診断の専門力を密に行うことで、AI と人間（専門家）のいずれも家の間においても、これほど、大きな差ではないが、かがともに進化していくこと、が我々のセンターが推進しなりの差がでる。観察データに正しい判断をつけた訓練ている共進化 AI の研究プロジェクトである。
実際、このプロジェクトでは、病理画像の専門家とデータの作成は、それほど、簡単な作業ではない。
病理画像からのがんの診断では、判断が分かれる微妙AI とがシステム構築時点で密に協力していくことで、なケースでは、複数の専門家がコンファレンス形式で、大きな性能向上が得られている。また、病理画像と患者各専門家が画像のどの個所に注目して判断したかを議論のほかの診断データとを結びつけることで、専門家が気し、最終の判断に至る場合も多い。の付いていなかった画像上の特徴で、AI が見つけ出し

このことは、専門家によって画像という観察データのた特徴がデータの偏りからのナンセンスな特徴なのか、どのような特徴に注目して判断しているかに差があるこ

そうではなくて、何らかの医学的な意味づけができる特とを示している。

徴なのかを検証していく研究にも着手している（図 1）。

病理画像を見て、その判断だけを付与するのではなく、どこのどのような特徴をみて判断したかを付記すると、さらに性能が上がるのではないか？

また、AI 側がど8 おわりにのような特徴をとらえて判断したかを人間に示すことが本稿では、膨大な量のデータを解析して、人間が解釈できれば、AI の判断がナンセンスな特徴をみて間違っできる形に構造化して見せるビッグデータ解析の時代かた判断をしていないかを確認できるだけでなく、人間のら、データに基づいてデータの持つ規則を学習し判断を専門家が気がついていなかった、判断の根拠となる特徴行う機械学習の技術が発展し、その典型として、現在のを見つけ出すこともできるのではないか？

ニューラルモデル、深層学習があることを概観した。

Human-

データというエビデンスに基づく判断は、思い込みにin-the-Loop で AI システムの構築過程に専門家との協AIが獲得した情報（内部状態）を可視化しつつ蓄積し、専門家との合意形成を促す。整理された「判断根拠図鑑」を、判断根拠として提示。半自己学習によるモデルの訓練に再利用し更なる性能向上を図る。病理診断支援分野で医師との協働により実証。
遺伝子情報 予後情報
連携

開発者

判断根拠図鑑

正常所見
所見

所見
所見

専門家

正解生成
精度管理

精度監視システム（半自己学習）

教師データ

がん

暫定データ

知識抽出
再利用
タスク
処理AI

ラベルなし
データ

学習

【中間目標】各サブプロジェクトのプロトタイプを構築し、データセットの構築からタスク処理AIの訓練、判断根拠図鑑の作成、判定結果の説明までの過程で相互連携可能である事を確認する。本研究計画に参加する医師による性能評価を実施し、工学的および医学的な観点から個々の要素技術に関する課題抽出を実施する。
図1

14

人と共進化する AI

基づく判断よりも、より合理的なものになるという主張
は、一般的に正しいと考えられる。ただ、この議論をさ特別寄稿らに拡張して、膨大なデータに基づく AI の判断は常に人間の判断よりも合理的である、とするのは間違いであることを、いくつかの例で議論した。データの偏り、合理性の基盤となる価値観の多様化など、AI の判断が必ずしも正しいものとは限らない。
もちろん、多くの人は AI の無誤謬性を信じているわ
けではない。ただ、依然として、データに基づく判断の重要性が主張され、その延長に、だから AI の判断は人間の判断よりも合理的という議論に向かうことがある。
理想的な形態は、人間と AI がお互いの知性の優れているところを取り入れていくことで、全体としてより合理的で、かつ、広い社会に受け入れられる判断、戦略選択に向かうことであろう。そのためには、AI の判断過
程 の 説 明 可 能 性、 理 解 容 易 性 を 向 上 さ せ る こ と、
Human-in-the-Loop の考え方をより積極的に取り入れていくこと、であろう。
このような考え方は、気象変動に対する対処戦略の選定のように、多様なビッグデータの相互関連を読み解くという人間の専門家だけでは対処できない大規模な問題をビッグデータ解析と AI 技術とを駆使することで、より合理的で、広く受け入れらる戦略を作る上では必須であろう。

YEAR BOOK 2O2115