機械学習の説明責任のための情報可視化技術
伊藤貴之

お茶の水女子大学 理学部 情報科学科 教授

機械学習を中心とした AI 関連技

学習に関係ある発表が急増してい術の普及にともなって、その動作にる。コンピュータ可視化の世界最対する説明責任が問われるという大の会議である IEEE VIS において話が増えている。その一手段としも、2018 年と 2019 年には機械学て、機械学習の動作を人間が理解す習の可視化に関する発表セッショる手段を提供することが考えられンが 3 つずつ編成されている。

る。筆者が長い間にわたって研究

筆者の主観でこれらの可視化のを進めてきた情報可視化と、その研究を分類すると、以下の 4 種類

機械学習への応用事例を紹介する。の研究が学術的に注目されている

さらに、お茶の水女子大学伊藤研究と考えられる。

室での研究事例について紹介する。

分類 1：深層学習の普及以前から議情報可視化技術

コンピュータによる可視化技術の黎明期には、医療画像からの 3論されてきた機械学習の典型的なタスク（例えば分類・判別・回帰など）を支援するための可視化

次元形状復元、気体の流れの図示、

分類 2：ブラックボックスと呼ばれ分子構造の再現など、形状情報ややすい深層学習の内部動作を解空間情報を復元する技術が多く研明するための可視化究開発されてきた。

分類 3：深層学習における諸課題を

いとう・たかゆき
1990 年早稲田大学理工学部電子通信学科卒業。1992 年同大学大学院理工学研究科修士課程修了。同年日本アイ・ビー・エム株式会社東京基礎研究所研究員。97 年早稲田大学にて博士（工学）。2005 年お茶の水女子大学理学部情報科学科助教授、11 年同大学教授。17 年まで同大学シミュレーション科学教育研究センター長。19 年から同大学文理融合 AI・データサイエンスセンター長。国際会議 IEEE Pacific
Visualization Symposium 2018 他
いくつかの国際会議にて実行委員長。
芸術科学会会長 (14—16 年 )、可視化

情報学会／日本ソフトウェア科学会／画像電子学会理事を歴任。

それに対して、空間情報をもた解決するための可視化。例えばないより一般的な情報を対象とし敵対例に代表されるノイズ誤動て、可読性の高い形式で情報を画作の解明、訓練データの品質検

文理融合 AI・データサイエンスセ

面表示する技術の総称を情報可視証、潜在空間の分析などンター長に就任したこともあり、最化という。情報可視化が学術的な分類 4： 機械学習を実用する際の近では機械学習を支援する可視化技

位 置 を 得 た の は 1995 年 に IEEE

現実社会での問題を解決するた術や、マルチメディアコンテンツをIV（Information Visualization

めの可視化。例えば因果関係の題材としたデータサイエンスを主眼

Symposium）という国際会議が創解明、脆弱性の原因追及、公平において研究活動に従事している。

立した頃からと考えられる。情報可性や多様性の担保など

本章では拙研究室による最近の研究視化の学術的課題や応用事例については拙書

1）をご覧いただきたい。

お茶の水女子大学での活動

筆者は 2005 年にお 茶 の 水 女 子を紹介する。
多次元データの次元選択と描画
日常生活や専門業務に関するデー

機械学習への応用大学に赴任して以来、情報可視化タの多くは多次元データである。身深層学習技術の発達にともなっの 研 究 成 果 を 多 数 発 表 し て き た。の回りに存在する多次元データからて、情報可視化の国際会議でも機械一方で 2019 年に本学に設立された

発見される特徴や規則性は、その特集

AI 時代の技術・教育・経営

16

最低気温

商品一個あたり価格

客一人あたり売上

商品一個あたり価格

客一人あたり売上
最低気温

最高気温

「例外点群」および「例外でない点群の包括領域」の 2 種類であるとして描画

1 点が 1 日に対応
・：休日（土・日・祝）

・：平日

最低気温

商品一個あたり価格

客一人あたり売上

商品一個あたり価格

客一人あたり売上
最低気温

最高気温

最高気温

最高気温

図 1 アパレル小売店への天気（気温）の影響（客の購買額と購入商品価格）＿ 2 つの変数の相関が大きなケース

データを理解し活用するにあたってような工程にも多次元データの可視

ける各日の来客数や売上と、その各重要な知識となる。

化手法が貢献できることが議論され日の気象値との関係のデータを題材ている。にして、可視化を実行した（図 1、一方で、多次元データの全ての次元に興味深い特徴や規則性が見られ筆者らはこれらの 2 点に着目し図 2）。散布図の点群の 1 点が 1 日るとは限らないため、近年では多次た多次元データ可視化の一手法を提に対応する。各散布図の横軸に割元データから可視化する意義の高い案している 。本手法は以下の 2 つり当てる説明変数には、最低気温・次元だけを選択して表示する手法がの処理工程から構成される。

最高気温・最大風速・降水量など多く提案されている。

1）多次元データ中の任意の 2 変を含む。各散布図の縦軸に割り当数を 2 軸とする散布図の中かてる目的関数には、来客数、総売上、ら重要ないくつかを選出して客 1 人あたり売上、商品 1 個あた

多次元データを活用する場合にはそのモデル化が重要になることもある。多次元データを構成する数値群

2）表示するり単価などを含む。散布図中の青点は平日の数値、赤点は休日（土曜・のなかにどのようなノイズや例外値

現時点での筆者らの実装では「2が含まれているかを理解し、適切な変数の相関係数」「散布図を構成すスクリーニング処理によってこれらる各点の色の分離性」の 2 種類のを除去したのちに、どのようなモデ評価基準から散布図を選出する。

を基準にして選んだ 4 種類の散布ルを適用できるかを検討する処理が2）散布図に表示される点群を「例図である。横軸には最低気温または外点群」および「例外でない最高気温、縦軸には「客 1 人あた点群の包括領域」の 2 種類でり売上」または「商品 1 個あたり必要となる場面が多い。例えば機械学習の訓練データに多次元データを利用する場合に、このような工程が重要な意味を持つことが多い。このあるとして描画する日曜・祝日）の数値を示す。
図 1（上）は「2 変数の相関係数」単価」が割り当てられている。この筆者らは、アパレルの小売店にお結果から、気温が中程度の時期に17NATURE INTERFACE Aug. 2020 no.79

降水量

降水量

最大風速

最大風速

「例外点群」および「例外でない点群の包括領域」の 2 種類であるとして描画

降水量

1 点が 1 日に対応
・：休日（土・日・祝）

・：平日

最低気温

降水量

最大風速

総売上高

総売上高

購入人数

来客人数
最大風速

日照時間

総売上高

総売上高

購入人数

来客人数
降水量

最低気温

総売上高

総売上高

購入人数

来客人数
最大風速

総売上高

総売上高

購入人数

来客人数
降水量

最大風速

日照時間

図 2 アパレル小売店への天気（雨、風など）の影響（来客と売上げ）＿色（平日／休日）の分離が明確なケース「客 1 人あたり売上」や「商品 1 個いことがわかる。

風速、降水量、縦軸には来客数またあたり単価」が高く、気温が高い

また、図 2（上）は「散布図を構は売上高が割り当てられている。こ時期にこれらが低いという明確な成する各点の色の分離性」を基準にの結果から、来客数と売上には平日相関がみられる。一方でこれらのして選んだ 8 種類の散布図である。と休日で大きな差があることがわか

値には平日と休日の差はみられな

横軸には最低気温、最高気温、最大る。一方でこれらの値は説明変数と特集

AI 時代の技術・教育・経営

18

の相関はあまり見られないことがわかる。
図 1（下）および図 2（下）は、他の作業者よりも年下に推測■ 他の作業者よりも年下に推測■ 他他の作業者よりも年上に推測の作業者よりも年上に推測

これらの散布図を「例外点群」およ～60代歳代の人物に対しての人物に対して
40
40代
歳代〜
60
ある
作業者
は全体的に年上にある作業者は全体的に年上に別の作業者は全体的に年下に別の作業者は全体的に年下に推測している推測している

び「例外でない点群の包括領域」の2 種類であるとして描画した例であ

88 人
人の作業者

る。このような描画によって、数の作業者

値群の概略的傾向と、例外の存在を注目しやすくする。
複数の作業者によって生成する訓練データの可視化
機械学習の品質を左右する要因の一つに訓練データの品質があげられる。訓練データ作成の端的なタスクの一例として画像の注釈（アノテーション）作業があげられる。物体認識システムを構築するには、訓練年年下
下

年上
年上

人物画像
人
物画像

図 3 複数の作業者による訓練データ画像群への注釈状況を検証するための可視化ツール術が有用であると考えられる。

気味に、3 番目の作業者は年少者気データとして物体名を注釈とした画筆者らは、複数の作業者による訓味に推定する傾向がわかる。このよ像群が必要である。あるいは、人物

練データ画像群への注釈状況を検証うな傾向を把握することで、作業者認識システムを構築するには、訓練するための可視化ツールを提案して間で年齢推定にどのような不一致がデータとして人物の年齢や性別を注いる。ここでは、7748 枚の人物画生じているかを理解できる。

釈とした画像群が必要である。

像に対して 8 人の作業者が年齢推このような注釈作業の信頼性を高定結果を注釈した結果を紹介する。

本稿では機械学習の説明責任を高めるために、複数の作業者を招いてこの可視化結果（図 3）では、作めるための情報可視化技術として、各画像に注釈させることが多い。こ業者が上下に、人物画像が左右に並

お茶の水女子大学での研究事例を紹のような作業において、複数の作業べられたマトリクス構造となってお介した。筆者らの研究室では旧来か者による注釈の不一致、あるいは同り、年齢推定結果の平均値によってら大半の研究が大学や企業との共同一の作業者による注釈の一貫性のな画像が並べ替えられている。可視化研究によって遂行されている。今後さが生じることがある。そこで、ど結果の左側は年齢平均値の低い画像

は機械学習のための可視化においてのような画像によって注釈の不一群に対応し、右側は年齢平均値の高も共同研究や産業応用に力を注ぎ、致が生じやすいのか、あるいは同い画像群に対応する。

社会への貢献に努めたい。

一の作業者の注釈がどのようにブ

ここで上から 2 番目と 3 番目のレやすいのか、といった点を理解

作業者のうち可視化結果の右側（図● 参考文献することが重要になる。画像認識

3 の緑色の枠）に着目されたい。上のための訓練データには時としてから 2 番目の作業者では赤が目立数千・数万単位の画像が含まれる

ち、3 番 目 の 作 業 者 で は 青 が 目 立

1）伊藤、『意思決定を助ける情報可視化技術—ビッグデータ・機械学習・VR ／ AR への 応 用 』、 コ ロ ナ 社、ISBN-978-4-33902883-6、2018 年

ことがあり、その注釈作業には数つ。この枠は年齢推定値が 40 歳代十人単位の作業者が参加すること～ 60 歳代となる人物に対応する。

も多い。このようなデータの分布

この世代の顔画像に対して、2 番目を理解するためにも情報可視化技の作業者は他の作業者よりも年長者

2）A. Nakabayashi, T. Itoh, “A Techniquefor Selection and Drawing ofScatterplots for Multi-Dimensional
Data Visualization,” 23rd International
Conference on Information
Visualisation （IV2019）, pp. 62-67、2019 年

19NATURE INTERFACE Aug. 2020 no.79