日本ソフトウェア科学会第 35 回大会 (2018 年度) 講演論文集

機械学習をアシストする情報可視化
伊藤貴之

情報可視化は多様な構造のデータを画面表示することで，その観察・探索・操作・予測を支援する技術である．近年の機械学習ブームにともない，情報可視化の研究コミュニティでは，機械学習を支援する可視化手法が多く発表されている．本報告では，機械学習のタスクを支援するために情報可視化技術を適用する研究の動向について紹介し，さらに著者自身の企業共同研究における適用事例もあわせて紹介する．

Information visualization techniques represent various structures of datasets and assists various tasks including observation, exploration, manipulation, and prediction of the data. Many of recent information
visualization studies focus on assistance of machine learning tasks thanks to the drastic evolution of stateof-art machine learning techniques. This paper introduces the recent trends of information visualization
research collaborating with machine learning studies. Also, the paper introduces the author’s own industry
joint projects on case studies of information visualization with machine learning techniques.

されており，現に著者にも情報可視化に関する問い合

1 はじめに
情報可視化は多様な学術分野・産業分野にて生成わせが増加している．

される多様な構造のデータを画面表示する技術であ

本報告では，情報可視化技術が機械学習のタスクを支援するための研究動向を紹介する †1 ．具体的には，る．1996 年に Shneiderman 氏は，情報可視化の手法

回帰分析や判別分析などの汎用的なタスクに関するは『1 次元，2 次元，3 次元，時系列，多次元，木構

可視化手法，深層学習の内部挙動に関する可視化手法

造，ネットワーク構造』の７種類のデータ構造によっなどを紹介する．続いて著者自身による企業共同研て分類される [7] と提唱している．それから現在に至究の事例として，ビルのエネルギー消費量の可視化，るまで，情報可視化技術の多くはこれらのデータ構

回帰分析結果検証のための可視化，の 2 つの事例を造ごとに研究開発が進んでいる．そして，データの観紹介する．

察・探索・操作・予測を必要とする多くの場面に対する適用事例が報告されている．
人間が自ら情報を観察する可視化技術は，自然現

なお機械学習と情報可視化技術の関係については，著者自身による書籍 [3] でも詳しく論じているので，必要に応じて参照されたい．

象・社会現象の判別や予測を自動化する機械学習技術とは相反する関係にある，という誤解が聞かれるこ

2 機械学習をアシストする情報可視化ともある．しかし現実には逆に，昨今の機械学習ブー回帰分析・判別分析などの旧来からのタスクを目的ムと連動するかのように，情報可視化の研究コミュニとした機械学習工程の情報可視化は，あまり多くない

ティでは，機械学習を支援する可視化手法が多く発表ながらも以前から研究事例がいくつか発表されてきた．回帰分析のための可視化の例として Muhlbacher

Information Visualization Techniques for Assistanceof Machine Learning Processes
Takayuki Itoh, お 茶 の 水 女 子 大 学, Ochanomizu
University.

ら [5] は，分析対象となる説明変数間の関係をヒスト†1 This is an unrefereed paper. Copyrights belong
to the author.

グラム行列で描画することにより，少数の説明変数での論文セッションのうち機械学習関係のセッションが構成される部分空間での回帰分析結果の妥当性を表3 個も組まれたことで話題となった． 3 個のセッショ現する可視化手法を提案している．判別分析のためのンの中には，深層学習に特化した手法のセッション

可視化の例として Han ら [1] は，ラベルが付与されたと，深層学習に限らない旧来からのタスク（クラス標本と付与されていない標本が混在している半教師タリング，クラス分類など）に関するセッションがあ付き学習を対象として，その分類器生成を対話的に実り，機械学習に対して情報可視化のコミュニティが幅現するための可視化手法を提案している．

広いアプローチをかけていることが示された．深層学

機械学習をアシストする情報可視化について網羅

習に関係ある論部発表の例として，Wongsuphasawat

的に議論した例として Sacha ら [6] の論文が知られてら [10] は深層学習のデータフローグラフの可視化を，いる．この論文では，機械学習の処理工程をデータ編

Liu ら [4] は深層学習によるデータ生成モデルの学習集・前処理・モデル構築・探索＆操作の 4 段階に分類過程の可視化を，Strobelt ら [8] は自然言語処理の目し，それぞれの工程においてどのようにユーザが積極的でよく活用されるリカレントニューラルネットワー的に機械学習に介入できるかを論じている．データ編

クの隠れ層の可視化を，それぞれ発表している．

集の段階では，教師信号となるラベルの人手による付与，異常値を有する個体の排除，などの操作のため

3 著者自身の研究事例に，次元削減を施した上でデータを可視化するのが有

著者はこれまでにも企業共同研究を通して機械学効であるとしている．前処理の段階では，データ中の習に関係ある情報可視化の適用事例をつくっている．

数量に対する正規化や重みづけ，特徴量や非類似度計

本章ではこれらを簡単に紹介したい．なお本章で紹介

算方法の選定などを判断するために可視化を適用すする内容はいずれも深層学習以前の機械学習に関することが有効であるとしている．モデル構築の段階でるものである．

は，回帰や判別などの数理モデルの選定，また最適化問題や制約問題を解く過程，などを可視化する事例を紹介している．

3. 1 ビルのエネルギー消費量の可視化
電力エネルギー管理のために多くのオフィスビルで近年の深層学習の台頭により，機械学習のための情は BEMS (Building Energy Management System)

報可視化は新しい局面を迎えた．深層学習の実用上のという管理システムを導入している．BEMS の仕様

大きな問題点として，結果を出した根拠や過程が他のに沿った多くのソフトウェアシステムでは，各フロア機械学習手法と比べてもさらに複雑である点があげの小領域単位の各時刻の電力消費と，気温・湿度などられる．そこで深層学習の処理工程の可視化が，主にの環境数値を記録している．当該研究に着手した当時画像認識の分野で先行的に議論されてきた．例としての商用ソフトウェアシステムを観察した結果，著者ら

Zeiler ら [11] は，畳み込みニューラルネットワークをは以下の点に問題意識を持った．

用いた画像分類において，各中間層で入力画像がど• 電力消費や環境数値に関する計測結果の表示機のように処理されるかを表示するとともに，各中間能はごく簡素なものであり，ユーザが探索的に現層においてどのような特徴が強く学習されているか，象を探し出すことが容易ではない．

またその結果として画像中のどの部位から各画像を• ユーザが着目すべき特異な現象はオフィスビル

どのように分類しようとしているか，といった点を可ごとに異なっており，それをユーザからシステム視化した結果を紹介している．に伝えて学習させる機能が必要である．

コンピュータ可視化のトップ国際会議 IEEE VIS著者らは上記の観点に沿って，BEMS に蓄積されでは 2017 年に，機械学習のための可視化技術の発表たデータを可視化するソフトウェアプロトタイプ [2]が爆発的に増加した．特に VAST (Visual Analyticsを開発している．図 1 にそのスナップショットを示す．

Science and Technology) というトラックでは 12 個

この実装では画面上部に長期（例えば 1 か月間）の電力消費や環境数値の推移が示されている．この中ユーザが選択した特異な推移の例

から特定の位置をクリックすると，画面左下部ではクリックされた位置に該当する小領域の特定の日の電力消費や環境数値を表示し，さらに画面左下部では該当する小領域を地図上に示す．また画面右端には電力消費や環境数値のパターン検出結果を示すボタン

抽出された同様な推移パターンの例が搭載されており，このボタンのうち 1 個を押すと，画面上部では特定のパターンに該当する部位が灰色に塗られる．この操作により，どのようなパターンがオフィスビルの長期観察結果の中でどのように頻出するかを観察できる．
図2長期間の電力消費・環境数値の表示

電力消費の特異な推移をユーザが指定することで抽出された同様な推移パターンの例

方で，複数の説明変数を入力情報とする重回帰分析や，複数の回帰式を導入した混合モデルなどの導入により，その分析工程はより複雑になってきている．
特に重回帰分析において，予測に大きく寄与する説明変数と大きく寄与しない説明変数，また予測値と実測値の誤差につながる説明変数を特定することが，回帰分析の性能を向上させるために重要である．
図1

そこで著者らは，各変数が予測値にどの程度影響を電力消費と環境数値の関係を可視化するプロトタイ
プソフトウェアのスナップショット与えるのかを理解するために，回帰分析による予測値と実績値との誤差を可視化する一手法 [9] を開発している．本手法では図 3 に示す 3 次元散布図を採用

このプロトタイプでは同時に，電力消費の特異な推している．この可視化では， m 個の実数値型説明変移を示した日が生じるたびにユーザがそれを指定する数群の中から 2 個を選んで x 軸および y 軸に割り当ことで，同様に特異なパターンが生じたことを警告すて，実績値または予測値を z 軸に割り当てる．また，る学習機能を備えている．開発時点では単純に SVM

各標本における予測値と実測値の差の絶対値を色で(Support Vector Machine) を試用したが，他の学習表現している．差の絶対値が大きい標本を赤に近い暖手法の適用も可能である．ユーザが示した特異な推移色系の色相で，誤差の小さい標本を青に近い寒色系のの例と，本手法が発見した同様に特異な推移の例を，色相で描画する．また画面左側には，ファイル操作の図 2 に示す．

タブ，実数値型説明変数群を選択するためのタブ，カテゴリ型変数で表示対象を絞り込み操作するための3. 2 回帰分析結果検証のための可視化タブ，が搭載されている．

健康状態予測，エネルギー需要予測，販売予測な

著者らは販売情報の回帰分析結果について本手法

ど，予測を必要とする多くの産業分野において回帰を適用した．入力データには，実績値と予測値に加分析は重要な役割を担っている．このような目的で回え，12 個の説明変数，8 個のカテゴリ変数が含まれ帰分析を用いる際には，その精度だけでなく，誤差をていた．AIC (Akaike’s Information Criterion) が小生む要因についても振り返ることが重要である．一

さくなる 3 つの説明変数（以下，説明変数 A〜C と図3

回帰分析結果検証のための可視化ツールのスナップ

図5

説明変数 B,C を x,y 軸に割り当てた可視化例

ショット称する）から任意の 2 変数を X,Y の 2 軸に割り当て4 今後の展望て可視化した．説明変数 A と B を 2 軸に割り当てた

前述のとおり，情報可視化のコミュニティでは急速際（図 4) には，可視化結果においても実績値が小さに機械学習との連携が進んでおり，その多くの概念がい方に寒色点が多くあり，暖色点は寒色点の集合から発表された段階にある．今後は多様な学術分野・産業離れた位置にプロットされていた．説明変数 B と C

分野との連携により情報可視化に関する多くの適用を軸に割り当てた際にも同様な可視化結果が得られ事例が報告されることが予想される．

た．一方で，説明変数 B と C を 2 軸に割り当てた際

著者は現在も企業共同研究などを通して機械学習（図 5）には，xy 平面全体に渡って暖色系および寒色に関係ある情報可視化の研究に従事している．具体的系の両方の点が広く分布していた．よって，説明変数な事例として以下を議論している．

B,C を 2 軸としたときの誤差の説明性は下がることが示唆される．以上より，説明変数 A が回帰分析による予測において特に重要な説明変数であると考えられる．

• 回帰分析や判別分析のモデルを選定するための前処理としての情報可視化．

• 人手を交えて制作した訓練データの正当性の可視化．あるいは訓練データ制作過程の可視化．
いずれも現在着手中であり原稿提出時点で具体的な成果があるわけではないが，大会当日の口頭発表ではこれらの方向性についても議論したい．

参 考 文 献[1]

図4

説明変数 A,B を x,y 軸に割り当てた可視化例

Q. Han, W. Zhu, F. Heimerl, S. Koch, T. Ertl,
A Visual Approach for Interactive Co-Training,
KDD Workshop on Interactive Data Explorationand Analytic (IDEA’16), 2016.
[ 2 ] T. Itoh, M. Kawano, S. Kutsuna, T. Watanabe,
A Visualization Tool for Building Energy Management System, 18th International Conference on Information Visualisation (IV2015), pp. 15-20, 2015.
[ 3 ] 伊藤, 意思決定を助ける情報可視化技術 -ビッグデー
タ・機械学習・VR/AR への応用-, コロナ社, ISBN978-4-339-02883-6, 2018.
[ 4 ] M. Liu, J. Shi, K. Cao, J. Zhu, S, Liu, Analyzing

the Training Processes of Deep Generative Models— Supplemental Material, IEEE Transactions onVisualization and Computer Graphics, Vol. 24, No.
1, pp. 77-87, 2018.
[5]T. Muhlbacher, H. Piringer, A PartitionBased Framework for Building and Validating Regression Models, IEEE Transactions on Visualization and Computer Graphics, Vol. 19, No. 12, pp.
1962-1971, 2013.
[ 6 ] D. Sacha, M. Sedlmair, L. Zhang, J. A. Lee, D.
Weiskopf, S. North, D. Keim, Human-Centered Machine Learning through Interactive Visualization:
Review and Open Challenges, European Symposium on Artificial Neural Networks, Computational
Intelligence and Machine Learning, pp. 641-646,
2016.
[ 7 ] B. Shneiderman, The Eyes Have It: A Taskby Data Type Taxonomy for Information Visualizations, IEEE Symposium on Visual Languages, pp.
336-343, 1996.

[ 8 ] H. Strobelt, S. Gehrmann, H. Pfister, A. M.
Rush, LSTMVis: A Tool for Visual Analysis of Hidden State Dynamics in Recurrent Neural Networks,
IEEE Transactions on Visualization and Computer
Graphics, Vol. 24, No. 1, pp. 667-676, 2018.
[ 9 ] C. Suzuki, T. Itoh, K. Umezu, Y. Motohashi, A
Scatterplot-based Visualization Tool for Regression
Analysis, 20th International Conference on Information Visualisation (IV2016), pp. 75-80, 2016.
[10] K. Wongsuphasawat, D. Smilkov, J. Wexler, J.
Wilson, D. Mane, D. Fritz, D. Krishnan, F. B. Viegas, M. Wattenberg, Visualizing Dataflow Graphs ofDeep Learning Models in TensorFlow, IEEE Transactions on Visualization and Computer Graphics,
Vol. 24, No. 1, pp. 1-12, 2018.
[11] M. D. Zeiler, R. Fergus, Visualizing and Understanding Convolutional Networks, European Conference on Computer Vision (ECCV 2014), pp. 818833, 2014.