The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013

知的インタラクティブシステムにおける
インタラクションデザインとは何か

2F4-OS-04-5

What is the interaction design for intelligent interactive systems?

∗1

豊橋技術科学大学

岡部正幸∗1

山田誠二∗2

Masayuki OKABE

Seiji YAMADA∗2

国立情報学研究所／総合研究大学院大学／東京工業大学

Toyohashi University of Technology

National Institute of Informatics

This paper discusses the methodogy of interaction design for Intelligent Interactive Systems (IIS). We first
overview the related researches, which includes Mixed-Initiative Systems, Complementary Computing and Interactive Machine Learning. Then we introduce the basic framework of IIS and the concrete methods of mutual feedback
between user and computer. We also discuss the criteria to evaluate IIS.

1.

はじめに

IIS では，基本的に人間またはコンピュータが単独で処理することが難しいタスクを対象としており，両者がうまく協調するには，フィードバックを通した相互理解と相互適用が重要となる．このため，人間の作業コストの軽減，人間に理解しやすい
アルゴリズム及びシステムの内部状態を人間に分かりやすく伝
達するなど，新しい視点に基づくインタラクションデザインが必要である [山田 11]．
IIS では，以上のようなインタラクションデザインを行うことで，パラメータ調整等における人間の負担を減らすことが出来るだけでなく，嗜好性の反映を含む人間の視点による最適化の実現や，人間のヒューリスティクスや学習能力の活用によるシステム性能の向上といった効果が期待できる．本稿では，IIS 研究が目指す知的インタラクションデザインを実現する上で考えるべき要素技術について，関連分野における研究紹介を交えながら考察する．

近年，機械学習・データマイニングツールの開発が進み，手軽に利用できる環境ができつつある．しかしながら，一方でそれらをうまく使いこなせるかどうかは使う側の専門知識に依存しており，対象とするタスクによっては，専門家でさえも試行
錯誤を強いられることがある．例えば，ガウスカーネルにおけるスケーリングパラメータやクラスタリングにおけるクラスタ
数をどう決めるかなどは，未解決問題としてよく知られており[Perona 04]，実際にはタスク毎に人手を介した調整が不可欠である．また，効率的な訓練データ獲得方法が能動学習において研究されているが，真に最適な選択基準は分からないため，現実的に妥当性のある仮定に基づく目的関数を設定し，その上での最適な選択を考える，つまりある種の最適化問題を解くこととなる．このため，人間自体が能動学習を行った方が効率的である可能性があることが指摘されている [Castro 08]．
機械学習の分野において，学習アルゴリズムの選択，特徴選
択，訓練データのラベル付け，パラメータ調整など学習アルゴ
リズムを利用する上で本質的に人手を要する作業は，通常は事前準備作業として扱われ，性能評価の対象とされてこなかった．しかし，近年 HCI の分野において，機械学習が多用されるようになると，上記の作業を円滑かつ適切に行えるかどうか
はタスクの処理性能を左右する重要事項であると認識されるようになった．また，人手による作業を効率良く行うための支
援機能の開発や機械が及ばない人間の能力を生かしてシステ
ム性能を向上させるなど，知的処理システムをうまく機能させるために必要な人間とコンピュータのインタラクションに関する視点も評価対象とする新たな研究が必要であることが分かってきた [Talbot 09]．
このように，人間とコンピュータがうまく協調して問題解決を行うことを前提としたシステムを我々は知的インタラク
ティブシステム(Intelligent Interactive Systems, IIS) と呼び，
そのインタラクションデザインに関する研究を行なっている．
IIS では，概念学習，パターン認識，情報検索など知的処理シ
ステムを効果的に機能させるために必要となる人手による作
業を，システムと協調して円滑に行うためのインタラクション
デザイン，更には人間の能力を活用してシステム性能を向上させるためのインタラクションデザインに関する研究を行う．

2.

関連研究

人間とコンピュータが協調して問題解決を行うシステムに関する研究は，Horvitz らによる混合主導型システム(MixedInitiative Systems)[Horvitz 07a] が知られている．混合主導型システムでは，ユーザとシステム間のインタラクションのあり方について，ユーザ主導またはシステム主導の両端に偏らず，ユーザとシステムそれぞれが得意とする作業をスムーズに，かつ協調して問題解決を行うことができるシステムデザインが重要であるとしている．また，そのデザイン原則として，ユーザ支援のタイミング，支援コストとそれによる利益を考慮した意思決定機能，ユーザとの対話環境，インタラクションの履歴機能などを考慮すべきであると言及している．Shilman
らは，この混合主導型システムの考えに基づく手書き文字認識システムを構築した [Shilman 06]．このシステムの特徴は，文字認識失敗時のユーザによる訂正作業をシステムが逐次的かつ継続的に補助する点にあり，従来システムよりも少ない作業で効率的な訂正が行えるとしている．また，インタラクショ
ンデザインにおいて気をつけるべき点として，システムによる自動推定による変化はユーザが追随可能な程度にすべきこと，システムの挙動が予測可能であることなどが重要であると指摘している．
相補計算(Complementary Computing)[Horvitz 07b] は，
同じく人間の能力の活用を目指したアプローチであるが，人間とコンピュータの役割分担を明確にし，効果的に組み合わせる

連絡先: 岡部正幸，豊橋技術科学大学情報メディア基盤センター〒 441-8580 豊橋市天伯町雲雀ヶ丘 1-1
okabe@imc.tut.ac.jp1

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013
ことに力点を置いており，コンピュータができない処理を行える人間の能力を人間から抽出し，システム補完機能として組み込むことが特徴である．Kapoor らは，相補計算の考えに基づ
く画像認識システムを構築した [Kapoor 08]．このシステムでは，人間が画像を 40ms 程の短時間で見たときに発する脳波からの情報を，一般の画像認識アルゴリズムで使用されるカーネ
ル行列と融合させ，画像認識精度を向上させることに成功した．人間が画像を見るのは意識的に分類判断が行えないほどの
短時間であるため，分類判断まで行う場合に比べてその認知的な作業コストは低く，その結果より多くのデータにラベル付けを行うことが可能となる．また，人間が無意識に抽出している
画像特徴を利用できるため，画像認識精度の向上に役立ったとしている．
一方，Fails らは機械学習利用時に生じる特徴選択などの作業負担を減らすアプローチとして，ユーザが対話的にシステムへ
フィードバックを行うことができる対話的機械学習(Interactive
Machine Learning, IML)[Fails 03] を提案した．IML では，従来の機械学習は多大な計算時間が必要であり，非専門家にとってパラメータ調整などが容易ではないと指摘し，学習モデルの中にユーザによるフィードバックを組み込み対話的に学習を進めていくモデルを提案した．このモデルでは，ユーザによる訓練データの追加とそれに基づく再学習結果の提示を対話的に行う必要があるため，高速な学習アルゴリズムが必須となる．
彼らが構築した IML に基づく画像分割システムでは，決定木
アルゴリズムを用いることで高速応答を可能とし，ユーザによる分割結果の確認とエラー箇所の訂正を繰り返しながら分割精度を向上させることができることを示した．また，計算コストは高いが精度が良い決定木アルゴリズムと計算コストは低いが精度が悪いものを比較することにより，画像分割タスクを完了するまでの効率性とユーザビリティに関する初歩的な実験を行なっている．
IML のコンセプトに基づく研究は，その他様々な分野において行われている．例えば，音声合成の自動化に関する研究[Fiebrink 09]，保険金請求システムにおける優先度を学習するシステムに関する研究 [Ghani 11]，生物行動の自動アノテーションに関する研究 [Kabra 13]，ソーシャルネットワークにおいてグループを効率的に形成する研究 [Amershi 12] などがある．
以上のように，上記の 3 分野はいずれも人間の能力を取り込むための対話型システムの生成をそれぞれのアプロー
チによって目指している．近年注目を集めている Human
Computation[Law 11] においても，様々なバックグラウンドをもつワーカーに低コストで効率よくタスクを行わせるには，先に紹介したような人間と機械の能力をシームレスに織り交ぜるアプローチが必要となることが指摘されている．

3.

!"#$%

EFGH%
IJ-K67034%,-./0-1234%,-.9:;/<-6%
=%
>?@A%

ALMN%

&'"(!)*+%OPQR%
STUVW%
D-;XYZ%

5678/0-1234%

9:;B45C:D.9:%

図 1: 知的インタラクティブシステムの基本的な枠組み
人間とコンピュータの間で相互に交わされるフィードバック機
能のデザインであるといえ，そのデザインに基づく機能をユー
ザインタフェースや人工知能アルゴリズムによって実現することである．
本章では，以上のような IIS における人間とコンピュータの協調を促進させるためのインタラクションデザインに必要な要素について述べる．

3.1

ユーザフィードバックのデザイン

IIS においてユーザに求められる役割は，システムの改善効
果の最大化，効率的な改善を行うための戦略・ヒューリスティ
クスの創出などを主導することである．ユーザフィードバック
は基本的にコンピュータが誤って処理した結果の訂正を行うことを目的とし，実際には訓練データの追加・削除およびパラメータ調整などの操作を行う．
例えば，画像分割であれば誤って分割された箇所の結合や分割が行われていない箇所の指示，情報検索などランキング処
理を行う場合は，誤って上位または下位にランクされたデータの通知などがユーザフィードバックに対応する．またユーザに単に入力を促すだけでなく，ユーザの入力と連動してパラメー
タ調整を自動的に行うものもある．先の手書き文字認識シス
テム [Shilman 06] では，ユーザが誤って認識された文字の訂正を行うと同時にその訂正によって自明となる誤りをシステムが自動的に計算する．更に，判定を誤ってほしくないデータをユーザが指示することで，それに応じた再学習を行うシステム[Kapoor 10] などもある．このようにインタラクティブシステ
ムの特徴を生かした多様なユーザフィードバック機能の提供が模索されている．
一方，誤って処理されたデータが複数ある場合には，優先して訂正すべき誤りを選択する必要が生じるが，これはインタラ
クションの効率性に影響する重要な問題である．機械学習の分野では，一般にこの問題は能動学習と呼ばれる．能動学習は，正解判定がされていないデータの中から，訓練データとして正解判定を付与した場合に学習性能を向上させる期待値が最も高いものを自動選択する方法を提供する．ただし，この期待値を算出する前提となる最適性の仮定が実際のタスクに当てはまるかどうかの保証はない．IIS では人間も能動学習を行うことで学習の効率性を更に高めることを重要課題として位置づけ，人間による能動学習(Human Active Learning)[Castro 08] を支援するシステム設計を行なっている [Okabe 11]．また，Human
Computation でも議論されているように，人間の作業コストは一般に高いため，単位ユーザフィードバックにおけるシステ
ム性能改善度を考慮した費用対効果の高いシステム設計を行うことも重要である．これらに関する具体的な取り組み事例については，次節および次々節にて紹介する．

IIS におけるインタラクションデザイン

図 1 に示すように，IIS では人間とコンピュータが問題解決に向けてそれぞれの能力を生かし，学習やタスク処理を協調的に行うこと想定している．両者の協調性を高める上で重要なのは，それぞれの処理内容を相互に把握することである．これを円滑に行うため，コンピュータには内部状態や処理結果を人間に分かりやすく伝達する機能（システムフィードバック）およ
び人間から多様なフィードバックを得るための手段を持つことが要求される．また，人間にはシステムフィードバックを生かした効果的な情報の入力（ユーザフィードバック）が求められる．IIS におけるインタラクションデザインとは，このような

2

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013
()*+,
!"#
$%&'

*+,TU
VW XY Z[\]X^ _`-./,%/

0 12345 123466666
0 0 1234
0 5 1234
1111111111
0 7 7 1234
66

89:;<=>?@A>?
BCD
EF G HIJKL/MN%O*&PQRS;<=CD

図 3: HAL を促すシステムデザイン

図 2: MUF における学習アルゴリズムデザイン

3.2

でき，性能向上が見込める訓練データの選択やパラメータ調整をしやすい可視化といえる．
機械学習における可視化に関する研究は，これまでにも様々行われてきた．例えば先に紹介した手書き文字認識 [Shilman 06]
や画像分割 [Boykov 01, Rother 04] などはデータを直接表示
し，処理結果を重ねあわせて表示することでユーザの視線移動
やフィードバック操作に要する負担を抑えることができる．
また，音声データの楽曲構造，ビート構造，メロディライ
ン，コードなどを可視化し，ユーザからの能動的なフィード
バックを促す研究 [後藤 12] や，文書データのスニペットを用いることによって正解判定作業を容易にする研究 [高間 11]，
ネットワーク機器からの警告データをランキング表示する研究 [Amershi 11] などがある．一方，決定木や隠れマルコフモ
デルなど各種学習器の内部状態を可視化する研究 [Ankerst 99,
Becker 97, Dai 08, Caragea 01] も行われている．
以上は，特定のデータ・アルゴリズムを意識したものであったが，より汎用的な利用を目指した研究もある．Talbot らは
IML のコンセプトを元に，特定のタスクにとらわれない汎用的な対話的型分類器生成システムを作成した [Talbot 09]．このシステムでは，学習結果の可視化方法として混同行列 (Confusion
Matrix) を用いている．混同行列は学習結果を評価する際に一般的に利用されるものであり汎用性がある．また，行列内の各セルのデータ数を色の濃淡で表すなどすると，学習精度の良し悪しが一目でわかるといった利点がある．
その他，Amershi らは画像検索におけるランキング学習シ
ステム CueFlik[Fogarty 08] において，一般的なユーザインタ
フェースが備えている undo/redo 機能や学習結果の履歴可視化機能を実装し，その効果を確かめている [Amershi 10]．
また，3.1 節で述べた人間による能動学習を促進するインタ
ラクションデザインに関する研究例として，インタラクティブ
制約付きクラスタリング [山田 13] がある．図 3 は，インタラ
クティブ制約付きクラスタリングを行うためのユーザインタ
フェース (UI) である．この UI は，ユーザが与えた制約の効果を顕在化する機能を持ち，またデータ集合を複数視点から俯瞰することができる．参加者実験により，実際にこれらの機能が人間の能動学習に効果があることが確かめられている．

学習アルゴリズムのデザイン

IIS では，概念学習・パターン認識・情報検索など何らかの知的処理を行うシステムを想定しており，学習はその主要な機能として位置づけられる．この学習を人間のヒューリスティク
スや能動学習能力を活用して円滑に行う上で重要となるのが，ユーザフィードバックを受け取ってから再学習を行なって結果を返すまでの応答時間である．図 1 に示したように，IIS では
人間とコンピュータ相互のフィードバックサイクルを経て徐々に進んでいくものであり，その過程においてユーザはシステムの挙動を確認しながらヒューリスティックを創発していくものと考えられる．また，人間の記憶力，集中力等の持続性を考えても，システムの応答時間はできるだけ高速であることが望ましい．ただし，一般に学習に費やす計算時間と学習結果の精度
はトレードオフ関係にあるため，タスクに応じてそのバランスを適切に設計する必要がある．
具体的な設計方法としては，Fails ら [Fails 03] が行ったよ
うに計算コストが低く高性能とされる既存の学習アルゴリズム
をタスクに応じて選択するアプローチの他，Kapoor らが行った複数の異なる特性を持つ学習器を用意して，人間に各学習器の重みを調節させるアンサンブル学習に似た方法などの工夫を凝らしたアプローチもある．
一方，前節で述べたように，ユーザフィードバックにおける費用対効果の観点から，学習アルゴリズムには少ない訓練
データで精度の高い学習器を生成することが求められる．我々が行った最小ユーザフィードバック(Minimal User Feedback,
MUF) によるクエリ拡張 [Okabe 07] に関する研究は，このような考えに基づいており，トランスダクティブ学習を用いて最低限の訓練データからでも価値のある学習を行えることを示した．図 2 は，ヒットリスト上にランキングされたデータを，最低限のユーザフィードバックとトランスダクティブ学習を利用して適合判定する様子を示している．また，類似度行列の学
習に関する研究 [Okabe 10] では，制約数が少ない場合でも近傍データに制約関係を伝播させ，擬似的に制約集合を拡張する
ことで類似度行列を使ったクラスタリング性能を向上させることができることを示した．

3.3

システム状態の可視化デザイン

システムは，ユーザフィードバックを受け取るとその入力を元に学習器の更新・適用などを行い，処理結果を再びユーザに提示する．処理結果の提示方法はタスクで扱うデータ，学習ア
ルゴリズムに依存するため様々であるが，IIS において重要なのは，更新処理前後の内部状態をユーザに出来るだけ詳しく分かりやすく伝達することで，ユーザに効果的なフィードバッ
クを行わせるためのヒントを与えることである．より具体的には，分かりやすい可視化とは，ユーザがシステムの挙動を予測

4.

IIS システムの評価

IIS システムの評価方法については，その目的から主に，システム性能とその効率性，システムの使いやすさの 2 つの観点が重要であると考えられる．システム性能については，シス
テムが目的とする知的処理性能がユーザとのインタラクション
によって最終的にどこまで達成されたかを調べる．比較対象としてはインタラクションを伴わない従来型の機械学習モデルと3

The 27th Annual Conference of the Japanese Society for Artificial Intelligence, 2013
なる．ここで従来型の機械学習モデルとは，専門家による入念な特徴抽出，パラメータ調整などのもとに行われる学習のことをいう．IIS では，インタラクションによって生まれる人間のヒューリスティクスの効果が期待できるため，従来型の機械学
習モデルと同等またはそれ以上の性能が達成されることが望ましい．一方，インタラクションに期待するもう一つの効果は学習の効率性である．効率性の評価指標は目標性能達成までの時
間やフィードバック回数などが考えられる．
以上の評価は，参加者実験によって行われる．通常は参加者間の結果の分散分析によってシステムの評価が行う．また，アンケート調査によりシステムの使いやすさやシステム開発者の意図する機能が実現できたかどうかなどを探るといったことが
行われる．

5.

[Ghani 11] Ghani, R. and Kumar, M.: Interactive Learning forEﬃciently Detecting Errors in Insurance Claims Categories
and Subject Descriptors, in KDD’11, pp. 325–333 (2011)[Horvitz 07a] Horvitz, E.:
Reﬂections on Challenges andPromises of Mixed-Initiative Interaction, AI Magazine,
Vol. 28, No. 2, pp. 19–22 (2007)[Horvitz 07b] Horvitz, E. and Paek, T.: Complementary computing: policies for transferring callers from dialog systems tohuman receptionists, User Modeling and User-Adapted Interaction, Vol. 17, No. 1-2, pp. 159–182 (2007)[Kabra 13] Kabra, M., Robie, A. a., Rivera-Alba, M., Branson, S., and Branson, K.: JAABA: interactive machine learning for automatic annotation of animal behavior., Nature
methods, Vol. 10, No. 1, pp. 64–7 (2013)[Kapoor 08] Kapoor, A., Tan, D., Shenoy, P., and Horvitz, E.:
Complementary Computing for Visual Tasks: Meshing Computer Vision with Human Visual Processing, in IEEE International Conference on Automatic Face & Gesture Recognition,
pp. 1–7 (2008)

まとめ

本稿では，人間とコンピュータが協調して問題解決を行う知的インタラクティブシステムにおけるインタラクションデザイ
ンについて，関連分野と共有するコンセプトの紹介，具体的な関連研究について紹介した．また，IIS の核となるユーザとシステム間の相互フィードバックを実現するために必要な要素について説明すると共にその具体的な実現例についても紹介した．最後に IIS システムの評価軸についても考察した．

[Kapoor 10] Kapoor, A., Lee, B., Tan, D., and Horvitz, E.: Interactive Optimization for Steering Machine Classiﬁcation, in
CHI’10, pp. 1343–1352 (2010)[Law 11] Law, E. and Ahn, L. V.: Human Computation, Vol. 5,
Morgan & Claypool Publishers (2011)

参考文献[Okabe 07] Okabe, M. and Yamada, S.: Semisupervised Query
Expansion with Minimal Feedback, IEEE TKDE, Vol. 19,
No. 11, pp. 1585–1589 (2007)[Amershi 10] Amershi, S., Fogarty, J., Kapoor, A., and Tan, D.:
Examining Multiple Potential Models in End-User Interactive
Concept Learning, CHI’10, p. 1357 (2010)[Okabe 10] Okabe, M. and Yamada, S.: Learning Similarity Matrix from Constraints of Relational Neighbors, JACIII, Vol. 14,
No. 4, pp. 402–407 (2010)[Amershi 11] Amershi, S., Lee, B., and Kapoor, A.: CueT :Human-Guided Fast and Accurate Network Alarm Triage, in
CHI’11, pp. 157–166 (2011)[Okabe 11] Okabe, M. and Yamada, S.: An Interactive Tool for
Human Active Learning in Constrained Clustering, JETWI,
Vol. 3, No. 1 (2011)[Amershi 12] Amershi, S., Fogarty, J., and Weld, D.: ReGroup :Interactive Machine Learning for On-Demand Group Creation
in Social Networks, in CHI’12, pp. 21–30 (2012)[Perona 04] Perona, P. and Zelnik-Manor, L.: Self-Tuning Spectral Clustering, in NIPS’04, Vol. 2, pp. 1601–1608 (2004)[Rother 04] Rother, C., Kolmogorov, V., and Blake, A.: Grabcut: Interactive foreground extraction using iterated graphcuts, in ACM Transactions on Graphics (TOG), Vol. 1, pp.
309–314 (2004)[Ankerst 99] Ankerst, M., Elsen, C., Ester, M., and Kriegel, peter H.: Visual classiﬁcation: An interactive approach to decision tree construction, in KDD’99, pp. 392–396 (1999)[Shilman 06] Shilman, M., Tan, D., and Simard, P.: CueTIP: A
Mixed-Initiative Interface for Correcting Handwriting Errors,in UIST’06, pp. 323–332 (2006)[Becker 97] Becker, B., Kohavi, R., and Sommerﬁeld, D.: Visualizing the Simple Bayesian Classiﬁer (1997)[Boykov 01] Boykov, Y. and Jolly, M.: Interactive graph cutsfor optimal boundary & region segmentation of objects in ND
images, in ICCV’01, pp. 105–112 (2001)[Talbot 09] Talbot, J., Lee, B., Kapoor, A., and Tan, D.: EnsembleMatrix: Interactive Visualization to Support Machine
Learning with Multiple Classiﬁers, in CHI’09, pp. 1283–1292(2009)[Caragea 01] Caragea, D., Cook, D., and Honavar, V.: Gaining
Insights into Support Vector Machine Pattern Classiﬁers Using Projection-Based Tour Methods, in KDD’01, pp. 251–256(2001)[後藤 12] 後藤 真孝, 吉井 和佳, 藤原 弘将, Mauch, M., 中野 倫靖：Songle: ユーザが誤り訂正により貢献可能な能動的音楽鑑賞サービ
ス, 情報処理学会インタラクション 2012 (2012)[Castro 08] Castro, R., Kalish, C., and Nowak, R.: Human Active Learning, in NIPS’08 (2008)[高間 11] 高間 康史, 陳 明煌, 山田 誠二：最小ユーザフィードバックのためのインタフェースデザイン, 知能と情報, Vol. 23, No. 1, pp.
86–92 (2011)[Dai 08] Dai, J. and Cheng, J.: HMMEditor: a visual editing
tool for proﬁle hidden Markov model., BMC genomics, Vol. 9
Suppl 1, (2008)[山田 11] 山田 誠二, 岡部 正幸, 高間 康史, 小野田 崇：最小ユーザ
フィードバックの枠組みとその要素技術, 知能と情報, Vol. 23, No. 1,
pp. 80–85 (2011)[Fails 03] Fails, J. A. and Dan R. Olsen, J.: Interactive Machine
Learning, in IUI’03, pp. 39–45 (2003)[山田 13] 山田 誠二, 水上 淳貴, 岡部 正幸：制約付きクラスタリングにおける人間の能動学習を促進するインタラクションデザイン, 第
27 回人工知能学会全国大会, pp. 2F4–OS–04–1 (2013)[Fiebrink 09] Fiebrink, R., Trueman, D., and Cook, P.: A MetaInstrument for Interactive , On-the-ﬂy Machine Learning, in
Proc. NIME, pp. 280–285 (2009)[Fogarty 08] Fogarty, J., Tan, D., Kapoor, A., and Winder, S.:
CueFlik: Interactive Concept Learning in Image Search, in
CHI’08, pp. 29–38 (2008)4