The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

3B3-OS-10a-2

非明示的フィードバックにより訓練データ選択を支援する
インタラクションデザイン
Interaction design to support selection of the training data by the implicit feedback∗1

福永 度宗 ∗1

山田 誠二 ∗2∗1

岡部 正幸 ∗3

Tadahiro Fukunaga

Seiji Yamada

Masayuki Okabe∗2

東京工業大学大学院

Tokyo Institute of Technology

国立情報学研究所／総合研究大学院大学
National Institute of Informatics / SOKENDAI∗3

豊橋技術科学大学

Toyohashi University of Technology

In interactive machine learning are a user gives the training data to a machine learning system and the system
performs data mining. The training data selected by the user are important.In this paper, we apply implicit
feedback (e.g. eye-tracking) to improve user’s training data selection in interactive machine learning. In this study,
we investigate a novel user interface which can significantly extend the labeled data obtained from a user and enrich
the user feedback.

1.

はじめに線データを取得できることから，ユーザの負担が少ないとされている．また，情報検索おいて関連するクエリの獲得のため，アイトラッキングを活用されるなど [3]，訓練データ選択に有効な情報が得られると期待できる．
我々は，ユーザのアイトラッキングによる非明示的フィードバックを利用し，明示的フィードバックを支援する UI を実験的に評価する．提案する UI の活用により，ユーザのラベル付けの負担を軽減し，精度の高い分類学習の達成を目的とする．

インターネット上や組織に存在する膨大なデータからマイニングを行うために，機械学習，特に分類学習が様々な応用分野で利用されている．一般に精度の高い分類学習を実現するた
めに，人間が訓練データのラベル付けを円滑かつ適切に行えることが，インタラクティブ機械学習やインタラクティブ制約付
きクラスタリング [1] の観点から重要事項と認識されるようになった．訓練データのラベル付けを効果的に行うため，人間の能力を活用してシステム全体の性能を向上させるインタラクションデザインに関する研究が行われている [1]．
データのラベル付けには，ユーザが明示的にフィードバックする方法（例：適合フィードバックにおけるユーザによる関連データの判定など）が一般的である．しかし，明示的にフィードバックを行うとユーザに一定の認知的負荷がかかる．一方，ユーザの行動を参照する非明示的フィードバックは，ユーザの負荷が非常に少ない．また，クラス分類における有益な情報の獲得に期待できると報告されている [2]．
本研究では，ユーザのアイトラッキングによる非明示的フィードバックを獲得し，効率的な訓練データの選択を支援するインタラクションデザインを実験的に評価する．

2.

3.

視線と訓練データ候補訓練データの選択を支援するために，視線と訓練データ候補との関連性を調査する必要がある．そのため，ユーザの視線を観測し訓練データ選択に必要な特徴を定義する．その後，特徴を抽出し機械学習で特徴を区別することで，訓練データ選択のモデルを作成する．以下，詳細に説明していく．

3.1

特徴抽出

視線の動きは，主に次の 3 つの視覚行動に分類される．注
視，サッカード，瞳孔情報である．
注視は，視覚注意が特定の範囲に注ぎ，その間少なくとも100ms 安定して 1 点を見続けることであると定義される．また，サッカードはある視点から別の視点へ移動させるときの連続的かつ急速な眼球運動のことである．注視とサッカードの様子を図 1 に示す．丸で表されているのが注視である．丸の面積の大きさは注視時間の長さを表す．注視間を結ぶ線がサッカードである．一般に，注視やサッカードはその対象物に対して関心や関連を測る指針として考えられている．また，瞳孔情報において興味や関心を視覚でとらえると，瞳孔径が変化する性質[4] から，訓練データ選択に有効と期待できる．
本論文では，各データのサムネイルを AOI (Area Of Inter-

非明示的フィードバック

機械学習の分野において，訓練データのラベル付けは学習アルゴリズムを利用する上で重要である．訓練データのラベル付けには，ユーザが明示的にフィードバックする方法が一般的である．例えば，関連するデータをマウスでクリックして，コンピュータにフィードバックを与える方法がある．しかし，データの増大にしたがって，明示的フィードバックはユーザに一定の負荷を与える．一方，ユーザの明示していない行動を参照する，非明示的フィードバックの利用が注目されている．非明示的フィードバックの例として，アイトラッキング，マウスのポインタの軌跡，血圧など生体信号があげられる．特にアイトラッキングは，特別な装置を身体に装着する必要もなく，視図 1 注視とサッカードの様子

連絡先: 福永度宗，山田誠二，fukunaga@ntt.dis.titech.ac.jp，
seiji@nii.ac.jp1

The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

表 1 アイトラッキングの特徴

No.

特徴

12345678910

注視の平均時間
注視の合計時間
前データの注視時間
後データの注視時間
サッカードの平均時間
サッカードの合計時間
サッカードの長さの平均
サッカードの長さの平均
瞳孔の大きさ
瞳孔の平均変化図 3 一次元の画像配置

図 4 二次元の画像配置

図 2 訓練データのラベル付け
図 5 類似度での画像配置est) として，注視，サッカード，瞳孔拡張を獲得，利用することで，訓練データを支援する方法を提案する。そのアイトラッキングにおける特徴ベクトルを表 1 に示す．我々は，注視の時間，サッカードの長さ時間と，瞳孔の変化の計 10 種類の特徴を調査する．これ以外も，必要により，データ系列上のコンテキスト情報を利用する．

3.2

4.

UI の候補と実験方法

この章では，提案するインタラクションデザインが有効かどうか評価する．その評価にあたり，ラベル付けデータのラベル拡張について，3 つの方法を比較，検証する．

分類学習

1. 提案方法
2. 拡張方法のベールラインシステム：明示的にラベル付けされたデータの近傍データに同じラベルを付ける方法
3. ラベル拡張なしの方法

特徴ベクトルを識別することで，訓練データ候補の予測モデルを生成する．本研究の目的は二値分類のため，識別機として Support Vector Machine(SVM) を採用する．
この研究の分類学習のデータは，ユーザに（サムネイルが）表示されたすべてのデータであり，各データの特徴ベクトルはデータのサムネイルを AOI として計測された前述の特徴からなるベクトルである．データは，一度に提示されたサムネイル集合に対して，ユーザが明示的にラベリングを行う毎に収集され，特徴ベクトルが計測される．分類対象のデータとして，視線軌跡上の AOI（データのサムネイル），そして，その AOIに視線軌跡近傍の AOI を追加して拡張したものの 2 種類を用意し，それらの優劣を実験的に調べる．学習されるクラスは，正のラベルか負のラベルであるかの 2 クラスである．我々は10-fold cross validation によって訓練データとテストデータに分割し，分類の性能を評価する．
非明示的フィードバックによる画像のラベル付けの概念図を図 2 に示す．アイトラッキングからの非明示的フィードバックの対象として，ユーザが訓練データとしてラベル付けを行う際の視線軌跡を獲得する．視線軌跡の観測には，アイトラッカー
TobiiT60 を用いる．

また，特に提案方法ではどのような UI が適しているのかを実験的に調べるため，訓練データを選択するに当たり 3 種類のデータの表示方法を（図 3, 図 4, 図 5）を用意した．それぞれを用いて参加者実験および分類学習を行い，その精度を比較することで，本研究の目的に最も適した UI を決定する．図
3 は，画像データを一次元上に配置した場合である．図 4 は，画像データを二次元上に配置し，図 5 では画像の類似度が近い配置で構成した図 5 における類似度において，クラスタリング手法である k-means++[5] を用いる．
2 つの独立変数：ラベル拡張（提案方法，従来方法，拡張なし），提示 UI（線形，二次元，類似度），及び 1 つの従属変数：全体の分類学習のパフォーマンスの 2 × 2 参加者内配置実験を実施する．そして，実験結果を二要因分散分析により分析する．

2The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014

5.

まとめと今後

本論文では，ユーザのアイトラッキングによる非明示的フィードバックを獲得し，効率的な訓練データの選択を支援するインタラクションデザインを実験的に調査する方法を考察した．
また，アイトラッキングを活用するための特徴を定義し，訓練データの選択に関連性を測る方法や，明示的フィードバックと非明示的フィードバックを組み合わせるインタラクションデザインについて議論した．
今後は，実際にシステムの開発，参加者実験を行っていく予定である．

参考文献[1] 岡部正幸，山田誠二 : 知的インタラクティブシステムにおけるインタラクションデザインとは何か，第 27 回人工知能学会全国大会’13，2F4-OS-04-5 (2013)[2] A. Klami, I. Patras, T. Campos, and S. Kaski : Can
Relevance of Images Be Inferred from Eye Movements?，
MIR’08，pp. 134-140 (2008)[3] S. Vrochidis，D. Buttler，and I. Kompatsiaris: An Eyetracking-based Approach to Facilitate Interactive Video
Search，ICMR’11，pp. 43:1-43:8 (2011)[4] K. Rayner: Eye Movements in Reading and Information Processing: 20 Years of Research，Psychological
Bulletin，pp. 372-422 (1998)[5] D. Arthur and S. Vassilvitskii : k-means++: the advantages of careful seeding，SODA’07，pp. 1027-1035(2007)

3