WISS 2018

オンライン機械学習によるコンテキストに応じたユーザ選択の予測
土田 容生* 樋口啓太* Eshed Ohn-Bar† Kris Kitani† 佐藤洋一*
概要． 本研究では，インタラクティブシステム利用におけるユーザの選択履歴から，コンテキストに応じたユーザ選択をオンライン機械学習によって予測する手法を提案する．具体的には，複数のユーザごとの選択履歴から複数の予測器を生成し，どの予測器が最もターゲットユーザの選択を予測するかを逐次的に学習する．適用例として，Instagram などの画像共有サービスにおける画像フィルタの選択支援が挙げられる．スマートフォンで撮影された画像の特徴量をコンテキスト情報として利用し，ユーザがどのような画像にどのフィルタを適用したのかを教師データとして利用することにより，選択されるフィルタを予測する．これにより，風景・人物・食事などの画像カテゴリとユーザ嗜好を考慮したフィルタ推薦による支援が可能になる．性能評価実験から，提案手法が通常の教師あり学習のアプローチに比べてユーザの選択をより高精度に予測できることを確認した．

1

はじめに

Instagram などの画像共有サービスが日常的に利用されるようになり，人々が画像編集に触れる機会は増えている．それらのサービスでは画像フィルタの利用が一般的であり，スマートフォンで撮影した画像に事前に用意されたフィルタを適用することで色調などを手軽に編集可能となっている．
通常画像フィルタは多数の種類が用意されており，その選択には個人の嗜好が影響する．また，風景・人物・食事などの画像カテゴリによっても適切なフィルタは異なるため，画像フィルタの選択に慣れていないユーザにとって負担が大きい．そのため，ユーザの嗜好を考慮しつつも，与えられた画像に対して適切な画像フィルタを予測し，選択時に提示することができれば，ユーザの画像フィルタ選択を支援できると考えられる．
ユーザの嗜好を反映した画像編集支援として，小山ら[1]は個人ごとの色彩編集傾向を逐次学習し提示する支援システムを提案した．しかし，収集した個人の色彩編集に関するデータは当人にしか適用できず，より広く適用するためには多くの個人データを必要とするという制約がある．
本研究では，過去の他ユーザの選択履歴群を利用することにより，ターゲットユーザの選択を少数の入力から予測する手法を提案する．具体的には，オンライン機械学習を利用することにより，他ユーザの選択履歴から学習した複数の予測器の中から，どCopyright is held by the author(s)．
*東京大学，†Carnegie Mellon Universityの予測器が最もターゲットユーザの選択を予測可能かを逐次的に学習する．本手法によって得た予測結果をユーザ選択時に提示することで，意思決定の支援が可能となる．本稿では，ユーザ選択の予測手法とその性能評価について述べる．

2

問題設定：画像フィルタ選択予測

本稿での対象は，ターゲットユーザが与えられた画像に対して，複数のフィルタ選択候補から一つのフィルタを選択するシナリオである．ユーザは画像というコンテキストに依存したフィルタ選択をする．
本研究では，他の複数のユーザによるフィルタ選択履歴（画像と選択されたフィルタの組）と，ターゲットユーザの逐次的な選択履歴から選択を予測することを目的とする．

3

提案手法

本手法では，オンライン機械学習の枠組みを用いて，他ユーザの選択履歴から学習した予測器群の中から，ターゲットユーザが選択するたびにどの予測器が最適であるかを逐次的に学習する．
3.1 予測器群作成
複数の他ユーザのフィルタ選択履歴を用いて，与えられた画像情報に基づき適切なフィルタを推定する予測器を生成する．最初に，選択履歴中のフィルタ適用前の画像から，特徴量を抽出する．抽出された特徴量と，選択されたフィルタの組を教師データとして，教師あり学習アルゴリズムにより予測器を生成する．本手法では，ユーザごとの選択履歴を別の教師データとして扱い，それぞれから複数の予測WISS 2018器を学習させる．
画像特徴量として，画像のカテゴリー情報と色情報を考慮する．カテゴリー情報として，ImageNet から学習した VGG-16 ネットワークの FC7 層から抽出した 4096 次元のベクトルを PCA により 64 次に圧縮したベクトルを生成する．色情報としては，HSV 色ヒストグラム（各色 24 ビン）から計算した72 次元のベクトルを生成する．上記二種類のベクトルを結合し，計 136 次元からなるベクトルを特徴量とする．教師あり学習としては Adaboost（弱学習器200）を利用する．
3.2 最適な予測器の学習
オンライン機械学習アルゴリズムの一種である
Prediction with Expert Advices [2]により，各予測器の予測結果と，ターゲットユーザの実際の選択（ユーザフィードバック）を基づき，最も予測性能の高い予測器を逐次的に特定する．下記に示すアルゴリ
ズムにより，ターゲットユーザが与えられた画像に対しフィルタを選択するごとに，最適な予測器の学習を進めることができる．
1. すべての予測器の累積報酬を 0 とする
2. 与えられた画像から 3.1 の方法で画像特徴量を抽出する
3. 最も累積報酬が大きい予測器を現段階での最適として選択し画像特徴量に応じた予測結果を得る（実際のシステムではこの予測結果をもとにユーザに推薦を提示する）
4. ユーザの選択結果を得る
5. 各予測器に対し，それぞれの予測結果とユーザの選択結果が等しければ 1 を，正しくなければ 0 を累積報酬に加算する
6. 2 に戻る

4

予測性能評価4.1 データセット
画像共有サービスにおいて，フィルタを利用して画像を共有した経験のある 9 名を被験者として募集した．被験者のスマートフォンで撮影した画像を収集し，その中で画像共有サービス投稿される可能性が高いと判断した画像計 300 枚を選択した．ユーザが選択する候補としては，図 1 のようにオリジナル画像と 8 種類の画像フィルタの計 9 つとした．各被験者は画像 300 枚分のフィルタ選択を行った．これにより，画像と選択フィルタの組からなるデータセットを，300 枚 9 名分，計 2700 組作成した．
4.2 評価方法と指標評価方法としては，9 分割交差検証を用いた．提案手法は，テスト事例以外の他ユーザの選択履歴か

図 1．フィルタ適用例らそれぞれ学習した 8 つの予測器を持つ．比較手法
は，他ユーザの選択履歴を同一の教師データとして統合した 2400 組から学習した予測器とした．
評価指標としては，アルゴリズムが得た予測結果(アルゴリズム手順 3)とユーザの選択が一致した割合を予測性能として採用した．選択候補は 9 つであるため，ユーザ選択にばらつきがない場合にランダムで選択したときの正解率は 0.11 である．
4.3 結果提案手法の予測性能は 0.32 であった．一方で，ベースラインの予測性能は 0.19 であった．そのため，提案手法を用いて最適な予測器の学習を行った方が，すべての他ユーザの選択履歴を一つの教師データとして学習した予測器よりも，予測性能が高くなることがわかった．

5

まとめ

本研究は，インタラクティブシステム利用におけるユーザの選択履歴から，コンテキストに応じたユーザ選択をオンライン機械学習によって予測する手法を提案した．性能評価実験から，提案手法が通常の教師あり学習のアプローチに比べてターゲットユーザの選択をより高精度に予測することを確認した．
今後はユーザ実験により，予測結果をユーザに提示したときの影響を測定したい．

謝辞
本研究は JST CREST (課題番号 JPMJCR14E1)
及び JST，AIP-PRISM (課題番号 JPMJCR18ZG)の支援を受けた．

参考文献
[1]

Yuki Koyama, Daisuke Sakamoto, and Takeo Igarashi.
SelPh: Progressive Leaning and Support of Manual PhotoColor Enhancement. Proceedings of CHI2016 pp. 25202532, 2016.

[2]

Cesa-Bianchi, Nicolo, and Gábor Lugosi. Prediction,learning, and games. Cambridge university press, 2006.