DEIM Forum 2013 E10-1

ユーザが過去に見た画像とその時のユーザの顔写真を組にして検索するシステム
杉浦 遼一†

岡部正幸††

梅村 恭司†† 豊橋技術科学大学 情報・知能工学系 〒 441–8580 愛知県豊橋市天伯町雲雀ケ丘１−１†† 豊橋技術科学大学 情報メディア基盤センター 〒 441–8580 愛知県豊橋市天伯町雲雀ケ丘１−１
E-mail: †sugiura@ss.cs.tut.ac.jp, ††okabe@imc.tut.ac.jp, †††umemura@tut.jp
あらまし検索システムにおいて文章ファイルであればそこに含まれる文字列だけを利用して検索するのが一般的である．このとき，情報をみているユーザの情報を利用する例は少ない．そこで本研究では，ユーザが過去に見た情報とユーザの情報を組とする事を特徴とするシステムを提案する．検索結果を選ぶ場合に，ユーザが過去に情報を見たときの評価を使用すると有効であったことを実験によって示し，ユーザが過去に見た情報とユーザの情報を組にする検索結果として得るフレームワークのシステムを実装について述べる．ユーザの情報を得る方法は多数あるが，本研究ではユーザの顔写真を用いた．ユーザの顔写真以外のユーザ情報も同じフレームワークで実装できる．
キーワード

情報検索，画像検索，ユーザ履歴

Information Retrieval combining
the images of desktops and the pictures of users
Ryoichi SUGIURA† , Masayuki OKABE†† , and Kyouji UMEMURA†† Department of Computer Science and Engineering, Toyohashi University of Technology
1-1 Hibarigaoka, Tenpakucho, Toyohashi, Aichi, 441–8580 Japan†† Information & Media Center, Toyohashi University of Technology
1-1 Hibarigaoka, Tenpakucho, Toyohashi, Aichi, 441–8580 Japan
E-mail: †sugiura@ss.cs.tut.ac.jp, ††okabe@imc.tut.ac.jp, †††umemura@tut.jp

1. は じ め に処理を行い検索が行えるシステムを利用することで，ユーザが過去に見た画像を検索できる．

検索システムにおいて検索対象となるデータを扱うことが一次に，情報を見たときのユーザから得られる情報は多数ある．

般的である．例えばユーザが過去に作成した文章ファイルに含例えば，表情，動作，発音，格好など様々な種類の情報がある．

まれる文字列や，Web ページに含まれる文字列などである．しこれらの情報を取得できるような環境が整ってきた．デジタル

かし，情報を見ているユーザの情報を検索に利用する方法は十カメラに搭載された笑顔に反応してシャッターを切る技術や，分に調べられているとは言えない．そのため，検索する人が情ユーザの動作をゲーム内に取り込むことなど一般的な用途にも報を過去に見たときの評価を検索に利用する方法は，十分では広まっている．このなかでユーザの顔写真をユーザから得られないという問題がある．

る情報の代表としてシステムを作ることにした．検索対象とはさて，過去に作成した文章や Web ページで閲覧したページ非同期で観測されるユーザ情報を扱う方法がある事を示すもの

を検索する際にユーザは過去に閲覧した断片的な情報から検索であり，このシステムの構造のまま別のユーザ情報を扱うことすることが考えられる．その場合特徴的な単語や文字列を検索が出来る．

キーワードとして用いる．だが，断片的な情報が必ずしも文字

そこで本研究では，この問題に対して検索する人の情報とし列として登録されているとは限らない．例えば Web ページにて顔写真を用いる事で，ユーザが過去に見た情報とユーザの情含まれるタイトルや数式が画像などである場合である．そこで，報を対象とした検索フレームワークの提案をする．

コンピュータの画面をキャプチャし，一枚の画像に対して OCR

2. 対象とする状況
本研究が対象とする状況は，過去にみたコンピュータの画面を検索する事である．ここで，過去に見たコンピュータの画像とは，ユーザがコンピュータを見ていたときに表示されていた画像である．

表 1 評価実験結果
被験者
カイ二乗値

1

被験者

5

カイ二乗値

9.05731

被験者
カイ二乗値

2

3

420.48283 11.13043 35.90244 6.477733
67818.02253 14.25455 1.564027

910

22.58456 28.25225

111212.25

27.58944

私たちが普段の生活の中で撮影した写真を SNS やウェブアルバムにアップロードして写真を管理していたとする．ユーザ
は，普段何気ないときにその写真をサイトにアクセスして閲覧

4. ユーザ情報を利用する検索の妥当性検証している．あるとき，ユーザが写真を利用して作業していた過去の作業状況を知りたいと考えたとする．そして、写真を見ていたときのだいたいの時間や，その時画面に映っていた断片的なテキスト情報は覚えている．このような状況を例とする．

4. 1 実 験 方 法
ユーザが過去に見た情報の判断が，検索結果を選ぶのに利用することが有用であるかを示すために予備実験を行った．
実験方法として，過去に見た情報と検索結果として表れた情

3. 提案する検索システム
一般のデスクトップ検索システムの検索対象はコンピュータ
内部に格納されている書類であるが，ここで提案するシステムはコンピュータの操作画面が検索対象である.
コンピュータの画面に対する先行研究の検索システムとして熊谷の研究がある [1, 2]．熊谷の研究はコンピュータの画面画像に対して OCR 処理を行い，画像に含まれるテキスト情報を抽出し，この抽出したテキスト情報をメタ情報として扱うことで一般的な検索システムで検索を可能とすることが提案されている．この手法では，コンピュータの画面に含まれる文字をメタ情報としてとして検索を行うことが出来るため，コンピュータの画面に映っていた文字を思い出すだけで検索を行うことが出来る.
先行研究のシステムでは対象となる文章や Web ページに含まれる文字列を手掛かりとしてコンピュータ画面を検索できるが，得られるものにユーザの情報は含まれていない．本研究では，検索対象をコンピュータ画像から，コンピュータ画像とユーザ情報の組に拡張した．ユーザの過去の情報とコンピュータ画像とを組み合わせると，あるコンピュータ画面を表示され続けていたことが分かった場合，なぜそのような行動を取ったか推測することが可能になると考えられる．例えば，ある建物の写真を表示したままで作業が止まっている画像を発見したとする．そのときユーザが下を向いて資料を見ているという写真情報があれば，このときユーザは作業を休んでいるのではなく報を被験者に評価してもらうシステムを利用した．過去に見た情報として複数枚の動物の写真やイラストを 128 枚用い，被験者には 1 枚 1 枚閲覧してもらい，各々に被験者にとって良いか悪いかで 5 段階評価を行う．その後，検索結果を提示し，予め指定してされた 16 枚の画像の中から被験者が 8 枚有用だと感じた画像を選択する．検索結果として表れる 16 枚は，過去に見た画像の中から選択される．また，この検索結果を選択する
作業を 4 回繰り返す．
この実験を被験者 12 人に対して行い，評価はカイ二乗検定を用いて検定をした．カイ二乗検定の帰無仮説として，『被験者が判定した画像と，被験者が検索結果に提示されて判定した画像には差が無い』をたてる．対立仮説として，『被験者が判定した画像と，被験者が検索結果に提示されて判定した画像には差がある』をたてる．

4. 2 実 験 結 果
被験者 12 人に対して実験を行った結果が表 1 である．カイ二乗分布表より自由度 1，確率 0.05 の時のカイ二乗値は 3.84である．これより，被験者 8 を除く被験者 11 人に対して帰無仮説を棄却することが出来るため，被験者が判定した画像と，被験者が検索結果に提示されて判定した画像には差があるといえる．ユーザが過去に見たときの判断がどのような情報に反映されるかには結論が出ていないが，判断を推定できる情報があれば，それを保持することは有用であることがわかる．

5. 実装したシステムて，コンピュータ以外の情報にアクセスしていることが分かる．
コンピュータ画面の情報だけではこのような状況を把握することが出来ない．そこで，コンピュータの画面とユーザの情報を組として検索するようなシステムが有用となる．
ユーザの情報をコンピュータ画面の解釈を正確にするだけでなく，それを積極的に情報検索のランキングに使うことも考えられる．例えば，ある操作のときにびっくりしたという記憶が有ったとすれば，ユーザ情報に着目して検索対象を絞り込むこともできる．さらには，過去に情報を見たときにユーザにとって評価が高かったという情報があれば，それで情報を絞り込めば検索結果が有用になる可能性もある．

5. 1 コンセプト
基本コンセプトとして，見つけたい情報に関するキーワードを入力すると，見つけたい情報を含む画面イメージを結果として表示する．過去に見たコンピュータの画面画像を結果として，視覚的情報化から断片的な記憶 (キーワード) により，見つけたい情報を知ることが出来る．

5. 2 構成本システムの構成は大きく 3 つからなる (図 1)．1. コンピュー
タの画面画像の蓄積：検索対象となるユーザのコンピュータの画面画像を一定間隔で蓄積する．2. 顔画像の蓄積：ユーザの顔写真を一定間隔で撮影し蓄積する．3. 検索システム：本研

図3

検索インターフェースの動き

クライアント
情報の送信

黒部ダム

クライアント

サーバ

画面取得
顔画像撮影

画面蓄積
顔画像蓄積
検索システム図 1 本システムの構成

図 4 検索キーワードの入力画面

図 2 検索インターフェース

究室で提案している熊谷のシステムを変更して，コンピュータの画面画像の検索を行う．また，検索結果を提示するインターフェースとして，検索結果としてわたされる画面画像の他に直図 5 検索結果画面前と直後の画面画像が提示される (図 2)．この直前と直後の画像を選択すると，その選択した画像が検索結果となり直前と直後の画面になる (図 3)．
顔写真の取得方法は，ユーザの正面にあるディスプレイの上辺に市販されている Web カメラを設置し，一定の間隔で撮影を行う．撮影された顔写真はサーバへ蓄えられ検索結果に併せて，検索結果の時間の顔画像が適宜選択されユーザに提示される．顔写真は検索結果の日時からその直前の顔画像を提示する．
顔画像の蓄積を行っている部分を別の情報を表示するように変更する事でユーザの顔写真以外の表示を可能とする．例えばその時のユーザの着座状態を何らかの方法で取得，蓄積することで，その時ユーザが着座情報を付随して表示することが出来る．

5. 3 操 作 画 面
操作の流れを示す．
はじめに，市販の検索エンジンに対し検索キーワードを入力し検索を行う (図 4)．この際に市販の検索エンジンを用いているため日時の指定や，検索対象は自由に設定できる．入力後，検索結果が提示される (図 5)．
提示される検索結果をクリックすると，インターフェースが立ち上がる (図 6)．検索インターフェースには中央に検索結果のコンピュータの画面画像，右側に時間軸上で直後の画面画像，左側に時間軸上で直前のコンピュータの画面画像が提示される．
この検索結果には，その時のユーザの顔画像も一緒に提示されており，表情も見て取ることが出来る．左右のコンピュータᕥࡢ⏬ീࡀ୰ኸ࡟⾲♧ࡉࢀ࣮ࣘࢨࡢ㢦෗┿ࡀኚ໬ࡍࡿᕥࡢ⏬ീࢆࢡࣜࢵࢡࡍࡿ

図7

検索インターフェース操作例

ら，SIS では文章の検索は行えるが，過去の画面とユーザの情報との結びつけは行えない．その点で本研究とは異なる．
ユーザの動作を基にしたデータ間関連度とデータ着目土算出機構を用いたシステムとして，俺デスクがある [4]．Windowsの操作履歴を保存し，その履歴からデータの関連度を算出している．インターフェースは検索ボックスを用いた検索の関連検索ツールと，タイムラインを用いたタイムラインビューアの 2つがある．関連検索ツールは，A をしていたときに参照していた B をという検索がテキストベースでできる．タイムライン
ビューアはユーザのデータ参照状況を視覚化した物で，過去に見た情報をサムネイル付きで見ることができる．しかしながら，
図 6 検索インターフェース画面過去の情報をさかのぼって検索できる点は類似しているが，過去の情報とユーザの情報との結びつけが出来ない点で，本研究の画面画像を選択すると，クリックした対象の時間を中心としたコンピュータの画面画像に切り替わる．例えば，中央の検索とは異なる．

7. ま と め

結果のコンピュータ画像の時間が 15 時だとする．左右のコンピュータ画像は中央の検索結果の 1 分前後だとする．ここで，左側の検索結果より 1 分前の 14 時 59 分のコンピュータの画面画像をクリックすると，中央に表示される画面画像が以前まで左側に表示されていた 14 時 59 分の画像に切り替わる．この動きを表した物が図 7 である．中央の検索結果の図 6 の破線で

本研究ではコンピュータの画面を対象とした検索システムにユーザ自身の情報としてコンピュータの画面を追加するシステムを構築した．また，ユーザの顔写真以外のユーザ情報も同じフレームワークで実装できる．

8. 今後の課題

囲った領域には検索結果の時間のユーザの表情を確認できる．
また，下方には検索結果から前後 2 分の情報を提示するタイムラインを設置した．これにより，検索結果と前後の遷移が容システムは動作しているが，ユーザの顔写真以外にどのような情報が有用であるかについて，分析と検討が不十分である．
そして，提案するフレームワークでユーザ情報を検索のランキ易になる．

ングに使った場合，どのように使うか，また，検索精度の向上

6. 関 連 論 文に有用であるかの検証もおこなわなければならない．

過去の情報を検索するインターフェースの構築に関する研究について述べる．
マイクロソフトリサーチが開発した個人情報の検索と再利用ためのシステムとして Stuﬀ I

ve Seen (SIS) がある [3]．

Windows に含まれる，電子メールやワード，パワーポイントなどの情報をテキストベースで検索することが出来る．ユーザインターフェースは 2 種類あり，Top View と Side View である．Top View は上部に検索のオプションが表示される．一方Side View は左側に検索オプションが表示される．しかしなが文

献[1] 熊谷 摩美子 and 梅村 恭司. “体験情報に関する検索パラダイムの実証研究”. WISS2009, pp.147–148, 2009.
[2] 熊谷 摩美子, 杉浦 遼一, 岡部 正幸, and 梅村 恭司. “OCR を利用したスクリーンショットの検索システムとその評価”. DEIM
2011, (B2-6), 2011.
[3] S. DUMAIS. “Stuﬀ I’ve Seen : A System for Personal Information Retrieval and Re-Use”. Proc. of SIGIR’03, pp.72–79,
2003.
[4] 大澤亮. “俺デスク : ユーザ操作履歴に基づく情報想起支援ツール”. 情報処理学会 第 47 回プログラミング・シンポジウム, 2006,
2006.