

体験情報に関する検索パラダイムの実証研究             熊谷 摩美子

梅村 恭司

 既存のシステムでは，断片的な記憶により自身のコンピュータ内のメール，ファイルや ページなどのコンテンツ情報を検索できる．しかし，既存のシステムはアプリケーションを同時に実行することによって生じる関連性（同時性）を確認できないため，同時に見ていた状況を思い出せても目的の情報を見つけることができない。また，やアプリケーションの種類によって，索引となる文字情報の取得が制限される．自分のコンピュータで見た情報，体験した情報を検索するには十分でない．本研究では，コンピュータの操作画面イメージを蓄積し，画面イメージに対してキーワードによる検索を行うプロトタイプシステムを構築する。過去の作業状況，画面イメージを結果として表示することで，アプリケーションの同時性を確認でき，同時に見ていた状況から目的の情報を見つけることができる．
やアプリケーションの種類に制限されず，索引となるテキスト情報を取得できる．本プロトタイプシステムによって，コンピュータで体験した情報の検索を実現できると考える．そして，プロトタイプシステムの操作，構成，関連するシステムとの比較を示す．



はじめに
たとえば，１年前にドキュメントの作成時に参照していたファイルが思い出せないというように，あのとき自分のコンピュータで見た情報，体験した情報を検索したいということがある．体験した情報を検索するシステムに近いものとしてデスクトップがある．
デスクトップはコンピュータ内のコンテンツ情報を検索して，探したい情報を見つけるシステムである． のフックで実装し，コンピュータ内の情報として，ユーザアクションとアプリケーションのテキスト情報を記録する．コンピュータ内の情報の検索に便利といえるが，見つけたい情報のキーワードは思い出せないが，同時に見ていた状況のキーワードを思い出せるといった場合に目的の情報を検索することができない．これは，アプリケーションを同時に実行することによって生じる関連性（同時性）を確認できないためである．体験した情報を検索するには十分であるとはいえない．本
研究では，コンピュータの操作画面イメージを蓄積し，画面イメージに対してキーワードによる検索を行うプロトタイプシステムを構築した．のフックでなく，操作画面イメージを光学文字認識プログラム 処理によって，索引となるテキスト情報を取り出す．検索結果として，操作画面イメージを表示することによって，アプリケーションの同時性を確認，同時に見ていた状況から目的のデータを見つけることができ，やアプリケーションの種類に制限されず，索引となるテキスト情報を取得でき            豊橋技術科学大学

る．本プロトタイプシステムによって，コンピュータで体験した情報の検索を実現できると考える．
提案するプロトタイプシステムに関連するシステ
ムとして，と俺デスク が存在する． ，俺デスクとは，ユーザのアクション（時間＋ファイル）を検索対象とした検索方法である．これらは，のフックで実装されており，提案システムのによるテキスト情報の取得とは異なる．提案システ
ムと類似システムを比較した．

 






 プロトタイプシステムについて¾º½

システムの基本コンセプトと機能システムの基本コンセプトを図 に示す．基本コンセプトとして，見つけたい情報に関するキーワードを入力すると，見つけたい情報を含む画面イメージを結果として表示する．また，その結果と同時期に見た画面イメージも表示することができる．過去の作業状況を結果として表示することで，視覚情報から断片的な記憶により，見つけたい情報を知ることができる．本システムの特徴的な機能は以下の２つである．

 見つけたい情報に関する字句は思い出せないが，その時同時に見ていた字句は記憶して思い出せる場合，操作状況の記憶による関連性において検索できる．

 見つけたい情報の前後の状況を思い出せる場
合，時間に関して検索できる．

¾º¾

システムの構成要素

システムは３つの主要構成要素からなる．

 図 ½º システムの基本コンセプト

 画面ハンドラー：操作画面イメージを適切な一定間隔で保存する．

  エンジン： を用いて索引となるテキスト情報を取り出す．

 検索エンジン：取り出したテキスト情報に基づいて，過去に見た画面をキーワードで検索する．

以上の３つの構成要素を組み合わせることで，システムを構築する．

¾º¿

各構成要素の配置

各構成要素の配置として，すべての構成要素をつので実行させるとすると，操作性が悪くなるという問題がある．よって，各構成要素の配置として，クライアント・サーバ方式を採用した．図 に各構成要素の配置を示す．クライアント側では画面イメージを取得し，サーバ側へ転送する画面ハンドラーのアプリケーションが実行され，サーバ側では転送された画面イメージを保存する画面ハンドラーのアプリケーションとエンジン，検索エンジンが実行される．クライアント・サーバ方式によって，クライアントの負荷を軽減した．





 関連するシステムとの比較



関連するシステムとして，と俺デスクがある．
これらの検索ツールは，ユーザアクション，ファイルや時間に対して検索を行う検索方法であり，のフックではなく，によってテキスト情報を取得を行う．比較した際の提案システムの長所と短所について述べる．と比較した際の長所は、アプリケーションによらず，テキスト情報を取得できる，複数のアプリケーションの同時性が確認できる，以外ので実行できることであり，短所は，のご認識の問題，時間間隔の調整が必要である．俺デスク比較した際の長所は，アプリケーションによらず，テキスト情報を取得できる，以外ので実行できることであり，短所は，と比較した際と同様である．





 終わりにコンピュータの操作画面イメージを蓄積し，画面イメージに対してキーワードによる検索を行うプロトタイプシステムを構築した．関連するシステムとは異なり，のフックでなく，によって索引となるテキスト情報を取得した．本システムによって，コンピュータで体験した情報の検索を実現できると考える．検索結果にほとんどが同じで，一部だけが異なる画像が多数出力されるという問題や時間インタフェースの改良を今後解決する必要がある．

参考文献図 ¾º クライアント・サーバ方式の配置              #$$%
      !"# 大澤亮   ユーザの過去動作を基にした履歴検索用データ間関連度とデータ着目度算出機構の構築 情報処理学会第 && 回システムソフトウェアとオペレーティング・システム研究会 #$$''
% (") *  製品ページ．
+,-))...+,/ * ) 0+ 
1 2*3 製品ページ．
+,-))...  *4,)2*3)