WISS2005

計算機上での活動履歴を利用する記憶の拡張システムの評価
Evaluation of human’s memory extension system by retrieving the history of computer use.

近藤 秀樹

三宅 芳雄∗

Summary. We have developed a system, Necologger, which records activities in computer use extensively by logging various system events such as key strokes and screen shots at optimal intervals. The
system provides users with various methods such as browsing thumbnails of screen shots and searchingwith keywords to retrieve useful information from the records. Our preliminary evaluation showed somecases in which users found the system useful.

1

はじめに自分の過去の活動には多くの有益な情報が含まれており，それをうまく取り出せれば役に立つ可能性は大きい．例えば，以前に使っていたが忘れてしまったコマンド名や，保存はしたが，どこに保存したのかが分からなくなったファイルの場所など，過去の自分の活動が詳しく記録されていれば，そこから必要な情報を取り出せる可能性は少なくない．しかし，実際に自分の過去の活動を記録し，そこから必要な情報を取り出すことは容易ではない．例えば，ビデオなどで単に活動を記録しておくことを考えてみても，常時記録すること自体の大変さに加えて，記録した情報の量が膨大になりすぎて，そこから必要な情報を取り出すことは事実上不可能に近い．
我々は計算機上での活動を対象として，ユーザの活動の履歴を環境全体にわたって適切な粒度で構造化しつつ自動的に記録しておくシステム NecoLogger と，キーワード検索や時間軸に沿った関連性を手がかりにして探索的に履歴を振り返るシステム Retrospectorを開発してきた．このシステムは，人が断片的に思い出せる情報と計算機上に残される情報とを組み合わせ，失われた記憶を補完し，必要に応じて過去の自分の活動の様子を探索して，現在の問題解決に役立つ情報を取り出すものである．WISS2004 ではプ
ロトタイプの実装状況と想定される適用事例について報告した [1]．その後，実装の完成度を上げて高速化し，履歴を振り返るための新たなビューを追加して，現実に長期的に運用を行った．本稿では実際の運用を通じて収集した有益な事例について報告する．

2

われず，活動全体にわたって，マウスの操作，キーストローク，かな漢字変換，クリップボードへのコピー，ウィンドウの操作内容，10 秒毎の画面イメージ等を記録する．すでに実装していたプロトタイプは実行速度や完成度の問題により日常的には運用できなかったため，設計を新たに実装しなおしたものを運用している．

Retrospector は NecoLogger の記録を処理し，振り返るためのシステムである．本バージョンの Retrospector は，履歴中の画面イメージをサムネイルによって総覧する機能，時間軸に沿った活動の再生機能などを新たに実装した．これにより，すでに実装されていたキーワード検索機能と合わせて，ユーザは断片的に思い出せる情報を手がかりにして自分の活動の一端にたどり着き，その活動全体を取り出して，時間軸上のつながりに基づいてブラウズするなどの手段で，必要な情報に行き当たることができる．Retrospector を実行した様子を図 1，図 2 に示す．

システム概要NecoLogger は計算機上での人の活動を記録しつづけるプログラムである．アプリケーションにとら∗

c 2005 日本ソフトウェア科学会 ISS 研究会．
Hideki Kondo, 中京大学大学院 情報科学研究科 情報認知科学専攻, and Yoshio Miyake, 中京大学 情報科学部

図 1. サムネイルによる活動の総覧

WISS 2005

でき，wiki のメモが正しいことが分かった．

4

定量的な性能

日常的に運用した結果，実際にシステムが役に立った事例を以下に述べる．

Retrospector が扱う履歴データは，主にユーザの活動の頻度と画面サイズに比例することが分かっている．3200 × 1200 ピクセルのデスクトップでは，約9.3GB/10 日程度のデータが蓄積された．UXGA 環
境では 1 日あたり約 460MB(年間約 220GB)，XGA環境 (標準的なノート PC など) では 1 日あたり約150MB(年間約 90GB) となることが分かった．この分量のデータは現在の計算機環境でも当面の運用は可能であるが，例えばノート PC 用のハードディスクは最大のものでも 100GB 程度しかなく，長期間の運用では問題となる可能性があり，データを圧縮する必要があることが分かった．

3.1

5

図 2. 時間軸に沿った活動場面のブラウズ

3

実際の事例

ネットワークのトラブル診断

過去にネットワークプリンタが使えなくなった，というトラブルが発生した．問題を解決するために WWW を検索したり，実際にコマンドを駆使して診断したり，といった活動を行った．約 3ヶ月後，再び同様のトラブルに見舞われたが，どんなコマンドを使ってどのように診断したのか，何から手をつけていったのかをまるで思い出せなかった．しかしネットワークのトラブル診断には”ipconfig” コマンドを使うのが常套だということに気づいたため，まず”ipconfig” をキーワードとして履歴を検索した．
検索結果のリストの順に画面イメージを見て周り，以前の活動と思われる箇所を見つけることができた．画面イメージにはコマンドプロンプトが表示されていたため，その時点からさらに時間をさかのぼり，診断のためのコマンド”nbtstat” や”browstat”が実行されている様子を取り出すことができた．

3.2

フリーソフトのコンパイル

知人とインスタントメッセンジャーで話すうちに，フリーソフトのコンパイルを頼まれた．cvs からソースパッケージを取得し，コンパイルオプションを調整し，テストしてもらったりを繰り返して，最終的には納得できるバイナリを生成できた．約 2 週間後，もう一度そのソフトをコンパイルしようとしたが，どうやってコンパイルしたか全く思い出せなかった．
フリーソフトの名前は分かっているため，履歴をキーワード検索した．検索結果のリストを日時の新しい順にソートして最新の画面イメージを取り出したところ，自分の wiki サイトに情報を書き込んでいる場面であった．wiki には，具体的なコンパイルオプションやそのオプションでコンパイルすると結果どのようなものが生成されるのかが書き込まれていた．
自分はそのメモを作ったことすら覚えていなかったが，有益な情報を取り出すことができた．また，活動の記録からもコンパイルの様子を読み取ることが今後の課題

運用中のユーザから「思うようにキーワード検索が機能しないことがある」という報告があった．この理由の一つとして，ユーザが画面で見た情報がイメージでしか取れておらず，検索可能になっていない，ということが考えられる．pdf で書かれた論文を読んでいる場面を振り返る場合，論文の内容に例えば「履歴の活用」と書かれていたことを思い出しても，直接的には検索のしようがない．画面に表示されただけの情報は，現在の履歴データには画面イメージとしてしか記録されていないためである．画
面で見かけた言葉を思い出すということは頻繁に起きうることだと思われるため，画面への表示内容について，履歴をより充実させることが必要である．
これを実現するために，API をフックして描画内容を記録する手法や，記録しておいた画面イメージに対する認識処理を検討している．

謝辞
本研究は (独) 情報処理推進機構が実施した 2004
年度未踏ソフトウェア創造事業の支援を受けたものである．

参考文献[1] 近藤秀樹, 三宅芳雄, Retrospector: 計算機上での履歴を振り返ることによる日常作業支援, WISS2004
論文集, pp.151-152: December 2004