(57)【要約】【課題】端末における操作画像を再生しながら、注目すべきユーザ操作を確認したり、監視したりする際の操作追跡の容易化を図る技術を提供する。【解決手段】端末１における操作画像と前記端末における操作イベントとを取得し、操作画像の再生を行う操作画像再生装置。先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の移行情報を暗示する移行暗示イメージを作成する移行暗示イメージ作成部と、再生されようとする操作画像である再生操作画像に対応する移行暗示イメージを再生操作画像とともにモニタに表示する再生情報処理手段とが備えられている。【選択図】図１
2008299736.tif 000002
【特許請求の範囲】
【請求項１】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生装置において、
先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の移行情報を暗示する移行暗示イメージを作成する移行暗示イメージ作成部と、
再生されようとする前記操作画像である再生操作画像に対応する前記移行暗示イメージを前記再生操作画像とともにモニタに表示する再生情報処理手段と、
が備えられている操作画像再生装置。
【請求項２】
前記移行暗示イメージ作成部によって作成された移行暗示イメージは、移行元の操作イベントに割り当てられることを特徴とする請求項１に記載の操作画像再生装置。
【請求項３】
前記操作画像と前記操作イベントに付与されたタイムスタンプに基づいて、時間的に対応する前記操作画像と前記操作イベントとをリンクするリンク部が備えられていることを特徴とする請求項１又は２に記載の操作画像再生装置。
【請求項４】
重点的に監視すべき注目操作イベント種別を指定する注目操作イベント種別指定部が備えられ、前記後続操作イベントが前記指定された注目操作イベント種別に属している場合にのみ前記移行暗示イメージが前記再生操作画像とともに監視モニタに表示されることを特徴とする請求項１から３のいずれか一項に記載の操作画像再生装置。
【請求項５】
前記操作画像とともに表示される前記移行暗示イメージが後続する複数の操作画像にわたってその表示が継続される請求項１から４のいずれか一項に記載の操作画像再生装置。
【請求項６】
前記移行暗示イメージが継続表示される場合その表示形態が変更されることを特徴とする請求項５に記載の操作画像再生装置。
【請求項７】
前記操作イベントに時間的に対応する操作画像が抜けている場合当該操作イベントを表す補間操作画像を生成する補間操作画像生成部が備えられていることを特徴とする請求項１から６のいずれか一項に記載の操作画像再生装置。
【請求項８】
前記暗示イメージとして、前記後続操作イベントが発生するまでの期間を表す時間経過イメージが含まれることを特徴とする請求項１から７のいずれか一項に記載の操作画像再生装置。
【請求項９】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得するとともに、前記操作画像の再生を行う操作画像再生装置のための操作画像再生プログラムにおいて、
先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の移行情報を暗示する移行暗示イメージを作成する機能と、
再生されようとする前記操作画像である再生操作画像に対応する前記移行暗示イメージを前記再生操作画像とともにモニタに表示する機能と、
をコンピュータに実現させる操作画像再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生技術に関する。
【背景技術】
【０００２】
遠隔制御サーバとクライアント端末が通信ネットワークを介して接続されたシステムにおいて、オペレータによる端末のリモート操作時に、クライアント端末ではモニタに表示されているモニタ画面を遠隔制御サーバに送信し、遠隔制御サーバでは受信したモニタ画面をモニタに表示すると共に、遠隔制御サーバのキャプチャ画像記録手段が、クライアント端末のモニタ画面をキャプチャ画像（操作画像）として、所定のインターバルで操作イベントログに記録し、この記録のあとに、遠隔制御サーバのログ再生処理部が操作イベントログに記録されたキャプチャ画像の再生を行うものが存在する（例えば、特許文献１参照）。この従来技術では、データ記憶部に格納された操作画像を監視モニタに再生することで、ユーザによる端末の操作内容を監視することができるが、特定の危険な操作に注目して監視したい場合であっても、それ以外の操作が頻繁に現れることで、その監視作業が散漫となる。このため、ファイルを複製してポータブルメモリにコピーするといった、場合によっては禁止された行為となる操作を確実に見つけ出すことが難しくなる。
【０００３】
また、各区河川施設からの水位、ゲート開度等の情報を受け取ると共に、これらの情報に基づく重要度、安全度から操作すべき（監視すべき）河川管理施設を、監視リスト表示エリアに順にリスト表示し、監視操作エリアに施設監視エリアで選択されたＣＣＴＶの画像が表示される広域監視システムが知られている（例えば、特許文献２参照）。この広域監視システムでは、監視対象として河川の様子を記述する水位やゲート開度等の情報と河川の様子を表示するＣＣＴＶの画像が監視対象現場から監視センタに送られてくるので、これらを見ながら河川の様子を監視することができる。しかしながら、この監視システムは時々刻々と変化する河川の様子を監視することを目的としているので、当然リアルタイムでの河川監視用として構築されており、送られてきた計測情報や監視画像（ＴＶ画像）を録画し、それを再生しながら河川の監視を行うことは考慮されておらず、監視画像の再生時における監視の容易化に関しては示唆さえされていない。
【０００４】
さらに、画像に対するユーザ操作を視覚的に確認するため、映像における特定被写体に対してユーザがクリックした際の映像内時間位置及び空間座標データをクリック操作イベントログとして保存しておき、映像の再生中にこのクリック操作イベントログをスーパーインポーズ（合成）して表示する技術が知られている（例えば、特許文献３参照）。この技術では、ユーザがどのようなシーンでクリックしたのかといったクリック操作を再生時に視覚的に確認できる。しかしながら、この技術は、リアルタイム時には見えなかった画像に対するユーザのクリック操作を再生時にそのクリックされた再生時刻にイメージ化して表示しているだけであり、特定操作に注目しながら操作画像を再生する際の特定操作の確認を容易化するといったような要望には、貢献できない。
【０００５】
【特許文献１】特開２００６−１０８９４７号公報（段落番号００９４〜００９９、図１、図１７）
【特許文献２】特開２００６−４１７７０号公報（段落番号００３５〜００５１、図１、図２）
【特許文献３】特開２００４−１１００９６号公報（段落番号〔００２２〕〜００３０、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
一般的にはマウスのようなポインティングデバイスを用いたコンピュータ画面（操作画面）上のユーザ操作を、その操作画面をキャプチャすることによって得られる操作画像を再生することで確認なり監視なりを行う場合、操作イベントの発生点、つまり操作点位置が四方八方にジャンプするので、その操作の追跡に熟練と経験が必要となる。上記実状に鑑み、本発明の課題は、端末における操作画像を再生しながら、注目すべきユーザ操作を確認したり、監視したりする際の操作追跡の容易化を図る技術を提供することである。
【課題を解決するための手段】
【０００７】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生装置において、上記課題を解決するため、本発明による装置では、先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の移行情報を暗示する移行暗示イメージを作成する移行暗示イメージ作成部と、再生されようとする前記操作画像である再生操作画像に対応する前記移行暗示イメージを前記再生操作画像とともにモニタに表示する再生情報処理手段とが備えられている。
【０００８】
上記構成によれば、モニタに再生される操作画像上に、その操作画像において発生している操作イベント（先行操作イベント）に続行して行われる操作イベント（後続操作イベント）への移行情報を暗示する移行暗示イメージが表示されるので、操作イベントの発生点、つまり操作点位置が四方八方にジャンプするようなケースであっても、移行暗示イメージにより後続する操作に対する予測がつきやすくなり、端末操作の確認が容易となる。なお、先行操作イベントに続行して行われる操作イベントとしての後続操作イベントは複数定義されてもよく、その場合、移行暗示イメージも複数表示されることになる。
また、前記移行暗示イメージ作成部によって作成された移行暗示イメージを、移行元の操作イベントに割り当てるような構成を採用すると、操作画像の再生前に、操作イベントと移行暗示イメージとを確実にリンクした状態で格納することができ、処理の高速化に貢献することができる。
【０００９】
例えば、その移行暗示イメージとして後続操作イベントの操作内容が表示されると、後続する操作を前もって知ることができるので、余裕をもって監視を行うことができる。また、その移行暗示イメージとして先行操作イベントの操作画像上での操作位置から後続操作イベントの操作位置に至る矢印線が表示されだけでも、マウスなどのポインティングデバイスの操作点の移動方向が予測でき、再生操作画像を通じての端末操作の確認が容易となる。また、１つの操作から次の操作までの時間には長短があるので、監視者はいつ始まるかもしれない次の操作を待つという苛立たしさをもつことになるが、もし移行暗示イメージとして後続操作イベントが発生するまでの期間を表す時間経過イメージが含まれるならば、そのような苛立たしさからも開放されて端末監視を行うことができる。例えば、この時間経過イメージは砂時計やスライドバーとして表現してもよいが、カウントダウン時間とすると、操作イベントが発生するまでの時間を簡単に知ることができる。
【００１０】
操作画像の再生時における注目すべきユーザ操作の多くは、例えば、「共有フォルダにアクセス」（先行操作イベント）し、共有フォルダ内の「機密ファイルを選択」（中間操作イベント）し、「機密ファイルをリムーバブルディスクに転送」（最終操作イベント）するといったように、一連の操作イベントから構成される。このことから、本発明の好適な実施形態では、操作画像とともに表示される移行暗示イメージが後続する複数の操作画像にわたってその表示が継続されるような構成（１つの操作画像に複数の連続する移行暗示イメージが表示される構成）を採用している。その際、過去の操作イベントの移行情報を示す移行暗示イメージとこれから起こる操作イベントへの移行情報を示す移行暗示イメージを視覚的に差別化するために、移行暗示イメージが継続表示される場合その表示形態が変更されるように構成すると、好都合である。
また、監視者があまり注目する必要のないユーザ操作に関してもいちいち移行暗示イメージが表示されると煩わしさを与えてしまう可能性がある。この場合、監視者が注目すべきユーザ操作の種別、つまり注目操作イベント種別を予め特定しておき、その特定のユーザ操作に関してのみ移行暗示イメージが表示されると都合がよい。この目的のために、本発明の好適な実施形態の１つでは、重点的に監視すべき注目操作イベント種別を指定する注目操作イベント種別指定部が備えられ、後続操作イベントが注目操作イベント種別指定部で指定された注目操作イベント種別に属している場合にのみ対応する移行暗示イメージが前記再生操作画像とともに監視モニタに表示される。
【００１１】
時間的に一致又は近似する操作画像と操作イベントとをそれぞれ時間的に対応づける必要があるが、この点に関し、前記操作画像と前記操作イベントに付与されたタイムスタンプに基づいて、時間的に対応する操作画像と操作イベントとをリンクするリンク部が備えるならば、操作画像と操作イベントとを確実にリンクした状態で格納することができ、好都合である。また、リンク部において端末別に操作画像と操作イベントとを、例えばインデックスコードのようなリンクコードでリンクして格納すると、所望する操作画像と操作イベントを高速に検索抽出することができる。なお、操作イベントの取得タイミングと操作画像のキャプチャタイミングが大きくずれたりして、それぞれの間で時間的な対応をとることが困難な場合、特に本発明において処理対象となる操作イベントに対して時間的に対応する操作画像が抜けている場合には、その操作イベントを表す補間操作画像を生成する補間操作画像生成部が備えられていると、操作イベントと操作画像とを確実に時間的に対応させることができる。
これとは逆に、操作画像に対して時間的に対応する操作イベントが存在しない可能性がある場合、この操作画像には先行する操作画像にリンクしている操作イベントと後続する操作イベントからその途中の操作過程を推測してその内容が記述された補間操作イベントを作成する補間操作イベント作成部が備えられてもよい。もちろん、必要な場合、補間操作画像生成部と補間操作イベント作成部の両方が備えられてもよい。
【００１２】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得するとともに、前記操作画像の再生を行う操作画像再生装置のための操作画像再生プログラムにおいて、前記課題を解決するために、本発明による端末監視プログラムは、先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の移行情報を暗示する移行暗示イメージを作成する機能と  再生されようとする前記操作画像である再生操作画像に対応する前記移行暗示イメージを前記再生操作画像とともにモニタに表示する機能とをコンピュータに実現させる。このように構成された操作画像再生プログラムも、先の操作画像再生装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴構成を備えることが可能である。
【発明を実施するための最良の形態】
【００１３】
端末における操作画像と操作イベントを時間的に対応させ、モニタにおける操作画像の再生の際、ある操作画像の表示にあたって、この操作画像にリンクする操作イベントとこれに続行して表示される操作画像にリンクする操作イベントとの間の移行情報を暗示する移行暗示イメージも表示するという、次のユーザ操作の内容を予測できる本発明による操作画像再生技術の基本原理をまず説明する。図１には、汎用的なノートパソコンやデスクトップパソコンで構成される端末１と、この端末１におけるユーザ操作をその操作画面を再生する操作画像再生装置３が、例えばネットワーク（ＬＡＮのような組織内のネットワークであってもよいし、インターネットのように開放された広域のネットワークであってもよい）などのデータ伝送ライン２を通じて接続されているコンピュータシステムが示されている。端末１では各ユーザ操作を表す操作イベントを逐次記述した操作イベントログが作成されるとともに、所定のインターバル（例えば１秒間隔）でモニタ画面（操作画面）を作り出している画像が操作画像としてキャプチャされる（＃０１）。この操作イベントログと操作画像は、データ伝送ライン２を通じて操作画像再生装置３に送られる（＃０２）。端末監視装置３に送られた操作イベントログに記述されている操作イベントと、同様に操作画像再生装置３に送られた操作画像は、大容量ハードディスクなどのデータ格納部に格納される前に、あるいは一旦格納してから、例えばタイムスタンプなどの取得時刻を示す時間コードを参照して、一致する時刻あるいは近似する時刻を条件として対応付けられる（＃０３）。この対応付けは、操作画像の再生時に行ってもよい。但し、所定の時間範囲（例えば、１秒）内に操作イベントに対応する操作画像がない場合、その操作イベントの内容からその操作イベントが行われていると推定される操作内容をもつ補間操作画像を生成して、対応する操作イベントにリンクさせてもよい（＃０４）。もちろん、逆に、時間的に対応する操作イベントが抜けている場合、前後の操作イベントから推測できる内容をもつ補間操作イベントを生成するようにしてもよい。次に、時間的に前後関係となる操作イベント、ここでは先行操作イベントと後続操作イベントと名づけるが、この先行操作イベントに後続する操作イベント（次の操作イベント、次の次の操作イベント、さらに続く操作イベント・・・）である後続操作イベントへ移行する際の移行情報を暗示する移行暗示イメージを順次作成する（＃０５）。この順次作成される移行暗示イメージは各操作イベントに割り当てられるか、あるいは属性値として持っているタイムスタンプを利用して時間的に対応付けが可能なようにしておく。（＃０６）。図１では、先行操作イベントと後続操作イベントが１対１の対応付けで説明されているが、各先行操作イベントにそれに後続する複数の後続操作イベントを対応づけてもよく、その場合、各操作イベントに複数の移行暗示イメージが対応付けられる。なお、監視者があまり注目する必要のないユーザ操作に関してもいちいち移行暗示イメージが表示されることによる煩わしさを避けるため、特定の注目される操作イベントにのみ移行暗示イメージを生成して、リンクするようにしてもよい。モニタで特定端末の操作画面をチェックするためには、操作画像を時間軸に沿って、つまりキャプチャされた順に監視モニタに再生していくことになる（＃０７）。操作画像の再生時には、その操作画像にリンクしている操作イベントに対して割り当てられている移行暗示イメージが呼び出され、当該操作画像に合成されて監視モニタに表示される（＃０８）。
【００１４】
移行暗示イメージの最も簡単な例は、次の操作のためのマウスの動きを示す標識であり、次の操作位置まで延びる矢印線やマウスの右クリックや左クリックを示すイラストやアプリケーション起動を示すオープンされるウインドウの枠を示す四角形などが挙げられる。もちろん、対応する後続操作イベントの操作内容を直接的に文章で表示する形態を採用してもよい。また、先行操作イベントから後続操作イベントまでの時間をそれぞれに付与されたタイムスタンプ等から演算して求め、この注目イベントが発生するまでの期間をイメージ化したもの（時間経過イメージ：カウント時間や時間経過バーグラフなど）を移行暗示イメージとしてもよい。
【００１５】
上述した、本発明による操作画像再生技術の基本原理を採用した端末操作確認システムの一例としての端末監視システムの構成が図２に示されている。この端末監視システムでは、多数の端末１がネットワーク２を介して操作画像再生装置としての端末監視装置３と接続されている。端末１は一般的なパソコンであり、ユーザによって各種データ処理やデータ閲覧などに関する操作、例えばファイルなどの作成、閲覧、複写、訂正、削除、印刷、インターネットブラウジング、メール送信などの操作が行われる。ユーザが端末１を使用する前に行われるログイン操作を通じて入力されたユーザ名やユーザコードなどが、端末ＩＤとともにユーザ属性情報として端末監視装置３に送られることにより、端末監視装置３は端末１を利用しているユーザを特定することができる。さらに端末１から端末監視装置３へは、ユーザがログインからログオフするまでの間で行った操作イベントを記述する操作イベントログと、その都度の操作画面をキャプチャして得られた操作画像とが適時送られる。端末監視装置３では、送られてきた操作画像を端末１毎にリアルタイムで、あるいは記録してから再生することで、端末で行われている操作を監視することができる。
【００１６】
端末１は、液晶ディスプレイなどのモニタ５１と、入力操作デバイス５２としてのキーボードやマウスと、各種データを格納する据え付けタイプのハードディスク５３やリムーバブルタイプの記録メディア（ＵＳＢメモリなど）５４を備えている。この端末１にインストールされているＯＳによって作り出されるＧＵＩ部１０が仲介することにより、モニタ５１に表示された操作画面を通じてユーザによって入力された種々の操作命令が実行される。各種ファイル処理を含むユーザ指示に基づくデータ処理はデータ処理部１１で行われる。その際、各種操作画面をモニタ５１に表示するため、これらの表示データは一時的にビデオメモリ１２に格納されるが、このビデオメモリ１２に展開されている表示データ、つまり操作画面を表す操作画像は操作画面キャプチャ部１３でキャプチャされる。また、ユーザが入力操作デバイス５２を通じて行う全ての操作は、操作イベントログ生成部１４において、操作イベントとして操作実行プログラム名や操作対象データ名（ファイル名）や操作コマンド名や操作画面（操作画像）上における操作位置などを列挙する形で記述され、これらの操作イベントは操作イベントログとしてスクリプト化される。操作イベントログ生成部１４によって生成された操作イベントログや操作画面キャプチャ部１３によってキャプチャされたキャプチャ画像はネットワークＩＦを通じて、ネットワーク２でつながれた端末管理装置３に送られるが、端末監視装置３での管理を容易にするために操作イベントログとキャプチャ画像には共通のタイムスタンプとユーザ属性情報とが付与される。
【００１７】
通常、この端末１を利用するためには、まずユーザ名とパスワードの入力によってログインしなければならないがこのログイン処理を通じて得られたユーザ名は、ログイン・ログオフ制御部１５において、そのままで又は必要に応じてユーザＩＤ等に変換され、端末１を識別するための端末ＩＤとともに端末監視装置３に送るユーザ（端末）属性情報となる。
【００１８】
端末監視装置３も一般的には汎用コンピュータによって構成され、液晶ディスプレイなどの監視モニタ５５、入力操作デバイス５６としてキーボードやマウス、大容量ハードディスクなどで構成されるデータ格納部５７などが付属している。この端末監視装置３にインストールされているＯＳによってＧＵＩ部３０や端末１から送られてきた端末操作ユーザに関するユーザ属性情報に基づいて特定された端末とこの端末を操作しているユーザを管理する端末管理部３１などを初めとして種々の基本的な機能が作り出される。また、端末監視装置３における本発明に関する機能のほとんどは、この端末監視装置３にインストールされている端末監視プログラムの実行に伴って作り出され、その代表的なものとして、端末１から送られてきたユーザが行っている操作イベントを記述している操作イベントログとその際の操作画面を示す操作画像とをネットワーク２を介して受け取る操作イベントログ取得部３２と操作画像取得部３３、操作イベントログ取得部３２で取り出された各端末別の操作イベントを格納するためにデータ格納部５７に形成された操作イベント格納部５７ａと、取得した操作画像を端末別でかつ時系列的に読み出し可能なようにデータ格納部５７に形成された操作画像格納部５７ｂに格納する操作画像管理部３６が備えられている。さらに、操作イベント格納部５７ａに格納されている操作イベントに対して、図１で説明したように、先行操作イベントとそれに続く後続操作イベントとの関係付けを行う次操作イベント判定部３８ａを有するとともにそれぞれの先行操作イベントからそれぞれの後続操作イベントに移行する際の移行情報、例えば「ファイルを選択して、ドラッグ（移動）する」といった情報を作り出す操作イベント管理部３８が備えられている。なお、この操作イベント管理部３８によって移行情報が作り出されるのを、特定の種別の後続操作イベントへの移行に限定する場合、そのような特定の注目すべき操作イベント（後続操作イベント）の種別を指定して注目操作イベント種別登録テーブル３９ａに登録する注目操作イベント種別指定部３９が備えられる。注目操作イベント種別指定部３９に対する注目すべき操作イベント種別の入力はＧＵＩ部３０を通じて行われ、注目操作イベント登録テーブル３９ａを通じて操作イベント管理部３８に参照される。なお、この実施形態では、取得した操作イベントとこの操作イベント発生時の操作画像とを高速に検索抽出可能にするために、インデックスコードなどのリンクコードを付与して、端末別に操作画像と操作イベントとをリンクするリンク部３４、及び、操作イベントログ取得部３２で取り出された各端末別の操作イベントに対して「マウスクリック（選択）」、「マウスドラッグ」、「キーボード文字入力」といったような操作種類毎に種別コードを付与する操作イベント分類部３５が備えられている。さらに、前述したように、処理対象となる操作イベントに対して時間的に対応する操作画像が存在しない場合には、その操作イベントを表す補間操作画像を生成する補間操作画像生成部３７が備えられている。
【００１９】
操作イベント管理部３８によって操作イベントに付与された移行情報に基づいてその内容を暗示する移行暗示イメージを作成して、これから再生しようとする操作画像とともに監視モニタ５５に表示する、再生情報処理手段としての監視情報処理手段４０は、これから再生しようとする操作画像（再生操作画像）を操作画像管理部３６から受け取るとともに、この操作画像に付与されている移行情報を操作イベント管理部３８から受け取る。この監視情報処理手段４０には、操作イベントに付与された移行情報に基づいてその内容を暗示する移行暗示イメージを作成する移行暗示イメージ作成部４１と、この移行暗示イメージが割り当てられている操作イベントにリンクしている再生操作画像に合成するイメージ合成部４２と、移行暗示イメージと合成された再生操作画像及び場合によってはそのような合成なしの再生操作画像が監視モニタ５５で再生されるように処理する操作画像再生部４３を含んでいる。
【００２０】
ここでは、Ｘ１という端末１で行われたユーザ操作、例えば、「共有フォルダの選択」、「共有フォルダのオープン（アクセス）」、「xxx.xlsファイルの選択」、「xxx.xlsファイルの移動複製」、「選択したxxx.xlsファイル上で右クリック」、「ＵＳＢメモリへの転送（書き込み）」・・・が行われており、図３ではその操作過程においてキャプチャされ送られてきた操作画像とその操作過程において作成され送られてきた操作イベントログが示されている。さらに、各操作画像に時間的に対応している操作イベントに対して、操作イベント管理部３８がある操作イベントの内容とその操作イベントを先行操作イベントとする後続操作イベントの内容とに基づいて作り出した移行情報を付与し、さらにその移行情報を利用して移行暗示イメージ作成部４１が作成した移行暗示イメージを当該操作イベントに直接割り与えるか、あるいは、移行暗示イメージに対応する先行操作イベントのタイムスタンプを付与する。この操作画面と操作イベントと移行暗示イメージの、経時的に連続した結びつきも図３に模式的に示されている。図３の説明図では、先行する操作イベント（先行操作イベント）には１つの移行情報のみが、その結果１つの移行暗示イメージのみが付随している。例として、イベントＩＤ：Ｅ０２１の「共有フォルダの選択」、イベントＩＤ：Ｅ０２２の「共有フォルダのオープン（アクセス）」、イベントＩＤ：Ｅ０２３の「xxx.xlsファイルの選択」、イベントＩＤ：Ｅ０２４「xxx.xlsファイルの移動複製」、イベントＩＤ：Ｅ０２５の「選択したxxx.xlsファイル上で右クリック」、イベントＩＤ：Ｅ０２６の「ＵＳＢメモリへの書き込み」が取り上げられている。そして、各操作イベントを順次先行操作イベントと後続操作イベントとみなして、移行情報が作り出され、この移行情報に基づいて、移行暗示イメージが作成されている。図から明らかなように、ここでは、移行暗示イメージとして後続操作イベントの内容をシンボリックに表現したシンボルマークが採用されている。このような移行暗示イメージはその都度作成するのではなく、予め作成して登録しておき、呼び出すことにより移行暗示イメージを作成するようにするとよい。
【００２１】
この実施の形態では、移行暗示イメージとして、後続操作イベントの操作内容のシンボルマークや先行操作イベントから後続操作イベントに移行する際のマウスの移動方向を示す矢印線などが用いられているが（図３のＳ０１４参照）、後続操作イベントとなった操作イベントの操作内容である、例えば、「xxx.xlsファイルのＵＳＢメモリへの書き込み」といった文言を吹き出し枠の中に描画した、図４で示すような暗示イメージを採用してもよい。また、文言中にかっこ枠付きで挿入されているカウントダウン変数は、先行操作イベントの発生から後続操作イベントが発生するまでの時間の演算値を表示するための変数であり、起点となる先行操作イベントの発生時刻により、その変数の中身、つまり演算値（カウントダウン値）が異なることになる。なお、操作画像再生における再生速度が実速度の場合は、そのカウントダウン値はそれぞれの操作イベントが発生した時刻の差でよいが、再生速度が実速度でない場合、つまりスロー再生や早送り再生の場合、そのカウントダウン値を再生速度に相応して、スロー再生の時は長くなるように、早送り再生の時は短くなるように実時間を変更するとよい。これにより再生画面がスロー再生か早送り再生スローかを意識せずに、先行操作イベントから後続操作イベントが発生するまでの時間を実際の時間で把握することができる。
【００２２】
図３に示すように、移行暗示イメージが割り当てられた操作画像を操作画像再生部４３の働きで監視モニタ５５に連続的に再生すると、監視モニタ５５には図５で示されるような画面が表示される。最初の操作イベント（イベントＩＤ：Ｅ０２１）にリンクづけされている操作画像が再生されようとする際には、カウントダウン変数に先行操作イベントからこれに対する後続操作イベントに至る時間が与えられたカウントダウン値付きの移行暗示イメージが当該操作画像に合成された形態で監視モニタ５５に表示される（図５（ａ）参照）。この監視モニタ５５の画面から監視者は、１秒後に共有フォルダがオープンされることを知ることができ、その監視の集中力を高めることができる。さらに、次の操作イベント（イベントＩＤ：Ｅ０２２）にリンクづけされている操作画像の再生が行われる（図５（ｂ）参照）。ここでは「ファイル選択」のシンボルマークと「ファイル選択」までのカウントダウン値が移行暗示イメージとして当該操作画像に合成されて表示されている。同様に、図５（ｃ）、図５（ｄ）、図５（ｅ）で示すように移行情報を表すシンボルマークとカウントダウン値が移行暗示イメージとして当該操作画像に合成されて表示される。特に、図５（ｅ）では、注目すべき操作イベントである「ＵＳＢメモリへのファイル書き込み」が次に行われることを示す移行暗示イメージ（シンボルマークとして爆発マークが採用されている）が表示されているとともに、その操作が２秒後に起きることが示されている。そして、注目すべき操作イベント（イベントＩＤ：Ｅ０２６）にリンクづけされている操作画像の再生が行われ（図５（ｆ）参照）、この時点で注目すべき操作（ＵＳＢメモリへのファイル書き込み）がこの時点で完了したことが理解できる。
【００２３】
上述した、操作画像に合成された移行暗示イメージの監視モニタ５５での再生では、図３で示されたような操作画像と操作イベントと移行暗示イメージとの間の１対１の関係をそのまま維持して、操作画像が切り替わる毎に移行暗示イメージも切り替わっていた。このやり方に代えて、ユーザ操作の経過を理解し易いように、操作画像の再生時にその操作画像に先行するいくつかの操作画像、つまり既に表示した操作画像に割り当てられた移行暗示イメージも再度一緒に合成することも可能である。このような再生モードを選択した場合の監視モニタ５５の画面が図６で例示されている。なお、この例ではカウントダウン値の表示は省略されている。最初の操作イベント（イベントＩＤ：Ｅ０２１）にリンクづけされている操作画像の再生では、共有フォルダが選択され、オープンされようとする移行暗示イメージ（フォルダオープンイメージ）だけが合成されているだけであるが（図６（ａ）参照）、次の操作画面の再生時には、再生しようとする操作画像にリンクしている操作イベント（イベントＩＤ：Ｅ０２２）に割り当てられている移行イメージだけでなく、その前のフォルダオープンイメージである移行暗示イメージも合成されている（図５（ｂ）参照）。つまり、操作イベント（イベントＩＤ：Ｅ０２１）に割り当てられた移行暗示イメージだけが残ったまま、次の操作画像とそれにリンクされた操作操作イベント（イベントＩＤ：Ｅ０２２）に割り当てられた移行暗示イメージとの両方が表示されているので、ユーザ操作の流れを観察し易くなる。ただ、実際に再生されている操作画像に対応しているこれから起こる操作イベントの移行暗示イメージと過去の操作画像に対応している既に起こった操作イベントの移行暗示イメージを区別するために両者の表示形態を変えている。図６では、既に起こった操作イベントの移行暗示イメージは点線で示しているが、実際には半透明にするなど、画像処理上の適切な手法を用いるとよい。移行の操作画面の再生においても、図６（ｃ）、図６（ｄ）、図６（ｅ）で示すように、過去に遡っての移行情報を表す移行暗示イメージも再生しようとする操作画像に対応する移行暗示イメージとともに当該操作画像に合成されて表示されている。そして、注目すべき操作イベント（イベントＩＤ：Ｅ０２６）にリンクづけされている操作画像の再生が行われることで（図６（ｆ）参照）、注目すべき操作（ＵＳＢメモリへのファイル書き込み）に至る操作手順が連続する移行暗示イメージにより容易に把握することができる。
【００２４】
再生される操作画像に移行暗示イメージを合成する形態の、さらに別な実施例が、図７に示されている。この実施例では、操作画像の再生時にこの操作画像に時間的に対応している操作イベントから複数の後続操作イベントへ移行していくことを暗示することになる複数の移行暗示イメージを合成して表示している。言い換えると、操作画像の再生時にその操作画像に続行する先行するいくつかの操作画像、つまり既に表示した操作画像に割り当てられた移行暗示イメージも再度一緒に合成している。図７は、１つの再生すべき操作画像に３つの後続操作イベントへの移行を暗示する３つの暗示イメージが割り当てられている例を示しているが、処理対象とされている操作イベントログや操作イベント間の移行情報に基づく移行暗示イメージは図３のものが適用されている。図から明らかなように、再生操作画像：Ｓ０１１には、操作イベント（イベントＩＤ：Ｅ０２１）を介して、次の操作イベント（イベントＩＤ：Ｅ０２２）の内容である「共有フォルダのオープン」に関する移行暗示イメージと、次の次の操作イベント（イベントＩＤ：Ｅ０２３）の内容である「xxx.xlsファイルの選択」に関する移行暗示イメージと、次の次の次の操作イベント（イベントＩＤ：Ｅ０２４）の内容である「xxx.xlsファイルの移動複製」に関する移行暗示イメージとが割り当てられている。同様に、再生操作画像：Ｓ０１２には、次の操作イベント（イベントＩＤ：Ｅ０２３）の内容である「xxx.xlsファイルの選択」に関する移行暗示イメージと、次の次の操作イベント（イベントＩＤ：Ｅ０２４）の内容である「xxx.xlsファイルの移動複製」に関する移行暗示イメージと、次の次の次の操作イベントの内容である（イベントＩＤ：Ｅ０２５）の「選択したxxx.xlsファイル上で右クリック」関する移行暗示イメージとが割り当てられている。続く操作画像にも、順次、３つの移行暗示イメージが割り当てられることになる。これにより、図７でも模式的に示されているように、最終的に監視モニタ５５上に表示されていく再生操作画像には、これから発生する操作イベントを暗示する３つの移行暗示イメージが合成表示される。もちろん、原則的には、予め設定された複数の移行暗示イメージを合成表示することになるが、これから発生する操作イベントの内容が無視できるようなものであるなら、これに関する移行暗示イメージの合成表示を省略して、複数の移行暗示イメージ表示によって生じるかもしれないモニタ画面上の煩雑さを回避するようにしてもよい。
【００２５】
なお、この端末監視装置３は、上述したように、操作画像取得部３３や操作イベントログ取得部３２で取得された端末１毎の操作画像や操作イベントログをデータ格納部５７に格納してから選択的に再生するモードだけではなく、操作画像や操作イベントログをデータ格納部５７に格納する前に直接監視モニタ５１に表示するモードなど種々の端末監視のための表示モードを備えている。そのような各種表示モードから所望のモードを選択するために監視モニタ５５に表示される端末監視基本画面１００が図８に示されている。端末監視基本画面１００には、上部位置に操作画像再生ボタン１０１、ログ閲覧ボタン１０２、ＰＣ情報ボタン１０３、リモート制御ボタン１０４、アラート設定ボタン１０５等がアイコンの形で配置されている。この基本画面１００の下部には端末別の操作画像表示領域１１０と、メッセージ表示部１１１と、各端末１のリアルタイムの操作画像を表示するフレーム１２０がマトリックス状に表示されており、このフレーム１２０の下部に端末名又は端末ＩＤを示す端末識別表示部１２１が配置されている。
【００２６】
この端末監視基本画面１００において、操作画像再生ボタン１０１が操作された場合には、その際に選択されている端末１の操作画像が操作画像格納部５７ｂから読み出されながら、図９で示すような再生画面１４０を通じて再生表示される。操作画像再生ボタン１０１を操作する以前に端末監視基本画面１００の前記モニタ画面表示領域１１０又は端末一覧表示部１１２に表示されている端末１を選択することになるが、操作画像再生ボタン１０１を操作した際に、ダイアログボックス（図示せず）を表示し、端末１を特定する情報を入力操作デバイス５２から入力してもよい。この再生画面１４０には、注目操作イベント種別指定欄１４１と、再生開始日時入力部１４２と、再生終了日時入力部１４３と、ＯＫボタン１４４と、再生領域１４５と、複数の再生コントロールボタン１４６と、再生スライダー１４７が配置されている。
【００２７】
再生画面１４０において操作画像の再生表示を行う代表的なやり方は、再生開始日時入力部１４２においてキーボード等から再生開始日時を入力し、必要に応じて再生終了日時入力部１４３に再生終了時刻を入力した後にＯＫボタン１４４をクリックすることである。これにより、特定された端末１の操作画像が操作画像管理部３６によって操作画像格納部５７ｂから読み出され、再生領域１４５に時系列で表示される。その際、上述したように、注目操作イベント種別指定欄１４１を通じて入力され注目操作イベント種別指定部３９によって設定された注目操作イベント種別に属する操作イベントが後続操作イベントとなる場合にだけ、この後続操作イベントの内容を示す移行暗示イメージが作成され、当該後続操作イベントの先行操作イベントにリンクする操作画像とともに表示される。
【００２８】
なお、図８に示された基本画面１００においてログ閲覧ボタン１０２が操作された場合には、別ウインドウで操作イベントログ一覧表示が行われる。基本画面１００においてＰＣ情報ボタン１０３が操作された場合には、選択された端末１の物理データやインストールされているアプリケーション名等のＰＣ情報を表示する処理が行われる。基本画面１００においてリモート制御ボタン１０４が操作された場合には、リモート制御画面において制御を実行するアイコン類を操作することや、コマンドを入力することにより個別端末のリモート制御が可能となる。
【００２９】
上述した実施形態では、操作画像再生ボタン１０１が操作された場合には、その際に選択されている端末１の操作画像が操作画像格納部５７ｂから読み出されながら、つまり録画再生として、図９で示すような再生画面１４０を通じて、移行暗示イメージ付きの操作画像が再生表示されていた。しかしながら、一方では、操作画像取得部３３で取得された操作画像がリンク部３４から操作画像管理３６を経て直接イメージ合成部４２に送られ、他方では、操作イベントがリンク部３４から操作イベント分類部３５を経て操作イベント管理部３８に送られ、その操作イベントに割り当てられる移行暗示イメージが移行暗示イメージ作成部４０で作成されるなら、実質的にリアルタイムで、移行暗示イメージ付きの操作画像を監視モニタ５５で再生することも可能である。従って、本発明では、移行暗示イメージ付きの操作画像の再生として、録画再生だけでなく、実質的にリアルタイム（後続操作イベントの取得を待つ必要があるので実際には数秒の遅れは生じるが）での再生も含んでいる。
【００３０】
さらに、上述した実施形態では、操作画像に時間的に対応する操作イベントが欠如している場合、補間操作イベント生成部３７が先行する操作イベントと後続する操作イベントから補間操作イベントを生成し、この生成された補間操作イベントを当該操作画像にリンクしていたが、これに代えて、時間的に対応する操作イベントが欠如している操作画面に対しては移行暗示イメージ作成部４１が前後の操作画像に割り当てられる移行暗示イメージから推測して補間の移行暗示イメージを作成して合成するようにしてもよい。特に、移行暗示イメージとして主にマウスなどのポインティングデバイスの動きを表す、例えば、先行操作イベントの操作画像上での操作位置から後続操作イベントの操作位置に至る矢印線を採用する場合、その補間移行暗示イメージは簡単に作り出すことができる。
【００３１】
また、上述した実施形態では、多数の端末１における操作画像と操作イベントログがネットワーク２を介して端末監視装置３に送られ、その端末監視装置３の監視モニタ５５で操作画像が必要に応じて表示される。しかしながら、本発明による操作画像の再生機能をモジュール化して端末１で実行可能なアプリケーションとし、各端末１にインストールすることで、端末１そのものを、スタンドアローン型の操作画像再生機能付き端末（つまり端末監視装置を組み込んだ端末）とすることができる。前述したサーバ・クライアント型の端末監視システムに較べ、ネットワーク２を介しての操作イベントログと操作画像の伝送がパソコンデータバスを介して行われることに置き換わったという違いがあるが、実質的な技術内容は同じである。
【００３２】
なお、本明細書で用いられている操作画像なる語句は、操作画面をキャプチャして得られた静止画ファイルやその静止画ファイルの集合体、及び連続した静止画を動画化して得られた動画ファイルや動画ファイルの集合体を総称している。従って、端末１から端末監視装置３に転送される操作画像は静止画であっても動画であってもよい。また、操作画像を監視モニタ５５で表示する際も、静止画の連続表示（スライドショーのようなスタイル）でもよいし、動画表示でもよく、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。さらに、操作画像格納部５７ｂに記録される際の操作画像の形式も種々のものを選択することができる。例えば、静止画の場合ＪＰＥＧやＧＩＦなどが、動画の場合ＭＰＥＧやＡＶＩなどが用いられる。
【００３３】
上述した実施形態では、端末監視装置３が単独のコンピュータによって構築されている形態で説明されていたが、この端末監視装置３の機能を区分けして、複数のコンピュータに分散させてもよい。例えば、端末監視装置３におけるデータ格納部５７をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から操作画像や操作イベントを読み出して上述した処理を施し監視モニタに表示させる独立した監視端末を配置させても良い。この監視端末をデータ格納専用機が組み込まれたネットワークに接続することで、いつでもどこからでも端末を監視することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明による操作画面再生の基本原理を説明する説明図
【図２】本発明による端末監視システムの一例を示すシステム構成図
【図３】操作画面に特定の操作イベントに関する移行暗示イメージを合成する流れを説明する説明図
【図４】操作画面に移行暗示イメージを合成する際の別な説明図
【図５】移行暗示イメージが合成された操作画像を示す画面図
【図６】別実施形態での暗示イメージが合成された操作画像を示す画面図
【図７】移行暗示イメージの一形態としての吹き出しを示す模式図
【図８】端末監視基本画面を示す画面図
【図９】再生画面を示す画面図
【符号の説明】
【００３５】
１：端末
３：操作画像再生装置（端末監視装置）
１３：操作画面キャプチャ部
１４：操作イベントログ生成部
３２：操作イベントログ取得部
３３：操作画像取得部
３４：リンク部
３７：補間操作画像生成部
３６：操作画像管理部
３８： 操作イベント管理部
３８ａ：次操作イベント判定部
３９：注目操作イベント種別指定部
３９ａ：注目操作イベント種別登録テーブル
４０：再生情報処理手段（監視情報処理手段）
４１：暗示イメージ作成部
４２：イメージ合成部
４３：操作画像再生部
５７：データ格納部
５７ａ：操作イベント格納部
５７ｂ：操作画像格納部
５５：監視モニタ
【図１】
2008299736.tif 000003
【図２】
2008299736.tif 000004
【図３】
2008299736.tif 000005
【図４】
2008299736.tif 000006
【図５】
2008299736.tif 000007
【図６】
2008299736.tif 000008
【図７】
2008299736.tif 000009
【図８】
2008299736.tif 000010
【図９】
2008299736.tif 000011
【手続補正書】
【提出日】平成20年2月15日(2008.2.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生装置において、
先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の後続操作イベントの操作内容を暗示する移行暗示イメージを作成する移行暗示イメージ作成部と、
再生されようとする前記操作画像である再生操作画像に対応する前記移行暗示イメージを前記再生操作画像とともにモニタに表示する再生情報処理手段と、
が備えられている操作画像再生装置。
【請求項２】
前記移行暗示イメージ作成部によって作成された移行暗示イメージは、移行元の操作イベントに割り当てられることを特徴とする請求項１に記載の操作画像再生装置。
【請求項３】
前記操作画像と前記操作イベントに付与されたタイムスタンプに基づいて、時間的に対応する前記操作画像と前記操作イベントとをリンクするリンク部が備えられていることを特徴とする請求項１又は２に記載の操作画像再生装置。
【請求項４】
重点的に監視すべき注目操作イベント種別を指定する注目操作イベント種別指定部が備えられ、前記後続操作イベントが前記指定された注目操作イベント種別に属している場合にのみ前記移行暗示イメージが前記再生操作画像とともに監視モニタに表示されることを特徴とする請求項１から３のいずれか一項に記載の操作画像再生装置。
【請求項５】
前記操作画像とともに表示される前記移行暗示イメージが後続する複数の操作画像にわたってその表示が継続される請求項１から４のいずれか一項に記載の操作画像再生装置。
【請求項６】
前記移行暗示イメージが継続表示される場合、後続操作イベントへ移行する際の後続操作イベントの操作内容を暗示する移行暗示イメージと前記継続表示される移行暗示イメージとで、その表示形態が変更されることを特徴とする請求項５に記載の操作画像再生装置。
【請求項７】
前記操作イベントに時間的に対応する操作画像が抜けている場合当該操作イベントを表す補間操作画像を生成する補間操作画像生成部が備えられていることを特徴とする請求項１から６のいずれか一項に記載の操作画像再生装置。
【請求項８】
前記暗示イメージとして、前記後続操作イベントが発生するまでの期間を表す時間経過イメージが含まれることを特徴とする請求項１から７のいずれか一項に記載の操作画像再生装置。
【請求項９】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得するとともに、前記操作画像の再生を行う操作画像再生装置のための操作画像再生プログラムにおいて、
先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の後続操作イベントの操作内容を暗示する移行暗示イメージを作成する機能と、
再生されようとする前記操作画像である再生操作画像に対応する前記移行暗示イメージを前記再生操作画像とともにモニタに表示する機能と、
をコンピュータに実現させる操作画像再生プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得し、前記操作画像の再生を行う操作画像再生装置において、上記課題を解決するため、本発明による装置では、先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の後続操作イベントの操作内容を暗示する移行暗示イメージを作成する移行暗示イメージ作成部と、再生されようとする前記操作画像である再生操作画像に対応する前記移行暗示イメージを前記再生操作画像とともにモニタに表示する再生情報処理手段とが備えられている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記構成によれば、モニタに再生される操作画像上に、その操作画像において発生している操作イベント（先行操作イベント）に続行して行われる操作イベント（後続操作イベント）の操作内容を暗示する移行暗示イメージが表示されるので、操作イベントの発生点、つまり操作点位置が四方八方にジャンプするようなケースであっても、移行暗示イメージにより後続する操作に対する予測がつきやすくなり、端末操作の確認が容易となる。なお、先行操作イベントに続行して行われる操作イベントとしての後続操作イベントは複数定義されてもよく、その場合、移行暗示イメージも複数表示されることになる。
また、前記移行暗示イメージ作成部によって作成された移行暗示イメージを、移行元の操作イベントに割り当てるような構成を採用すると、操作画像の再生前に、操作イベントと移行暗示イメージとを確実にリンクした状態で格納することができ、処理の高速化に貢献することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
操作画像の再生時における注目すべきユーザ操作の多くは、例えば、「共有フォルダにアクセス」（先行操作イベント）し、共有フォルダ内の「機密ファイルを選択」（中間操作イベント）し、「機密ファイルをリムーバブルディスクに転送」（最終操作イベント）するといったように、一連の操作イベントから構成される。このことから、本発明の好適な実施形態では、操作画像とともに表示される移行暗示イメージが後続する複数の操作画像にわたってその表示が継続されるような構成（１つの操作画像に複数の連続する移行暗示イメージが表示される構成）を採用している。その際、過去の操作イベントの移行情報を示す移行暗示イメージとこれから起こる操作イベントへの移行情報を示す移行暗示イメージを視覚的に差別化するために、移行暗示イメージが継続表示される場合、後続操作イベントへ移行する際の後続操作イベントの操作内容を暗示する移行暗示イメージと前記継続表示される移行暗示イメージとで、その表示形態が変更されるように構成すると、好都合である。
また、監視者があまり注目する必要のないユーザ操作に関してもいちいち移行暗示イメージが表示されると煩わしさを与えてしまう可能性がある。この場合、監視者が注目すべきユーザ操作の種別、つまり注目操作イベント種別を予め特定しておき、その特定のユーザ操作に関してのみ移行暗示イメージが表示されると都合がよい。この目的のために、本発明の好適な実施形態の１つでは、重点的に監視すべき注目操作イベント種別を指定する注目操作イベント種別指定部が備えられ、後続操作イベントが注目操作イベント種別指定部で指定された注目操作イベント種別に属している場合にのみ対応する移行暗示イメージが前記再生操作画像とともに監視モニタに表示される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
端末における操作画面をキャプチャして得られた操作画像と前記端末における操作イベントを記述した操作イベントログとを取得するとともに、前記操作画像の再生を行う操作画像再生装置のための操作画像再生プログラムにおいて、前記課題を解決するために、本発明による端末監視プログラムは、先行する操作イベントである先行操作イベントからこの先行操作イベントに後続する操作イベントである後続操作イベントへ移行する際の後続操作イベントの操作内容を暗示する移行暗示イメージを作成する機能と  再生されようとする前記操作画像である再生操作画像に対応する前記移行暗示イメージを前記再生操作画像とともにモニタに表示する機能とをコンピュータに実現させる。このように構成された操作画像再生プログラムも、先の操作画像再生装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴構成を備えることが可能である。  
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
端末監視装置３も一般的には汎用コンピュータによって構成され、液晶ディスプレイなどの監視モニタ５５、入力操作デバイス５６としてキーボードやマウス、大容量ハードディスクなどで構成されるデータ格納部５７などが付属している。この端末監視装置３にインストールされているＯＳによってＧＵＩ部３０や端末１から送られてきた端末操作ユーザに関するユーザ属性情報に基づいて特定された端末とこの端末を操作しているユーザを管理する端末管理部３１などを初めとして種々の基本的な機能が作り出される。また、端末監視装置３における本発明に関する機能のほとんどは、この端末監視装置３にインストールされている端末監視プログラムの実行に伴って作り出され、その代表的なものとして、端末１から送られてきたユーザが行っている操作イベントを記述している操作イベントログとその際の操作画面を示す操作画像とをネットワーク２を介して受け取る操作イベントログ取得部３２と操作画像取得部３３、操作イベントログ取得部３２で取り出された各端末別の操作イベントを格納するためにデータ格納部５７に形成された操作イベント格納部５７ａと、取得した操作画像を端末別でかつ時系列的に読み出し可能なようにデータ格納部５７に形成された操作画像格納部５７ｂに格納する操作画像管理部３６が備えられている。さらに、操作イベント格納部５７ａに格納されている操作イベントに対して、図１で説明したように、先行操作イベントとそれに続く後続操作イベントとの関係付けを行う次操作イベント判定部３８ａを有するとともにそれぞれの先行操作イベントからそれぞれの後続操作イベントに移行する際の移行情報、例えば「ファイルを選択して、ドラッグ（移動）する」といった情報を作り出す操作イベント管理部３８が備えられている。なお、この操作イベント管理部３８によって移行情報が作り出されるのを、特定の種別の後続操作イベントへの移行に限定する場合、そのような特定の注目すべき操作イベント（後続操作イベント）の種別を指定して注目操作イベント種別登録テーブル３９ａに登録する注目操作イベント種別指定部３９が備えられる。注目操作イベント種別指定部３９に対する注目すべき操作イベント種別の入力はＧＵＩ部３０を通じて行われ、注目操作イベント登録テーブル３９ａを通じて操作イベント管理部３８に参照される。なお、この実施形態では、取得した操作イベントとこの操作イベント発生時の操作画像とを高速に検索抽出可能にするために、インデックスコードなどのリンクコードを付与して、端末別に操作画像と操作イベントとをリンクするリンク部３４、及び、操作イベントログ取得部３２で取り出された各端末別の操作イベントに対して「マウスクリック（選択）」、「マウスドラッグ」、「キーボード文字入力」といったような操作種類毎に種別コードを付与する操作イベント分類部３５が備えられている。さらに、前述したように、処理対象となる操作イベントに対して時間的に対応する操作画像が存在しない場合には、その操作イベントを表す補間操作画像を生成する補間操作画像生成部３７が備えられている。なお、リンク部３４は、取得した操作画像と操作イベントとに付与されたタイムスタンプに基づいて、時間的に対応する操作画像と操作イベントとをリンクしてもよい。