(57)【要約】【課題】操作画面を記録し、記録した操作画面を再生する技術において、高フレームレートで記録しても静止画記録方式のようにデータサイズを増大させることなく、任意の時間位置で操作画面の再生を可能とする。【解決手段】ユーザによる操作に応じて画面の表示を行い、表示された画面をキャプチャすることにより操作内容を記録する操作記録装置において、前記画面を所定の時間間隔でキャプチャし、当該画面の静止画データを取得するキャプチャ手段と、前記キャプチャ手段により取得された複数の静止画データから動画データを作成するとともに、当該動画データのメタ情報を作成する処理を所定期間毎に行う動画情報作成手段と、前記動画情報作成手段により作成された動画データとメタ情報を管理装置に送信する送信手段とを備える。【選択図】図４
2015232916.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる操作に応じて画面の表示を行い、表示された画面をキャプチャすることにより操作内容を記録する操作記録装置であって、
前記画面を所定の時間間隔でキャプチャし、当該画面の静止画データを取得するキャプチャ手段と、
前記キャプチャ手段により取得された複数の静止画データから動画データを作成するとともに、当該動画データのメタ情報を作成する処理を所定期間毎に行う動画情報作成手段と、
前記動画情報作成手段により作成された動画データとメタ情報を管理装置に送信する送信手段と
を備えることを特徴とする操作記録装置。
【請求項２】
前記メタ情報は、動画データの識別情報、当該動画データにおけるキャプチャ開始時刻、キャプチャを行った時間長を含むことを特徴とする請求項１に記載の操作記録装置。
【請求項３】
前記操作記録装置は、ユーザによる操作を監視する操作監視手段を更に備え、
前記動画情報作成手段は、前記動画データを作成した所定時間内に操作有りであることが検知されているときに、当該動画データに対応するメタ情報に操作有りを示す情報を含める
ことを特徴とする請求項１又は２に記載の操作記録装置。
【請求項４】
コンピュータを、請求項１ないし３のうちいずれか１項に記載の前記操作記録装置の各手段として機能させるためのプログラム。
【請求項５】
ユーザによる操作に応じて画面の表示を行い、表示された画面をキャプチャすることにより操作内容を記録するとともに、前記画面の再生表示を行う操作記録再生システムであって、
前記画面を所定の時間間隔でキャプチャし、当該画面の静止画データを取得するキャプチャ手段と、
前記キャプチャ手段により取得された複数の静止画データから動画データを作成するとともに、当該動画データのメタ情報を作成する処理を所定期間毎に行う動画情報作成手段と、
前記動画情報作成手段により作成された動画データとメタ情報を格納する格納手段と、
前記メタ情報に基づいて、前記動画データを再生するための操作画面を表示し、当該操作画面に基づいてなされた操作に応じて、前記動画データを再生する再生制御手段と
を備えることを特徴とする操作記録再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主として、ＰＣ等の端末における不正操作の監視等を行うために、端末における操作画面を記録し、記録した操作画面を再生する技術に関連するものである。
【背景技術】
【０００２】
端末において不正な操作がなされたことを監視・確認する手法として、端末に表示される操作画面を一定時間間隔で記録（キャプチャ）し、記録した画面の画像データを管理サーバ等に送信し、後に監視端末等により操作画面を再生して操作状況を確認する手法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１１００９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような手法において、画面をキャプチャする方式として、端末における表示画面を動画として記録する動画記録方式と、表示画面を連続した静止画として記録する静止画記録方式が考えられる。
【０００５】
不正操作等の監視のために操作画面の記録を行う場合、操作を行うユーザに記録を行っていることを意識させることなく記録を行う必要がある。このような前提の下、動画記録方式では、例えば、ユーザが端末を起動したとき、もしくは端末にログインしたときに動画記録を開始し、ログアウトしたとき、もしくは端末を終了したときに動画記録を終了するといった記録方法になることが考えられる。しかし、このような記録方法となる動画記録方式では、端末での操作が終わるまで動画（動画ファイル）が完成しないため、記録中に操作画面を閲覧することができない。また、端末の終了により動画記録を終了する場合、サーバに画像データを送信できるのが、次回の端末の起動時となり、取得した動画を閲覧可能になるまでの時間が不定となるといった問題がある。
【０００６】
静止画記録方式では、１枚１枚の静止画を別々に記録、及びサーバへの送信を行うことができるので、上記の動画記録方式のような問題を生じさないようにすることができる。しかし、動画に比べてデータサイズが非常に大きくなってしまい、サーバに大きな記憶領域を必要とすることや、ＮＷ帯域を多く消費することが問題となる。また、データサイズの関係で、動画のようにフレームレートを上げることが難しく、記録の取得漏れが生じる可能性があるという問題もある。
【０００７】
なお、上記のような問題は、不正操作監視等の技術分野に限らず、例えば、自身のＰＣの操作ログチェックのために操作画面を記録するような場合にも生じ得るものである。
【０００８】
本発明は上記の点に鑑みてなされたものであり、操作画面を記録し、記録した操作画面を再生する技術において、高フレームレートで記録しても静止画記録方式のようにデータサイズを増大させることなく、任意の時間位置で操作画面の再生を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の実施の形態によれば、ユーザによる操作に応じて画面の表示を行い、表示された画面をキャプチャすることにより操作内容を記録する操作記録装置であって、
前記画面を所定の時間間隔でキャプチャし、当該画面の静止画データを取得するキャプチャ手段と、
前記キャプチャ手段により取得された複数の静止画データから動画データを作成するとともに、当該動画データのメタ情報を作成する処理を所定期間毎に行う動画情報作成手段と、
前記動画情報作成手段により作成された動画データとメタ情報を管理装置に送信する送信手段とを備える操作記録装置が提供される。
【００１０】
また、本発明の実施の形態によれば、ユーザによる操作に応じて画面の表示を行い、表示された画面をキャプチャすることにより操作内容を記録するとともに、前記画面の再生表示を行う操作記録再生システムであって、
前記画面を所定の時間間隔でキャプチャし、当該画面の静止画データを取得するキャプチャ手段と、
前記キャプチャ手段により取得された複数の静止画データから動画データを作成するとともに、当該動画データのメタ情報を作成する処理を所定期間毎に行う動画情報作成手段と、
前記動画情報作成手段により作成された動画データとメタ情報を格納する格納手段と、
前記メタ情報に基づいて、前記動画データを再生するための操作画面を表示し、当該操作画面に基づいてなされた操作に応じて、前記動画データを再生する再生制御手段とを備える操作記録再生システムが提供される。
【発明の効果】
【００１１】
本発明の実施の形態によれば、操作画面を記録し、記録した操作画面を再生する技術において、高フレームレートで記録しても静止画記録方式のようにデータサイズを増大させることなく、任意の時間位置で操作画面の再生を可能とする技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係るシステムの全体構成図である。
【図２】操作記録装置１００の機能構成図である。
【図３】操作情報管理装置２００の機能構成図である。
【図４】操作記録装置１００の動作のイメージを示す図である。
【図５】操作記録装置１００の動作を説明するためのフローチャートである。
【図６】動画再生の概要を説明するための図である。
【図７】操作情報管理装置２００と操作画面再生装置２０における動画（操作画面）再生動作を説明するためのシーケンス図である。
【図８】再生操作画面に表示される情報の例を示す図である。
【図９】変形例１を説明するための図である。
【図１０】変形例２を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【００１４】
（システムの全体構成例）
図１に、本発明の実施の形態における操作監視システムの全体構成例を示す。図１に示すように、本実施の形態に係る操作監視システムは、操作記録装置１００、表示操作装置１０、操作情報管理装置２００、操作画面再生装置２０を備える。
【００１５】
操作記録装置１００は、表示操作装置１０において行われる操作者による操作に基づく表示操作装置１０への画面表示を行うとともに、表示される画面を画像としてキャプチャし、後述するように動画データやメタ情報（これらをまとめて動画情報と呼ぶ）を作成し、動画情報を操作情報管理装置２００に送信する装置（コンピュータ）である。表示操作装置１０は、例えば、ディスプレイと入力装置（キーボード、マウス等）を有する端末である。操作記録装置１００と表示操作装置１０は、ＬＡＮ等のネットワークで接続されていてもよいし、操作記録装置１００と表示操作装置１０とが一体の装置として構成されていてもよい。
【００１６】
操作情報管理装置２００は、操作記録装置１００から受信した動画情報を保存するとともに、操作画面再生装置２０に対して、動画再生のための操作画面や動画データ等を提供する機能を有する。操作画面再生装置２０は、操作情報管理装置２００から受信する動画データを再生することにより、表示操作装置１０において表示された画面を動画として表示することができる。
【００１７】
（装置構成）
次に、操作記録装置１００と操作情報管理装置２００の構成について説明する。
【００１８】
＜操作記録装置１００＞
図２は、操作記録装置１００の機能構成を示す図である。
【００１９】
図２に示すように、操作記録装置１００は、表示情報作成部１１０、画像メモリ１１１、画面キャプチャ部１２０、操作監視部１３０、動画情報作成部１４０、動画データ格納部１５０、メタ情報格納部１６０、動画情報送信部１７０を有する。
【００２０】
表示情報作成部１１０は、表示操作装置１０による操作の対象となるアプリケーション、及び操作や画面表示に係るＯＳの機能に相当する機能部であり、表示操作装置１０においてなされる操作（キーボード押下、マウス移動、マウスボタン押下）に基づいて、表示操作装置１０に表示させる画面の画像情報（静止画データであり、これを表示情報とも呼ぶ）を作成し、表示操作装置１０に表示情報を送信することでこれを表示させる機能を有する。
【００２１】
当該表示情報が、画像メモリ１１１に格納され、当該画像メモリ１１１に格納されているデータを取得することで、表示操作装置１０に表示される画面のキャプチャを行うことができる。
【００２２】
画面キャプチャ部１２０は、上記にように画像メモリ１１１に格納されている表示情報を取得することで、画面のキャプチャを行う。キャプチャにより得られた静止画データは、動画情報作成部１４０に渡される。
【００２３】
操作監視部１３０は、表示操作装置１０において行われる操作の情報を表示情報作成部１１０から取得し、当該操作情報を動画情報作成部１４０からの要求に基づいて動画情報作成部１４０に渡す機能を有する。操作情報としては、例えば、キーボード押下を示す情報、マウス移動を示す情報、マウスボタン押下を示す情報等があるが、これらに限られるわけではない。操作監視部１３０は、例えば定期的（例：１秒毎）に、表示情報作成部１１０から操作情報を取得し、保持する。
【００２４】
動画情報作成部１４０は、画面キャプチャ部１２０により所定期間（例：２０秒）毎に取得された複数枚の静止画データをエンコードすることで動画データを作成する。エンコードには、例えばＭＰＥＧといった既存の手法を用いることができる。作成された動画データは、動画データ格納部１５０に格納される。
【００２５】
また、動画情報作成部１４０は、動画データに関するメタ情報を作成する機能を有し、作成したメタ情報をメタ情報格納部１６０に格納する。メタ情報には、動画データに係る静止画データの取得開始時刻、操作有無等の情報が含まれる。メタ情報の詳細は後述する。
【００２６】
動画情報送信部１７０は、動画データ格納部１５０に格納された動画データ、及びメタ情報格納部１６０に格納されたメタ情報を動画情報として操作情報管理装置２００に送信する。動画データとメタ情報を操作情報管理装置２００に送信する頻度については、動画データが作成される度、すなわち上記の所定期間毎でもよいし、当該所定期間よりも長い期間毎にまとめて送信することとしてもよい。
【００２７】
本実施の形態に係る操作記録装置１００は、１つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、操作記録装置１００が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ、ハードディスクなどのハードウェア資源を用いて、操作記録装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、プログラムで実現可能な点については、変形例１、２も同様である。
【００２８】
＜操作情報管理装置２００＞
図３は、操作情報管理装置２００の機能構成図である。図３に示すように、操作情報管理装置２００は、動画情報受信部２１０、メタ情報格納部２２０、動画データ格納部２３０、動画データ提供制御部２４０を有する。
【００２９】
動画情報受信部２１０は、操作記録装置１００から動画情報（動画データとメタ情報）を受信する。動画データは動画データ格納部２３０に格納され、メタ情報はメタ情報格納部２２０に格納される。
【００３０】
動画データ提供制御部２４０は、メタ情報格納部２２０に格納されているメタ情報に基づいて、操作画面再生のための画面の情報を作成し、当該画面の情報を操作画面再生装置２０に送信するとともに、当該画面が表示された操作画面再生装置２０からの指示に基づいて、動画データを操作画面再生装置２０に送信することで、操作画面再生装置２０において動画を再生させる機能を有する。
【００３１】
本実施の形態に係る操作情報管理装置２００は、１つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、操作情報管理装置２００が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ、ハードディスクなどのハードウェア資源を用いて、操作情報管理装置２００で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００３２】
（各装置の動作）
＜操作記録装置１００の動作＞
図４を参照して、操作記録装置１００の動作の概要を説明する。ここでは、例えば、表示操作装置１０から操作記録装置１００にログインがなされ、表示操作装置１０が操作記録装置１００を使用して何等かの作業を行っているものとする。もちろん、作業中は、操作記録装置１００に対して何も操作をしない期間もあるし、キーボード入力等の作業を行っている期間もある。
【００３３】
操作記録装置１００の表示情報作成部１１０は、表示情報（画面の画像）を表示操作装置１０に送信することで画面表示を行っている。図４のステップ１に示すように、操作記録装置１００の画面キャプチャ部１２０は、画像メモリ１１１における表示情報を取得することで画面のキャプチャを行い、静止画データを順次取得する。静止画データを取得する間隔は任意に決めてよいが、例えば、１秒間に５枚取得できるように２００ｍｓ間隔で取得を行う。
【００３４】
ステップ２に示すように、操作記録装置１００の動画情報作成部１４０は、所定期間（例：２０秒）毎に、当該所定期間に取得された複数枚の静止画データから動画データを作成する。また、動画データを作成する度に、当該動画データに対応するメタ情報が作成される。
【００３５】
次に、図５を参照して、操作記録装置１００の動作をより詳細に説明する。例えば、最初に、ユーザが表示操作装置１０から操作記録装置１００に対してユーザＩＤ／パスワードを入力することでログインを行う。このログインを契機に、表示情報作成部１１０は、表示操作装置１０からの操作に基づく種々の表示情報（画面の画像）の作成を開始するとともに、当該ユーザによる操作に係る操作画面の記録が開始される。
【００３６】
また、本例においては、操作監視部１３０が、表示情報作成部１１０から定期的（例：１秒毎）に操作情報を取得し、当該操作情報を保持する。また、操作情報が無い場合（操作が行われていない場合）は、何も保持しないか、又は、操作情報が無いことを示す情報を保持する。保持される情報は操作情報を取得（無い場合を含む）する度に更新される。
【００３７】
まず、画面キャプチャ部１２０は、画像メモリ１１１から表示情報を取得することで、画面のキャプチャを行い、静止画データを取得し、静止画データを動画情報作成部１４０に渡す（ステップ１０１）。
【００３８】
動画情報作成部１４０は、当該静止画データを取得した時点における操作情報の有無を操作監視部１３０に対して問い合わせ（ステップ１０２）、操作情報有りであれば（ステップ１０２のＹｅｓ）、操作情報有りであることを示す情報を静止画データに付加し、当該情報と静止画データとをバッファに格納する（ステップ１０３）。操作情報が無い場合（ステップ１０２のＮｏ）は、静止画データのみ（もしくは静止画データと操作情報無しを示す情報）をバッファに格納する（ステップ１０４）。また、例えば、静止画データを格納する際には、静止画データ毎に、静止画データを取得した時刻も格納される。
【００３９】
動画情報作成部１４０は、最初の静止画データ取得、もしくは、前回の動画データ作成から所定時間（例：２０秒）が経過したかどうかを判定し（ステップ１０５）、経過していなければステップ１０１に戻り、経過していればステップ１０６に進む。
【００４０】
ステップ１０１に戻った場合は、これまでに説明したとおりの処理が繰り返される。ステップ１０６に進んだ場合、動画情報作成部１４０は、所定時間の間にバッファに格納された静止画データをエンコードすることにより、当該所定時間長の動画データ（符号化データ）を作成し、作成した動画データを動画データ格納部１５０に格納する（ステップ１０６）。本例では、動画データ作成後、静止画データのバッファはクリアされる。なお、ここでは、所定期間分の静止画データが格納された段階で動画データが作成されることを示しているが、静止画データが得られる度に、順次動画データ作成を行い、所定期間経過時に、１つの動画データ（動画ファイル）を完成させる処理方法でもよい。
【００４１】
また、動画情報作成部１４０は、当該動画データに対応するメタ情報を作成し、作成したメタ情報をメタ情報格納部１６０に格納する（ステップ１０７）。本例では、動画データとメタ情報を作成する度に、当該動画データとメタ情報を操作情報管理装置２００に送信することとしており、ステップ１０８においてその送信が行われる。
【００４２】
メタ情報の例は図４に示されるとおりであり、図４の例におけるメタ情報は、当該メタ情報に対応する動画データの識別情報（例：動画１、動画２）、動画の開始時刻、動画の時間長（例：２０秒）、セッションＩＤ、操作有無情報を含む。動画の終了時刻を含んでもよい。
【００４３】
動画データの識別情報は、例えば、対応する動画データのファイル名である。メタ情報のファイル名が動画データの識別情報を含んでもよい。動画の開始時刻は、例えば、動画データの元となる静止画データのうちの最初の静止画データの取得時刻である。動画の時間長は、例えば、動画データの元となる静止画データのうちの最初の静止画データの取得時刻から最後の静止画データの取得時刻までの時間である。セッションＩＤは、一連の動画データを識別する情報であり、例えば、ユーザ毎の操作の記録を行いたい場合において、セッションＩＤとして、ログイン時に入力されたユーザＩＤを使用することができる。すなわち、この場合、当該ユーザＩＤによるログインからログオフまでの時間における動画データを当該ユーザＩＤをセッションＩＤとして識別できる。このようにセッションＩＤとしてユーザＩＤを用いることは一例に過ぎず、他の任意の情報をセッションＩＤとして使用することができ、通常は、ユーザＩＤに対してセッションＩＤが複数存在する。
【００４４】
操作有無情報は、「操作有り」又は「操作無し」を示す情報である。より詳細には、動画情報作成部１４０は、動画作成時においてバッファされている静止画データのうち、操作有りの情報が付された静止画データが１つでもある場合は操作有無情報を「操作有り」とし、操作有りの情報が付された静止画データが無い場合は操作有無情報を「操作無し」とする。
【００４５】
なお、上記の動作例では、静止画をキャプチャする段階で、操作有無を確認して情報を付加することとしているが、これは一例に過ぎない。その他に、例えば、静止画データから動画データを作成した後に、操作監視部１３０に対して動画作成時間（上記の所定時間）内の操作有無を確認し、対応するメタ情報に操作情報を付加してもよい。
【００４６】
＜操作情報管理装置２００及び操作画面再生装置２０の動作＞
次に、図６、図７を参照して、操作情報管理装置２００と操作画面再生装置２０により行われる動画（操作画面）再生動作の例を説明する。以下の動作の前提として、操作情報管理装置２００は、操作記録装置１００から動画情報（動画データとメタ情報）を既に受信しており、メタ情報格納部２２０にはメタ情報が格納され、動画データ格納部２３０には動画データが格納されている。
【００４７】
まず、図６を参照して動画再生の概要を説明する。図６に示すように、操作記録装置１００により取得された動画データとメタ情報に基づいて、複数の細切れ動画（図６の動画１、動画２、・・・）を再生し、利用者にあたかも連続した一本の動画であるように見せる。このような動画再生制御は、動画データ提供制御部２４０により行われる。また、変形例１、２では、動画再生制御部２５０により行われることから、図６には、動画再生制御部２５０も示されている。
【００４８】
次に、図７を参照して、再生動作のシーケンス例を説明する。操作画面再生装置２０（例：動画デコード機能を備えたＰＣ）が操作情報管理装置２００にアクセスすると（ステップ２０１）、操作情報管理装置２００における動画データ提供制御部２４０は、操作画面再生装置２０において操作画面再生のためのインターフェース画面となる再生操作画面の情報を作成し（ステップ２０２）、当該情報を操作画面再生装置２０に送信する（ステップ２０３）。再生操作画面の情報を受信した操作画面再生装置２０は、再生操作画面を表示する（ステップ２０４）。例えば、ステップ２０１のアクセス時に、特定のユーザＩＤを送信することで、メタ情報におけるセッションＩＤとの照合が行われ、当該ユーザＩＤに該当する動画データが抽出され、当該ユーザＩＤに対応するユーザの操作画面の再生のみを行うことが可能である。
【００４９】
図８に、再生操作画面における表示情報の例を示す。図８に示す例では、時間軸上で、操作記録装置１００が使用されない時間区間、操作記録装置１００が使用された時間区間（＝画面の記録がなされている時間区間）、当該使用時間区間のうち、操作があった時間区間、操作が無かった時間区間が、色分けして示されている。なお、図８の例では、操作有無が示されているが、メタ情報として操作内容を示す情報（例：コマンドの種類等）も取得することで、操作有無だけでなく操作違反等も加えることが可能である。
【００５０】
図８の情報は、動画データ提供制御部２４０が、該当ユーザに対応するメタ情報（セッションＩＤで識別可能）における時刻情報、及び操作有無情報を用いて作成できる。例えば、操作情報有りのメタ情報における時間区間を操作があった時間区間として表示すればよい。
【００５１】
操作再生装置２０の利用者は、例えば、操作が有った時間区間のみの再生を行いたい場合、操作があったことを示す時間区間をクリック（もしくは、希望再生開始時刻を入力）する。すると、例えば、指定された時刻（例：時間区間の最初の時刻、入力された時刻）と「操作有」の情報を含む再生指示が操作情報管理装置２００に送信される（ステップ２０５）。
【００５２】
再生指示を受信した操作情報管理装置２００における動画データ提供制御部２４０は、例えば、メタ情報を用いて、指定された時刻を含む「操作有」の時間区間の動画データを判別し、当該動画データを動画データ格納部２３０から抽出し（ステップ２０６）、操作再生装置２０に送信する（ステップ２０７）。操作画面再生装置２０では、受信した動画データを順次デコードすることで、動画（操作画面）を再生する（ステップ２０８）。
【００５３】
なお、上記の例は、特定の「操作有」の時間区間を指定する例であるが、これは一例に過ぎず、例えば、「不使用」を除く全部を連続的に再生、全ての「操作有」区間のみを連続的に再生、といったことも可能である。
【００５４】
（変形例１）
これまでに説明したシステムでは、動画を再生する側は、操作情報管理装置２００と、デコード機能を持つ操作再生装置２０に分かれていたが、操作情報管理装置２００がデコード機能を持ち、操作情報管理装置２００において操作画面を表示し、当該操作画面上で指示をすることで、操作情報管理装置２００で動画再生表示を行うこととしてもよい。
【００５５】
この場合の操作情報管理装置２００の構成例を図９に示す。図９に示すように、変形例１の操作情報管理装置２００は、図３に示す操作情報管理装置２００における動画データ提供制御部２４０が、図９に示す動画再生制御部２５０に置き換えられたものに相当する。
【００５６】
動画再生制御部２５０は、前述した動画データ提供制御部２４０が操作画面再生装置２０に表示させる操作画面を操作情報管理装置２００のディスプレイに表示し、前述したように操作画面上での指示に応じて動画データの取得を行い、動画データのデコード、及び表示を行う。
【００５７】
（変形例２）
これまでに説明したシステムでは、操作記録装置１００と操作情報管理装置２００が分かれ、ネットワーク接続されていたが、これらの装置の機能が１つの装置内にあってもよい。このような装置を操作記録再生装置３００と呼ぶ。
【００５８】
操作記録再生装置３００の構成例を図１０に示す。図１０に示すように、操作記録再生装置３００は、表示情報作成部１１０、画像メモリ１１１、画面キャプチャ部１２０、操作監視部１３０、動画情報作成部１４０、動画データ格納部１５０、メタ情報格納部１６０、動画再生制御部２５０を有する。
【００５９】
各機能部の機能はこれまでに説明したものと同じである。変形例２では、動画情報作成部１４０により作成された動画データが動画データ格納部１５０に格納され、メタ情報がメタ情報格納部１６０に格納された後、他の装置に送信されることなく、動画再生制御部２５０により、動画再生のために使用される。
【００６０】
変形例２の装置では、これまでに説明したように操作監視のために動画記録／再生を行うことの他、例えば、自身が行った操作内容を後で確認する用途に使用することもできる。
【００６１】
なお、図１に示すシステム、図１に示すシステムの再生側を変形例１で置き換えたシステム、及び、変形例２のシステムはいずれも操作記録再生システムの例である。
【００６２】
（実施の形態のまとめ、効果等）
以上、説明したように、本実施の形態により、ユーザによる操作に応じて画面の表示を行い、表示された画面をキャプチャすることにより操作内容を記録する操作記録装置であって、前記画面を所定の時間間隔でキャプチャし、当該画面の静止画データを取得するキャプチャ手段と、前記キャプチャ手段により取得された複数の静止画データから動画データを作成するとともに、当該動画データのメタ情報を作成する処理を所定期間毎に行う動画情報作成手段と、前記動画情報作成手段により作成された動画データとメタ情報を管理装置に送信する送信手段とを備える操作記録装置が提供される。
【００６３】
前記メタ情報は、例えば動画データの識別情報、当該動画データにおけるキャプチャ開始時刻、キャプチャを行った時間長を含む。
【００６４】
前記操作記録装置は、ユーザによる操作を監視する操作監視手段を更に備えてもよく、前記動画情報作成手段は、前記動画データを作成した所定時間内に操作有りであることが検知されているときに、当該動画データに対応するメタ情報に操作有りを示す情報を含めるようにしてもよい。
【００６５】
また、本実施の形態により、ユーザによる操作に応じて画面の表示を行い、表示された画面をキャプチャすることにより操作内容を記録するとともに、前記画面の再生表示を行う操作記録再生システムであって、前記画面を所定の時間間隔でキャプチャし、当該画面の静止画データを取得するキャプチャ手段と、前記キャプチャ手段により取得された複数の静止画データから動画データを作成するとともに、当該動画データのメタ情報を作成する処理を所定期間毎に行う動画情報作成手段と、前記動画情報作成手段により作成された動画データとメタ情報を格納する格納手段と、前記メタ情報に基づいて、前記動画データを再生するための操作画面を表示し、当該操作画面に基づいてなされた操作に応じて、前記動画データを再生する再生制御手段とを備える操作記録再生システムが提供される。
【００６６】
本実施の形態は、長時間の動画ではなく、細切れに動画を作成することから、細切れ動画方式と呼ぶことができる。細切れ動画方式を採用することにより、操作記録を動画として収集した場合と、静止画として収集の両方のメリットを享受することが可能となる。
【００６７】
つまり、動画であるため、高フレームレートで漏れの無い記録が可能となる。また、動画の圧縮機能を利用できるため、保存時のサイズとサーバ間通信帯域（ｂｐｓ）を節約できる。また、短い間隔の動画を逐次サーバに送信するため、送信が完了したものから随時閲覧が可能となる（１分程度の遅れでリアルタイム監視が可能）。また、動画が細かい時間単位で分割されているため、記録対象の操作時間が長い場合も、閲覧時に任意の時刻の記録の閲覧（頭出し）が高速に可能となる。また、動画取得時に対象端末（記録装置）の負荷変動により目標フレームレートを下回った場合でも、再生時刻が、細切れの単位で修正可能なため、長時間録画したとしても再生時間の誤差が蓄積しないという効果もある。
【００６８】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００６９】
１０  表示操作装置
１００  操作記録装置
２０  操作画面再生装置
２００  操作情報管理装置
１１０  表示情報作成部
１１１  画像メモリ
１２０  画面キャプチャ部
１３０  操作監視部
１４０  動画情報作成部
１５０  動画データ格納部
１６０  メタ情報格納部
１７０  動画情報送信部
２１０  動画情報受信部
２２０  メタ情報格納部
２３０  動画データ格納部
２４０  動画データ提供制御部
２５０  動画再生制御部
３００  操作記録再生装置
【図１】
2015232916.tif 000003
【図２】
2015232916.tif 000004
【図３】
2015232916.tif 000005
【図４】
2015232916.tif 000006
【図５】
2015232916.tif 000007
【図６】
2015232916.tif 000008
【図７】
2015232916.tif 000009
【図８】
2015232916.tif 000010
【図９】
2015232916.tif 000011
【図１０】
2015232916.tif 000012