(57)【特許請求の範囲】
【請求項１】
被管理端末から送信された画面情報を受信して再生する画面情報再生方法において、
キーフレームを持たない画面情報記録形式の画像情報を被管理端末から受信するステップと、前記受信した画像情報の各フレームデータをその経過時間毎に読み込んで格納するステップと、格納されたフレームデータを再生して記録再生画面として表示するステップと、経過時間と次フレームデータの格納されている位置を示す位置情報と共にその時点での記録再生画面をフレーム内符号化し、キーフレームとして保持するステップとを有し、別途格納されているフレームデータ以外の前記保持したキーフレームを所定の条件に従って逐次削除するステップを有することを特徴とする画面情報再生方法。
【請求項２】
現在再生中の経過時間以前の時点の再生が指定された場合に、前記保持したキーフレームの内で前記指定された時点に最も近い経過時間を持つキーフレームを再生して記録再生画面として表示し、当該キーフレームと共に保持されている次フレームデータの位置情報からフレームデータを読み込んで記録再生画面の再生を行うことを特徴とする請求項１に記載された画面情報再生方法。
【請求項３】
被管理端末から送信された画面情報を受信して再生する管理端末において、
キーフレームを持たない画面情報記録形式の画像情報を被管理端末から受信する管理端末通信部と、前記受信した画像情報の各フレームデータをその経過時間毎に読み込んで格納し、格納されたフレームデータを再生して記録再生画面として表示し、経過時間と次フレームデータの格納されている位置を示す位置情報と共にその時点での記録再生画面をフレーム内符号化してキーフレームとして保持し、別途格納されているフレームデータ以外の前記保持したキーフレームを所定の条件に従って逐次削除する記録再生部とを備えることを特徴とする管理端末。
【請求項４】
被管理端末から送信された画面情報を受信して再生する管理端末としてコンピュータを機能させる為のプログラムにおいて、
キーフレームを持たない画面情報記録形式の画像情報を被管理端末から受信する管理端末通信部と、前記受信した画像情報の各フレームデータをその経過時間毎に読み込んで格納し、格納されたフレームデータを再生して記録再生画面として表示し、経過時間と次フレームデータの格納されている位置を示す位置情報と共にその時点での記録再生画面をフレーム内符号化してキーフレームとして保持し、別途格納されているフレームデータ以外の前記保持したキーフレームを所定の条件に従って逐次削除する記録再生部としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は端末装置から送信された画面情報を受信して再生する画面情報再生装置に関し、特に初期画面からの差分データを遠隔端末から受信して遠隔端末の画面情報を再生する画面情報再生装置に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、遠隔地に設置された遠隔端末の処理状態を調べ、その状態に応じて管理端末から遠隔操作を行う場合には、遠隔端末から画面情報を取得して再生し、遠隔端末の表示画面の内容を管理端末で表示する処理が行われている。
【０００３】
この際、遠隔端末を遠隔操作する管理端末側からの表示画面転送要求に対して、遠隔端末は、表示画面転送要求を受け取った時点で遠隔端末の画面に表示されている画面情報を、所定の読み取りサイズで読み取り、その読み取った画面情報データを通信装置経由で管理端末に送信する。また管理端末は、遠隔端末から送信された画面情報データを通信装置経由で受信し、その受信した画面情報データを表示データに加工して管理端末の表示画面に表示する。
【０００４】
なお、端末の遠隔操作時、遠隔地の端末に表示される画面情報を高速に伝送する画面情報の伝送方式については例えば特開平８−３６５３７号公報に記載されている。本方式では、端末の画面情報を、初期画面とその画面からの更新部分を抽出した表示履歴情報のみから構成することで、伝送する画面情報量を低減できるという特徴を持つ。
【０００５】
【発明が解決しようとする課題】
前記従来技術において、遠隔端末の画面に表示されているデータを全て読み取り、これらの画面情報データを全て管理端末へ送信した場合には、その送信される情報量が膨大になる為、送信時間及び通信コストが増大するという問題がある。
【０００６】
また、特開平８−３６５３７号公報に記載の画面情報の伝送方式では、表示情報は初期画面からの履歴情報の形でしか存在しない為、データの先頭からの逐次的な再生しか行えず、巻き戻しの様な操作に対応できないという問題がある。
【０００７】
例えばＭＰＥＧ(Moving Picture Experts Group)の様な画面情報再生方法においては、一定間隔で全画面情報をフレーム内符号化した画面を持ち、巻き戻し等の操作時に生成する画面情報を保持している（以後このフレーム内符号化画面をキーフレームと呼ぶ）。
【０００８】
再生時の利便性の為にこの様な画面情報再生方法に適する様、データ形式を変更することは、コンバート等の計算機資源を用いる利便性を損ねるステップが必要な上に、マウスカーソルを動かすのみといった画面変化が殆ど無い状態においても一定間隔でキーフレームが混在することによって、画面の変化情報のみを扱うキーフレームを持たない記録方式に比べてデータ容量は大幅に増大してしまうという課題がある。
【０００９】
本発明の目的は上記問題を解決し、キーフレームを持たない画面情報記録形式の画像情報を再生する際にデータ形式を変更すること無くインタラクティブな再生機能を提供することが可能な技術を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、被管理端末から送信された画面情報を受信して再生する管理端末において、キーフレームを持たない画面情報記録形式の画像情報の記録再生画面を経過時間と次フレームデータの位置情報と共にキーフレームとして保持するものである。
【００１１】
本発明では、キーフレームを持たない画面情報記録形式の画像情報を被管理端末から受信すると、その受信した画像情報を記録データ記憶媒体中に格納した後、前記格納した画像情報の初期画面を記録再生画面上に再生し、各フレームデータをその経過時間毎に読み込んで記録再生画面に反映する。
【００１２】
記録再生画面の再生を開始してから所定の時間が経過した場合等、所定の条件を満たす場合に前記記録再生画面を経過時間と次フレームデータの位置情報と共にキーフレームとしてキーフレーム保持部に保持する。
【００１３】
そして、操作パネルを介して現在再生中の経過時間以前の時点の再生が指定された場合には、前記保持したキーフレームの内で前記指定された時点に最も近い経過時間を持つキーフレームを選択し、前記キーフレーム保持部から読み出して記録再生画面に表示した後、当該キーフレームと共に保持されている次フレームデータの位置情報で示されるフレームデータを記録データ記憶媒体中から読み込んで記録再生画面の再生を行う。
【００１４】
また、前記キーフレーム保持部に保持されてから所定の時間が経過しているキーフレームがある場合や、キーフレームの合計サイズが所定サイズを超えている場合等、前記キーフレーム保持部に保持されているキーフレームが所定の条件を満たしている場合に、最古のキーフレームを逐次削除するものとしても良い。
【００１５】
前記の様に本発明では、再生時に記録再生画面からキーフレームを生成して記録データと関連付けることで、巻き戻し再生等のインタラクティブな再生機能に必要なキーフレームを生成することができる。また、再生時に生成したキーフレームを時間や記録サイズ等によって逐次削除することによって、再生時の消費リソースを削減することが可能である。
【００１６】
以上の様に本発明の画面情報再生装置によれば、キーフレームを持たない画面情報記録形式の画像情報の記録再生画面を経過時間と次フレームデータの位置情報と共にキーフレームとして保持するので、キーフレームを持たない画面情報記録形式の画像情報を再生する際にデータ形式を変更すること無くインタラクティブな再生機能を提供することが可能である。
【００１７】
【発明の実施の形態】
以下に初期画面からの差分データを遠隔端末から受信して遠隔端末の画面情報を再生する一実施形態の画面情報再生装置について説明する。
【００１８】
図１は本実施形態の遠隔操作システムの概略構成を示す図である。図１に示す様に本実施形態の管理端末１０１は、管理端末通信部１０７と、記録再生部１１０とを有している。
【００１９】
管理端末通信部１０７は、キーフレームを持たない画面情報記録形式の画像情報を被管理端末１０３から受信し、操作要求を送信する処理部である。記録再生部１１０は、記録データ記憶媒体１１１から画面情報を読み込んで画面を再生し、前記受信した画像情報の各フレームデータをその経過時間毎に読み込んで記録再生画面に反映した後、その記録再生画面を経過時間と共にキーフレームとして保持する処理部である。
【００２０】
管理端末１０１を管理端末通信部１０７及び記録再生部１１０として機能させる為のプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され磁気ディスク等に格納された後、メモリにロードされて実行されるものとする。なお前記プログラムを記録する記録媒体はＣＤ−ＲＯＭ以外の他の記録媒体でも良い。また前記プログラムを当該記録媒体から情報処理装置にインストールして使用しても良いし、ネットワークを通じて当該記録媒体にアクセスして前記プログラムを使用するものとしても良い。
【００２１】
本実施形態の遠隔操作システムは、送信された画面情報を受信して再生する画面情報再生装置である管理端末１０１とネットワーク１０２で接続された被管理端末１０３から構成され、管理端末１０１から被管理端末１０３の画面の参照や操作を行う。
【００２２】
被管理端末１０３は、時系列での画面の更新情報を取得する画面情報取得部１０４と、取得したデータを管理端末１０１に送信し、管理端末１０１からの操作要求を受信する被管理端末通信部１０５と、管理端末１０１からの操作要求を被管理端末１０３に反映する入力実行部１０６からなる。
【００２３】
管理端末１０１は、被管理端末１０３からの画面情報を受信し、操作要求を送信する管理端末通信部１０７と、受信した画面情報から被管理端末画面を構成しユーザに提示する被管理端末画面表示部１０８と、被管理端末画面表示部１０８を操作することによって被管理端末１０３への操作要求を取得する入力情報取得部１０９と、受信した画面情報を記録しておく記録データ記憶媒体１１１と、記録データ記憶媒体１１１から画面を再生する記録再生部１１０と、再生画面を表示する記録再生画面表示部１１２と、記録再生時に記録再生画面から生成したキーフレーム保持部１１３と、記録再生画面を操作する操作パネル１１４からなる。
【００２４】
画面情報データは、ネットワークを介して遠隔端末に送信され、且つインタラクティブな操作を行う為のリアルタイム性が要求され、データ量の削減及び記録、再生コストの低減が求められる。この為、本実施形態の画面情報データでは、画面の差分情報或いは画面への描画命令の様な、データサイズが小さく操作コストの少ない形式が用いられている。
【００２５】
図２は本実施形態の画面情報の記録データ形式の一例を示す図である。本実施形態の被管理端末１０３の画面情報取得部１０４は、被管理端末１０３の画面の変化を、その記録時間及び画面差分を記録したフレームの羅列として記録し、被管理端末通信部１０５を介して管理端末１０１に送信する。
【００２６】
管理端末１０１の管理端末通信部１０７は、ネットワーク１０２経由で被管理端末１０３から送信された画面情報データを受信し、その受信したデータを被管理端末画面表示部１０８に表示する一方、ファイルヘッダ２０１を付加した形式で受信データを記録データ記憶媒体１１１に保存する。
【００２７】
図２に示す様にファイルヘッダ２０１には、そのデータサイズ及び記録されたデータの記録時間が格納される。以降記録データはフレームヘッダ２０２とフレームデータ２０３の繰り返しで保存される。
【００２８】
フレームヘッダ２０２は、ファイル先頭からのオフセット、直後のフレームデータ２０３に記録されている情報の種類を示すフレーム種別、直後のフレームデータ２０３のサイズを示すフレームサイズ、フレームデータ２０３が記録開始からいつ反映されるものかを示す経過時間を保持している。フレームデータ２０３は、直前のフレームヘッダ２０２で示される種類の画面情報を保持する。なお、フレーム種別は、画面差分、描画コマンド、フォント情報及び文字等の様々なものがありうる。
【００２９】
図３は本実施形態の記録再生部１１０の処理手順を示すフローチャートである。図３では、記録データ記憶媒体１１１に保存されたデータにより記録再生画面の表示を行うと共に、キーフレームを保存する処理を表している。
【００３０】
本実施形態の管理端末１０１の記録再生部１１０は、キーフレームを取得した時間を示す変数であるキーフレーム取得時間変数Ｔを初期化した後（Ｓ３０１）、記録データ記憶媒体１１１から記録データのフレーム情報をシーケンシャルに読み込む（Ｓ３０２）。
【００３１】
次に記録再生部１１０は、前記読み出したフレーム情報のフレームヘッダ２０２の経過時間に従って待ちを行った後（Ｓ３０３）、フレームデータ２０３を記録再生画面表示部１１２に反映させ、記録再生画面の表示を行う（Ｓ３０４）。
【００３２】
その後、記録再生部１１０は、キーフレーム取得時間変数Ｔと、記録再生部１１０の処理を開始してから経過した時間を示す経過時間とを比較してキーフレーム取得時間変数Ｔに時間を設定してから所定時間の経過しているかどうかを調べ、キーフレーム取得時間変数Ｔの時間から所定時間が経過していない場合にはＳ３０２に戻って処理を続行する（Ｓ３０５）。
【００３３】
またＳ３０５の処理でキーフレーム取得時間変数Ｔの時間から所定時間が経過していた場合にはＳ３０６の処理に進み、現在の記録再生画面表示部１１２に反映されている記録再生画面を取得した後、Ｓ３０７の処理でその時点での経過時間を取得し、Ｓ３０８の処理では次フレームのファイルオフセットを取得する。そして、Ｓ３０９の処理では、Ｓ３０６からＳ３０８の処理で所得した情報をキーフレーム保持部１１３に保持し、Ｓ３１０の処理では、キーフレーム取得時間変数Ｔをその時点での経過時間に更新する。その後、Ｓ３０２に戻って処理を続行する。
【００３４】
前記の様に本実施形態の管理端末１０１では、キーフレーム取得時間変数Ｔの時間から所定時間が経過していた場合にキーフレームを保存しているが、前回保存した記録再生画面と今回の記録再生画面と間の変化が無いか少ない場合にはキーフレームの保存を行わない様にしても良い。
【００３５】
図４は本実施形態の巻き戻し操作実行時の処理手順を示すフローチャートである。図４では、管理端末１０１の操作パネル１１４により、記録再生画面の巻き戻し操作の実行が指示された場合の巻き戻し再生処理の内容を表している。
【００３６】
本実施形態の管理端末１０１において、後述する操作パネル１１４により、現在再生中の経過時間以前の時点を指定された場合、記録再生部１１０は、操作パネル１１４上のスライダの位置或いは巻き戻しボタンの押下回数又は時間により、前記指定された時点が記録再生画面のどの時点であるかを計算する（Ｓ４０１）。
【００３７】
次に記録再生部１１０は、キーフレーム保持部１１３に保持されたキーフレームの内、前記指定された時点に最も近い経過時間を持つキーフレームを検索する（Ｓ４０２）。そして、Ｓ４０２の処理で検索されたキーフレームを記録再生画面表示部１１２に反映し（Ｓ４０３）、そのキーフレームに割り当てられたファイルオフセットの位置から記録データ記憶媒体１１１中のフレームデータ２０３の読み込みを行い、図３の処理に従って再生を行う（Ｓ４０４）。
【００３８】
図５は本実施形態のキーフレームの追加処理の処理手順を示すフローチャートである。図５では、図３のＳ３０９で行われるキーフレームの追加処理と、キーフレーム保持部１１３に保持されているキーフレームを所定の条件に従って逐次削除する処理を表している。
【００３９】
本実施形態の管理端末１０１は、図３の処理によって取得された記録再生画面と経過時間とファイルオフセットとをその経過時間でのキーフレームとしてキーフレーム保持部１１３に登録し、最新キーフレームの追加を行う（Ｓ５０１）。
【００４０】
本実施形態の管理端末１０１においてキーフレーム保持部１１３に保持されるキーフレーム数の制限を行う場合、キーフレーム保持部１１３に保持されているキーフレームの時系列上で古いもののチェックをＳ５０２の様に行う。すなわち、Ｓ５０２の処理では、最古のキーフレームがキーフレーム保持部１１３に保持されてから所定時間以上経過しているかどうかを調べ、最古のキーフレームが保持されてから所定時間以上経過している場合にはＳ５０３の処理へ進み、その最古のキーフレームをキーフレーム保持部１１３から削除した後、Ｓ５０２の処理に戻って再度チェックを行う。
【００４１】
またＳ５０２の処理で最古のキーフレームをチェックした結果、最古のキーフレームが保持されてから所定時間以上経過していない場合にはＳ５０４の処理へ進む。Ｓ５０４の処理では、キーフレーム保持部１１３に保持されているキーフレームの合計サイズを計算して、その計算された合計サイズが所定サイズを超えているかどうかを調べ、前記キーフレームの合計サイズが所定サイズを超えている場合にはＳ５０５の処理へ進み、時系列上で最古のキーフレームを削除した後、Ｓ５０４の処理へ戻って再度キーフレームの合計サイズを調べる。
【００４２】
またＳ５０４の処理でキーフレームの合計サイズを調べた結果、キーフレームの合計サイズが所定サイズを超えていない場合にはＳ５０６の処理へ進む。
Ｓ５０６の処理では、上記の削除処理の行われたキーフレーム保持部１１３が保持している最古のキーフレームの経過時間からスライダが指し示す時間までの間を巻き戻し再生可能な経過時間範囲として操作パネル１１４に反映させた後、キーフレーム追加処理を終了する。
【００４３】
図６は本実施形態の操作パネル１１４のイメージを示す図である。図６に示す様に本実施形態の操作パネル１１４は、巻き戻しボタン６０１と、一時停止ボタン６０２と、停止ボタン６０３と、再生ボタン６０４と、早送りボタン６０５と、記録データの記録時間表示バー６０６と、現在再生している経過時間を示すスライダ６０７と、現在の再生状態における巻き戻し再生可能経過時間範囲６０８からなる。
【００４４】
記録データ記憶媒体１１１のファイルヘッダ２０１に保持されている記録時間を記録時間表示バー６０６の全体長として、現在再生しているフレームヘッダ２０２の経過時間と記録時間の比率で、スライダ６０７の位置が決定される。また、キーフレーム保持部１１３が保持している最古の経過時間とスライダ６０７の間を巻き戻し再生可能経過時間範囲６０８として表示する。
【００４５】
本実施形態の管理端末１０１は、ユーザが巻き戻し再生可能経過時間範囲６０８内でスライダ６０７を動かした場合には、スライダ６０７の位置から経過時間を計算し、図４に従った処理を行い、また、ユーザが巻き戻しボタン６０１を押下した場合には、押下された回数又は時間によって経過時間を計算し、図４に従った処理を行う。
【００４６】
前記の様に本実施形態によれば、ネットワーク経由で送信することから容量を低減することを重視した結果、従来シーケンシャルに再生することしかできなかった動画記録方法において、記録方法を変更することなくインタラクティブな再生が可能となる。また、記録方法を変更する必要が無いことにより、コンバートにおける計算機資源の利用、記録データの容量の削減が可能となる。更に再生時に保持するキーフレーム数を制限することにより、再生時に必要となるリソースの軽減が可能となる。
【００４７】
以上説明した様に本実施形態の画面情報再生装置によれば、キーフレームを持たない画面情報記録形式の画像情報の記録再生画面を経過時間と次フレームデータの位置情報と共にキーフレームとして保持するので、キーフレームを持たない画面情報記録形式の画像情報を再生する際にデータ形式を変更すること無くインタラクティブな再生機能を提供することが可能である。
【００４８】
【発明の効果】
本発明によればキーフレームを持たない画面情報記録形式の画像情報の記録再生画面を経過時間と次フレームデータの位置情報と共にキーフレームとして保持するので、キーフレームを持たない画面情報記録形式の画像情報を再生する際にデータ形式を変更すること無くインタラクティブな再生機能を提供することが可能である。
【図面の簡単な説明】
【図１】本実施形態の遠隔操作システムの概略構成を示す図である。
【図２】本実施形態の画面情報の記録データ形式の一例を示す図である。
【図３】本実施形態の記録再生部１１０の処理手順を示すフローチャートである。
【図４】本実施形態の巻き戻し操作実行時の処理手順を示すフローチャートである。
【図５】本実施形態のキーフレームの追加処理の処理手順を示すフローチャートである。
【図６】本実施形態の操作パネル１１４のイメージを示す図である。
【符号の説明】
１０１…管理端末、１０２…ネットワーク、１０３…被管理端末、１０４…画面情報取得部、１０５…被管理端末通信部、１０６…入力実行部、１０８…被管理端末画面表示部、１０９…入力情報取得部、１１１…記録データ記憶媒体、１１２…記録再生画面表示部、１１３…キーフレーム保持部、１１４…操作パネル、１０７…管理端末通信部、１１０…記録再生部、２０１…ファイルヘッダ、２０２…フレームヘッダ、２０３…フレームデータ、６０１…巻き戻しボタン、６０２…一時停止ボタン、６０３…停止ボタン、６０４…再生ボタン、６０５…早送りボタン、６０６…記録時間表示バー、６０７…スライダ、６０８…巻き戻し再生可能経過時間範囲。
【図１】
0003957134.tif 000002
【図２】
0003957134.tif 000003
【図３】
0003957134.tif 000004
【図４】
0003957134.tif 000005
【図５】
0003957134.tif 000006
【図６】
0003957134.tif 000007