(57)【要約】【課題】  動画像に適したプロトコルに従ってフレームとこれに対応する被合成画像を外部装置に送信しても外部装置側でフレームとこれに対応する被合成画像とを合成して表示する為の技術を提供すること。【解決手段】  第１のフレームと第１の被合成画像とを合成して表示した場合に、第１フレームと隣り合う順序において、第１のフレームの表示順序よりも前の第２のフレームと合成した第２の被合成画像と第１の被合成画像とが異なる場合には、第１のフレームと第１の被合成画像とを合成して表示した時刻と共に、第１の被合成画像をコンピュータ１０３に対して送信する。【選択図】  図１
2007178926.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを保持する第１の外部装置と、画像表示可能な構成を有する第２の外部装置とに対してアクセス可能な画像処理装置であって、
前記第１の外部装置から前記動画像データに基づく各フレームを順次取得する取得手段と、
前記取得手段が取得したフレームと合成する被合成画像を保持する保持手段と、
前記取得手段が取得したフレームを、対応する被合成画像と合成してから表示する表示手段と、
前記表示手段が表示処理を開始したタイミング情報と、前記第１の外部装置が保持している前記動画像データに基づく各フレームを順次取得して表示する一連の処理を前記第２の外部装置に行わせるための指示と、当該指示に従って前記第２の外部装置が開始フレームを表示する際に、当該開始フレームと合成する被合成画像のデータと、を前記第２の外部装置に対して送信する第１の送信手段と、
前記表示手段が第１のフレームと第１の被合成画像とを合成して表示した場合に、当該第１フレームと隣り合う順序において、当該第１のフレームの表示順序よりも前の第２のフレームと合成した第２の被合成画像と当該第１の被合成画像とが異なる場合には、当該第１のフレームと当該第１の被合成画像とを合成して表示したタイミング情報と共に、当該第１の被合成画像を前記第２の外部装置に対して送信する第２の送信手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２の外部装置は、
前記第１の送信手段により送信された前記指示に基づいて前記第１の外部装置から前記動画像データに基づく各フレームを順次取得する手段と、
取得したフレームと、前記第１の送信手段により送信された被合成画像とを合成して表示する手段と、
前記第１の被合成画像と前記第２の被合成画像とが異なる旨を受けた場合には、前記第１の送信手段により送信されたタイミング情報と、前記第２の送信手段により送信されたタイミング情報との差分だけ、前記第１の送信手段により送信されたタイミング情報が示す時点から経過した時点近傍で前記第１の外部装置から取得したフレームと、前記第２の送信手段により送信された被合成画像とを合成して表示する手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
動画像データを保持する第１の外部装置と、画像表示可能な構成を有する第２の外部装置とに対してアクセス可能な画像処理装置が行う画像処理方法であって、
前記第１の外部装置から前記動画像データに基づく各フレームを順次取得する取得工程と、
前記取得工程で取得したフレームと合成する被合成画像をメモリに保持する保持工程と、
前記取得工程で取得したフレームを、対応する被合成画像と合成してから表示する表示工程と、
前記表示工程で表示処理を開始したタイミング情報と、前記第１の外部装置が保持している前記動画像データに基づく各フレームを順次取得して表示する一連の処理を前記第２の外部装置に行わせるための指示と、当該指示に従って前記第２の外部装置が開始フレームを表示する際に、当該開始フレームと合成する被合成画像のデータと、を前記第２の外部装置に対して送信する第１の送信工程と、
前記表示工程で第１のフレームと第１の被合成画像とを合成して表示した場合に、当該第１フレームと隣り合う順序において、当該第１のフレームの表示順序よりも前の第２のフレームと合成した第２の被合成画像と当該第１の被合成画像とが異なる場合には、当該第１のフレームと当該第１の被合成画像とを合成して表示したタイミング情報と共に、当該第１の被合成画像を前記第２の外部装置に対して送信する第２の送信工程と
を備えることを特徴とする画像処理方法。
【請求項４】
コンピュータに請求項３に記載の画像処理方法を実行させる為のプログラム。
【請求項５】
請求項４に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像再生技術に関するものである。
【背景技術】
【０００２】
従来、ある表示装置上で表示されている画面を、別の表示装置上でも表示させる場合には、この画面上の画素情報を別の表示装置へ送信していた。また、別の表示装置からの定期的なリクエストに応じて、ある表示装置上の画面の更新された画素情報を別の表示装置へ送信していた。
【０００３】
Webの世界では、HTMLファイルのような構造化文書を送ることで、相手先の画面に任意の画面表示を行わせている。構造化文書には、画面を構成するための描画指示やjpegのような画像ファイルへのリンクが記述されている。従って、ある表示装置側で表示されている画面の情報がHTMLのような構造化文書で記述されていれば、この構造化文書を別の表示装置へ送ることで同様の画面を別の表示装置に表示することが出来る。
【特許文献１】特開平８−２９７６１７号公報
【特許文献２】特開２００１−２５１５９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来では、動画と背景画像と合成した画面を他の表示装置に表示させる場合には以下のような問題がある。
【０００５】
ある表示装置上で表示している画面と同様の画面を別の表示装置で表示するには、１フレーム分の画像情報が何であるのかを別の表示装置へ伝えなければならない。例えば、ある表示装置上ではjpegAと背景画像Aを同時刻に表示し、jpegBと背景画像Bとを同時刻に表示していたが、別の表示装置上ではjpegAと背景画像Bを同時刻に表示してしまう可能性がある。
【０００６】
また、ある表示装置上の画面の画素情報を別の表示装置に送信する場合、同時刻に取得した画面の画素情報を別の表示装置へ送れば１フレーム分の情報を伝えることができる。また、静止画ファイルを送る場合では、同時刻に表示されているjpeg画像や背景画像をHTMLを用いてリンクさせ、別の表示装置に送れば、１フレーム分の情報を伝えることができる。
【０００７】
しかしこれらは、HTTPやTCPといったデータ転送プロトコルで転送される。動画の場合、HTTPやTCPを使うと複数フレームからなるデータをあらかじめ別の表示装置へ送りつけておくことになるため、１フレーム分の情報を伝えることができない。
【０００８】
本発明は以上の問題に鑑みてなされたものであり、動画像に適したプロトコルに従ってフレームとこれに対応する被合成画像を外部装置に送信しても外部装置側でフレームとこれに対応する被合成画像とを合成して表示する為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１０】
即ち、動画像データを保持する第１の外部装置と、画像表示可能な構成を有する第２の外部装置とに対してアクセス可能な画像処理装置であって、
前記第１の外部装置から前記動画像データに基づく各フレームを順次取得する取得手段と、
前記取得手段が取得したフレームと合成する被合成画像を保持する保持手段と、
前記取得手段が取得したフレームを、対応する被合成画像と合成してから表示する表示手段と、
前記表示手段が表示処理を開始したタイミング情報と、前記第１の外部装置が保持している前記動画像データに基づく各フレームを順次取得して表示する一連の処理を前記第２の外部装置に行わせるための指示と、当該指示に従って前記第２の外部装置が開始フレームを表示する際に、当該開始フレームと合成する被合成画像のデータと、を前記第２の外部装置に対して送信する第１の送信手段と、
前記表示手段が第１のフレームと第１の被合成画像とを合成して表示した場合に、当該第１フレームと隣り合う順序において、当該第１のフレームの表示順序よりも前の第２のフレームと合成した第２の被合成画像と当該第１の被合成画像とが異なる場合には、当該第１のフレームと当該第１の被合成画像とを合成して表示したタイミング情報と共に、当該第１の被合成画像を前記第２の外部装置に対して送信する第２の送信手段と
を備えることを特徴とする。
【００１１】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１２】
即ち、動画像データを保持する第１の外部装置と、画像表示可能な構成を有する第２の外部装置とに対してアクセス可能な画像処理装置が行う画像処理方法であって、
前記第１の外部装置から前記動画像データに基づく各フレームを順次取得する取得工程と、
前記取得工程で取得したフレームと合成する被合成画像をメモリに保持する保持工程と、
前記取得工程で取得したフレームを、対応する被合成画像と合成してから表示する表示工程と、
前記表示工程で表示処理を開始したタイミング情報と、前記第１の外部装置が保持している前記動画像データに基づく各フレームを順次取得して表示する一連の処理を前記第２の外部装置に行わせるための指示と、当該指示に従って前記第２の外部装置が開始フレームを表示する際に、当該開始フレームと合成する被合成画像のデータと、を前記第２の外部装置に対して送信する第１の送信工程と、
前記表示工程で第１のフレームと第１の被合成画像とを合成して表示した場合に、当該第１フレームと隣り合う順序において、当該第１のフレームの表示順序よりも前の第２のフレームと合成した第２の被合成画像と当該第１の被合成画像とが異なる場合には、当該第１のフレームと当該第１の被合成画像とを合成して表示したタイミング情報と共に、当該第１の被合成画像を前記第２の外部装置に対して送信する第２の送信工程と
を備えることを特徴とする。
【発明の効果】
【００１３】
本発明の構成により、動画像に適したプロトコルに従ってフレームとこれに対応する被合成画像を外部装置に送信しても外部装置側でフレームとこれに対応する被合成画像とを合成して表示することができる。
【発明を実施するための最良の形態】
【００１４】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１５】
［第１の実施形態］
図１は、本実施形態に係るシステムの概略構成を示す図である。同図に示す如く、本実施形態に係るシステムは、ＰＤＡ１０１、コンピュータ１０３、サーバ１０４により構成されており、それぞれはＬＡＮ１０２に接続されている。
【００１６】
先ず、ＰＤＡ１０１について説明する。ＰＤＡ１０１は、本実施形態に係る画像処理装置を適用したものであり、動画像の再生表示を行うと共に、再生表示している動画像をコンピュータ１０３に再生表示させることができる。
【００１７】
図２は、ＰＤＡ１０１のハードウェア構成を示すブロック図である。
【００１８】
２０５はＣＰＵで、ＲＯＭ２０２に格納されているプログラムやデータ、記憶部（ハードディスク）２０４からＲＡＭ２０３にロードされたプログラムやデータを用いてＰＤＡ１０１全体の制御を行うと共に、ＰＤＡ１０１が行う後述の各処理を実行する。また、ＣＰＵ２０５には一般にタイマ機能が設けられている。従って、ＣＰＵ２０５は、現在時刻を計時することができる。
【００１９】
２０２はＲＯＭで、ＰＤＡ１０１の設定データやブートプログラムなどを格納すると共に、ＰＤＡ１０１が行う後述の各処理をＣＰＵ２０５に実行させるためのプログラムやデータを格納する。
【００２０】
２０３はＲＡＭで、記憶部２０４からロードされたプログラムやデータを一時的に記憶するためのエリアや、ＬＡＮ  Ｉ／Ｆ２０６やＵＳＢ  Ｉ／Ｆ２０７を介して外部から受信したデータ等を一時的に記憶するためのエリアを有する。また、ＲＡＭ２０３は、ＣＰＵ２０５が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ２０３は、様々な使用目的に応じて適宜エリアを提供することができる。
【００２１】
２０４は記憶部で、ＯＳ（オペレーティングシステム）や、再生表示する各フレームと合成する被合成画像のデータなどを保存する。これらのプログラムやデータはＣＰＵ２０５による制御に従って適宜ＲＡＭ２０３にロードされ、ＣＰＵ２０５による処理対象となる。
【００２２】
２０１は画像表示部で、ＣＰＵ２０５による処理結果を画像や文字などでもって表示することができる。本実施形態ではこの画像表示部２０１はタッチパネル形式の液晶画面であるとする。
【００２３】
２０６はＬＡＮ  Ｉ／Ｆ２０６で、ＰＤＡ１０１を上記ＬＡＮ１０２に接続するためのインターフェースとして機能するものである。従って、ＰＤＡ１０１はこのＬＡＮ  Ｉ／Ｆ２０６を介してＬＡＮ１０２に接続されているサーバ１０４やコンピュータ１０３とのデータ通信を行うことになる。
【００２４】
２０７は、ＵＳＢ  Ｉ／Ｆ２０７で、ここにＵＳＢケーブルを接続することで、各種の外部機器とのデータ通信を行うことができる。
【００２５】
２１０は上述の各部を繋ぐバスである。
【００２６】
なお、図２に示した構成は、本実施形態に係る画像処理装置として機能するＰＤＡ１０１が有する主要構成を示したものであるので、ＰＤＡ１０１のハードウェア構成は同図に示した構成に限定するものではない。
【００２７】
次に、コンピュータ１０３について説明する。図４は、コンピュータ１０３のハードウェア構成を示すブロック図である。
【００２８】
８０１はＣＰＵで、ＲＡＭ８０２やＲＯＭ８０３に格納されているプログラムやデータを用いて、コンピュータ１０３全体の制御を行うと共に、コンピュータ１０３が行う後述の各処理を実行する。
【００２９】
８０２はＲＡＭで、外部記憶装置８０６からロードされたプログラムやデータ、Ｉ／Ｆ８０７を介して外部から受信したデータ等を一時的に記憶するためのエリアを有する。また、ＲＡＭ８０２は、ＣＰＵ８０１が各処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ８０２は、各種のエリアを適宜提供することができる。
【００３０】
８０３はＲＯＭで、コンピュータ１０３の設定データやブートプログラムなどを格納する。
【００３１】
８０４は操作部で、キーボードやマウスなどにより構成されており、コンピュータ１０３の操作者が操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。
【００３２】
８０５は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ８０１による処理結果を画像や文字などでもって表示することができる。
【００３３】
８０６は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置として機能するものであり、ここにはＯＳやコンピュータ１０３が行う後述の各処理をＣＰＵ８０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータはＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。
【００３４】
８０７はＩ／Ｆで、コンピュータ１０３を上記ＬＡＮ１０２に接続するためのものであり、コンピュータ１０３はこのＩ／Ｆ８０７を介して上記ＬＡＮ１０２に接続されているＰＤＡ１０１とデータ通信を行うことができる。
【００３５】
８０８は上述の各部を繋ぐバスである。
【００３６】
次に、サーバ１０４について説明する。本実施形態ではサーバ１０４は、コンピュータ１０３と同じ構成を有しているものとして説明する。サーバ１０４が有する外部記憶装置８０６には、各種の動画像ファイルが保存されており、外部から要求された動画像ファイル中の各フレームを順次要求元に対して送信する。従って、要求元では、順次送信されたフレームを順次表示する処理、即ち、ストリーミング再生処理を行う。
【００３７】
次に、ＰＤＡ１０１側で行う処理について、同処理のフローチャートを示す図５を用いて以下説明する。なお、同図のフローチャートに従った処理をＣＰＵ２０５に実行させるためのプログラムやデータはＲＯＭ２０２や記憶部２０４に保存されている。これをＣＰＵ２０５による制御に従って適宜ＲＡＭ２０３にロードする。そしてＣＰＵ２０５がこのロードされたプログラムやデータを用いて処理を実行することで、ＰＤＡ１０１は以下説明する各処理を実行することになる。
【００３８】
先ず、同図のフローチャートに従った処理を行う前段で、サーバ１０４からＰＤＡ１０１には、ＰＤＡ１０１側で指定した（若しくは予め定められた）動画像ファイル中の各フレームのデータが順次送信されている。従って、ＣＰＵ２０５はこれをＲＡＭ２０３に取得し、取得したフレームと、これに対応する被合成画像とを合成し、合成した結果を画像表示部２０１に表示する処理を行う。被合成画像は予め記憶部２０４からＲＡＭ２０３にロードされている。その結果、画像表示部２０１の表示画面上には、各フレームの画像が、対応する被合成画像と合成されて再生表示されている。
【００３９】
また、上述の通り、ＰＤＡ１０１はコンピュータ１０３に対して、同様の動画像の再生を指示することができる。
【００４０】
従って、ＰＤＡ１０１はステップＳ５０１において、後述する動画像表示開始メッセージのデータを作成し、作成した動画像表示開始メッセージのデータと、ＰＤＡ１０１がサーバ１０４から最初に受け取ったフレーム（開始フレーム）と合成した被合成画像のデータをコンピュータ１０３に送信する。
【００４１】
ここで、動画像表示開始メッセージについて説明する。図３（ａ）は、動画像表示開始メッセージの構成例を示す図である。メッセージタイプは、コンピュータ１０３に送信するメッセージの種別を示すものである。従って、動画像表示開始メッセージ内のメッセージタイプには、このメッセージが動画像表示開始メッセージであることをコンピュータ１０３に知らしめるためのコードが記述されている。
【００４２】
Ｘ座標、Ｙ座標は、コンピュータ１０３に送信する動画像の左上隅の座標位置を示すものである。動画像の幅、高さは、コンピュータ１０３に送信する動画像を構成する各フレームのサイズを示すものである。動画表示開始時刻は、ＰＤＡ１０１が開始フレームを再生した時刻を示すものである。上述の通り、ＣＰＵ２０５は現在時刻を計時しているので、ＣＰＵ２０５は開始フレームを再生表示した際の時刻を計時し、これをデータとしてＲＡＭ２０３に一時的に記憶している。従って、この一時記憶しているデータを参照すれば、動画表示開始時刻を得ることができる。
【００４３】
動画像識別子は、ＰＤＡ１０１側で現在再生表示している動画像の再生表示をコンピュータ１０３に行わせるための指示である。より詳しくは、ＰＤＡ１０１側で現在再生表示している動画像のデータを保持している装置、即ちサーバ１０４のＵＲＬを示すものである。コンピュータ１０３がこのＵＲＬを受けると、コンピュータ１０３はサーバ１０４にアクセスし、ＰＤＡ１０１が行ったように、動画像を構成している各フレームを順次送信するよう、要求する。これにより、コンピュータ１０３は、サーバ１０４から順次フレームのデータが順次送信される。
【００４４】
従って、ステップＳ５０１では、上述の構成を有する動画像表示開始メッセージと共に、開始フレームに対応する被合成画像のデータをコンピュータ１０３に送信する。コンピュータ１０３（ＣＰＵ８０１）はこの動画像表示開始メッセージを受けると、これを一端ＲＡＭ８０２に一時的に記憶する。そしてコンピュータ１０３は、動画像表示開始メッセージ中の動画像識別子を用いてサーバ１０４にアクセスし、動画像を構成している各フレームを順次送信するよう、要求する。これにより、サーバ１０４からコンピュータ１０３に対して、フレームのデータが順次送信されるので、コンピュータ１０３はこれをＲＡＭ８０２に取得し、取得したフレームと、ステップＳ５０１で送信された被合成画像とを合成し、合成した結果を表示部８０５に表示する処理を行う。
【００４５】
図５に戻って、次に、ＰＤＡ１０１はイベント駆動で処理を行うため、ステップＳ５０２では、ＣＰＵ２０５はイベント待ち状態に移行する。次に、ステップＳ５０３において、本処理を終了する指示が入力されることによりＣＰＵ２０５が終了イベントを生成した、若しくはそのような条件が満たされたことによりＣＰＵ２０５が終了イベントを生成した場合には、本処理を終了する。一方、終了イベントを生成していない場合には処理をステップＳ５０３を介してステップＳ５０４に進め、現在画像表示部２０１に表示しているフレーム（第ｍフレーム）と合成する被合成画像が、第（ｍ−１）フレームと合成する被合成画像と異なるか否かをチェックする。
【００４６】
即ち、現在画像表示部２０１に第ｍのフレームと第ｍの被合成画像とを合成して表示した場合に、第ｍフレームと隣り合う順序において、第ｍのフレームの表示順序よりも前の第（ｍ−１）のフレームと合成した第（ｍ−１）の被合成画像と第ｍの被合成画像とが異なるか否かをチェックする。
【００４７】
このチェックの結果、異なると判断した場合には、更新イベントが生成される。更新イベントが生成されていない場合には処理をステップＳ５０４を介してステップＳ５０２に戻り、以降の処理を繰り返す。
【００４８】
一方、更新イベントが生成された場合には処理をステップＳ５０４を介してステップＳ５０５に進め、後述する画面更新メッセージのデータと、上述の例では第ｍの被合成画像のデータと、をコンピュータ１０３に送信する。
【００４９】
図３（ｂ）は、画面更新メッセージの構成例を示す図である。メッセージタイプは、コンピュータ１０３に送信するメッセージの種別を示すものである。従って、画面更新メッセージ内のメッセージタイプには、このメッセージが画面更新メッセージであることをコンピュータ１０３に知らしめるためのコードが記述されている。
【００５０】
Ｘ座標、Ｙ座標は、コンピュータ１０３に送信する被合成画像の左上隅の座標位置を示すものである。更新画像の幅、高さは、コンピュータ１０３に送信する被合成画像のサイズを示すものである。更新時刻は、第ｍのフレームと第ｍの被合成画像とを合成して表示した時刻（ＣＰＵ２０５により計時）である。更新画像は、上述の例では第ｍの被合成画像のデータである。
【００５１】
次に、コンピュータ１０３が行う処理について、同処理のフローチャートを示す図６を用いて以下説明する。なお、同図のフローチャートに従った処理をＣＰＵ８０１に実行させるためのプログラムやデータは外部記憶装置８０６に保存されている。これをＣＰＵ８０１による制御に従って適宜ＲＡＭ８０２にロードする。そしてＣＰＵ８０１がこのロードされたプログラムやデータを用いて処理を実行することで、コンピュータ１０３は以下説明する各処理を実行することになる。
【００５２】
先ず、ステップＳ６０１では、上記ステップＳ５０１でＰＤＡ１０１から送信された動画像表示開始メッセージを受けると、これを一端ＲＡＭ８０２に一時的に記憶する。そして、動画像表示開始メッセージ中の動画像識別子を用いてサーバ１０４にアクセスし、動画像を構成している各フレームを順次送信するよう、要求する。これにより、サーバ１０４からコンピュータ１０３に対して、フレームのデータが順次送信されるので、コンピュータ１０３はこれをＲＡＭ２０３に取得し、取得したフレームと、ステップＳ５０１でＰＤＡ１０１から送信された被合成画像とを合成し、合成した結果を表示部８０５に表示する。ステップＳ６０１では、開始フレームと、ステップＳ５０１でＰＤＡ１０１から送信された被合成画像とを合成したものが表示部２０１に表示されることになる。
【００５３】
次に、ステップＳ６０２では、ＰＤＡ１０１から送信されるイベント待ちとなる。そしてＰＤＡ１０１側で生成された終了イベントを受けた場合には、処理をステップＳ６０３を介して本処理を終了する。一方、終了イベントを受けていない場合、更新イベントがＰＤＡ１０１側で生成され、コンピュータ１０３に送信された場合であるので、処理をステップＳ６０３を介してステップＳ６０５に進める。
【００５４】
ステップＳ６０５では、ステップＳ６０１で受信した動画像表示開始メッセージ中の動画表示開始時刻と、ＰＤＡ１０１から送信された画面更新メッセージ中の更新時刻との差分を計算する。即ち、動画像の再生開始からどれだけの時間が経過してから被合成画像が変わったのかを得る。
【００５５】
そして、ステップＳ６０６では、ステップＳ６０１で再生開始した時刻から、ステップＳ６０５で求めた差分時間だけ経過した時刻に最も近い時刻に再生されるフレームを特定する。そしてステップＳ６０７では、サーバ１０４から受信したフレームのうち、ステップＳ６０６で特定したフレームを再生する際には、画面更新メッセージ中の更新画像を合成してから表示部８０３に出力する。
【００５６】
そして、以降、同図のフローチャートには示していないが、サーバ１０４から順次送信されるフレームと、最も最近に受信した被合成画像（ステップＳ６０１で受信した被合成画像、若しくは画面更新メッセージ内の更新画像のうち最も最近に受信した被合成画像）とを合成し、表示部８０３に出力する。
【００５７】
なお、本実施形態に係る画像処理装置としてはＰＤＡ以外のものを用いても良く、携帯電話やノート型パソコンを用いても良い。これはコンピュータ１０３についても同様で、画像表示可能な構成を有していると共に、ネットワークに接続可能な構成を有していれば、如何なる機器であっても良い。
【００５８】
また、上記「時刻」は、タイミング情報の一例であり、例えば、フレーム番号であっても良い。
【００５９】
また、本実施形態では、ＬＡＮ１０２はネットワークの一例であり、ネットワークの形態については特に限定するものではない。
【００６０】
また、本実施形態では動画像のデータはサーバ１０４が有しているものとして説明したが、ＰＤＡ１０１が保持するような構成にしても良い。
【００６１】
［第２の実施形態］
本実施形態では、ＰＤＡ１０１側で動画像再生が終了したことをコンピュータ１０３に通知する。図７は、ＰＤＡ１０１が行う処理のフローチャートである。図７のフローチャートは、図５のフローチャートにおいて、ステップＳ５０４でＮｏの場合に行うものである。
【００６２】
先ず、ステップＳ７０１では、ＰＤＡ１０１の画面が更新されたか否かをチェックする。このチェックは、画面更新イベントがＣＰＵ２０５によって生成されたか否かをチェックする。
【００６３】
その結果、更新されている場合には処理をステップＳ７０２に進め、動画像の再生表示領域上に、背景画像等の画像が表示されることで、実質上、動画像の再生表示が中断されたか否かをチェックする。この結果、中断されたと判断された場合には処理をステップＳ７０３に進め、画面更新メッセージにおいて更新画像として動画像の再生表示領域上に表示された背景画像等の画像を格納し、更新時刻として動画像識別子を格納した画面更新メッセージをコンピュータ１０３に送信する。
【００６４】
コンピュータ１０３はこのような画面更新メッセージを受けると、動画像の再生処理を中断する。
【００６５】
［第３の実施形態］
本実施形態では、ステップＳ６０６において、ステップＳ６０１で再生開始した時刻から、ステップＳ６０５で求めた差分時間だけ経過した時刻に最も近い時刻に再生されるフレームを特定すると、特定したフレームをサーバ１０４に要求する。図３（ｃ）はこの要求プロトコルの構成例を示す図である。
。そしてステップＳ６０７では、ステップＳ６０６で要求、取得したフレームと、ステップＳ６０１で取得した被合成画像とを合成し、表示部８０３に出力する。
【００６６】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００６７】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６９】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１の実施形態に係るシステムの概略構成を示す図である。
【図２】ＰＤＡ１０１のハードウェア構成を示すブロック図である。
【図３】（ａ）は、動画像表示開始メッセージの構成例を示す図、（ｂ）は、画面更新メッセージの構成例を示す図、（ｃ）は要求プロトコルの構成例を示す図である。
【図４】コンピュータ１０３のハードウェア構成を示すブロック図である。
【図５】ＰＤＡ１０１側で行う処理のフローチャートである。
【図６】コンピュータ１０３が行う処理のフローチャートである。
【図７】ＰＤＡ１０１が行う処理のフローチャートである。
【図１】
2007178926.tif 000003
【図２】
2007178926.tif 000004
【図３】
2007178926.tif 000005
【図４】
2007178926.tif 000006
【図５】
2007178926.tif 000007
【図６】
2007178926.tif 000008
【図７】
2007178926.tif 000009