(57)【要約】【課題】遠隔地からのプレゼンテーション、教育、講演等の多種多用な利用形態において有効な画像配信方法及び画像配信システムを提供する。【解決手段】配信側装置内の表示用メモリに格納されている画像情報を連続的にフレームバッファに複写する複写手段と、前記フレームバッファに複写された画像情報を動画圧縮処理する圧縮手段と、動画圧縮処理された前記画像情報を配信する配信手段とを備えた配信側と、動画圧縮処理された前記画像情報を受信する受信手段と、受信した前記画像情報を再生する再生手段と再生した前記画像情報を受信側装置内の表示用メモリに書込む書込み手段とを備えた受信側とで構成される。【選択図】図1 
2005051564.tif 000002
【特許請求の範囲】
【請求項１】
配信側が、配信側装置内の表示用メモリに格納されている画像情報を連続的に取出し、
取出した前記画像情報を動画圧縮処理して配信し、
受信側が、動画圧縮処理されている前記画像情報を受信し、
受信した前記画像情報を再生し、
再生した前記画像情報を、受信側装置内の表示用メモリに格納することを特徴とする画像配信方法。
【請求項２】
前記配信側装置内の表示用メモリから画像情報を取出す時間間隔と、
前記受信側装置内の表示用メモリに画像情報を格納する時間間隔とがほぼ同一であることを特徴とする請求項１記載の画像配信方法。
【請求項３】
前記配信側装置内の表示用メモリから画像情報を取出す時間間隔が、任意設定可能なことを特徴とする請求項１又は２記載の画像配信方法。
【請求項４】
前記動画圧縮処理が、ＭＰＥＧ−４フォーマットの動画圧縮処理であることを特徴とする請求項１乃至３記載の画像配信方法。
【請求項５】
配信側装置内の表示用メモリに格納されている画像情報を連続的にフレームバッファに複写する複写手段と、
前記フレームバッファに複写された画像情報を動画圧縮処理する圧縮手段と、
動画圧縮処理された前記画像情報を配信する配信手段とを備えた配信側と、
動画圧縮処理された前記画像情報を受信する受信手段と、
受信した前記画像情報を再生する再生手段と
再生した前記画像情報を受信側装置内の表示用メモリに書込む書込み手段とを備えた受信側とで構成されていることを特徴とする画像配信システム。
【請求項６】
前記配信側装置内の表示用メモリに格納されている画像情報をフレームバッファに複写する時間間隔と、再生した前記画像情報を前記受信側装置内の表示用メモリに書込む時間間隔とがほぼ同一であることを特徴とする請求項５記載の画像配信システム。
【請求項７】
前記配信側装置内の表示用メモリに格納されている画像情報をフレームバッファに複写する時間間隔が、任意設定可能なことを特徴とする請求項５又は６記載の画像配信システム。
【請求項８】
前記動画圧縮処理が、ＭＰＥＧ−４フォーマットの動画圧縮処理であることを特徴とする請求項５乃至７記載の画像配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像配信方法及び画像配信システムに係り、特に、動画圧縮処理した情報を配信する画像配信方法及び画像配信システムに関するものである。
【背景技術】
【０００２】
近年、動画像や音声などを含む複数のオブジェクトを含むマルチメディアデータをＭＰＥＧ−４フォーマットに変換して単一のデータストリームとして伝送する手法が使用されている。
【０００３】
このデータストリームとして配信されるデータには、動画、静止画、音声等のデータであるエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）と、画像、音声、テキスト等の各オブジェクトの組み合わせがツリー構造で表現されたシーン記述情報と、エレメンタリストリームとシーン記述情報を関連付けるオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ  Ｄｅｓｃｒｉｐｔｏｒ）等が含まれている。ここで、上記エレメンタリストリームとして配信される動画、静止画、音声等の情報としては、カメラから取込まれたライブ映像や、サーバに蓄積されている録画映像等が挙げられる。
【０００４】
例えば、カメラから取込まれたライブ映像を、エレメンタリストリームとして配信する場合には、カメラから取込まれた画像情報が、フレームバッファ（圧縮処理される情報を一時的に保持するバッファ）に送られ、このフレームバッファに送られた情報が順次圧縮処理された後、エレメンタリストリームとして配信される。又、サーバに蓄積されている録画映像を、エレメンタリストリームとして配信する場合には、録画映像内の画像情報が、フレームバッファに送られ、このフレームバッファに送られた情報が順次圧縮処理された後、エレメンタリストリームとして配信される。つまり、画像をエレメンタリストリームとして配信する場合には、画像を出力する装置や蓄積した装置から供給される情報を、順次圧縮処理して配信していた。
【０００５】
従って、講演会等の会場で、プロジェクタ装置等を用いて大画面表示された画像を配信する場合には、その画像をカメラで取込み、取込んだデータをエレメンタリストリームとして配信することが多かった。しかしながら、プロジェクタ装置等を用いて大画面表示された画像をカメラで取込んだ場合、画像が劣化する等の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したプロジェクタ装置等を用いて大画面表示された画像は、コンピュータの画面を拡大表示したものであることが多いので、コンピュータの画面に表示されている情報を、上記エレメンタリストリームとして配信することができれば、画像が劣化する等の問題は解決する。
【０００７】
又、アプリケーションソフトの操作説明等をするときに、操作中の画面表示を直接配信することができれば、離れた場所にいる受講者に対して操作説明等を行なうときに非常に便利になる。
【０００８】
そこで本発明は、配信側に画面表示されている画像を、直接エレメンタリストリームとして配信できるようにして、受信側に配信側とほぼ同一の画面を表示させるようにした画像配信方法及び画像配信システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る目的は、配信側が、配信側装置内の表示用メモリに格納されている画像情報を連続的に取出し、
取出した前記画像情報を動画圧縮処理して配信し、
受信側が、動画圧縮処理されている前記画像情報を受信し、
受信した前記画像情報を再生し、
再生した前記画像情報を、受信側装置内の表示用メモリに格納することを特徴とする画像配信方法によって達成される。
【００１０】
又、本発明によれば、前記配信側装置内の表示用メモリから画像情報を取出す時間間隔と、
前記受信側装置内の表示用メモリに画像情報を格納する時間間隔とがほぼ同一であることが好ましい。つまり、配信側と受信側の表示画面がほぼ同一の周期で更新されることが好ましい。
【００１１】
又、本発明によれば、前記配信側装置内の表示用メモリから画像情報を取出す時間間隔が、任意設定可能なことが好ましい。つまり、表示する画像の変化速度に応じて、表示画面を更新する周期を適宜設定できるようにすることが好ましい。
【００１２】
又、本発明によれば、前記動画圧縮処理が、ＭＰＥＧ−４フォーマットの動画圧縮処理であることが好ましい。
【００１３】
本発明に係る目的は、配信側装置内の表示用メモリに格納されている画像情報を連続的にフレームバッファに複写する複写手段と、
前記フレームバッファに複写された画像情報を動画圧縮処理する圧縮手段と、
動画圧縮処理された前記画像情報を配信する配信手段とを備えた配信側と、
動画圧縮処理された前記画像情報を受信する受信手段と、
受信した前記画像情報を再生する再生手段と
再生した前記画像情報を受信側装置内の表示用メモリに書込む書込み手段とを備えた受信側とで構成されていることを特徴とする画像配信システムによって達成される。
【００１４】
又、本発明によれば、前記配信側装置内の表示用メモリに格納されている画像情報をフレームバッファに複写する時間間隔と、再生した前記画像情報を前記受信側装置内の表示用メモリに書込む時間間隔とがほぼ同一であることが好ましい。つまり、配信側と受信側の表示画面がほぼ同一の周期で更新されることが好ましい。
【００１５】
又、本発明によれば、前記配信側装置内の表示用メモリに格納されている画像情報をフレームバッファに複写する時間間隔が、任意設定可能なことが好ましい。つまり、表示する画像の変化速度に応じて、表示画面を更新する周期を適宜設定できるようにすることが好ましい。
【００１６】
又、本発明によれば、前記動画圧縮処理が、ＭＰＥＧ−４フォーマットの動画圧縮処理であることが好ましい。
【発明の効果】
【００１７】
本発明に係る画像配信方法及び画像配信システムにおいては、配信側に画面表示されている画像を、直接エレメンタリストリームとして配信できるようにしたので、受信側に配信側とほぼ同一の画面を表示させることができる。又、配信側の画面に表示されている画像に対応した画像情報を順次圧縮処理して配信しているので、配信側で動作するアプリケーションソフトであれば、アプリケーションソフトに限定されることなく表示された画像を配信することができる。
【００１８】
従って、本発明に係る画像配信方法及び画像配信システムは、遠隔地からのプレゼンテーション、教育、講演等の多種多用な利用形態において有効な画像配信方法及び画像配信システムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
本発明に係る画像配信方法及び画像配信システムでは、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−４システム（ＩＳＯ／ＩＥＣ１４４９６−１）で定義されている情報（後述するエレメンタリストリーム、シーン記述情報及びオブジェクト・ディスクリプタ等により構成される情報）をサーバ（配信側）からクライアント（受信側）に配信している。
【００２０】
ここで、配信されるＭＰＥＧ−４の情報には、画像、音声、静止画等の情報であるエレメンタリストリーム（Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）と、画像、音声、テキスト等の各オブジェクトの組み合わせがツリー構造で表現されたシーン記述情報が含まれている。又、このエレメンタリストリームとシーン記述情報はオブジェクト・ディスクリプタ（Ｏｂｊｅｃｔ  Ｄｅｓｃｒｉｐｔｏｒ）という情報によって関連付けされている。
【００２１】
この関連付けのため、シーン記述情報では、各オブジェクトにオブジェクト・ディスクリプタＩＤが割り当てられるており、このオブジェクト・ディスクリプタＩＤにより対応するオブジェクト・ディスクリプタが識別される。更に、オブジェクト・ディスクリプタには各エレメンタリストリームとの関連付け情報が記述されているエレメンタリストリーム・ディスクリプタがあり、このエレメンタリストリーム・ディスクリプタにはエレメンタリストリームＩＤが記述されており、このエレメンタリストリームＩＤにより各エレメンタリストリームが識別される。
【００２２】
又、上記ツリー構造で表現されたシーン記述情報において、その要素（ツリー構造の分岐点）はノードと呼ばれ、各ノードには、それに対応した各オブジェクトの時間的、空間的な相互関係や属性（光源、形状、材質、色および座標等）が記述され、各ノードの特性はフィールドと呼ばれるデータにより決定される。又、ツリー構造で表現されたシーン記述情報では、上位ノードの属性が下位ノードに継承されたり、下位ノードがグループ化されたりする。
［画像配信方法及び画像配信システムの説明］
次に、本発明に係る画像配信方法及び画像配信システムについて図面を参照して説明する。図１は、本発明に係る画像配信システムの概要を示す概略図である。図１の配信側１０は、配信側１０の画面に表示されている情報をストーリミング配信するサーバ等の装置であり、受信側３０は、配信側１０が配信する情報を受信して、その情報を利用するクライアント側の端末装置等である。
【００２３】
図１に示した画像配信システムでは、配信側１０は、ＶＲＡＭ１１に格納されている画像情報をＭＰＥＧ−４処理部２０のフレームバッファ２１に一定の時間間隔で複写する。ここで、ＶＲＡＭ１１は配信側１０の画面に表示する画像情報が格納されている表示用メモリであり、フレームバッファ２１は圧縮処理される画像情報を受取るためのバッファである。ＭＰＥＧ−４処理部２０では、画像バッファに複写された画像情報を、ＭＰＥＧ−４フォーマットの情報に圧縮処理した後、エレメンタリーストリームとして配信する。尚、本発明に係るコンテンツ配信方法及びコンテンツ配信システムは、ＭＰＥＧ−４フォーマット以外の圧縮処理を用いた場合にも、同様に実施することができる。
【００２４】
一方、受信側３０は、配信側１０が配信するエレメンタリーストリームを受信バッファ４１で受信して、ＭＰＥＧ−４フォーマットの情報を再生するプレーヤー４０により再生し、再生した画像情報をＶＲＡＭ３１に書込み画面表示を行なう。ここで、ＶＲＡＭ３１は配信側３０の画面に表示する画像情報が格納されている表示用メモリである。
【００２５】
つまり、図１に示した画像配信システムでは、配信側１０のＶＲＡＭ１１に格納されている画像情報とほぼ同一のデータが、配信側３０のＶＲＡＭ３１に書込まれるため、配信側１０と受信側３０の画面にほぼ同一の画像が表示される。ここで、配信側１０と受信側３０の画面の解像度が異なる場合には、画像情報に対して伸縮処理を行なってもよい。尚、表示用メモリ（ＶＲＡＭ１１、ＶＲＡＭ３１）には、通常、ＲＧＢ方式（赤、緑、青の３原色をもとに画像を表示する方式）で画像情報が格納されている。従って、配信側１０でＭＰＥＧ−４フォーマットの情報に圧縮処理される画像情報や、受信側３０で再生される画像情報もＲＧＢ方式になっている。
【００２６】
次に、配信側１０のＶＲＡＭ１１に格納された画像情報を圧縮処理し、エレメンタリーストリームとして配信するまでの過程を図２を参照して説明する。図２は、配信側１０における圧縮処理の過程を示すフローチャートである。図２に示したように、ＶＲＡＭ１１に格納されている画像情報が、フレームバッファに複写されると、その画像情報は動き予測、ＤＣＴ変換（離散コサイン変換）、量子化、可変長符号化等の処理を経て、エレメンタリーストリームとして配信される。以下、これらの処理をステップ毎に説明する。
ステップ１０：
ＶＲＡＭ１１に格納されている画像情報を一定の時間間隔で、フレームバッファに複写する。ここで、複写を行なう時間間隔は、配信側の画面表示が変化する速度を考慮して適宜設定する。つまり、画面表示の変化する速度が遅い場合や、画面表示を速く変化させる必要がない場合には、複写を行なう時間間隔を長くし、画面表示の変化する速度が速い場合や、画面表示を速く変化させる必要がある場合には、複写を行なう時間間隔を短くする。尚、画面表示の変化速度に対応できる時間間隔以上に、複写を行なう時間間隔を短くしてもよいが、配信される情報量が増加するため配信経路のネットワークにかかる負担が増加する。
ステップ１１：
フレーム（画像）間の動きベクトル（方向性と差分値）を予測する動き予測を行なう。この動き予測では、順方向予測（現フレームから次のフレームを予測）、逆方向予測（現フレームから前のフレームを予測）及び双方向予測が行なわれる。
ステップ１２：
画像を８×８画素の正方形のブロックに分け、このブロック単位でＤＣＴ変換（離散コサイン変換）を行なう。このＤＣＴ変換では、画像イメージを「空間的な周波数（精彩な画像は周波数が高く、一様な画像は周波数が低い）」として捉えて、各画素をそれぞれの周波数に対応した値に変換する。
ステップ１３：
ＤＣＴ変換で各画素に付与した画素値を、周波数別の量子化幅で量子化（除算して余りを切り捨てる近似処理）する。
ステップ１４：
各ブロック内の１番左上の画素の画素値と、他の６３画素の画素値を個別に符号化する。この処理では、出現頻度の大きい符号が、占有幅の狭い代替符号（より短いコード）に置換えられる。ここで、１番左上の画素については、各ブロック間の画素値の差分が符号化され、他の６３画素については、そのブロック内を走査することにより列に並べ替えて符号化される。
ステップ１５：
動き予測、ＤＣＴ変換（離散コサイン変換）、量子化、可変長符号化の処理を経た画像情報を、エレメンタリーストリームとして配信する。
【００２７】
次に、図１に示した受信側３０の受信バッファ４１で受信した画像情報（エレメンタリーストリーム）を再生して画面表示するまで過程を、図３を参照して説明する。図３は、受信側３０における再生処理の過程を示すフローチャートである。図３に示したように、受信バッファ４１で受信した画像情報は、可変長復号化、逆量子化、逆ＤＣＴ変換、動き補償等の処理を経て、画面上に画像として出力される。以下、これらの処理をステップ毎に説明する。
ステップ２０：
配信側からのエレメンタリーストリームを受信して、以下の再生処理を開始する。この際、以下の再生処理は、配信側１０のＶＲＡＭ１１に格納されている画像情報を、フレームバッファに複写する時間間隔とほぼ同一の時間間隔で処理を開始する。このように処理を開始することにより、配信側１０の画面に表示される画像と、受信側３０の画面に表示される画像との同期をとることができる。
ステップ２１：
可変長符号化の処理で代替符号に置換えられているコードを、固定長の符号に復号する。
ステップ２２：
量子化されている符号に、周波数別の量子化幅を乗算する逆量子化を行なう。
ステップ２３：
空間的な周波数に変換されている画素値を画像イメージに逆ＤＣＴ変換する。
ステップ２４：
前フレームとの差分情報から現フレームを生成する。
ステップ２５：
再生した画像情報を、ＶＲＡＭ３１に複写することにより、受信側３０の画面に、再生した画像情報に基づく画像を表示する。
【００２８】
以上のような処理により、配信側１０と受信側３０の画面にほぼ同一の画像が表示される。尚、この画像配信システムでは、配信側１０の画面に表示されている画像に対応した画像情報を順次圧縮処理して配信しているので、配信側１０で動作するアプリケーションソフト（例えば、テキスト編集ソフト、画像編集ソフト、データベースソフト、ＣＡＤソフト、表計算ソフト等）であれば、アプリケーションソフトに限定されることなく表示された画像を配信することができる。
【００２９】
従って、図４に示したように配信側５０の装置でプレゼンテーションの資料を表示させた場合には、受信側５１、５２にも同一の資料が表示される。又、アプリケーションソフトの操作説明を行なう場合に、配信側５０で、順を追ってアプリケーションソフトを操作していけば、操作によって遷移していく画面表示が、受信側５１、５２にも表示される。
【００３０】
尚、以上の説明では、ＭＰＥＧ−４フォーマットの動画圧縮処理を用いた実施の形態について説明したが、本発明に用いられる動画圧縮処理は、ＭＰＥＧ−４フォーマットの動画圧縮処理に限定されるものではない。つまり、本発明に用いられる動画圧縮処理は、配信側の表示メモリ（ＶＲＡＭ）に格納されている画像情報を、受信側の表示メモリ（ＶＲＡＭ）に連続的に転送することが可能な動画圧縮処理であればよい。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る画像配信システムの概要を示す概略図である。
【図２】配信側における圧縮処理の過程を示すフローチャートである。
【図３】受信側における再生処理の過程を示すフローチャートである。
【図４】本発明に係る画像配信システムの送信側と受信側の画面表示の例を示す図である。
【符号の説明】
【００３２】
１０  配信側
１１、３１  ＶＲＡＭ
２０  ＭＰＥＧ−４処理部
２１  フレームバッファ
３０  受信側
４０  プレーヤー
４１  受信バッファ
５０  配信側画面
５１、５２  受信側画面
【図１】
2005051564.tif 000003
【図２】
2005051564.tif 000004
【図３】
2005051564.tif 000005
【図４】
2005051564.tif 000006