(57)【特許請求の範囲】
【請求項１】
画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報を蓄積する蓄積部と、
単一の上記画像フレームあるいは複数の異なる上記画像フレームの上記複数の領域から任意の所定数の領域を選択する領域選択部と、
上記蓄積部に蓄積されている上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択部で選択された各領域の符号化データを取り出すと共に、該選択された各領域の画像領域に対する位置情報を含むヘッダを作成し、該選択された各領域を上記位置情報に基づき配置された１つの画像フレームと見なし、受信側で表示可能となる新たな画像フレームの画像フレーム情報を生成する情報処理部と、
上記情報処理部で生成された画像フレーム情報を、上記受信側に送信する送信部とを備える
画像送信装置。
【請求項２】
上記領域選択部は、上記受信側から送信されてくる、上記複数の領域の中から任意の所定数の領域を指定する領域選択情報に基づいて、領域を選択する
請求項１に記載の画像送信装置。
【請求項３】
画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報を蓄積部に蓄積する蓄積ステップと、
単一の上記画像フレームあるいは複数の異なる上記画像フレームの上記複数の領域から任意の所定数の領域を選択する領域選択ステップと、
上記蓄積部に蓄積されている上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択ステップで選択された各領域の符号化データを取り出すと共に、該選択された各領域の画像領域に対する位置情報を含むヘッダを作成し、該選択された各領域を上記位置情報に基づき配置された１つの画像フレームと見なし、受信側で表示可能となる新たな画像フレームの画像フレーム情報を生成する情報処理ステップと、
上記情報処理ステップで生成された画像フレーム情報を、受信側に送信する送信ステップとを備える
画像送信方法。
【請求項４】
画像送信装置と、該画像送信装置にネットワークを介して接続された受信装置とを備える画像送信システムであって、
上記画像送信装置は、
画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報を蓄積する蓄積部と、
単一の上記画像フレームあるいは複数の異なる上記画像フレームの上記複数の領域から任意の所定数の領域を選択する領域選択部と、
上記蓄積部に蓄積されている上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択部で選択された各領域の符号化データを取り出すと共に、該選択された各領域の画像領域に対する位置情報を含むヘッダを作成し、該選択された各領域を上記位置情報に基づき配置された１つの画像フレームと見なし、上記受信装置で表示可能となる新たな画像フレームの画像フレーム情報を生成する情報処理部と、
上記情報処理部で生成された画像フレーム情報を、上記受信装置に送信する送信部とを有する
画像送信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像送信装置、画像送信方法および画像送信システムに関する。
【背景技術】
【０００２】
画像配信システムは、サーバ（画像配信装置）およびクライアント端末（受信装置）がネットワークを介して接続された構成となっている。このような画像配信システムにおいて、受信側で画像フレームの一部だけを表示したい場合、従来は、以下のような方法により表示していた。
【０００３】
すなわち、（１）受信側で、完全な１フレームを構成するためのすべてのデータを受信して復号化した上で、表示したい画像フレームの一部だけを切り出して表示を行っていた。あるいは、（２）サーバ側で、蓄積データの場合であれば完全な１フレームを復号化した後、受信側が要求する画像フレームの一部を切り出して再符号化して受信側に送信し、受信側にて復号化して表示していた。
【０００４】
（１）の方法では、受信側で必要とする帯域以上のネットワーク帯域が伝送に使用され、また、受信側においても必要以上の復号化処理を行うこととなり、ソフトウェア処理であればＣＰＵを多く消費し、またハードウェア処理では消費電力を多く消費する。また、（２）の方法では、サーバ側にて一度符号化されたデータを復号化後、再符号化する必要があり、サーバが多数のクライアント端末から異なる画像の選択伝送要求を受けた場合に、再符号化のために多くのＣＰＵやハードウェア処理のための資源が必要となる。いずれの方法においても、クライアント端末が必要とする領域を処理する以上の資源が浪費される問題があった。
【０００５】
特許文献１には、ＪＰＥＧ２０００のタイルを活用し、送信側から受信側に、画像フレームの一部を切り出して送る、画像配信システムが記載されている。
【特許文献１】特開２００３−１７９９０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載される画像配信システムにおいては、送信側から受信側に、視点映像およびその周辺部を含む任意の数のタイルよりなる画像が配信され、受信側では、各タイルを復号化した後、視点に対応する範囲の表示画像が再構成されて表示される。すなわち、特許文献１に記載される画像配信システムでは、送信側から受信側に配信されるタイル画像はそのまま表示されるものではなく、受信側では表示画像を再構成する処理が必要となる。
【０００７】
この発明の目的は、受信側で選択領域の画像表示を容易に行えるようにすることにある。
【課題を解決するための手段】
【０００８】
この発明の概念は、
画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報を蓄積する蓄積部と、
単一の上記画像フレームあるいは複数の異なる上記画像フレームの上記複数の領域から任意の所定数の領域を選択する領域選択部と、
上記蓄積部に蓄積されている上記画像フレーム情報に含まれる複数の領域の符号化データから上記領域選択部で選択された各領域の符号化データを取り出すと共に、該選択された各領域の画像領域に対する位置情報を含むヘッダを作成し、該選択された各領域を上記位置情報に基づき配置された１つの画像フレームと見なし、受信側で表示可能となる新たな画像フレームの画像フレーム情報を生成する情報処理部と、
上記情報処理部で生成された画像フレーム情報を、上記受信側に送信する送信部とを備える
画像送信装置にある。
【０００９】
この発明においては、画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信が行われる。例えば、画像送信装置は、入力画像フレームを複数の領域に分割して符号化して上述の画像フレーム情報を得る符号化部、さらには、この画像フレーム情報を蓄積する蓄積部をさらに備えるようにされてもよい。この場合、符号化部では、例えば、ＪＰＥＧ(Joint Photographic Experts Group)２０００方式の符号化が行われる。
【００１０】
領域選択部により、単一の画像フレームあるいは複数の異なる画像フレームの複数の領域から、ひとつまたは複数の領域が選択される。この場合、例えば、受信側から送信されてくる領域選択情報に基づいて、領域の選択が行われる。情報処理部では、単一の画像フレームあるいは複数の異なる画像フレームの画像フレーム情報に含まれる複数の領域の符号化データから、選択領域の符号化データが取り出されると共に、選択された各領域の構成情報を含むヘッダが作成され、新たな画像フレーム情報が生成される。そして、送信部により、この新たな画像フレーム情報が受信側に送信される。
【００１１】
このように、受信側には、選択領域の符号化データに、当該選択された各領域の構成情報を含むヘッダが付加されてなる、新たな画像フレーム情報が送られる。そのため、受信側では、ヘッダに含まれる構成情報に基づいて、選択領域の画像表示を容易に行うことができる。
【発明の効果】
【００１２】
この発明によれば、画像フレームを分割して得られた複数の領域の符号化データと、各領域の構成情報を含むヘッダとからなる画像フレーム情報に基づいて画像送信を行うものにあって、選択領域の符号化データを取り出すと共に、各選択領域の構成情報を含むヘッダを作成して新たな画像フレーム情報を生成し、当該画像フレーム情報を受信側に送信するものであり、受信側で選択領域の画像表示を容易に行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像配信システム１００の構成例を示している。
【００１４】
画像配信システム１００は、サーバ１１０と、クライアント端末１２０とを備えている。クライアント端末１２０は、ネットワーク１３０を介してサーバ１１０に接続されている。ここで、サーバ１１０は画像送信装置を構成し、クライアント端末１２０は受信装置を構成している。
【００１５】
サーバ１１０は、ＣＰＵ（CentralProcessing Unit）１１１と、メモリ１１２と、ディスクコントローラ１１３と、画像入力コントローラ１１４と、符号化部１１５と、通信コントローラ１１６とを有し、これらはバス１１７に接続されている。
【００１６】
ＣＰＵ１１１は、サーバ１１０の全体の動作を制御する。メモリ１１２には、ＲＯＭ(Read Only Memory)およびＲＡＭ(Random AccessMemory)が含まれている。ＲＯＭは、ＣＰＵ１１１の動作を制御するための制御プログラム等を格納している。ＲＡＭは、ＣＰＵ１１１のワーキングエリア等として機能する。ＣＰＵ１１１は、ＲＯＭに格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開する。そして、このＣＰＵ１１１は、ＲＡＭに展開された制御プログラムを読み出して実行することで、サーバ１１０の各部を制御する。
【００１７】
ディスクコントローラ１１３は、ＣＰＵ１１１からの指示に対応して、外付けのハードディスクドライブ（ＨＤＤ：Hard Disk Drive）１１８を制御する。なお、ハードディスクドライブ１１８は、サーバ１１０に内蔵された構成であってもよい。このハードディスクドライブ１１８は、蓄積部を構成している。
【００１８】
画像入力コントローラ１１４は、ＣＰＵ１１１からの指示に対応して、デジタルカメラ、ＶＴＲ(Video Tape Recorder)等から、画像フレームを取り込む。符号化部１１５は、画像入力コントローラ１１４で取り込まれる画像フレームをＪＰＥＧ２０００で圧縮符号化する。すなわち、符号化部１１５は、画像フレームを複数のタイル（矩形領域）に分割して、タイル単位で独立して復号可能な符号化を行う。
【００１９】
符号化部１１５から出力される符号化された画像データ、つまり、コードストリームは、画像フレーム情報を構成する。この画像フレーム情報は、画像フレームを分割して得られた複数のタイルの符号化データと、各タイルの構成情報を含むヘッダとからなっている。ここで、各タイルの構成情報とは、各タイルの大きさ、リファレンスグリッドに対する配置位置等の情報である。
【００２０】
ここで、コードストリームの構造を説明する。図３（ａ）は、ＪＰＥＧ２０００のコードストリームの構造を示している。コードストリームは、先頭に位置するメインヘッダ、タイルパートを構成する単位の先頭に位置するタイルパートヘッダ、符号化データのビットストリーム、コードストリームの終りを示すＥＯＣ(End of Code Stream)で構成される。図示していないが、タイルパートヘッダおよびビットストリームの部分は、タイルの個数だけ、繰り返し存在する。
【００２１】
図３（ｂ）は、タイルパートヘッダの構造を示している。タイルパートヘッダは、タイルパートの先頭を示す、ＳＯＴ（Start of Tile-part）と、オプション扱いのマーカセグメント、そして、現在のタイルパートに対応したビットストリームデータの先頭を示すＳＯＤ(Start of Data)のマーカコードで構成されている。なお、ＳＯＤは、タイルパートヘッダの後尾位置をも示している。
【００２２】
次に、コードストリームを構成するメインヘッダの構造を説明する。メインヘッダは、図４（ｂ）に示すように、ＳＯＣ(Start of Code Stream)と、それに続くイメージとタイルサイズを示すＳＩＺ(Image and tile size)マーカセグメントで構成されている。ＳＩＺマーカセグメントは、ＳＩＺ，Ｌsiz，Ｒsiz，Ｘsiz，Ｙsiz，ＸＯsiz，ＹＯsiz，ＸＴsiz，ＹＴsiz，ＸＴＯsiz，ＹＴＯsiz，Ｃsiz，Ｓsiz0，Ｓsiz1，Ｓsiz2等で構成されている。なお、図４（ａ）は、図３（ａ）と同様に、ＪＰＥＧ２０００のコードストリームの構造を示している。
【００２３】
ＳＩＺはマーカセグメントを示すマーカコードで0xFF51の固定値を取る。Ｌsizはマーカセグメントのバイト長を示す。Ｒsizはデコーダのプロファイル指定を示す。以下Ｘは水平方向のサイズの値、Ｙは垂直方向のサイズを示し、Ｘsiz，Ｙsizはリファレンスグリッドのサイズ、ＸＯsizはリファレンスグリッドの原点から画像の左端への水平オフセットサイズ、ＹＯsizはリファレンスグリッドの原点から画像の上端への垂直オフセットサイズ、ＸＴsizはタイルの水平サイズ、ＹＴsizはタイルの垂直サイズ、ＸＴＯsizはリファレンスグリッドの原点から先頭タイルの左端までの水平オフセットサイズを、ＹＴＯsizはリファレンスグリッドの原点から先頭タイルの上端までの垂直オフセットサイズを示す。また、Ｃsizは画像中のコンポーネント数を示し、Ｓsiz(i)はｉ番目のコンポーネントのビット深度と符号を示す。
【００２４】
図６は、リファレンスグリッド、画像領域、およびタイルと、各サイズとの対応関係を示している。なお、図示の例では、画像領域がＴ０〜Ｔ15で示される１６個のタイルで分割されている。
【００２５】
次に、タイルパートヘッダのＳＯＴマーカセグメントの構造を説明する。ＳＯＴマーカセグメントは、図５（ｂ）に示すように、ＳＯＴ，Ｌsot，Ｉsot，Ｐsot，ＴＰsot，ＴＮsotで構成されている。なお、図５（ａ）は、図３（ｂ）と同様に、タイルパートヘッダの構造を示している。
【００２６】
ＳＯＴはマーカコードであり、0xFF90の固定値を取る。Ｌｓｏｔはマーカセグメント長を示す。Ｉsotは０番から始まり、ラスタ順に付けられたタイル番号を示す。ＰsotはタイルパートのＳＯＴマーカセグメントの先頭バイトからそのタイルパートの後尾までのバイト長を示す。ＴＰsotはタイルパート番号であり、タイルパートを復号するために必要な順番を特定し、０から始まる。ＴＮsotはあるタイルに存在するタイルパート数を示す。上述のタイル番号Ｉsotはタイルの位置を示す番号であり、タイル番号を変更することで、復号側で所望の位置に復号した画像を表示することを可能となる。
【００２７】
図１に戻って、符号化部１１４で得られる符号化された画像データは、メモリ１１２を経由してＣＰＵ１１１に送られる。なお、画像データに対する圧縮符号化を、ＣＰＵ１１１においてソフトウェア処理を行う構成であってよい。この場合、符号化部１１５は不要であり、画像入力コントローラ１１４で取り込まれる画像フレームは直接ＣＰＵ１１１に供給されて符号化される。
【００２８】
通信コントローラ１１６は、ネットワーク１３０とのインタフェースを取る。ＣＰＵ１１１は、符号化された画像データをクライアント端末１２０に送信する際、当該画像データを通信フォーマット、例えばＲＴＰ(Real-time Transport Protocol)フォーマットに変換し、通信コントローラ１１６を介して、ＵＤＰ(User Datagram Protocol)/ＩＰ(InternetProtocol)プロトコルでネットワーク１３０に送出する。
【００２９】
クライアント端末１２０は、ＣＰＵ１２１と、メモリ１２２と、入力デバイスコントローラ１２３と、グラフィックコントローラ１２４と、復号化部１２５と、通信コントローラ１２６とを有し、これらはバス１２７に接続されている。
【００３０】
ＣＰＵ１２１は、クライアント端末１２０の全体の動作を制御する。メモリ１２２には、ＲＯＭおよびＲＡＭが含まれている。ＲＯＭは、ＣＰＵ１２１の動作を制御するための制御プログラム等を格納している。ＲＡＭは、ＣＰＵ１２１のワーキングエリア等として機能する。ＣＰＵ１２１は、ＲＯＭに格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開する。そして、このＣＰＵ１２１は、ＲＡＭに展開された制御プログラムを読み出して実行することで、クライアント端末１２０の各部を制御する。
【００３１】
入力デバイスコントローラ１２３は、外付けの入力装置１２８をバス１２７に接続する。入力装置１２８は、例えば、マウス、キーボード、リモートコントローラ等である。グラフィックコントローラ１２４は、外付けの表示装置１２９、例えばＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma DisplayPanel)等を制御する。
【００３２】
通信コントローラ１２６は、ネットワーク１３０とのインタフェースを取る。復号化部１２５は、サーバ１１０から送られてくる符号化された画像データを復号化する。
【００３３】
図１に示す画像配信システム１００のサーバ１１０は、図２に示すように、画像入力部１４１、符号化部１４２、蓄積処理部１４３、情報処理部１４４、パケット送信部１４５、選択情報受信部１４６、およびタイル選択部１４７の機能ブロックを有している。
【００３４】
画像入力部１４１は、デジタルカメラ、ＶＴＲ(Video Tape Recorder)等から、画像フレームを取り込む。符号化部１４２は、画像入力部１４１で取り込まれる画像フレームをＪＰＥＧ２０００方式で符号化して、符号化された画像データであるコードストリーム（画像フレーム情報）を得る。
【００３５】
蓄積処理部１４３は、符号化部１４２で得られるコードストリームを、蓄積に適したフォーマットに変換して、ＨＤＤ１１８に供給する。また、蓄積処理部１４３は、ＨＤＤ１１８から読み出されるコードストリームを元のフォーマットに変換して、情報処理部１４４に供給する。
【００３６】
選択情報受信部１４６は、クライアント端末１２０から送信されてくるタイル選択情報を受信してタイル選択部１４７に供給する。このタイル選択部１４７は、タイル選択情報に基づいてタイルを選択し、その選択情報を情報処理部１４４に供給する。
【００３７】
情報処理部１４４には、符号化部１４２で符号化されて得られたコードストリーム、あるいは、ＨＤＤ１１８から読み出されたコードストリームが供給される。情報処理部１４４は、コードストリームに含まれる複数のタイルの符号化データから、領域選択部１４７で選択されたタイルの符号化データを取り出すと共に、この選択された各タイルの構成情報を含むヘッダを作成し、新たなコードストリームを生成する。
【００３８】
情報処理部１４４は、生成した新たなコードストリームをパケット送信部１４５に供給する。パケット送信部１４５は、コードストリームをパケット化して、クライアント端末１２０に送信する。
【００３９】
また、図１に示す画像配信システム１００のクライアント端末１２０は、図２に示すように、パケット受信部１５１、復号化部１５２、領域表示画像処理部１５３、画像出力部１５４、選択処理部１５５、および選択情報送信部１５６の機能ブロックを有している。
【００４０】
パケット受信部１５１は、サーバ１１０から送られてくるコードストリームのパケットを受信し、コードストリームを再構成して、復号化部１５２に供給する。復号化部１５２は、コードストリームをＪＰＥＧ２０００方式で復号化し、各タイルの画像データを得ると共に、コードストリームのヘッダから各タイルの構成情報を得る。
【００４１】
領域表示画像処理部１５３は、復号化部１５２で得られる各タイルの画像データおよび構成情報に基づいて、各タイルの画像を構成情報で示された位置に表示するように画像フレームを構成する。画像出力部１５４は、領域表示画像処理部１５３で構成された画像フレームを表示装置１２９に出力し、この表示装置１２９に当該画像フレームの画像を表示させる。
【００４２】
選択処理部１５５は、入力装置１２８からのユーザの選択操作により、上述したサーバ１１０のタイル選択部１４７でタイルを選択するためのタイル選択情報を出力する。ここで、ユーザは、選択方法として、ユーザがタイルを選択（指定）する第１の選択方法と、サーバ１１０側にタイル選択を任せる第２の選択方法のいずれかを選ぶことができる。
【００４３】
ユーザは、第１の選択方法を選ぶとき、入力装置１２８を操作して、ひとつまたは複数のタイルを選択する。この場合、ユーザは、表示装置１２９にタイル選択用の全体が見えるよう構成された画面、例えば縮小されて全体を映す画面が表示された状態で、入力装置１２８を操作して、タイルを選択する。例えば、所望のタイルを選択する際、ユーザは、カーソルを所望のタイルに移動して個々に指定するか、あるいはタイル選択用の全画面上の所望のタイルに対応した範囲を設定して、包括的に指定する。なお、上述していないが、タイル選択用の全画面を表示するための画像データは、サーバ１１０からクライアント端末１２０に送信されてくる。
【００４４】
このように、ユーザが第１の選択方法を選ぶとき、選択処理部１５５が出力するタイル選択情報には、第１の選択方法が選択されたことを示す情報と、ユーザがどのタイルを選択したかを示す情報が含まれる。また、ユーザが第２の選択方法を選ぶとき、選択処理部１５５が出力するタイル選択情報には、第２の選択方法が選択されたことを示す情報が含まれる。
【００４５】
選択情報送信部１５６は、選択処理部１５５が出力するタイル選択情報を、サーバ１１０に送る。上述せずも、サーバ１１０のタイル選択部１４７は、選択情報受信部１４６で受信されたタイル選択情報が第１の選択方法に係るものであるとき、当該タイル選択情報に含まれるどのタイルを選択したかを示す情報（タイル指定情報）に基づいてタイルを選択する。
【００４６】
また、サーバ１１０のタイル選択部１４７は、選択情報受信部１４６で受信されたタイル選択情報が第２の選択方法に係るものであるとき、クライアント端末１２０の表示可能領域等を考慮して、所定数のタイルを選択する。なお、クライアント端末１２０の表示可能領域等の情報を含む端末能力の情報は、例えば、後述するように、クライアント端末１２０がサーバ１１０に接続される際に、クライアント端末１２０からサーバ１１０に送信される。
【００４７】
次に、図１、図２に示す画像配信システム１００におけるサーバ１１０とクライアント端末１２０の処理シーケンスを、図７を参照して説明する。
【００４８】
まず、クライアント端末１２０は、サーバ１１０に、サーバ接続要求を送信する（SEQ-1）。サーバ１１０は、接続が可能であれば、クライアント端末１２０に、サーバ接続応答を送信する（SEQ-2）。
【００４９】
次に、クライアント端末１２０は、端末能力、例えば、表示可能領域や処理可能なフレームレート等を、サーバ１１０に通知する（SEQ-3）。サーバ１１０はクライアント端末１２０の能力を解釈し、クライアント端末１２０に、端末能力応答を送信する（SEQ-4）。
【００５０】
サーバ１１０は、クライアント端末１２０の能力に合わせて、例えば、空間解像度をクライアント端末１２０の表示可能領域に合わせる処理を行う。サーバ１１０は、接続要求後の最初には、クライアント端末１２０に、タイル選択用の全画面を表示するための画像データ（選択用画像データ）を送信する（SEQ-5）。これにより、クライアント端末１２０側の表示装置１２９には、タイル選択用の全画面の表示が行われる。
【００５１】
次に、クライアント端末１２０は、サーバ１１０に、タイル選択情報を通知する（SEQ-6）。この場合、クライアント端末１２０側では、上述したように、第１の選択方法、あるいは第２の選択方法を選択する。ユーザが第１の選択方法を選ぶとき、タイル選択情報には、第１の選択方法が選択されたことを示す情報と、ユーザがどのタイルを選択したかを示す情報が含まれる。また、ユーザが第２の選択方法を選ぶとき、タイル選択情報には、第２の選択方法が選択されたことを示す情報が含まれる。
【００５２】
サーバ１１０は、クライアント端末１２０から通知されたタイル選択情報に基づいて、所定のタイルを選択し、新たなコードストリーム（部分領域データ）を生成して、クライアント端末１２０に送信する（SEQ-7）。この場合、サーバ１１０は、選択されたタイルの符号化データを取り出すと共に、この選択された各タイルの構成情報を含むヘッダ（メインヘッダ、タイルパートヘッダ）を作成し、クライアント端末１２０で選択されたタイルの画像表示を可能とするための、新たなコードストリームを生成する。
【００５３】
クライアント端末１２０は、サーバ１１０から送られてくる新たなコードストリーム（部分領域データ）を復号化して、表示装置１２９に、選択されたタイルの画像を、ヘッダに含まれる各タイルの構成情報に基づいて表示する。
【００５４】
なお、ユーザが他のタイルを新たに選択する場合には、クライアント端末１２０からサーバ１１０に新たなタイル選択情報が通知され（SEQ-8）、それに対応して、サーバ１１０からクライアント端末１２０に、新たなタイル選択に基づいたコードストリーム（部分領域データ）が送られてくる（SEQ-9）。以下、ユーザが他のタイルを新たに選択する毎に、クライアント端末１２０およびサーバ１１０において、同様の動作が繰り返し行われる。
【００５５】
また、ユーザが視聴をやめる際には、クライアント端末１２０は、サーバ１１０に、終了要求を送信し（SEQ-10）、これに対して、サーバ１１０は、クライアント端末１２０に、終了応答を送信（SEQ-11）し、配信動作を終了する。
【００５６】
次に、図２に示す画像配信システム１００のサーバ１１０を構成する情報処理部１４４の処理動作についてさらに説明する。
【００５７】
図８は、処理前のコードストリームにおけるタイル構成例を示している。ここでは、説明を簡単にするため、リファレンスグリッドと画像領域とが重なっているものとし、リファレンスグリッド（画像領域）のサイズ(Ｘsiz，Ｙsiz)は（767<300>，495<1F0>）である。また、タイルのサイズ（ＸＴsiz，ＹＴsiz）は（200<C8>，200(C8>）であり、画像領域がＴ０〜Ｔ11の１２個のタイルで分割されている。なお、画像領域のリファレンスグリッドに対するオフセットサイズ（ＸＯsiz，ＹＯsiz）は（０，０）である。さらに、タイルのリファレンスグリッドに対するオフセットサイズ（ＸＴＯsiz，ＹＴＯsiz）も（０，０）である。
【００５８】
図８に示すタイル構成例において、タイルＴ２のみが選択された場合、情報処理部１４４では、当該タイルＴ２の符号化データを取り出すと共に、当該タイルの構成情報を含むヘッダ（メインヘッダ、タイルパートヘッダ）を作成して、当該タイルの画像を表示するための新たなコードストリームが生成される。
【００５９】
図９は、クライアント端末１２０側の表示装置１２９における表示例を示している。この場合、情報処理部１４４において、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)を（600，200）に変更し、画像領域のリファレンスグリッドに対するオフセットサイズ（ＸＯsiz，ＹＯsiz）を（400，０）に変更すればよい。また、図１０は、クライアント端末１２０側の表示装置１２９における他の表示例を示している。この場合、情報処理部１４４において、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)を（200，200）に変更し、タイル番号Ｉsotを０に変更すればよい。
【００６０】
図１１は、図８に示すタイル構成例におけるマーカセグメント（処理前のマーカセグメント）の値、すなわちメインヘッダのＳＯＣ，ＳＩＺ，Ｌsiz，Ｒsiz，Ｘsiz，Ｙsiz，ＸＯsiz，ＹＯsiz，ＸＴsiz，ＹＴsiz，ＸＴＯsiz，ＹＴＯsiz，Ｃsiz，Ｓsiz0，Ｓsiz1，Ｓsiz2の値と、タイルＴ２に対応したタイルパートヘッダＳＯＴ，Ｌsot，Ｉsot，Ｐsot,ＴＰsot，ＴＮsotの値を示している。なお、図１１では各値を１６進数で表しているが、以下の図１２〜図１４においても同様に各値を１６進数で表している。
【００６１】
サーバ１１０の情報処理部１４４では、クライアント端末１２０側で、選択された任意のタイル番号のタイルの画像を任意の位置に表示するため、マーカセグメントの値の変更が行われる。図１２は、変更対象となる部分を、ハッチングを付して示している。すなわち、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)、画像領域のリファレンスグリッドに対するオフセットサイズ(ＸＯsiz，ＹＯsiz)、タイルのサイズ(ＸＴsiz，ＹＴsiz)、タイルのリファレンスグリッドに対するオフセットサイズ(ＸＴＯsiz，ＹＴＯsiz)およびタイル番号Ｉsotが、変更対象となる。
【００６２】
図１３は、タイルＴ２の画像を、クライアント端末１２０側の表示装置１２９に、図９に示すように表示させる場合における、マーカセグメントの変更例を示している。この場合、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)は（600<258>，200<C8>）に変更され、画像領域のリファレンスグリッドに対するオフセットサイズ（ＸＯsiz，ＹＯsiz）は（400<190>，０）に変更されている。この場合、タイル番号Ｉsotは２のままとされるので、タイルＴ２の位置に表示できる。
【００６３】
図１４は、タイルＴ２の画像を、クライアント端末１２０側の表示装置１２９に、図１０に示すように表示させる場合における、マーカセグメントの変更例を示している。この場合、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)は（200<C8>，200<C8>）に変更され、タイル番号Ｉsotは０に変更されている。この場合、タイル番号Ｉsotは０に変更されるので、タイルＴ０の位置に表示できる。
【００６４】
図１５は、上述の図８と同様の、処理前のコードストリームにおけるタイル構成例を示している。この構成例において、タイルＴ１，Ｔ２，Ｔ５，Ｔ６が選択された場合、情報処理部１４４では、当該タイルＴ１，Ｔ２，Ｔ５，Ｔ６の符号化データを取り出すと共に、当該タイルの構成情報を含むヘッダ（メインヘッダ、タイルパートヘッダ）を作成して、当該タイルの画像を表示するための新たなコードストリームが生成される。
【００６５】
図１６は、クライアント端末１２０側の表示装置１２９における表示例を示している。この場合、情報処理部１４４において、リファレンスグリッドのサイズ(Ｘsiz，Ｙsiz)を（400，400）に変更し、タイルＴ１，Ｔ２，Ｔ５，Ｔ６のタイル番号Ｉsotをそれぞれ０，１，２，３に変更すればよい。
【００６６】
なお、図１５の例では隣接したタイルが選択されているが、図１７（ａ）に示すように、隣接していないタイルが選択される場合にあっても、図１７（ｂ）に示すように、クライアント端末１２０側では隣接させて表示させることができる。
【００６７】
また、上述では、情報処理部１４４で、同一のコードストリームから選択タイルの符号化データが取り出されるように説明しているが、複数のコードストリームに係るタイルが選択され、情報処理部１４４では当該複数のコードストリームから選択タイルの符号化データを取り出して処理することもできる。
【００６８】
上述したように、図１、図２に示す画像配信システム１００においては、サーバ１１０の情報処理部１４４では、処理前のコードストリームに含まれる複数のタイルの符号化データから、タイル選択部１４７で選択されたタイルの符号化データが取り出されると共に、この選択された各タイルの構成情報（マーカセグメント）を含むヘッダが作成され、新たなコードストリームが生成される。そして、この新たなコードストリームが、クライアント端末１２０に送信される。そのため、クライアント端末１２０側では、ヘッダに含まれる構成情報に基づいて、選択されたタイルの画像を、表示装置１２９の所望位置に容易に表示できる。つまり、クライアント端末１２０側では、表示画像を再構成する処理が不要となる。
【００６９】
また、図１、図２に示す画像配信システム１００においては、クライアント端末１２０側の表示装置１２９の表示可能領域が狭い場合には、選択するタイルを表示可能なサイズ以下とすることで、必要となる画像領域だけをサーバ１１０からクライアント端末１２０に送信し、クライアント端末１２０側の表示装置１２９に効率的に表示できる。
【００７０】
なお、上述実施の形態においては、サーバ１１０の情報処理部１４４で生成される新たなコードストリームに含まれるタイル数が、処理前のコードストリームに含まれるタイル数より少ないものを示したが、例えば、複数のコードストリームからタイルを選択する場合には、新たなコードストリームに含まれるタイル数が、処理前のひとつのコードストリームに含まれるタイル数よりも多くなることも考えられる。
【００７１】
また、上述の実施の形態においては、この発明をＪＰＥＧ２０００で符号化されるものを示したが、符号化方式としては、ＪＰＥＧ２０００フォーマットのように、複数のタイル（領域）で一つの画像フレームを構成し、符号化された１フレームのデータが独立したタイル単位の集合と、タイルの構成を記述する識別子とで構成される方式であればよい。
【００７２】
また、上述実施の形態においては、この発明をサーバ１１０およびクライアント端末１２０を備える画像配信システム１００に適用したものであるが、テレビ電話、あるいはテレビ会議システム等の双方向コミュニケーションシステム等にも同様に適用できることは勿論である。
【産業上の利用可能性】
【００７３】
この発明は、受信側で選択領域の画像表示を容易に行えるものであり、例えば、サーバ、クライアント端末からなる画像配信システム、テレビ電話、テレビ会議システム等の双方向コミュニケーションシステム等に適用できる。
【図面の簡単な説明】
【００７４】
【図１】この発明の実施の形態としての画像配信システムの構成例を示すブロック図である。
【図２】この発明の実施の形態としての画像配信システムの構成例を示す機能ブロック図である。
【図３】ＪＰＥＧ２０００コードストリーム構造とタイルパートヘッダの構造を示す図である。
【図４】ＪＰＥＧ２０００コードストリーム構造とメインヘッダの構造を示す図である。
【図５】タイルパートヘッダの構造とＳＯＴマーカセグメントの構造を示す図である。
【図６】リファレンスグリッド、画像領域、およびタイルと、各サイズとの対応関係を示す図である。
【図７】サーバ・クライアント端末の処理シーケンスを説明するためのシーケンス図である。
【図８】処理前の画像フレームのタイル構成例と、タイル選択の一例を示す図である。
【図９】クライアント端末の表示装置における表示例を示す図である。
【図１０】クライアント端末の表示装置における他の表示例を示す図である。
【図１１】図８の処理前の画像フレームのタイル構成例におけるマーカセグメントの値を示す図である。
【図１２】選択された任意のタイル番号のタイルの画像を任意の位置に表示する際に、マーカセグメントの変更対象となる部分を示す図である。
【図１３】クライアント端末側の表示装置に、図９に示すように表示させる場合における、マーカセグメントの変更例を示す図である。
【図１４】クライアント端末側の表示装置に、図１０に示すように表示させる場合における、マーカセグメントの変更例を示す図である。
【図１５】処理前の画像フレームのタイル構成例と、タイル選択の他の例を示す図である。
【図１６】クライアント端末の表示装置における表示例を示す図である。
【図１７】タイル選択例とクライアント端末側表示例を示す図である。
【符号の説明】
【００７５】
１００・・・画像配信システム、１１０・・・サーバ、１１１・・・ＣＰＵ、１１２・・・メモリ、１１３・・・ディスクコントローラ、１１４・・・画像入力コントローラ、１１５・・・符号化部、１１６・・・通信コントローラ、１１７・・・バス、１１８・・・ハードディスクドライブ、１２０・・・クライアント端末、１２１・・・ＣＰＵ、１２２・・・メモリ、１２３・・・入力デバイスコントローラ、１２４・・・グラフィックコントローラ、１２５・・・復号化部、１２６・・・通信コントローラ、１２７・・・バス、１２８・・・入力装置、１２９・・・表示装置、１３０・・・ネットワーク、１４１・・・画像入力部、１４２・・・符号化部、１４３・・・蓄積処理部、１４４・・・情報処理部、１４５・・・パケット通信部、１４６・・・選択情報受信部、１４７・・・タイル選択部、１５１・・・パケット受信部、１５２・・・復号化部、１５３・・・領域表示画像処理部、１５４・・・画像出力部、１５５・・・選択処理部、１５６・・・選択情報送信部
【図１】
0005326234.tif 000002
【図２】
0005326234.tif 000003
【図３】
0005326234.tif 000004
【図４】
0005326234.tif 000005
【図５】
0005326234.tif 000006
【図６】
0005326234.tif 000007
【図７】
0005326234.tif 000008
【図１１】
0005326234.tif 000009
【図１２】
0005326234.tif 000010
【図１３】
0005326234.tif 000011
【図１４】
0005326234.tif 000012
【図１７】
0005326234.tif 000013
【図８】
0005326234.tif 000014
【図９】
0005326234.tif 000015
【図１０】
0005326234.tif 000016
【図１５】
0005326234.tif 000017
【図１６】
0005326234.tif 000018