(57)【要約】  サーバ装置３１０において、上位階層符号化部３３０は、注目領域内に含まれるブロックの上位階層の符号化に際して、下位階層の符号化時に得られる中間データを参照して階層間予測を行う。クライアント装置３６０において、キャッシュ部３６４は、上位階層符号化データのみを保持可能である。サーバ装置３１０は、上位階層符号化データが予めキャッシュ部３６４に保持されたフレームについて下位階層符号化データのみを送信する。クライアント装置３６０において、復号部３７０は、上位階層の符号化データの復号に際して、該ブロックの下位階層符号化データの復号結果を参照する。したがって、配信される画像コンテンツを効率よく再生すると共に、画像コンテンツの保護を簡単にすることができる。
2009104431.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理であって、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行う符号化部と、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信する送信部とを備え、
前記符号化部は、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うことを特徴とするサーバ装置。
【請求項２】
前記符号化部は、前記注目領域が含まれないブロックの上位階層の符号化データを得る際に、符号化効率に応じて前記階層間予測を行うか否かを決定することを特徴とする請求項１に記載のサーバ装置。
【請求項３】
前記符号化部は、前記注目領域が含まれないブロックの上位階層の符号化データを得る際に、前記階層間予測を行わないことを特徴とする請求項１に記載のサーバ装置。
【請求項４】
画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理であって、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理により得られた符号化データのうちの上位階層の符号化データのみを保持可能なキャッシュ部と、
画像データの再生時に、前記キャッシュ部にその上位階層の符号化データが保持された該画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信する配信要求部と、
前記キャッシュ部に保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号して上位階層データと下位階層データを得る復号部であって、復号時に下位階層の符号化データの復号結果を参照する必要のある階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号する前記復号部とを備えることを特徴とするクライアント装置。
【請求項５】
サーバ装置とクライアント装置を備えた画像配信システムであって、
前記サーバ装置は、
画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理であって、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行う符号化部と、
画像データの上位階層の符号化データを予め保持した前記クラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信する送信部とを備え、
前記クライアント装置は、
画像データの符号化データのうちの上位階層の符号化データのみを保持可能なキャッシュ部と、
画像データの再生時に、前記キャッシュ部にその上位階層の符号化データが保持された該画像データの下位階層の符号化データを前記サーバ装置に要求する再生指示を送信する配信要求部と、
前記キャッシュ部に保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号して上位階層データと下位階層データを得る復号部とを備え、
前記サーバ装置における前記符号化部は、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行い、
前記クライアント装置における前記復号部は、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号することを特徴とする画像配信システム。
【請求項６】
画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理であって、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行い、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信し、
前記符号化処理時に、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うことを特徴とする画像配信方法。
【請求項７】
画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理であって、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理により得られた符号化データのうちの上位階層の符号化データのみを保持し、
画像データの再生時に、その上位階層の符号化データが保持された前記画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信し、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号する復号処理であって、復号時に下位階層の符号化データの復号結果を参照する必要のある階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号する前記復号処理を行うことを特徴とする画像再生方法。
【請求項８】
サーバ装置からクライアント装置へ画像を配信する画像配信方法であって、
前記サーバ装置において、
画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理であって、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行い、
画像データの上位階層の符号化データを予め保持した前記クラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信し、
前記クライアント装置において、
画像データの符号化データのうちの上位階層の符号化データのみを保持し、
画像データの再生時に、その上位階層の符号化データが保持された該画像データの下位階層の符号化データを前記サーバ装置に要求する再生指示を送信し、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号して上位階層データと下位階層データを得、
前記サーバ装置における前記符号化処理時に、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行い、
前記クライアント装置における前記復号処理時に、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号することを特徴とする画像配信方法。
【請求項９】
画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理であって、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行うステップと、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信するステップとをコンピュータに実行せしめるプログラムであって、
前記符号化処理ステップにおいて、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うことを特徴とするプログラム。
【請求項１０】
画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理であって、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理により得られた符号化データのうちの上位階層の符号化データのみを保持するステップと、
画像データの再生時に、その上位階層の符号化データが保持された前記画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信するステップと、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号する復号処理であって、復号時に下位階層の符号化データの復号結果を参照する必要のある階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号する前記復号処理を行うステップとをコンピュータに実行せしめることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像配信技術、具体的には画像データを符号化して配信する技術に関する。
【背景技術】
【０００２】
ネットワークを介して、サーバ装置に蓄積された情報をクラインアント装置に配信する配信システムは普及している。画像データが含まれる情報はデータ量が大きいため、転送時間が長く、クライアント装置側で表示されるまで時間がかかるという問題がある。そのため、クライアント装置側において、配信された情報を保持（キャッシュともいう）おき、再生するときに、キャッシュした情報と、サーバ装置に保存された情報とが一致するか否かを確認し、一致する場合に、キャッシュした情報を再生することが行われている。なお、このキャッシュ機能は、クライアント装置自身に備えられるとは限らず、サーバ装置よりクライアント装置に速くデータを転送することができるプロキシサーバなどに備えられる運用形態もあり、この場合、キャッシュされた情報と、サーバ装置に保存された情報とが一致する場合には、プロキシサーバからクライアント装置に情報を転送する。この場合、複数のクライアント装置に共有されるプロキシサーサも、情報が保存されたサーバ装置のクライアント装置になるため、以下の説明において、クライアント装置自身に備えられたキャッシュ機能と、プロキシサーバに備えられたキャッシュ機能を概してクラインアント側に備えられたキャッシュ機能という。【０００３】
また、複数のコンテンツからなる動画像を途切れなく再生することができるように、前のコンテンツの再生中に次のコンテンツの先頭データを先読みして保持することが行われている。この「先読み」も、画像データをクライアント装置に一時保存するキャッシュ機能である。【０００４】
クライアント側にキャッシュ機能が備えられる場合、著作権などにより複製が禁止された画像がキャッシュされてしまうと、キャッシュされたデータから画像の複製が可能になる。一方、複製が禁止された画像のキャッシュを禁止してしまうと、その画像を再生する度にサーバ装置からのデータ転送が生じるため、キャッシュ機能のメリットを享受することができず、特に動画像の場合には、再生が途切れることによりユーザに大きな不快感を与えてしまう。【０００５】
特許文献１には、キャッシュ機能を生かしつつ、複製が禁止された画像データを保護する手法が開示されている。この手法は、画像データを所定の分割単位となるブロックで符号化して得た符号化データ配信する際に、複製が禁止された画像データについて、画像の一部のブロックの位置を示すキャッシュ制御情報をクライアント装置に送信すると共に、この一部のブロックの符号化データのキャッシュを禁止する。クライアント装置側は、キャッシュが禁止されたブロック以外のブロックの符号化データのみをキャッシュする。再生に際しては、キャッシュが禁止されていないブロックについては、キャッシュした符号化データを用いることができるため、サーバ装置は、キャッシュが禁止されたブロックの符号化データのみを送信する。クライアント側装置は、キャッシュした符号化データと、サーバ装置から送信された符号化データとを合成してたとえば１ピクチャ分の完全な符号化データを得て復号する。
【特許文献１】特開２００６−１６６０４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載の手法は、クライアント装置側で再生する際に、復号処理以外に、完全なデータを得るために、キャッシュ制御情報に基づいてブロックの符号化データの並び替えなどを行う必要があり、処理が煩雑である。【０００７】
本発明は、上記事情を鑑みてなされたものであり、複製が禁止された画像コンテンツを配信する際に、該画像コンテンツの保護に関する処理を簡単にできる技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一つの態様は、サーバ装置である。このサーバ装置は、符号化部と送信部を備える。
符号化部は、画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って階層毎の符号化データを得る符号化処理を行うものである。この符号化処理は、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより下位階層データより高い再生品質を有する再生データを形成しうる。さらに、符号化部は、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行う。【０００９】
送信部は、画像データの上位階層の符号化データを予め保持したクラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信する。【００１０】
この態様のサーバ装置によれば、複製が禁止された画像データに対する符号化時に、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に階層間予測を行うので、画像データを受信するクライアント装置において、上位階層の符号化データのみを保持するようにすれば、保持された上位階層の符号化データのみでは復号できないので、画像データの複製を防ぐことができる。また、クライアント装置側で再生するために、上位階層の符号化データが保持された画像データの下位階層の符号化データをサーバ装置に要求し、保持された上位階層の符号化データと、サーバ装置から送信した下位階層の符号化データとを復号する際に、階層間予測が伴った符号化が施されたブロックに対して下位階層の符号化データの結果を参照してその上位階層の符号化データを復号すればよいので、ブロックの並び替えなどをする必要が無く、処理が簡単である。【００１１】
本発明の別の態様は、クライアント装置である。このクライアント装置は、キャッシュ部と、配信要求部と、復号部と、再生部を備える。【００１２】
キャッシュ部は、画像データに対して所定の分割単位となるブロック毎に階層化符号化を行って得た階層毎の符号化データのうちの上位階層の符号化データのみを保持可能である。なお、上記階層符号化は、再生時に上位階層の符号化データと下位階層の符号化データをそれぞれ復号して上位階層データと下位階層データを得て合成することにより前記下位階層データより高い再生品質を有する再生データを形成しうる符号化処理である。【００１３】
配信要求部は、画像データの再生時に、キャッシュ部にその上位階層の符号化データが保持された該画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信する。【００１４】
復号部は、キャッシュ部に保持された上位階層の符号化データと、配信要求部からの再生指示に応じてサーバ装置が送信した下位階層の符号化データをそれぞれブロック毎に復号して上位階層データと下位階層データを得る。また、復号部は、復号時に下位階層の符号化データの復号結果を参照する必要のある階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号する。【００１５】
この態様のクライアント装置によれば、上述したサーバ装置と組合せることによって、キャッシュ機能を生かしつつ、複製が禁止された画像データの保護を簡単にできる。【００１６】
なお、上記態様の装置を方法やプログラムとして置き換えて表現したものや、上記態様の装置を組み合わせた配信システムなども、本発明の態様としては有効である。
【発明の効果】
【００１７】
本発明にかかる技術によれば、複製が禁止されるコンテンツを配信する際に、該コンテンツの保護に関する処理を簡素化することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の配信技術に基づくサーバ装置の模式図である。
【図２】本発明の配信技術に基づくクライアント装置の模式図である。
【図３】本発明の実施の形態にかかる画像配信システムを示す図である。
【図４】図３に示す画像配信システムにおけるサーバ装置の処理を示すフローチャートである。
【図５】図３に示す画像配信システムにおけるサーバ装置の上位階層符号化部を示す図である。
【図６】図５に示す上位階層符号化部の処理を示すフローチャートである。
【図７】図４に示すサーバ装置の処理における後続データ送信の詳細を示すフローチャートである。
【図８】図３に示す画像配信システムにおけるクライアント装置の処理を示すフローチャートである。
【図９】図８に示すクライアント装置の処理における後続データ受信の詳細を示すフローチャートである。
【図１０】図３に示す画像配信システムにクライアント装置の上位階層復号部を示す図である。
【図１１】図１０に示す上位階層復号部の処理を示すフローチャートである。
【符号の説明】
【００１９】
１００  サーバ装置  １１０  符号化部
１２０  上位階層符号化部  １３０  下位階層符号化部
１４０  送信データ格納部  １５０  送信部
２００  クライアント装置  ２１０  配信要求部
２２０  キャッシュ部  ２３０  復号部
２４０  上位階層復号部  ２５０  下位階層復号部
２６０  再生部  ３００  画像配信システム
３１０  サーバ装置  ３１２  前処理部
３１４  送信データ格納部  ３１６  送信部
３２０  符号化部  ３３０  上位階層符号化部
３３１  階層間予測判定部  ３３２  階層間予測判定信号符号化部
３３３  階層間予測部  ３３４  フレーム内／間予測部
３３５  係数符号化部  ３３６  動きベクトル符号化部
３３７  多重化部  ３４０  下位階層符号化部
３５０  ネットワーク  ３６０  クライアント装置
３６２  配信要求部  ３６４  キャッシュ部
３６６  再生部  ３７０  復号部
３８０  上位階層復号部  ３８１  逆多重化部
３８２  階層間予測判定信号復号部  ３８３  係数復号部
３８４  動きベクトル復号部  ３８５  中間データ出力制御部
３８６  階層間予測部  ３８７  予測符号復号部
３９０  下位階層復号部
【発明を実施するための最良の形態】
【００２０】
本発明の具体的な実施の形態を説明する前に、まず本発明による技術の原理を説明する。
画像データを配信する際の符号化技術について、転送路を介して画像を表示させることを主な目的とする階層化符号化手法は知られており、ＭＰＥＧ−２  Ｓｃａｌａｂｌｅ、ＭＰＥＧ−４  ＦＧＳ、Ｈ．２６４／ＡＶＣ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、およびＪＰＥＧ２０００で用いられるウェーブレットビデオ符号化などが規格されている。これらの符号化手法は、画像データを所定単位の分割単位であるブロック毎に符号化を行い、各ブロックについて、画質や、解像度などが異なる複数の階層の符号化データを得るように画像データを符号化する。そして、再生する際に、下位階層の符号化データから復号して下位階層データを表示し、下位階層データの表示時に上位階層の符号化データを復号して階層データと合成することにより下位階層データより再生品質の高い再生データを得て表示する。【００２１】
また、これらの符号化手法は、画像データを符号化する際に、同じ階層についてはフレーム間予測、異なる階層について階層間予測を適用することが可能であり、これらの予測を適用することにより、符号化効率を向上させることができる。なお、フレーム間予測の場合は、対象ブロックの符号化時に、参照フレームの相対応するブロック（以下参照ブロックという）のデータ、または参照ブロックの符号化データ、または参照ブロックを符号化する際に得られる中間データを参照するため、対象ブロックの復号時には、参照ブロックの復号結果を参照する必要がある。階層間予測の場合は、対象ブロックの上位階層の符号化時に、該対象ブロックの下位階層のデータ、または下位階層の符号化データ、または下位階層を符号化する際に得られる中間データを参照するため、上位階層の復号時には、当該ブロックの下位階層の復号結果を参照する必要がある。【００２２】
本願発明者は、画像コンテンツの配信方法について鋭意模索した結果、階層化符号化を利用して、クライアント側において、複製が禁止された画像コンテンツをキャッシュ可能とすると共に、画像コンテンツの保護を簡単にできる配信技術を確立した。【００２３】
図１は、本発明の配信技術にかかるサーバ装置１００の模式図である。送信装置１００は、符号化部１１０と、送信データ格納部１４０と、送信部１５０を有する。【００２４】
符号化部１１０は、画像データを階層化符号化して階層毎の符号化データを得るものであり、上位階層符号化部１２０と、下位階層符号化部１３０を有する。【００２５】
下位階層符号化部１３０は、例えばオリジナル画像データの低解像度画像データである下位階層画像信号Ｃに対してブロック毎に符号化して下位階層符号化データＦを得る。この下位階層符号化データＦは、送信部１５０に出力され、送信部１５０により格納される。また、下位階層符号化部１３０は、下位階層画像信号Ｃの符号化時に得られた中間データＤ（動き補償予測後の予測誤差信号や、動きベクトルや、符号化モードなど）を上位階層符号化部１２０に出力する。【００２６】
上位階層符号化部１２０は、上位階層画像信号Ａを符号化して上位階層符号化データＥを得る。この上位階層符号化データＥを復号して、下位階層符号化データＦの復号データと合成することにより、下位階層符号化データＦの復号データより再生品質の高い再生データを得ることができる。【００２７】
上位階層符号化部１２０には、画像データにより現される画像における注目領域のフレーム内位置を示す注目領域情報Ｂも入力される。注目領域は、該画像を保護する上で重要な領域を意味する。例えば、サッカの試合の画像におけるサッカボールのような、画像の内容を代表しうるオブジェクトの領域や、人物の顔または顔の一部分、画像の中央部分のような、再生時にそれが無いと鑑賞困難な領域などを例として挙げることができる。勿論、画像における一部分のみが保護の対象となる場合には、該部分に対応する領域またはその一部を注目領域としてもよい。【００２８】
上位階層符号化部１２０は、上位階層画像信号Ａをブロック毎に符号化する際に、注目領域情報Ｂを参照して、符号化中のブロックに、注目領域があるか否かを確認する。注目領域がある場合には、上位階層符号化部１２０は、下位階層符号化部１３０から得られた、該ブロックの下位階層の符号化時に得られた中間データＤを参照して階層間予測を行って符号化する。【００２９】
なお、注目領域が無いブロックの場合には、上位階層符号化部１２０は、符号化効率に応じて階層間予測を行うか否かを決定して符号化してもよいし、高い再生品質を得るために階層間予測を行わないようにしてもよい。【００３０】
上位階層符号化部１２０により得られた上位階層符号化データＥも送信データ格納部１４０に出力され、送信データ格納部１４０により格納される。【００３１】
送信部１５０は、クライアント装置から再生指示Ｈがあった際に送信データ格納部１４０に格納された当該データの符号化データを送信する。なお、クライアント装置からの再生指示Ｈが、上位階層符号化データＥと、下位階層符号化データＦの両方を要求するものである場合には、送信部１５０は、上位階層符号化データＥと下位階層符号化データＦの両方を含む送信データＧを送信し、再生指示Ｈが下位階層符号化データＦのみを要求する場合には、下位階層符号化データＦとなる送信データＧを送信する。勿論、クライアント装置からの再生指示Ｈが、再生するためのキャッシュを行うためのキャッシュ指示を示しうる場合には、キャッシュ指示を受信した際に上位階層符号化データＥのみを送信データＧとして送信するようにしてもよい。【００３２】
サーバ装置１００における符号化部１１０は、複製が禁止された画像データに対する符号化時に、注目領域が含まれるブロックの上位階層符号化データＥを得る際に階層間予測を行う。こうすることによって、画像データを受信するクライアント装置において、上位階層符号化データＥのみを保持するようにすれば、保持された上位階層符号化データＥのみでは復号できないので、画像データの複製を防ぐことができる。また、クライアント装置側で再生するために、上位階層符号化データＥが保持された画像データの下位階層符号化データＦをサーバ装置１００に要求し、保持された上位階層符号化データＥと、サーバ装置１００から送信した下位階層符号化データＦとを復号する際に、階層間予測が伴った符号化が施されたブロックに対して下位階層符号化データの復号結果を参照してその上位階層符号化データＥを復号すればよいので、ブロックの並び替えなどをする必要が無く、処理が簡単である。【００３３】
図２は、本発明の配信技術にかかるクライアント装置２００の模式図である。クライアント装置２００は、配信要求部２１０と、キャッシュ部２２０と、復号部２３０と、再生部２６０を備える。【００３４】
配信要求部２１０は、サーバ装置に画像データの送信を要求する再生指示Ｈの送信と、再生指示Ｈに応じてサーバ装置が送信した送信データＧをキャッシュ部２２０および／または下位階層復号部２５０に転送する。具体的には、再生部２６０による画像再生時に、次の画像データがキャッシュ部２２０に保持されていないときに、当該画像データの上位階層符号化データＥと下位階層符号化データＦを要求する再生指示Ｈをサーバ装置に送信し、キャッシュ部２２０にその上位階層符号化データＥが保持されている画像データについては、対応する下位階層符号化データＦを送信する再生指示Ｈをサーバ装置に送信する。配信要求部２１０は、サーバ装置から上位階層符号化データＥと下位階層符号化データＦを受信したときに、上位階層符号化データＥをキャッシュ部２２０に転送し、下位階層符号化データＦを下位階層復号部２５０に転送する。【００３５】
キャッシュ部２２０は、画像データの符号化データのうちの上位階層符号化データＥのみを保持可能であり、配信要求部２１０が転送した上位階層符号化データＥを保持する。【００３６】
下位階層復号部２５０は、配信要求部２１０が転送した下位階層符号化データＦを復号して下位階層データＭを得て再生部２６０に供すると共に、復号時に得られた中間データＭ０を上位階層復号部２４０に出力する。【００３７】
上位階層復号部２４０は、キャッシュ部２２０に保持された上位階層符号化データＥを復号して上位階層データＮを得て再生部２６０に供する。上位階層復号部２４０は、復号に際し、階層間予測を伴った符号化が施されたブロックに対しては下位階層復号部２５０からの中間データＭ０を参照し、それ以外のブロックに対しては当該ブロックの上位階層符号化データのみを用いて復号する。【００３８】
再生部２６０は、下位階層復号部２５０からのみデータが供給されているときには、該データ（下位階層データＭ）を再生し、上位階層復号部２４０から上位階層データＮの供給もなされているときには、上位階層データＮと下位階層データＭとを合成して、下位階層データＭより高い再生品質を有する再生データを得て再生する。【００３９】
図２に示すクライアント装置２００と、図１に示すサーバ装置１００により画像配信システムを構成すれば、クライアント装置のキャッシュ機能を生かしつつ、簡単な構成で複製が禁止された画像の保護を実現できる。【００４０】
以上の説明を踏まえて、本発明の実施の形態を説明する。
図３は、本発明の実施の形態となる画像配信システム３００を示す。画像配信システム３００は、ネットワーク３５０を介して接続されたサーバ装置３１０とクライアント装置３６０を有する。なお、クライアント装置３６０は通常複数あるが、図３において、分かりやすいように、１つのみを示している。図３において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、プロセッサ、メモリ、そのほかの回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。【００４１】
サーバ装置３１０は、動画像を配信するものであり、前処理部３１２と、符号化部３２０と、送信データ格納部３１４と、送信部３１６を備える。また、符号化部３２０は、上位階層符号化部３３０と下位階層符号化部３４０を有する。【００４２】
クライアント装置３６０は、サーバ装置３１０から配信された動画像を復号して再生するものであり、配信要求部３６２、キャッシュ部３６４、復号部３７０、再生部３６６を備える。また、復号部３７０は、上位階層復号部３８０と下位階層復号部３９０を有する。【００４３】
まず、サーバ装置３１０の全体の処理の流れを説明しながら、サーバ装置３１０の各構成要素について説明する。【００４４】
図４は、サーバ装置３１０における処理を示すフローチャートである。サーバ装置３１０は、配信サービスに際して、まず前処理部３１２が前処理を行う（Ｓ１０）。前処理部３１２による前処理は、配信対象の画像データＳから、上位階層画像信号Ａ、注目領域情報Ｂ、下位階層画像信号Ｃを得る処理である。【００４５】
前処理部３１２により得られた上位階層画像信号Ａ、注目領域情報Ｂ、下位階層画像信号Ｃは、符号化部３２０に入力される。符号化部３２０は、これらのデータを用いて符号化を行う（Ｓ１２）。【００４６】
符号化部３２０における下位階層符号化部３４０は、下位階層画像信号Ｃに対してブロック毎に符号化し下位階層符号化データＦを得て送信データ格納部３１４に出力する。また、下位階層符号化部３４０は、下位階層画像信号Ｃの符号化時に得られた中間データＤを上位階層符号化部３３０に出力する。【００４７】
符号化部３２０における上位階層符号化部３３０は、上位階層画像信号Ａを符号化し上位階層符号化データＥを得て送信データ格納部３１４に出力する。上位階層符号化部３３０は、基本的に図１に示すサーバ装置１００における符号化部１１０と同様の処理を行うものであり、その詳細な構成および処理については後に説明する。【００４８】
そして、送信部３１６は、送信データ格納部３１４に格納された符号化データのうちのキャッシュデータをクライアント装置３６０に送信する（Ｓ１４）。キャッシュデータとは、クライアント装置３６０によりキャッシュされても、画像データＳの保護に支障が無い符号化データのことを意味し、本実施の形態では、上位階層符号化データＥとなる。【００４９】
送信部３１６は、その後、配信サービスの終了まで、クライアント装置３６０から再生指示を受信する度に、当該再生指示が要求されるデータのうちの、ステップＳ１４において送信したキャッシュデータ以外のデータ（後続データ）を送信する（Ｓ１６：Ｎｏ、Ｓ２０、Ｓ２２、Ｓ１６〜）。後続データの詳細については、上位階層符号化部３３０の下記説明と共に説明する。【００５０】
図５は、上位階層符号化部３３０を示す。上位階層符号化部３３０は、階層間予測判定部３３１と、階層間予測判定信号符号化部３３２と、階層間予測部３３３と、フレーム内／間予測部３３４と、係数符号化部３３５と、動きベクトル符号化部３３６と、多重化部３３７を備える。これらの各要素について、上位階層符号化部３３０の全体の処理の流れを説明しながら説明する。【００５１】
図６は、上位階層符号化部３３０における処理を示すフローチャートである。対象ブロックに対して、まず、階層間予測判定部３３１は、対象ブロックの上位階層画像信号の符号化に階層間予測を適用するか否かを判定し、それを示す階層間予測判定信号Ｅ１を階層間予測部３３３と階層間予測判定信号符号化部３３２に出力する（Ｓ３０、Ｓ３２、Ｓ３４）。階層間予測判定部３３１は、判定に際して、まず、注目領域情報Ｂを参照し、対象ブロックは、注目領域情報Ｂが示す注目領域内に含まれているか否かを確認する。対象ブロックが注目領域内に含まれている場合、階層間予測判定部３３１は、階層間予測判定信号Ｅ１をＯＮする（Ｓ３０：Ｙｅｓ、Ｓ３２）。一方、対象ブロックが注目領域内に含まれていない場合には、階層間予測判定部３３１は、符号化性能を評価し、符号化効率に応じて階層間予測判定信号Ｅ１をＯＮまたはＯＦＦにする（Ｓ３０：Ｎｏ、Ｓ３４）。【００５２】
階層間予測部３３３は、階層間予測判定部３３１からの階層間予測判定信号Ｅ１がＯＮである場合に、下位階層符号化部３４０からの中間データＤを用いて、当該対象ブロックに対して階層間予測を行って階層間予測信号Ｅ３を得る（Ｓ４０：Ｙｅｓ、Ｓ４２）。この符号化予測判定信号Ｅ２は、フレーム内／間予測部３３４に入力される。一方、階層間予測判定信号Ｅ１がＯＦＦである場合には（Ｓ４０：Ｎｏ）、階層間予測部３３３は階層間予測を行わず、フレーム内／間予測部３３４に階層間予測信号Ｅ３の入力が無い。【００５３】
フレーム内／間予測部３３４は、上位階層画像信号Ａに対してフレーム内予測またはフレーム間予測を行って最適な符号化モードを決定し、決定された符号化モード（たとえばイントラ予測符号化または動き補償予測符号化）に従って係数情報Ｅ４と動きベクトルＥ５を得る（Ｓ４４）。なお、フレーム内／間予測部３３４は、係数情報Ｅ４の取得に際して、階層間予測信号Ｅ３が入力された場合には、階層間予測信号Ｅ３を参照し、階層間予測信号Ｅ３が入力されない場合には、階層間予測信号Ｅ３の参照を行わない。階層間予測信号Ｅ３を参照して得られた係数情報Ｅ４とは、復号に際して、当該ブロックの下位階層符号化データの復号結果を参照する必要があり、下位階層符号化データの復号結果が得られない場合には復号ができない。【００５４】
係数符号化部３３５と動きベクトル符号化部３３６は、フレーム内／間予測部３３４が得た係数情報Ｅ４と動きベクトルＥ５をそれぞれ符号化して係数符号Ｅ６と動きベクトル符号Ｅ７を得、階層間予測判定信号符号化部３３２は、階層間予測判定部３３１からの階層間予測判定信号Ｅ１を符号化して符号化予測判定信号Ｅ２を得る（Ｓ４６）。【００５５】
Ｓ３０〜Ｓ４６の処理は、１つのフレーム内のブロック毎に行われ、当該フレーム内の全てのブロックの処理が終わると（Ｓ４８：Ｙｅｓ）、多重化部３３７は、当該フレームの各ブロックの係数符号Ｅ６、動きベクトル符号Ｅ７、符号化予測判定信号Ｅ２を多重化して該フレームの上位階層符号化データＥを得て、送信データ格納部３１４に出力する（Ｓ５０）。【００５６】
以上の処理は、画像データＳのシーケンス末尾まで（Ｓ５２：Ｎｏ）行われ、上位階層符号化部３３０によりフレーム毎の上位階層符号化データＥが得られる。【００５７】
図７は、図４のステップＳ２２における「後続データ送信」の詳細を示すフローチャートである。送信部３１６は、シーケンスの末尾まで（Ｓ６０：Ｎｏ）フレーム単位に後続データの送信を行う。具体的には、上位階層符号化データＥが既にクライアント装置３６０に送信済みのフレームに対して、送信部３１６は、当該フレームの下位階層符号化データＦのみを後続データＧとして送信する（Ｓ６２：Ｙｅｓ、Ｓ６４）。一方、上位階層符号化データＥがクライアント装置３６０に送信していないフレームに対しては、当該フレームの上位階層符号化データＥと下位階層符号化データＦとを後続データＧとして送信する（Ｓ６２：Ｎｏ、Ｓ６６）。【００５８】
次に、クライアント装置３６０の全体の処理の流れを説明しながらクライアント装置３６０の各構成要素を説明する。図８は、クライアント装置３６０における処理を示すフローチャートである。クライアント装置３６０は、配信要求部３６２を介してサーバ装置３１０からキャッシュデータ（ここでは上位階層符号化データＥ）を受信すると、キャッシュ部３６４が、それを一時保持する（Ｓ１００）。そして、配信サービスの終了まで、再生するフレームについて再生指示Ｈの送信、および再生指示Ｈに応じてサーバ装置３１０が送信した後続データの受信、復号、再生を繰り返す（Ｓ１０２：Ｎｏ、Ｓ１０４、Ｓ１１０、Ｓ１５０、Ｓ１５２）。なお、ステップＳ１５０における復号に際して、下位階層復号部３９０は、下位階層符号化データＦを復号して下位階層データＭを得て再生部３６６に出力し、上位階層復号部３８０は、上位階層符号化データＥを復号して上位階層データＮを得て再生部３６６に出力する。ステップＳ１５２の再生に際して、再生部３６６は、上位階層符号化データＥの復号終了まで下位階層データＭを再生し、上位階層符号化データＥの復号が終了すると、上位階層データＮと下位階層データＭとを合成して下位階層データＭより再生品質の高い再生データを得て再生する。なお、下位階層復号部３９０は、下位階層符号化データＦの復号時に得られた中間データＭ０を上位階層復号部３８０に出力する。【００５９】
図９は、ステップＳ１１０における「後続データ受信」の詳細を示すフローチャートである。前述したように、シーケンスの末尾までサーバ装置３１０から後続データが送信される。配信要求部３６２は、サーバ装置３１０からフレーム単位の後続データを受信する度に、該フレームの上位階層符号化データＥが既にキャッシュデータとしてキャッシュ部３６４に保持されているかを確認する（Ｓ１１２）。保持されていれば、配信要求部３６２は、受信した下位階層符号化データＦを下位階層復号部３９０に出力すると共に、キャッシュ部３６４により上位階層符号化データＥを上位階層復号部３８０に出力する（Ｓ１１４：Ｙｅｓ、Ｓ１１６）。【００６０】
一方、上位階層符号化データＥがキャッシュ部３６４に保持されていないフレームに対して、配信要求部３６２は、受信した下位階層の符号データＦを下位階層復号部３９０に出力すると共に、下位階層符号化データＦと共に受信した上位階層符号化データＥをキャッシュ部３６４に出力する（Ｓ１１４：Ｎｏ、Ｓ１１８）。なお、キャッシュ部３６４に出力された上位階層符号化データＥは、キャッシュ部３６４により保持されると共に、上位階層復号部３８０に出力される。【００６１】
ここで上位階層復号部３８０の詳細を説明する。図１０は、上位階層復号部３８０を示す。上位階層復号部３８０は、逆多重化部３８１と、階層間予測判定信号復号部３８２と、係数復号部３８３と、動きベクトル復号部３８４と、中間データ出力制御部３８５と、階層間予測部３８６と、予測符号復号部３８７を有する。これらの各要素について、上位階層復号部３８０の全体の処理を説明しながら説明する。【００６２】
図１１は、上位階層復号部３８０における処理を示すフローチャートである。上位階層復号部３８０は、キャッシュ部３６４に保持された上位階層符号化データＥ（予め保持されたものまたは再生指示Ｈに応じてサーバ装置３１０が送信したもの）に対して、まず、逆多重化部３８１が逆多重化処理を行って、符号化予測判定信号Ｎ１、係数符号Ｎ３、Ｎ６を得る（Ｓ１２０）。階層間予測判定信号復号部３８２は、符号化予測判定信号Ｎ１を復号して階層間予測判定信号Ｎ２を得、係数復号部３８３は、係数符号Ｎ３を復号して係数情報Ｎ４を得、動きベクトル復号部３８４は、動きベクトル符号Ｎ６を復号して動きベクトルＮ７を得る（Ｓ１２２）。【００６３】
中間データ出力制御部３８５は、階層間予測判定信号Ｎ２のＯＮ／ＯＦＦに応じて、階層間予測判定信号Ｎ２がＯＮであるときに下位階層復号部３９０からの中間データＭ０を階層間予測部３８６に出力し、階層間予測判定信号Ｎ２がＯＦＦであるときに、中間データＭ０を階層間予測部３８６に出力しない。階層間予測部３８６は、中間データ出力制御部３８５から中間データＭ０が入力されたときに、それに基づいて階層間予測信号を生成して係数情報Ｎ４に加算することにより再構成された係数情報Ｎ５を得る（Ｓ１２４：Ｙｅｓ、Ｓ１２６）。一方、階層間予測判定信号Ｎ２がＯＦＦであり、中間データ出力制御部３８５から中間データＭ０の入力が無いときに（Ｓ１２４：Ｎｏ）、階層間予測部３８６は、係数情報Ｎ４をそのまま出力する（Ｓ１２６）。【００６４】
予測符号復号部３８７は、動きベクトル復号部３８４からの動きベクトルＮ７と、階層間予測部３８６からの係数情報Ｎ５を用いて、フレーム内／間予測を行って復号し、上位階層データＮを得て再生部３６６に供する（Ｓ１２８）。
上記処理は、シーケンスの末尾までフレーム毎に行われる（Ｓ１３０：Ｎｏ、Ｓ１３２：Ｎｏ）。【００６５】
本実施の形態の画像配信システム３００において、クライアント装置３６０において、上位階層符号化データＥのみがキャッシュ可能となっている。サーバ装置３１０は、符号化に際して、対象ブロックが注目領域に含まれているときに、該対象ブロックの上位階層画像信号に対して、復号時にその下位階層画像信号の復号結果を参照する必要のある「階層間予測」を適用する。こうすることにより、クライアント装置３６０は、キャッシュすなわち先読みを行うことができ、スムーズな再生が可能である。また、注目領域について、復号時に下位階層符号化データの復号結果を参照する必要があり、上位階層符号化データＥのみでは復号できないので、コンテンツを保護することができる。【００６６】
また、クライアント装置３６０において復号する際に、対象ブロックの上位階層の符号化時に階層間予測が適用された否かに応じて下位階層符号化データの復号結果を利用するか否かの制御を行うだけでよく、ブロックの並び替えなど、通常の復号処理と異なる制御を加える必要が無い。そのため、処理が簡単であり、装置の構成も簡素である。【００６７】
さらに、本実施の形態において、注目領域に含まれないブロック、すなわち非注目領域のブロックに対して、符号化効率に応じて階層間予測を適用するか否かを決定している。こうすることにより、フレームのすべてのブロックについて階層間予測を適用する場合より上位階層を高能率に符号化することができる。【００６８】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、さまざまな変更、増減を加えてもよい。これらの変更、増減が加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。【００６９】
また、この出願は、２００８年２月２２日に出願された日本出願特願２００８−０４１００１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００７０】
本発明は、例えば、画像データを符号化して配信する技術に使用される。
【図１】
2009104431.tif 000003
【図２】
2009104431.tif 000004
【図３】
2009104431.tif 000005
【図４】
2009104431.tif 000006
【図５】
2009104431.tif 000007
【図６】
2009104431.tif 000008
【図７】
2009104431.tif 000009
【図８】
2009104431.tif 000010
【図９】
2009104431.tif 000011
【図１０】
2009104431.tif 000012
【図１１】
2009104431.tif 000013
【手続補正書】
【提出日】平成21年4月28日(2009.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行う符号化部と、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信する送信部とを備え、
前記符号化部は、画像データにより表される画像における注目領域が含まれるブロックに対して前記階層間予測を行うと判定する共に、該ブロックの上位階層の符号化データを得る際に、前記階層間予測を行うことを特徴とするサーバ装置。
【請求項２】
前記符号化部は、前記注目領域が含まれないブロックの上位階層の符号化データを得る際に、符号化効率に応じて前記階層間予測を行うか否かを判定することを特徴とする請求項１に記載のサーバ装置。
【請求項３】
前記符号化部は、前記注目領域が含まれないブロックの上位階層の符号化データを得る際に、前記階層間予測を行わないと判定することを特徴とする請求項１に記載のサーバ装置。
【請求項４】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理より得られた符号化データのうちの上位階層の符号化データのみを保持可能なキャッシュ部と、
画像データの再生時に、前記キャッシュ部にその上位階層の符号化データが保持された該画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信する配信要求部と、
前記キャッシュ部に保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号して上位階層データと下位階層データを得る復号部であって、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号する前記復号部とを備えることを特徴とするクライアント装置。
【請求項５】
サーバ装置とクライアント装置を備えた画像配信システムであって、
前記サーバ装置は、
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行う符号化部と、
画像データの上位階層の符号化データを予め保持した前記クラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信する送信部とを備え、
前記クライアント装置は、
画像データの符号化データのうちの上位階層の符号化データのみを保持可能なキャッシュ部と、
画像データの再生時に、前記キャッシュ部にその上位階層の符号化データが保持された該画像データの下位階層の符号化データを前記サーバ装置に要求する再生指示を送信する配信要求部と、
前記キャッシュ部に保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号して上位階層データと下位階層データを得る復号部とを備え、
前記サーバ装置における前記符号化部は、画像データにより表される画像における注目領域が含まれるブロックに対して前記階層間予測を行うと判定する共に、該ブロックの上位階層の符号化データを得る際に、前記階層間予測を行い、
前記クライアント装置における前記復号部は、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号することを特徴とする画像配信システム。
【請求項６】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行い、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信し、
前記符号化処理時に、画像データにより表される画像における注目領域が含まれるブロックに対して前記階層間予測を行うと判定する共に、該ブロックの上位階層の符号化データを得る際に、前記階層間予測を行うことを特徴とする画像配信方法。
【請求項７】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理により得られた符号化データのうちの上位階層の符号化データのみを保持し、
画像データの再生時に、その上位階層の符号化データが保持された前記画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信し、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号する復号処理であって、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号する前記復号処理を行うことを特徴とする画像再生方法。
【請求項８】
サーバ装置からクライアント装置へ画像を配信する画像配信方法であって、
前記サーバ装置において、
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行い、
画像データの上位階層の符号化データを予め保持した前記クラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信し、
前記クライアント装置において、
画像データの符号化データのうちの上位階層の符号化データのみを保持し、
画像データの再生時に、その上位階層の符号化データが保持された該画像データの下位階層の符号化データを前記サーバ装置に要求する再生指示を送信し、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号して上位階層データと下位階層データを得、
前記サーバ装置における前記符号化処理時に、画像データにより表される画像における注目領域が含まれるブロックに対して前記階層間予測を行うと判定する共に、該ブロックの上位階層の符号化データを得る際に、前記階層間予測を行い、
前記クライアント装置における前記復号処理時に、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号することを特徴とする画像配信方法。
【請求項９】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行うステップと、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信するステップとをコンピュータに実行せしめるプログラムを記録した記録媒体であって、
前記符号化処理ステップにおいて、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うことを特徴とする記録媒体。
【請求項１０】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理により得られた符号化データのうちの上位階層の符号化データのみを保持するステップと、
画像データの再生時に、その上位階層の符号化データが保持された前記画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信するステップと、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号する復号処理であって、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号する前記復号処理を行うステップとをコンピュータに実行せしめるプログラムを記録した記録媒体。
【手続補正書】
【提出日】平成22年9月2日(2010.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下
位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階
層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの
復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符
号化データを復号して得た下位階層データより高い再生品質を有する再生データを形
成しうる前記符号化処理を行う符号化部と、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再
生指示に対して、前記画像データの下位階層の符号化データを送信する送信部とを備
え、
前記符号化部は、画像データにより表される画像における注目領域が含まれるブロ
ックに対して前記階層間予測を行うと判定する共に、該ブロックの上位階層の符号化
データを得る際に、前記階層間予測を行うことを特徴とするサーバ装置。
【請求項２】
前記符号化部は、前記注目領域が含まれないブロックの上位階層の符号化データを
得る際に、符号化効率に応じて前記階層間予測を行うか否かを判定することを特徴と
する請求項１に記載のサーバ装置。
【請求項３】
前記符号化部は、前記注目領域が含まれないブロックの上位階層の符号化データを
得る際に、前記階層間予測を行わないと判定することを特徴とする請求項１に記載の
サーバ装置。
【請求項４】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下
位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階
層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの
復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符
号化データを復号して得た下位階層データより高い再生品質を有する再生データを形
成しうる前記符号化処理より得られた符号化データのうちの上位階層の符号化データ
のみを保持可能なキャッシュ部と、
画像データの再生時に、前記キャッシュ部にその上位階層の符号化データが保持さ
れた該画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信
する配信要求部と、
前記キャッシュ部に保持された前記上位階層の符号化データと、前記再生指示に応じて
前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号
して上位階層データと下位階層データを得る復号部であって、前記階層間予測を伴っ
た符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位
階層符号化データの復号結果を参照してその上位階層の符号化データを復号する前記
復号部とを備えることを特徴とするクライアント装置。
【請求項５】
サーバ装置とクライアント装置を備えた画像配信システムであって、
前記サーバ装置は、
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下
位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階
層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの
復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符
号化データを復号して得た下位階層データより高い再生品質を有する再生データを形
成しうる前記符号化処理を行う符号化部と、
画像データの上位階層の符号化データを予め保持した前記クラインアント装置から
の再生指示に対して、前記画像データの下位階層の符号化データを送信する送信部と
を備え、
前記クライアント装置は、
画像データの符号化データのうちの上位階層の符号化データのみを保持可能なキャ
ッシュ部と、
画像データの再生時に、前記キャッシュ部にその上位階層の符号化データが保持さ
れた該画像データの下位階層の符号化データを前記サーバ装置に要求する再生指示を
送信する配信要求部と、
前記キャッシュ部に保持された前記上位階層の符号化データと、前記再生指示に応
じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に
復号して上位階層データと下位階層データを得る復号部とを備え、
前記サーバ装置における前記符号化部は、画像データにより表される画像における
注目領域が含まれるブロックに対して前記階層間予測を行うと判定する共に、該ブロ
ックの上位階層の符号化データを得る際に、前記階層間予測を行い、
前記クライアント装置における前記復号部は、前記階層間予測を伴った符号化が施
されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化デ
ータの復号結果を参照してその上位階層の符号化データを復号することを特徴とする
画像配信システム。
【請求項６】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下
位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階
層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの
復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符
号化データを復号して得た下位階層データより高い再生品質を有する再生データを形
成しうる前記符号化処理を行い、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再
生指示に対して、前記画像データの下位階層の符号化データを送信し、
前記符号化処理時に、画像データにより表される画像における注目領域が含まれる
ブロックに対して前記階層間予測を行うと判定する共に、該ブロックの上位階層の符
号化データを得る際に、前記階層間予測を行うことを特徴とする画像配信方法。
【請求項７】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下
位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階
層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの
復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符
号化データを復号して得た下位階層データより高い再生品質を有する再生データを形
成しうる前記符号化処理により得られた符号化データのうちの上位階層の符号化デー
タのみを保持し、
画像データの再生時に、その上位階層の符号化データが保持された前記画像データ
の下位階層の符号化データをサーバ装置に要求する再生指示を送信し、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置
が送信した前記下位階層の符号化データをそれぞれブロック毎に復号する復号処理で
あって、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化デー
タに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層
の符号化データを復号する前記復号処理を行うことを特徴とする画像再生方法。
【請求項８】
サーバ装置からクライアント装置へ画像を配信する画像配信方法であって、
前記サーバ装置において、
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下
位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階
層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの
復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符
号化データを復号して得た下位階層データより高い再生品質を有する再生データを形
成しうる前記符号化処理を行い、
画像データの上位階層の符号化データを予め保持した前記クラインアント装置から
の再生指示に対して、前記画像データの下位階層の符号化データを送信し、
前記クライアント装置において、
画像データの符号化データのうちの上位階層の符号化データのみを保持し、
画像データの再生時に、その上位階層の符号化データが保持された該画像データの
下位階層の符号化データを前記サーバ装置に要求する再生指示を送信し、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置
が送信した前記下位階層の符号化データをそれぞれブロック毎に復号して上位階層デ
ータと下位階層データを得、
前記サーバ装置における前記符号化処理時に、画像データにより表される画像にお
ける注目領域が含まれるブロックに対して前記階層間予測を行うと判定する共に、該
ブロックの上位階層の符号化データを得る際に、前記階層間予測を行い、
前記クライアント装置における前記復号処理時に、前記階層間予測を伴った符号化
が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号
化データの復号結果を参照してその上位階層の符号化データを復号することを特徴と
する画像配信方法。
【請求項９】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下
位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果
を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理を行うステップと、
画像データの上位階層の符号化データを予め保持したクラインアント装置からの再生指示に対して、前記画像データの下位階層の符号化データを送信するステップとをコンピュータに実行せしめるプログラムであって、
前記符号化処理ステップにおいて、画像データにより表される画像における注目領域が含まれるブロックの上位階層の符号化データを得る際に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うことを特徴とするプログラム。
【請求項１０】
画像データに対して所定の分割単位となるブロック毎に、復号時に該ブロックの下位階層の符号化データの復号結果を必要とする階層間予測を行うか否かを判定して階層毎の符号化データを得る符号化処理であって、再生時に下位階層の符号化データの復号結果を参照して上位階層の符号化データを復号することにより、前記下位階層符号化データを復号して得た下位階層データより高い再生品質を有する再生データを形成しうる前記符号化処理により得られた符号化データのうちの上位階層の符号化データのみを保持するステップと、
画像データの再生時に、その上位階層の符号化データが保持された前記画像データの下位階層の符号化データをサーバ装置に要求する再生指示を送信するステップと、
保持された前記上位階層の符号化データと、前記再生指示に応じて前記サーバ装置が送信した前記下位階層の符号化データをそれぞれブロック毎に復号する復号処理であって、前記階層間予測を伴った符号化が施されたブロックの上位階層の符号化データに対して、該ブロックの下位階層符号化データの復号結果を参照してその上位階層の符号化データを復号する前記復号処理を行うステップとをコンピュータに実行せしめるプログラム。
【国際調査報告】
2009104431.tif 000014
2009104431.tif 000015
2009104431.tif 000016