(57)【要約】【課題】クライアント装置における表示領域の更新に容易に対応する符号データを生成することにより、送信する符号データの量を減じる画像配信装置を提供すること。【解決手段】クライアント装置が表示する画像の符号データを送信する画像配信装置であって、一の画像のうち、クライアント装置が表示する第１の表示領域の情報を取得する領域情報取得手段と、タイルに分割されて符号化された画像の符号データから、第１の表示領域に含まれるタイルのタイル符号を取得するタイル符号取得手段と、符号データからタイルの一部に第１の表示領域を含むタイルの符号を取得し、該表示領域の領域符号を生成する符号生成手段と、タイル符号と領域符号とを区別する情報を、タイル符号及び領域符号にそれぞれ付加する情報付加手段と、タイル符号と領域符号とを含む第１の符号データを生成する符号データ生成手段と、を有する画像配信装置。【選択図】図１２
2010074446.tif 000002
【特許請求の範囲】
【請求項１】
クライアント装置が表示する画像の符号データを送信する画像配信装置であって、
一の画像のうち、前記クライアント装置が表示する第１の表示領域の情報を取得する領域情報取得手段と、
タイルに分割されて符号化された前記画像の符号データから、前記第１の表示領域に含まれるタイルのタイル符号を取得するタイル符号取得手段と、
前記符号データから前記タイルの一部に前記第１の表示領域を含むタイルの符号を取得し、該表示領域の領域符号を生成する符号生成手段と、
前記タイル符号と前記領域符号とを区別する情報を、前記タイル符号及び前記領域符号にそれぞれ付加する情報付加手段と、
前記タイル符号と前記領域符号とを含む第１の符号データを生成する符号データ生成手段と、
を有する画像配信装置。
【請求項２】
前記領域情報取得手段が、前記一の画像のうち、前記クライアント装置が表示する第２の表示領域の情報を取得する場合に、
前記第１の表示領域と前記第２の表示領域との両方に含まれる共通領域を判定する判定手段を有し、
前記タイル符号取得手段は、前記第２の表示領域のうち、前記共通領域に含まれない領域に含まれるタイルのタイル符号を取得し、
前記符号生成手段は、前記符号データから、前記タイルの一部に前記第２の表示領域のうち前記共通領域に含まれない領域を含むタイルの符号を取得して、領域符号を生成する請求項１に記載の画像配信装置。
【請求項３】
前記符号生成手段は、前記第１の表示領域を含むタイルの符号を復号し、前記タイルにおける前記第１の表示領域の復号画像及び該復号画像に係る情報を前記領域符号とする請求項１又は２記載の画像配信装置。
【請求項４】
前記符号生成手段は、前記第１の表示領域を含むタイルの符号を復号し、前記タイルにおける前記第１の表示領域の画像を符号化して領域符号を生成する請求項１又は２記載の画像配信装置。
【請求項５】
前記符号生成手段は、前記タイルにおける前記第１の表示領域の割合が所定の値より小さい場合に、前記タイルの符号を復号し、前記タイルにおける前記第１の表示領域の画像を符号化して領域符号を生成する請求項４記載の画像配信装置。
【請求項６】
前記符号データは、前記画像を構成する画素に対する周波数分解により生成された変換係数の情報を有し、
前記符号生成手段は、前記タイルにおける前記第１の表示領域に含まれる変換係数の個数と、該タイルにおける前記第１の表示領域に含まれない変換係数の個数と、の比較により、該タイルにおける前記第１の表示領域の割合を判定する請求項５記載の画像配信装置。
【請求項７】
前記符号データは、前記タイルを分割した小領域毎の小符号データを有し、
前記符号生成手段は、前記第１の表示領域を含むタイルの符号の中から、前記第１の表示領域を含む小領域の小符号データを選択して領域符号を生成する請求項１又は２記載の画像配信装置。
【請求項８】
前記小符号データは、複数の前記小領域の間の予測符号処理を用いて生成され、
前記符号生成手段は、前記第１の表示領域を含む小領域の小符号データに加えて、さらに、前記小領域の画像を符号化する際の予測符号処理に用いられる小領域の小符号データを選択する請求項７記載の画像配信装置。
【請求項９】
タイルに分割されて符号化された画像の中の第１の表示領域に含まれるタイルのタイル符号と、前記第１の表示領域を一部に含むタイルの符号から生成された前記タイルの中の前記第１の表示領域の領域符号と、を含み、前記タイル符号及び前記領域符号のそれぞれは、前記タイル符号と前記領域符号とを区別する情報を有する第１の符号データを受信する受信手段と、
前記第１の符号データを復号して復号画像を表示手段に対して出力する復号手段と、
前記復号手段により復号された復号画像のうち前記タイル符号から復号された復号画像、及び／又は、前記第１の符号データに含まれるタイル符号を保持する記憶手段と、
を有する画像表示装置。
【請求項１０】
前記復号手段は、前記第１の符号データと、前記記憶手段に保持されているタイル符号とを復号することにより、前記画像の中の第２の表示領域の復号画像を前記表示装置に対して出力する請求項９記載の画像表示装置。
【請求項１１】
前記タイル符号と前記領域符号とを区別する情報により、前記第１の符号データに含まれる符号のうちタイル符号を選択して前記記憶手段に保持させる判定手段を有する請求項９又は１０記載の画像表示装置。
【請求項１２】
前記第１の表示領域に含まれるタイルのうち、前記記憶手段に保持されているタイル符号に対応するタイルを除くタイルのタイル符号を含む符号データを要求する符号要求手段を有する請求項９ないし１１何れか一項に記載の画像表示装置。
【請求項１３】
クライアント装置が表示する画像の符号データを送信する画像配信方法であって、
一の画像のうち、前記クライアント装置が表示する第１の表示領域の情報を取得する領域情報取得ステップと、
タイルに分割されて符号化された前記画像の符号データから、前記第１の表示領域に含まれるタイルのタイル符号を取得するタイル符号取得ステップと、
前記符号データから前記タイルの一部に前記第１の表示領域を含むタイルの符号を取得し、該表示領域の領域符号を生成する符号生成ステップと、
前記タイル符号と前記領域符号とを区別する情報を、前記タイル符号及び前記領域符号にそれぞれ付加する情報付加ステップと、
前記タイル符号と前記領域符号とを含む第１の符号データを生成する符号データ生成ステップと、
を有する画像配信方法。
【請求項１４】
タイルに分割されて符号化された画像の中の第１の表示領域に含まれるタイルのタイル符号と、前記第１の表示領域を一部に含むタイルの符号から生成された前記タイルの中の前記第１の表示領域の領域符号と、を含み、前記タイル符号及び前記領域符号のそれぞれは、前記タイル符号と前記領域符号とを区別する情報を有する第１の符号データを受信する受信ステップと、
前記第１の符号データを復号して復号画像を表示手段に対して出力する復号ステップと、
前記復号ステップにおいて復号された復号画像のうち前記タイル符号から復号された復号画像、及び／又は、前記第１の符号データに含まれるタイル符号を記憶手段に格納する格納ステップと、
を有する画像表示方法。
【請求項１５】
請求項１３記載の画像配信方法又は請求項１４記載の画像表示方法を、コンピュータに実行させるためのコンピュータプログラム。
【請求項１６】
請求項１５記載のコンピュータプログラムを記録したコンピュータ読み取り可能な情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像配信装置、画像表示装置、画像配信方法、画像表示方法、コンピュータプログラム、及び、情報記録媒体に関する。
【背景技術】
【０００２】
従来から、画像データを圧縮して符号データを生成する際に、生成される符号データを、符号クラスタの集合として構成する技術がある。例えば、ＪＰＥＧ２０００等に開示の技術によれば、符号データを、画像を分割したタイル、又は、変換係数空間を分割したプリシンクト等の符号クラスタの集合として生成する。
【０００３】
このような符号データを配信する際には、例えば、符号データが、画像が分割された小領域毎の符号クラスタの集合である場合には、小領域毎の符号クラスタを符号データから取り出して配信することができる。例えば、特開２００６−２９５３８６号公報（特許文献１）に開示の画像送信方法等の発明では、画像の小領域毎に独立して復号される符号データのうち、クライアント装置から要求された領域の小領域の符号を取り出して送信する。上記特許文献２には、さらに、小領域の符号を取り出した後、取り出した符号を、所定の符号フォーマットにすることにより、クライアント装置の構成を簡易にすることが記載されている。
【０００４】
ところで、クライアント装置から要求された領域の境界と符号データを構成する符号クラスタ毎の小領域の境界とが一致しない場合には、例えば、要求された領域を包含する小領域の集合に対応する符号クラスタを選択することになり、配信するデータが冗長となる。またさらに、クライアント装置は、受信する符号を全て復号するため、表示領域に含まれない領域に対する復号処理が必要となる。
【０００５】
そこで、要求された領域の境界を含む小領域の符号を復号する等して、符号クラスタを再構成することにより、冗長なデータの配信を避け、クライアント装置の処理の負荷を軽減することができる。
【０００６】
またさらに、クライアント装置が、画像の中の表示領域の位置を更新することにより新たな表示領域を要求する際には、画像を配信するサーバ側では、既に送信された小領域の符号を送信することなく、新たに必要となる符号を選択して送信することにより、送信するデータ量を減じることができる。
【０００７】
【特許文献１】特開２００６−２９５３８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、クライアント装置においては、表示領域を更新する際に、既に受信されている符号データのうち、小領域毎に対応する符号クラスタと、再構成された符号クラスタとが区別されない場合に不具合が生じることがある。
【０００９】
より詳細には、例えば、既に表示された小領域が新たな表示領域に含まれる場合には、その小領域の画像又は符号を、再利用することができる。一方、再構成された符号クラスタに対応する領域が新たな表示領域に含まれる場合には、その領域を含む小領域の符号が必要になることがある。
そこで、クライアント装置では、再利用の可否を符号クラスタ毎に管理する必要が生じるが、上記特許文献２にはそのようなことは考慮されていない。
【００１０】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、クライアント装置における表示領域の更新に容易に対応する符号データを生成することにより、送信する符号データの量を減じる画像配信装置を提供することを目的としている。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の画像配信装置は次の如き構成を採用した。
【００１２】
本発明の画像配信装置は、クライアント装置が表示する画像の符号データを送信する画像配信装置であって、一の画像のうち、前記クライアント装置が表示する第１の表示領域の情報を取得する領域情報取得手段と、タイルに分割されて符号化された前記画像の符号データから、前記第１の表示領域に含まれるタイルのタイル符号を取得するタイル符号取得手段と、前記符号データから前記タイルの一部に前記第１の表示領域を含むタイルの符号を取得し、該表示領域の領域符号を生成する符号生成手段と、前記タイル符号と前記領域符号とを区別する情報を、前記タイル符号及び前記領域符号にそれぞれ付加する情報付加手段と、前記タイル符号と前記領域符号とを含む第１の符号データを生成する符号データ生成手段と、を有する構成とすることができる。
【００１３】
これにより、クライアント装置における表示領域の更新に容易に対応する符号データを生成することにより、送信する符号データの量を減じる画像配信装置を提供することができる。
【００１４】
なお、上記課題を解決するため、本発明は、上記画像配信装置における画像配信方法、上記画像配信装置により生成された符号データを受信して表示する画像表示装置、その画像表示装置における画像表示方法、上記画像配信方法又は画像表示方法をコンピュータに実行させるためのコンピュータプログラム、及び、そのコンピュータプログラムを格納した情報記録媒体としてもよい。
【発明の効果】
【００１５】
本発明の画像配信装置、画像表示装置、画像配信方法、画像表示方法、コンピュータプログラム、及び、情報記録媒体によれば、クライアント装置における表示領域の更新に容易に対応する符号データを生成することにより、送信する符号データの量を減じる画像配信装置、画像表示装置、画像配信方法、画像表示方法、コンピュータプログラム、及び、情報記録媒体を提供することが可能になる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態の説明に先んじて、画像データを、例えば、タイルと呼ばれる矩形に分割して符号化する画像圧縮伸張技術について、以下説明する。
【００１７】
デジタルカメラやスキャナの精度の向上により、高精細な静止画像を取り扱う要求が増加し、それに伴って高精細静止画像の取り扱いを容易にするための画像圧縮伸張技術に求められる機能が多様化している。
【００１８】
これらの高精細な画像やサイズの大きい画像を保持し表示するシステムにおいては、単一の画像符号を用いて処理を行うことが困難である。なぜならば非常に大きなメモリを必要とし、画像の圧縮・伸張に多大な時間がかかってしまうからである。さらにサーバクライアントを用いたシステムでは転送量が膨大になってしまう問題がある。
【００１９】
これらの問題に対する解決法として、例えば、ＦｌａｓｈＰｉｘ方式に代表されるような画像符号蓄積手法では、対象となる画像を複数の解像度および、適切なサイズの異なる画像に分割して保持する。また表示の際にはＩＩＰというＦｌａｓｈＰｉｘ画像を扱うプロトコルを用いて、サーバーが必要なタイルに関するＪＰＥＧ符号のみをクライアントに送信することで転送量を小さくする。
【００２０】
ところで、高精細静止画像の画像圧縮伸張アルゴリズムとしては、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ，ＩＳＯ／ＩＥＣ  １１１７２）が、多く使われているが、その他に、離散ウェーブレット変換（以下、「ＤＷＴ」という。）を周波数変換に用いた画像圧縮伸張アルゴリズムとして、ＪＰＥＧ２０００符号化方式がある。また、ＤＷＴを用いないＪＰＥＧ  ＸＲ符号化方式も高精細静止画像符号化として提案されている．
【００２１】
ＪＰＥＧ２０００符号化方式、ＪＰＥＧ  ＸＲ符号化方式等は、符号自体が解像度の階層を持ち、任意の空間領域の符号のみ取り出せるので、ＦｌａｓｈＰｉｘのように、解像度毎又は空間領域毎に別の画像ファイルを持つことなく、Ｆｌａｓｈ  Ｐｉｘと同様の機能を実現できる。
【００２２】
ところで通常変換符号化と呼ばれる信号の符号化は、以下の手順でなされる。
原信号→色変換（輝度・色差変換）→輝度・色差のサブバンドへの周波数変換→サブバンドを構成する「周波数領域の係数」の量子化→量子化後の係数のエントロピー符号化→ビットストリームの生成、という手順をとる。
【００２３】
このうちの量子化後の係数のエントロピー符号化にはいくつかの手法が存在し、例えば、Ｈｕｆｆｍａｎ符号化、算術符号化、ランレングス符号化、予測符号化、又は、これらの手法を組み合わせたものがある。
【００２４】
ＪＰＥＧ  ＸＲでも用いられている予測符号化は、原画像そのものの予測を用いたものや係数の予測を用いたものがあり、その後にＨｕｆｆｍａｎ符号化やランレングス符号化などの手法と組み合わせて使われる。
【００２５】
ＪＰＥＧ  ２０００では、タイル中のサブバンドデータを符号化する際に、プリシンクトと呼ばれる係数空間上の領域毎に算術符号化を用いて符号化する。ＪＰＥＧ２０００では、一のプリシンクトの符号化は、プリシンクト間での予測符号化がなされない。そのため、複数のプリシンクトの符号を組み合わせると、それらのプリシンクト領域に関連する係数空間上の係数データを得ることが出来る。
【００２６】
ＪＰＥＧ  ２０００ではこの特性を利用してインタラクティブな画像通信方式のＪＰＩＰ標準が規格化されている。このＪＰＩＰ標準による符号化された画像データ転送の単位として、プリシンクト毎の符号データを転送する方法と、タイル毎の符号データを転送する方法との二つがある。
【００２７】
プリシンクト毎の符号データ送信は、プリシンクトサイズが適当であれば画像符号データを効率よく送ることができる。この方式は、画像送信側では、符号データをプリシンクトへ分解する作業が伴い、リクエストされた画像領域を計算する際のＷａｖｅｌｅｔ分割やそのタップ数を考慮した計算処理が発生する。また、符号データ受信側では、画像を表示するため、その分解された部分符号データを正しい位置に配置し、配置されない符号領域にダミー符号を設定するという複雑な再構築する作業が伴う。そのため、この方式を用いたシステムは複雑度が大きい。
【００２８】
タイル毎の符号データ送信は、タイルサイズを小さくすると画像符号データを効率よく送ることができる。この方式は、画像送信側では、符号データをタイルへ分解する作業が伴う。しかし、タイル分解作業はプリシンクト分解作業よりも簡単であり、さらに、リクエストされた画像領域を計算する際に、単にタイルがリクエスト領域と交わるかどうかを判定すれば良いだけの簡単な計算により実現することができる。したがって、この方式は実装が簡単であるが、符号のタイルサイズを小さくすると画像全体の符号量が多くなってしまう。
【００２９】
ＪＰＥＧ  ＸＲでは、タイルが、マクロブロックと呼ばれる１６×１６画素単位の領域から構成される。このマクロブロックの符号データを復号するためには、既に復号された近接するマクロブロックの復号値を用いた予測符号化が行われる。したがって、ＪＰＥＧ  ＸＲ画像の転送を行なう場合は、タイル単位の符号データ転送方式を用いることにより、予測符号化の有無を考慮することなく符号データの転送を実現することができる。
【００３０】
ＪＰＥＧ  ＸＲにおける画像通信の処理効率や、ＪＰＥＧ  ２０００の実装複雑度の観点からタイル送信方式で画像通信を実現することを考えたとき、画像配信側のデータ蓄積を効率的に行なうために符号条件としてのタイルサイズをある程度大きなサイズ、例えば５１２×５１２やそれ以上のサイズにすることが行われる。
【００３１】
ところで、ＪＰＥＧ  ＸＲ符号化方式では、タイル間をまたがるフィルタ処理がなされる。このフィルタ処理はＰｈｏｔｏ  Ｏｖｅｒｌａｐ  Ｔｒａｎｓｆｏｒｍ（以下、「ＰＯＴ」という。）と呼ばれる。
【００３２】
ＰＯＴは４×１画素又は１×４画素の変換処理で画像の端の上下左右２ラインの部分を処理し、上下左右２ラインを除いた画像全域を４×４画素の変換処理で逐次処理していく。これにより、タイル間を２ライン毎にまたがって処理することになる。
【００３３】
ＪＰＥＧ  ＸＲ符号化方式による符号データを送信するシステムにおいて、要求される画像領域がタイル領域と同じであったときのことを考える。このとき、要求される画像領域はタイル内の画像領域と同じであるが，先に述べたようにタイル間をまたがるＰＯＴ処理のためにその要求されたタイルの周りのタイルをも必要とすることになる。
【００３４】
たとえば，要求された領域がタイル１つだけの領域と同一の場合には、周りの８つのタイルも必要になる。これらをそのまま送信すると、タイルサイズが全て同一の場合には、、一つのタイル領域中の画像を得るためにそのタイル領域の９倍の領域を送信することが必要となる。
【００３５】
そこで、ＪＰＥＧ  ＸＲ符号化方式におけるタイル内のサブ領域であるマクロブロック（以下「ＭＢ」という。）を用い、タイルとそのタイルに関連するＭＢとを送信することにより、送信するデータ量を減じることを考える。しかし、ＪＰＥＧ  ＸＲ符号化方式では、ＭＢ間の予測符号化があるため、ＭＢ内の領域を復号するためには、既に復号されたＭＢを用いる予測値が必要となる。そこで、ＭＢ単位で符号を送信することができず、結局はタイル一つ分を送らなければならない。
【００３６】
一方、タイル外の必要な領域のみを再符号化して送信することも考えられるが、既存の方式であるＪＰＩＰ等では、このような部分領域再符号送信は出来ない。また、タイルの縦横の長さが同一長でなくてもよいＪＰＥＧ  ＸＲ符号化方式においても、様々な画像領域要求ケースを満たし、かつ、ＪＰＥＧ  ＸＲ符号化方式の仕様を満たす動的なタイルタイルサイズ決定は許容されていない。
【００３７】
本実施の形態では、タイルとそのタイルを復号するのに必要となるタイルの外の必要な領域のみを再符号化して送信する符号化方式において、送信する符号の再利用を可能とする。
【００３８】
以下の実施の形態では、ＪＰＥＧ  ＸＲ符号化方式による符号データを処理する例について説明するが、本発明の実施の形態はＪＰＥＧ  ＸＲ符号化方式による例に限らない。本発明の実施の形態により処理される符号データは、例えば、画像が分割された小領域毎に対応する符号クラスタの集合を有する符号データであればよい。
【００３９】
本発明の実施の形態は、また、画像が分割された小領域間において、フィルタ処理が行われることにより、小領域の符号のみでは、復号ができない符号化形式による符号データを処理する画像配信装置又は画像表示装置においても、実現されてよい。例えば、ＩＳＯ／ＩＥＣ  １４４９６−１０（ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４）等の符号化方式により、マクロブロック間にループフィルタ等のデブロッキング処理が用いられる符号データでもよい。
【００４０】
〔本発明の実施の形態〕
本発明の実施の形態について、以下説明する。
（ＪＰＥＧ  ＸＲ  の処理の概略）
図１は、ＪＰＥＧ  ＸＲの処理の概略を説明する図である。図１のステップＳ１０１では、符号化する画像に対して、先ず一画面全てに対して色変換処理を行う。ステップＳ１０２では、一画面全てに対し、画像が分割されたブロックの境界をまたぐ４×４画素毎に、プレフィルタ処理を行う。ステップＳ１０３では、画像が分割されたタイルの中の４×４ブロック毎に、周波数変換処理を行う。
【００４１】
ステップＳ１０４では、タイル毎に、画像が分割された１６×１６画素単位であるマクロブロック内の、計１６ブロックのＤＣ成分からなる４×４係数の第２のブロックを生成する。
【００４２】
ステップＳ１０５では、一画面内の第２のブロックが集められた係数群内で、第２のブロックの境界をまたぐ４×４画素毎にプレフィルタ処理を行う。ステップＳ１０６では、タイル毎に、各係数の量子化及びエントロピ符号化が行われる。
【００４３】
（タイル、マクロブロック、ブロック、の構成）
図２は、ＪＰＥＧ  ＸＲ符号化方式において、タイル、マクロブロック、ブロックの構成を説明する図である。図２では、入力される画像データ「Ｉｎｐｕｔ  Ｉｍａｇｅ」は、タイル「Ｔｉｌｅ」と呼ばれる矩形に分割される。タイルは、４×４個のブロック「Ｂｌｏｃｋ」と呼ばれる、計１６個の矩形からなる。さらに、ブロックは、４×４画素の計１６画素からなる。
【００４４】
（ＪＰＥＧ  ＸＲ符号化方式におけるプレフィルタ処理と周波数変換処理との対象領域）
図３は、ＪＰＥＧ  ＸＲ符号化方式におけるプレフィルタ処理と周波数変換処理との対象領域を説明する図である。図３において、プレフィルタ処理を行う４×４画素領域は、ブロックの境界を挟んで、２つのブロックのそれぞれのブロックの端から２画素ずつ、計４画素の幅を有する。周波数変換処理は、ブロックの４×４画素毎に行われる。
【００４５】
（ＪＰＥＧ  ＸＲ符号化方式における周波数の階層）
図４は、ＪＰＥＧ  ＸＲ符号化方式における周波数の階層を説明する図である。図４では、低い周波数から順に、ＤＣ帯域、Ｌｏｗ  Ｐａｓｓ帯域（以下、「ＬＰ帯域」という。）、及び、Ｈｉｇｈ  Ｐａｓｓ帯域（以下、「ＨＰ帯域」という。）を示す。これらの周波数帯域は、Ｐｈｏｔｏ  Ｃｏｒｅ  Ｔｒａｎｓｆｏｒｍ（以下、「ＰＣＴ」という。）を２回適用した結果生成されたものである。各帯域に含まれる変換係数を、それぞれ、ＤＣ係数、ＬＰ係数、及び、ＨＰ係数という。
【００４６】
ＨＰ係数は、４×４画素のブロックにおいて、１回の４×４ＰＣＴ処理により周波数変換された変換係数を並び替えたものである。一のマクロブロックにおいて、４×４個の変換係数毎に最も低周波である変換係数を集め、さらに、ＰＣＴ処理により２回目の周波数変換を行い得られた変換係数が、ＬＰ係数である。さらに、一のマクロブロックのＬＰ係数の中で、最も低域の変換係数がＤＣ係数である。
【００４７】
（表示領域の指定）
図５は、表示領域を指定する際の座標等を説明する図である。図５では、縦横３２０画素の画像に対し、縦横１２８画素の領域を「表示領域」として指定する際の画像と表示領域との関係が示されている。図５に示す関係により、表示領域を指定する際には、パラメータを次のように設定するとよい。
解像度：          ｆｓｉｚｅ＝（ｆｘ，ｆｙ）＝（３２０，３２０）
領域オフセット：  ｒｏｆｆ＝（ｏｘ，ｏｙ）＝（１２８，１２８）
領域サイズ：      ｒｓｉｚ＝（ｒｘ，ｒｙ）＝（１２８，１２８）
【００４８】
（タイルと表示領域との関係）
図６は、画像におけるタイルと表示領域との関係を示す図である。図６（ａ）では、タイルａからタイルｉの９つのタイルと、破線で示した表示領域とが示されている。図６（ａ）の表示領域を表示する際には、符号データに含まれるタイル毎の符号のうち、タイルａないしタイルｉの符号を選択する。
【００４９】
図６（ｂ）は、２つのタイルと表示領域との関係を示す図である。図６（ｂ）では、タイルａ及びタイルｂの２つのタイルと、破線で示した表示領域とが示されている。図６（ｂ）では、タイルｂは、表示領域に含まれている。一方、図６（ｂ）のタイルａは、表示領域にその一部が含まれている。図６（ｂ）のタイルａは、表示領域に含まれる部分の割合が少ない。
【００５０】
（タイルと表示領域との関係の詳細）
ｓ  図７ないし図１１は、タイルと表示領域との関係の詳細を説明する図である。図７は、隣接する２つのタイルであるタイル１及びタイル２が示されている。タイル１及びタイル２は、それぞれ、縦横１６画素の計２５６画素を有する。タイル１及びタイル２は、また、縦横４画素のブロックが、縦４個、横４個並んだ構成である。
【００５１】
図８の太線で囲まれた領域「ウィンドウ１」は、一の表示領域である。ウィンドウ１は、タイル１にのみ含まれ、縦１６画素、横１２画素のサイズである。ウィンドウ１は、さらに、その境界が、タイル１が有するブロックの境界と一致している。
【００５２】
図９は、表示領域と周波数変換及びポストフィルタ処理の領域との関係を説明する図である。図９のウィンドウ１の中で、太線で囲まれた箇所が、周波数変換を行うブロックの例である。また、ウィンドウ１の中で、斜線のハッチングを付した４×４画素が、ポストフィルタ処理が行われるブロックの例である。ウィンドウ１には、さらに、４×１画素のポストフィルタ処理を行うウィンドウの端部のブロックが示されている。
【００５３】
図１０は、複数のタイルにまたがる表示領域「ウィンドウ２」を説明する図である。ウィンドウ２は、タイル１の縦１６画素、横４画素と、タイル２の縦１６画素、横１２画素とが含まれている。
【００５４】
図１１は、タイルにまたがるポストフィルタ処理を説明する図である。図１１では、タイル１及びタイル２にまたがる４×４画素のポストフィルタの領域と、４×１画素のポストフィルタの領域とが示されている。ポストフィルタ処理がタイルにまたがって行われることにより、一のタイルの符号を復号して復号画像を表示する際には、隣接するタイルの符号が必要となる。
【００５５】
より詳細には、一のタイルの符号を復号する際には、隣接するタイルの端２画素が必要となる。したがって、例えば、ＪＰＩＰサーバからＪＰＩＰクライアントに対して符号データを送信して復号させる際には、一のタイルの符号に加えて、隣接するタイルの符号又は隣接するタイルの端部の画像データが必要となる。
【００５６】
隣接するタイルの符号又はタイルの端部の画像データは、一のタイルの符号を復号する際に用いられるが、表示領域が更新されて隣接するタイルが表示される際には、その符号又は画像データは、隣接するタイルの全部のデータではないため、再度、その隣接するタイルの符号をＪＰＩＰサーバに要求して取得する必要がある。
【００５７】
したがって、タイルの全部のデータではない符号又は画像データは、表示に用いられた後に、再利用されないデータとして破棄されることにより、ＪＰＩＰクライアントが有する記憶領域を有効に使用することができる。
【００５８】
本実施の形態では、再利用されないデータとして、サーバである画像配信装置から送信されるデータに対し、再利用されるデータと区別する情報を付加することにより、クライアントである画像表示装置が有する記憶領域の有効活用を容易にする。
【００５９】
（ＪＰＩＰヘッダの例）
ＪＰＩＰ規格によれば、符号のヘッダ部に、データのタイプを示す情報が含まれる。データのタイプを示す情報は、例えば、メインヘッダ、タイルパートヘッダ、ＪＰＴストリーム、ＪＰＰストリーム、及び、メタデータ等を識別する情報である。本実施の形態では、例えば、ＪＰＩＰ規格による符号のヘッダ部に、データのタイプを示す情報に加えて、データが再利用されるデータであるか否かを示す情報を含ませるとよい。
【００６０】
（画像配信装置と画像表示装置との機能構成の例）
図１２は、本実施の形態に係る画像配信装置及び画像表示装置の機能構成の例を示す図である。図１２（ａ）は、本実施の形態に係る画像配信装置１００と画像表示装置２００との機能構成の例を示す図である。画像配信装置１００と画像表示装置２００とは、例えば、ネットワークを介して接続される。
【００６１】
画像配信装置１００は、画像データベース１９０に格納されている符号データを取り出して、画像表示装置２００に送信する。画像配信装置１００は、例えば、領域情報取得手段１１０、判定手段１２０、タイル符号取得手段１３０、符号生成手段１４０、情報付加手段１５０、及び、送信手段１６０を有する。
【００６２】
領域情報取得手段１１０は、画像表示装置２００から送信される、表示する画像の情報を取得する。領域情報取得手段１１０は、表示する画像の識別情報又はその画像の符号データの識別情報、及び、画像中の表示領域の情報等を取得する。
【００６３】
判定手段１２０は、領域情報取得手段１１０により取得された表示する画像の情報に基づいて、画像表示装置２００が要求する画像の符号データが、過去に画像表示装置２００に対して送信されているか否かを判定する。判定手段１２０は、画像の識別情報又は画像の符号データの識別情報、及び、画像中の表示領域の情報に基づいて、新たに送信するタイル符号を識別する情報を取得する。より詳細には、表示領域を包含する一以上のタイルのタイル符号のうち、既に送信されているタイル符号を除くことにより、新たに送信するタイルのタイル符号の識別情報を取得する。
【００６４】
判定手段１２０は、さらに、画像表示装置２００から送信された表示する画像の情報により、画像表示装置２００により表示される領域を含み、かつ、表示する領域に包含されないタイルを識別する情報を取得する。これにより、タイル符号のうち、一部の情報を取得して送信するタイルを識別する情報が取得される。
【００６５】
タイル符号取得手段１３０は、判定手段１２０により取得された、送信するタイル符号の識別情報により、画像データベース１９０に格納されている符号データのうち、送信するタイル符号を取得する。タイル符号取得手段１３０は、さらに、判定手段１２０により取得された、一部の情報を取得して送信するタイルのタイル符号を取得する。
【００６６】
符号生成手段１４０は、タイル符号取得手段１３０により取得された、表示領域に含まれるタイル符号を含む符号データを生成する。符号生成手段１４０により生成される符号データには、さらに、表示領域を含み、かつ、表示領域に包含されないタイルのタイル符号のうち、表示領域の部分の領域符号が含まれる。
【００６７】
符号生成手段１４０は、例えば、表示領域を含み、かつ、表示領域に包含されないタイルのタイル符号を復号し、表示領域の画像データ及びその付加情報を領域符号とする。符号生成手段１４０は、また例えば、表示領域を含み、かつ、表示領域に包含されないタイルのタイル符号のうち、表示領域の部分の符号を取得して所定の付加情報を付加することにより、領域符号を生成してもよい。表示領域の部分の符号は、例えば、その領域のパケットを選択することにより取得されるとよい。
【００６８】
情報付加手段１５０は、符号生成手段１４０により取得されたタイル符号と領域符号とのそれぞれに対し、タイル符号と領域符号とを区別する情報を付加する。より詳細には、例えば、符号のヘッダ部分に含まれるデータタイプにその情報を付加してもよい。情報付加手段１５０により付加される情報は、また例えば、タイル符号又は領域符号が、表示領域が変更される際に、再利用可能であるか否かを表す情報でもよい。
送信手段１６０は、情報付加手段１５０により情報が付加されたタイル符号と領域符号とを含む符号データを、画像表示装置２００に対して配信する。
【００６９】
画像データベース１９０は、画像データが圧縮された符号データを格納する。画像データベース１９０に格納される符号データは、例えば、ＪＰＥＧ２０００符号化方式による符号データでもよく、ＪＰＥＧ  ＸＲ符号化方式による符号データでもよい。画像データベース１９０に格納される符号データは、また例えば、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４符号化方式により符号化された動画像の符号データでもよい。
【００７０】
画像表示装置２００は、画像配信装置１００に対して、表示する画像の情報を出力し、画像配信装置１００から配信される符号データを受信し、その符号データを復号して得られる復号画像を表示装置２９０に対して出力する。
【００７１】
画像表示装置２００は、例えば、符号要求手段２１０、受信手段２２０、復号手段２３０、及び、記憶手段２４０を有する。符号要求手段２１０は、表示装置２９０に表示する画像の情報を画像配信装置１００に対して出力する。表示する画像の情報は、画像データ又は画像の符号データの識別情報、及び、画像の中の表示する領域の位置情報等であり、例えば、ＪＰＥＧ  ＸＲ符号化方式における、ｆｓｉｚｅ、ｒｏｆｆ、ｒｓｉｚ等のパラメータである。受信手段２２０は、画像配信装置１００から送信される符号データを受信する。
【００７２】
復号手段２３０は、受信手段２２０により受信された符号データを復号し、表示装置２９０に出力する。復号手段２３０は、さらに、符号データに含まれるタイル符号と領域符号とを、それらを区別する情報により区別し、タイル符号を記憶手段２４０に格納させる。
【００７３】
復号手段２３０は、またさらに、表示する領域のうち、受信手段２２０により受信された符号データの復号画像に含まれない領域の画像データを、記憶手段２４０に格納されているデータから取得する。復号手段２３０は、記憶手段２４０に画像データが格納されている場合は、その画像データを取得し、記憶手段２４０にタイル符号が格納されている場合には、そのタイル符号を復号することにより、画像データを取得する。
【００７４】
記憶手段２４０は、受信手段２２０により受信された符号データのうち、タイル符号を格納する。記憶手段２４０は、また、タイル符号に代えてそのタイル符号を復号して得られる復号画像を格納してもよい。
【００７５】
記憶手段２４０は、またさらに、受信手段２２０により受信された符号データの識別情報、復号手段２３０により復号されたタイル符号の識別情報等を格納してもよい。これにより、過去に表示された領域の情報を管理することができる。表示装置２９０は、画像表示装置２００から出力される画像データを表示する。
【００７６】
図１２（ｂ）は、本実施の形態に係る画像配信装置と画像表示装置との機能構成の例を示す図であって、図１２（ａ）とは異なる構成を示す図である。図１２（ｂ）は、画像配信装置１００ａと画像表示装置２００ａとがネットワーク等を介して接続されている。図１２（ｂ）中、図１２（ａ）の画像配信装置１００及び画像表示装置２００と同一の機能及び構成を有するブロックは、図１２（ａ）と同一の符号を付し、ここでは説明を省略する。
【００７７】
画像配信装置１００ａは、領域情報取得手段１１０、タイル符号取得手段１３０、符号生成手段１４０、情報付加手段１５０、及び、送信手段１６０を有する。画像配信装置１００ａは、判定手段を有しない。領域情報取得手段１１０が取得する表示する領域の情報は、過去に画像表示装置２００ａに送信されたタイル符号の領域を含まない。
【００７８】
画像表示装置２００ａは、符号要求手段２１０、判定手段２５０、受信手段２２０、復号手段２３０、及び、記憶手段２４０を有する。判定手段２５０は、表示装置２９０に表示させる表示領域のうち、過去に復号されたタイル符号の領域の有無を判定する。符号要求手段２１０は、判定手段２５０により、過去に復号されたタイル符号の領域と判定された領域を除いて、表示する領域の情報を生成し、画像配信装置１００ａに対して出力する。
【００７９】
（タイル符号と領域符号）
図１３は、タイル符号と領域符号とを説明する図である。図１３（ａ）は、９つのタイルが示されている。図１３（ａ）のうち、斜線のハッチングを施したタイルを表示領域ｄとする。表示領域ｄのタイルを復号する際には、図の破線で示す部分の画像データが必要となる。より詳細には、図１３（ａ）右に示す図において、中心となるタイルの周囲の８つの領域の画像データが、ＰＯＴ処理により用いられるため、復号時には、これらの画像データが必要となる。
【００８０】
そこで、中心のタイルのタイル符号と、周辺の８つの領域の画像データの領域符号とを同一の符号データに含ませることにより、タイル符号を復号する際に必要となる画像データを、タイル符号と同一の符号データとして復号側に送信することができる。
【００８１】
図１３（ｂ）及び（ｃ）は、表示領域が更新される際に必要となる符号を説明する図である。図１３（ｂ）における表示領域ｄ１が更新され、図１３（ｃ）における表示領域ｄ２となる場合に、表示領域ｄ１と表示領域ｄ２とに含まれる領域である領域ａ１は、表示領域ｄ１を表示する際に、既に取得されている。しかし、領域ａ１は、タイルの一部であるため、表示領域ｄ２を表示する際には、領域ａ１を含み、表示領域ｄ２に包含されるタイルの符号を取得して符号される。
【００８２】
これにより、タイル符号を有して構成される符号データを配信する際に、既に表示された領域の画像データ又はその領域の符号のうち、再利用される画像データ又は符号を、タイル単位であるか否かにより区別することができる。さらに、その区別を示す情報を符号に含ませることにより、画像表示装置において符号の管理が容易になる。
【００８３】
（画像配信装置における処理）
図１４は、画像配信装置１００における画像配信の処理を示すフロー図である。図１４では、クライアント装置である画像表示装置２００等から表示する画像領域１の情報を取得することにより、処理が開始され、送信する符号データが生成される。
【００８４】
図１４のステップＳ１０１では、領域情報取得手段１１０が、クライアントから画像領域１の情報を受信する。ステップＳ１０１に続いてステップＳ１０２に進み、判定手段１２０が、ステップＳ１０１で受信した画像領域１の情報に基づいて、その画像領域１を復号するのに必要となる領域である画像領域２の情報を取得する。より詳細には、画像領域１を復号する際にフィルタ処理等が必要となる場合には、そのフィルタ処理に用いられる画像領域が判定される。
【００８５】
ステップＳ１０２に続いてステップＳ１０３に進み、判定手段１２０が、画像領域２に包含されるタイルの情報を取得する。より詳細には、そのタイルの全領域が画像領域２に包含されているタイルが選択される。ステップＳ１０３に続いてステップＳ１０４に進み、判定手段１２０が、画像領域２を包含するタイルを全て求める。より詳細には、タイルの一部に画像領域２を含むタイルが選択される。
【００８６】
ステップＳ１０４に続いてステップＳ１０５に進み、ステップＳ１０３及びステップＳ１０４で選択されたタイルの一について処理を開始する。以下、このタイルの一を「処理タイル」という。ステップＳ１０５に続いてステップＳ１０６に進み、判定手段１２０が、処理タイルの全領域が、画像領域２に包含されているか否かが判定する。全領域が画像領域２に包含されている場合には、ステップＳ１０７に進み、そうではない場合には、ステップＳ１０９に進む。
【００８７】
ステップＳ１０６に続くステップＳ１０７では、情報付加手段１５０が、再利用可能であるか否かを示す情報であるフラグの値を「オフ」とする。ステップＳ１０７に続いてステップＳ１０８に進み、タイル符号取得手段１３０が、処理タイルのタイル符号を取得する。
【００８８】
一方、ステップＳ１０６に続くステップＳ１０９では、処理タイルの領域のうち、画像領域２の領域の割合が判定される。すなわち、画像領域２に重なる部分が少ない場合には、ステップＳ１１０に進み、画像領域２に重なる部分が多い場合には、ステップＳ１０７に進む。ステップＳ１０９に続くステップＳ１１０では、情報付加手段１５０が、再利用可能であるか否かを示す情報であるフラグの値を「オン」とする。
【００８９】
ステップＳ１１０に続いてステップＳ１１１に進み、符号生成手段１４０が、処理タイルの領域のうち、画像領域２に含まれる領域の領域符号を生成する。例えば、処理タイルのタイル符号を復号し、画像領域２に含まれる領域の画像データを領域符号としてもよい。また例えば、その画像データを符号化して新たな符号を生成して領域符号としてもよい。また例えば、画像領域２の符号をパケット又はプリシンクト等の単位で取得して符号を再構成することにより、領域符号を生成してもよい。
【００９０】
ステップＳ１０８又はステップＳ１１１に続くステップＳ１１２では、ステップＳ１０８で取得されたタイル符号又はステップＳ１１１で取得された領域符号に、情報付加手段１５０により設定されたフラグの値が付加され、送信手段１６０により画像表示装置２００に対して送信される。
【００９１】
ステップＳ１１２に続いてステップＳ１１３に進み、ステップＳ１０３及びステップＳ１０４で取得されたタイルに対する処理が全て終了したか否かの判断がなされる。全てのタイルの処理が終了している場合には、処理を終了し、処理されていないタイルがある場合には、ステップＳ１０５に戻って処理を繰り返す。
【００９２】
（タイル中の画像領域２の割合の多寡を判定する処理）
画像領域２を含むタイルにおいて、判定手段１２０によるタイル中の画像領域２の割合の多寡の判定は、例えば、次のようにするとよい。
（１）タイルの面積とタイルと画像領域２との重なりあった領域の面積を用いて判定する。例えば、重なり部分の面積をoAREA、タイルの面積をtAREAとすると、判定式を一次関数式のf5=(c×oAREA ＜ tAREA)とし、式結果が正しいときに重なり合いが小さいと判定するとよい。この式の中でcは1以上の定数であり、例えばc=3やc=4などを用いるとよい。
【００９３】
（２）タイルの係数面積全体とタイルと画像領域２との重なりあった領域中の係数領域の面積を用いて判定する。例えば、重なり部分のサブバンドIの面積をoAREA(I)、タイル中のサブバンドIの面積をtAREA(I)とすると、判定式を一次関数式のf6=(σc(I)×oAREA(I) ＜ σtAREA(I))とし、式の結果が正しいときに重なり合いが小さいと判定するとよい。この式の中でc(I)はサブバンドIのときの1以上の定数であり，例えばc(I)=3やc(I)=4などを用いるとよい。
【００９４】
（３）タイルの符号量とタイルと画像領域２との重なりあった領域に係る符号の符号量とを用いて判定する。例えば、重なり部分の符号量をoSIZE、タイルの符号量をtSIZEとすると、判定式を一次関数式のf7=(c×oSIZE ＜ tSIZE)として、式結果が正しいときに重なり合いが小さいと判定することができる。この式の中でcは1以上の定数であり、例えばc=3やc=4などを用いることができる。
【００９５】
（コンピュータの構成の例）
図１５は、本実施の形態に係る画像配信装置又は画像表示装置をコンピュータにより実現する際の装置構成例を示したものである。図１５の装置構成では、データバスを介して、サーバＰＣのＨＤＤ、ＲＡＭ、ＣＰＵが接続されている。以下の流れで，ＪＰＥＧ−ＸＲの原符号から，所望の矩形領域に相当する第２の符号が選択される。
（１）  ＨＤＤ上に記録された原画像の符号が，ＣＰＵからの命令によってＲＡＭ上に読み込まれる。
（２）  ＣＰＵはＲＡＭ上の符号を読み込み、第２の符号（部分符号）を抽出・生成する。
（３）  ＣＰＵは、生成された第２の符号をＲＡＭ上の別の領域に書き込む。
その後、ＣＰＵからの命令によって、第２の符号が復号される。
【００９６】
また、さらにバス上にクライアントＰＣが接続されている場合、クライアントからサーバに、画像符号の指定、画像の解像度指定（ｆｓｉｚ）および表示ウィンドウ指定（ｒｏｆｆ，ｒｓｉｚ）がなされた後、
（１）  ＨＤＤ上に記録された原画像の符号が、ＣＰＵからの命令によってＲＡＭ上に読み込まれる。
（２）  ＣＰＵはＲＡＭ上の符号を読み込み，第２の符号（部分符号）を抽出・生成する。
（３）  ＣＰＵは、生成された第２の符号をＲＡＭ上の別の領域に書き込む。
（４）  そして、ＣＰＵからの命令によって第２の符号がクライアントＰＣに送信され、クライアントＰＣは、第２の符号の復号を行う。
【００９７】
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
【図面の簡単な説明】
【００９８】
【図１】ＪＰＥＧ  ＸＲの処理の概略を説明する図である。
【図２】タイル、マクロブロック、ブロックの構成を説明する図である。
【図３】ＪＰＥＧ  ＸＲ符号化方式におけるプレフィルタ処理と周波数変換処理との対象領域を説明する図である。
【図４】ＪＰＥＧ  ＸＲ符号化方式における周波数の階層を説明する図である。
【図５】表示領域を指定する際の座標等を説明する図である。
【図６】画像におけるタイルと表示領域との関係を示す図である。
【図７】タイルと表示領域との関係の詳細を説明する図（その１）である。
【図８】タイルと表示領域との関係の詳細を説明する図（その２）である。
【図９】タイルと表示領域との関係の詳細を説明する図（その３）である。
【図１０】タイルと表示領域との関係の詳細を説明する図（その４）である。
【図１１】タイルと表示領域との関係の詳細を説明する図（その５）である。
【図１２】本実施の形態に係る画像配信装置及び画像表示装置の機能構成の例を示す図である。
【図１３】タイル符号と領域符号とを説明する図である。
【図１４】画像配信装置１００における画像配信の処理を示すフロー図である。
【図１５】本実施の形態に係る画像配信装置又は画像表示装置をコンピュータにより実現する際の装置構成例を示した図である。
【符号の説明】
【００９９】
１００、１００ａ     画像配信装置
１１０ 領域情報取得手段
１２０ 判定手段
１２８ 縦横
１３０ タイル符号取得手段
１４０ 符号生成手段
１５０ 情報付加手段
１６０ 送信手段
１９０ 画像データベース
２００、２００ａ     画像表示装置
２１０ 符号要求手段
２２０ 受信手段
２３０ 復号手段
２４０ 記憶手段
２５０ 判定手段
２９０ 表示装置
【図１】
2010074446.tif 000003
【図２】
2010074446.tif 000004
【図３】
2010074446.tif 000005
【図４】
2010074446.tif 000006
【図５】
2010074446.tif 000007
【図６】
2010074446.tif 000008
【図７】
2010074446.tif 000009
【図８】
2010074446.tif 000010
【図９】
2010074446.tif 000011
【図１０】
2010074446.tif 000012
【図１１】
2010074446.tif 000013
【図１２】
2010074446.tif 000014
【図１３】
2010074446.tif 000015
【図１４】
2010074446.tif 000016
【図１５】
2010074446.tif 000017