(57)【特許請求の範囲】
【請求項１】
三次元画像を再生するための符号化処理を行う符号化処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された右眼用と左眼用の画像データから奥行き度合いを算出する奥行き度合い算出手段と、入力された右眼用と左眼用の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、入力された画像データを符号化する符号化手段と、前記奥行き度合い算出手段の算出結果に基づいて、前記画像データ合成手段により合成した合成画像データを符号化対象にするか、前記右眼用と左眼用の画像データを符号化対象にするか選択する画像データ選択手段と、を備えることを特徴とする符号化処理装置。
【請求項２】
請求項１記載の符号化処理装置において、前記奥行き度合い算出手段は、入力された２つの画像データ間の相関を算出する相関算出手段を備え、前記相関算出手段の算出結果に基づいて奥行き度合いを算出することを特徴とする符号化処理装置。
【請求項３】
請求項２に記載の符号化処理装置において、前記相関算出手段は画像データの一部の領域を用いて相関を算出することを特徴とする符号化処理装置。
【請求項４】
請求項１乃至請求項３の何れか１項に記載の符号化処理装置において、前記画像データ合成手段は、二個以上の画像データをライン単位で交互に重ねあわせて合成することを特徴とする符号化処理装置。
【請求項５】
請求項１乃至請求項４の何れか１項に記載の符号化処理装置において、前記相関算出手段における相関は画像データの水平方向のライン毎または垂直方向のライン毎に算出されることを特徴とする符号化処理装置。
【請求項６】
請求項５に記載の符号化処理装置において、前記相関算出手段では、入力される画像データの水平方向又は垂直方向が選択されることを特徴とする符号化処理装置。
【請求項７】
請求項１乃至請求項６の何れか１項に記載の符号化処理装置において、前記符号化手段により符号化した符号データがＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする符号化処理装置。
【請求項８】
請求項７に記載の符号化処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする符号化処理装置。
【請求項９】
請求項７に記載の符号化処理装置において、画像データの合成が色の要素単位であることを特徴とする符号化処理装置。
【請求項１０】
請求項７に記載の符号化処理装置において、画像データの合成がタイル単位であることを特徴とする符号化処理装置。
【請求項１１】
三次元画像を再生するための符号化処理を行う符号化処理方法であって、右眼用と左眼用の画像データを入力する画像データ入力ステップと、入力された右眼用と左眼用の画像データから奥行き度合いを算出する奥行き度合い算出ステップと、入力された右眼用と左眼用の画像データをライン単位で交互に重ねあわせて合成する画像データ合成ステップと、入力された画像データを符号化する符号化ステップと、奥行き度合いの算出結果に基づいて、合成した合成画像データを符号化対象にするか、前記右眼用と左眼用の画像データを符号化対象にするか選択する画像データ選択ステップと、を備えることを特徴とする符号化処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像表示用データの奥行き度合いを推定あるいは調整する符号化処理装置、及び符号化処理方法に関する。
【背景技術】
【０００２】
近年、奥行きを有する三次元動画像の再生を行う画像処理装置の開発が行われている。
三次元画像表示用の右眼用と左眼用の画像データがある。両眼立体視可能な典型的な三次元画像表示は、各々異なる視点位置からの画像からなる左右両眼用の画像を観察者の左右眼に分離して提示することにより両眼視差を与えて立体的に観察可能とする。すなわち、左右眼用の２視点からの画像データからなる両眼立体視用画像データを入力として受け取り表示することで両眼立体視用の画像データが表示されるである。
このような画像を基に任意の視点からの２次元の画像を生成する方法として、特許文献１、２には画像観察時に自然に見える２次元画像を生成する方法が提案されている。
また特許文献３には、右眼用と左眼用の立体動画像を、合成器を用いて１水平走査線毎に合成してフレーム画像を形成し、その合成されたフレーム画像をＭＰＥＧ（Moving Picture Image Coding Experts Group）方式のエンコーダを用いて符号化する技術が開示されている。
また特許文献４には、第１及び第２読取手段のそれぞれから順次出力されるライン単位の画像データを交互に出力することで両面合成画像データを出力し、さらに両面合成画像データを圧縮符号化する。符号化両面合成画像データを所定の算術復号化方式で復号化して両面合成画像データとしてライン単位で出力し、両面合成画像データを１ライン毎に交互に分離することで第１の片面画像データ及び第２の片面画像データをそれぞれ得る技術が開示されている。
また特許文献５に異なる点から被写体を見た場合に得られる視差量を光学的に高精度に検出し、被写体の正確な奥行き情報を得ることのできる視差画像撮像装置が開示されている。
【特許文献１】特開２００２−３２４２４９公報
【特許文献２】特開２００２−５６４０７公報
【特許文献３】特開平８−７０４７５号公報
【特許文献４】特開平１１−５５５３０号公報
【特許文献５】特開２００１−１６６１２公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記したような三次元画像表示用の右眼用と左眼用の画像データは夫々同じ対象を表示（出力）したものであり、一般的には互いに相関が高いので符号化時の圧縮率を高めることができる。
しかしながら、立体画像は右眼動画像と左眼動画像の差が大きいほど立体感があるが、立体感が大きく再現されている場合は、一般に、互いの相関は低く互いにマージしても符号化する効果は大きくない。また、動きが激しいような場合などにおいては、両眼で見る対象が変化していくため両者の画像データ間の相関が必ずしも高くならないことが知られている。
そこで、本発明はこのような点を鑑みてなされたものであり、三次元画像表示用データの符号化率の向上を図ることができる符号化処理装置と符号化処理方法を提供する。また、立体画像の奥行き再生を考慮した符号量制御を実現できる符号化処理装置と符号化処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記目的を達成するため、請求項１に記載の発明は、三次元画像を再生するための符号化処理を行う符号化処理装置であって、右眼用と左眼用の画像データを入力する画像データ入力手段と、入力された右眼用と左眼用の画像データから奥行き度合いを算出する奥行き度合い算出手段と、入力された右眼用と左眼用の画像データをライン単位で交互に重ねあわせて合成する画像データ合成手段と、入力された画像データを符号化する符号化手段と、前記奥行き度合い算出手段の算出結果に基づいて、前記画像データ合成手段により合成した合成画像データを符号化対象にするか、前記右眼用と左眼用の画像データを符号化対象にするか選択する画像データ選択手段と、を備えることを特徴とする。
請求項２に記載の発明は、請求項１記載の符号化処理装置において、前記奥行き度合い算出手段は、入力された２つの画像データ間の相関を算出する相関算出手段を備え、前記相関算出手段の算出結果に基づいて奥行き度合いを算出することを特徴とする。
請求項３に記載の発明は、請求項２に記載の符号化処理装置において、前記相関算出手段は画像データの一部の領域を用いて相関を算出することを特徴とする。
【０００５】
請求項４に記載の発明は、請求項１乃至請求項３の何れか１項に記載の符号化処理装置において、前記画像データ合成手段は、二個以上の画像データをライン単位で交互に重ねあわせて合成することを特徴とする。
請求項５に記載の発明は、請求項１乃至請求項４の何れか１項に記載の符号化処理装置において、前記相関算出手段における相関は画像データの水平方向のライン毎または垂直方向のライン毎に算出されることを特徴とする。
請求項６に記載の発明は、請求項５に記載の符号化処理装置において、前記相関算出手段では、入力される画像データの水平方向又は垂直方向が選択されることを特徴とする。
請求項７に記載の発明は、請求項１乃至請求項６の何れか１項に記載の符号化処理装置において、前記符号化手段により符号化した符号データがＪＰＥＧ２０００規格に基づき符号化されたデータであることを特徴とする。
【０００６】
請求項８に記載の発明は、請求項７に記載の符号化処理装置において、画像データを符号化したフレーム符号データを保存するデータ保存手段と、フレーム画像データの符号化後に符号化された符号データに対してフレーム符号データを再構成する再構成手段と、を備えることを特徴とする。
請求項９に記載の発明は、請求項７に記載の符号化処理装置において、画像データの合成が色の要素単位であることを特徴とする。
請求項１０に記載の発明は、請求項７に記載の符号化処理装置において、画像データの合成がタイル単位であることを特徴とする。
請求項１１に記載の発明は、三次元画像を再生するための符号化処理を行う符号化処理方法であって、右眼用と左眼用の画像データを入力する画像データ入力ステップと、入力された右眼用と左眼用の画像データから奥行き度合いを算出する奥行き度合い算出ステップと、入力された右眼用と左眼用の画像データをライン単位で交互に重ねあわせて合成する画像データ合成ステップと、入力された画像データを符号化する符号化ステップと、奥行き度合いの算出結果に基づいて、合成した合成画像データを符号化対象にするか、前記右眼用と左眼用の画像データを符号化対象にするか選択する画像データ選択ステップと、を備えることを特徴とする。
【発明の効果】
【０００７】
請求項１、請求項１１に記載の本発明によれば、符号化効率の高い符号化をすることで符号化効率の高めることができる。選択的に視差をもつ右眼用と左眼用の画像データをまとめて符号化することで符号化効率を高めることができる。
請求項２に記載の本発明によれば、簡易に三次元画像の奥行きの度合いを算出できる。
請求項３に記載の本発明によれば、画像の部分領域を調べるだけで、簡易に全体の奥行き傾向を推定する手段を提供する。
請求項４に記載の本発明によれば、二個以上の画像データをライン単位で交互に重ねあわせるようにすることで画像データを容易に合成することができる。
請求項５に記載の本発明によれば、通常水平ライン毎だけでなく垂直ライン毎に撮影またはスキャンされた画像データを効率的に処理することが可能になる。
【０００８】
請求項６に記載の本発明によれば、画像データの読み込みの順番に合うように選択的に処理ライン方向を選択することで、画像データの読み込みの順番が予め定まってないような場合においても効率的に処理することが可能になる。
請求項７に記載の本発明によれば、ＪＰＥＧ２０００規格に基づく符号化をすることで、標準化されているため汎用的である。
請求項８に記載の本発明によれば、パーサにおいて符号列レベルの編集が容易に実施できる。符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に実施できる。符号データの編集によりフレーム再生を制御することができる。画像データがマージしてある場合には、右眼用と左眼用の画像データをまとめて符号データを制御することができ、効率的な符号データ編集が可能になる。
請求項９に記載の本発明によれば、色の要素ごとは互いに相関が高く、マージした画像データを符号化した時の圧縮率を高まることが期待できる。
請求項１０に記載の本発明によれば、画像データのマージをタイル単位としたことで、例えば大きな画像をタイル単位に分割せずにマージした場合に画像データを保存する記憶容量が大きくなる場合において、画像データを記憶する記憶容量を減らすのに有効となる。
【発明を実施するための最良の形態】
【０００９】
右眼用と左眼用の二つの画像データからなる三次元画像データを符号化対象として符号化を行う場合は、二つの画像データを合成（マージ）して符号化する方式と、ライン毎に画像データを順次読み込んでいきながら順次符号化する方式がある。前者の方式においては、二つの画像データを合成した新たな画像データを生成し、画像データを一度に全て読み込んで符号化するので、記憶容量は多く必要とするが符号化制御は単純である。画像データを一度に全て読み込んで符号化する一般的な符号化方式で実現される。
一方、後者は画像データをライン毎に生成していくため、記憶容量は少なくてすむが符号化制御はやや複雑となる。そこで、本発明では符号化する画像データを選択的に選んで符号化するようにした。
先ず、本発明の第１の実施形態として選択的に右眼用の画像データと左眼用の画像データをライン毎にマージ（合成）した画像を符号化する場合について説明する。
図１は、第１の実施形態としての符号化処理装置の構成を示したブロック図である。
この図１に示す符号化処理装置は、三次元画像入力部（画像データ入力手段）１、画像奥行き算出部（奥行き度合い算出手段）２、三次元（３Ｄ）画像データ選択部（画像データ選択手段）３、三次元（３Ｄ）画像データ合成部（画像データ合成手段）４、符号化処理部（符号化手段）５、奥行き度合い保存部６、画像データ保存部７により構成されている。
三次元画像入力部１は、三次元画像データとして右眼用と左眼用の画像データを読み込み、画像奥行き算出部２では奥行き度合いを算出する。三次元（３Ｄ）画像データ選択部３では算出された奥行き度合いに応じて符号化対象としてマージした画像データとするか夫々独立の画像データにするかを選択する。３Ｄ画像データ合成部４では、画像データをマージして新たな画像データを生成する。符号化処理部５では、３Ｄ画像データ合成部４または３Ｄ画像データ選択部３からの画像データを符号化する。
奥行き度合い保存部６では画像の奥行きデータを保存し、画像データ保存部７では画像データを保存する。
【００１０】
図２は、右眼用と左眼用の画像データを夫々合成（マージ）した画像データの生成について説明するための図である。
二つの画像データを合成して符号化する場合は、二つの画像データをライン毎に交互に重ねあわせて新たな画像データを生成するようにしている。三次元立体像表示を行うための右眼用と左眼用の画像データに見られるように互いに同じようなデータの場合は、画像間の相関が高くライン毎に交互に画像データを合成した合成画像は符号化における圧縮率を高くすることが期待できる。
三次元画像表示用の右眼用と左眼用の画像データのように、複数のデータを合成したデータを符号化することで符号化時の圧縮率を向上することが期待できる。
なお、三次元画像表示用の画像データは、静止画像データに限らず、連続した動画像データであっても構わない。その場合は、図３に示すように右眼用画像データと左眼用画像データを合成して、符号化、復号化、符号データ編集・領域編集などを行った後、右眼用画像データと左眼用画像データに分解すればよい。
また、画像データの合成において圧縮率が高くなるように相関を高めるために合成方法を変更しても構わない。
図４は右眼用画像データと左眼用画像データを合成する場合に列をずらして合成する処理について説明するための図である。この例は、互いに左右方向をずらして併合データを生成する例になっている。これは、三次元立体表示用のデータにおいては、右眼用と左眼用の画像データのように視差のために同じ対象を表す画像の左右の位置が互いにに少しずれているような場合や、データが後述する連続データの符号化において左右方向に連続データが少し動いたような場合に有効となる。
特に、三次元画像データの場合は、近くの対象を撮影した場合に、視差のずれが大きいことから焦点距離に応じて、左右方向にずらす機能を持たせることもできる。例えば、焦点距離が短いときにずらす補正量を大きくするという制御をすることで、合成後の画像データの圧縮率を高めることが期待できる。
画像奥行き算出部２では、右眼用画像データと左眼用画像データ間の相関に基づいて奥行きを算出する。
【００１１】
図５は、本実施形態の選択的に右眼用画像データと左眼用画像データをライン毎にマージした画像データを符号化する処理の原理図である。
画像奥行き算出部２に設けられている相関算出部２ａにおいて右眼用画像データと左眼用画像データの部分画像データ間の相関を算出する。３Ｄ画像データ選択部３では相関算出部２ａにおいて算出した相関値に基づいて、例えば相関が高い場合は右眼用画像データと左眼用画像データと別々に符号化し、相関が低い場合は右眼用画像データと左眼用画像データとをマージした画像データを符号化する。
相関算出部２ａにおける相関値の計算は、例えば、入力画像データをライン単位で読み込み、ライン単位で相関値を算出する。この時、直接ライン単位で三次元（右眼用と左眼用）画像データを読み込み、ライン単位で相関値を算出しても構わない。相関値が算出されたら画像奥行き算出部２においてライン単位の相関値を使用して奥行き度合いを算出する。例えば、相関値の逆数を奥行き度合いとする。画像全体の奥行き度合いは、画像のライン毎に集計しライン毎の平均値として算出する。
【００１２】
右眼用画像データと左眼用画像データの相関値の計算は、より具体的には、以下の（式１）に従って算出する。
Ｓ（ｙ）は、ある画像ｙ番目のライン（ｙは０〜ｌｙ−１の範囲内の数値とする）の相関値である。
0004637672.tif 000002
ここで、画素の（ｘ，ｙ）は座標値であり、Ｉ（ｘ，ｙ）は画像Ｉの座標（ｘ，ｙ）の値であり、Ｊ（ｘ，ｙ）は画像Ｊの座標（ｘ，ｙ）の値である。画像は、ｘの最大値がｌｘ−１、ｙの最大値がｌｙ−１よりなる。
なお、相関値は必ずしも上記に示すような算出式（式１）により求めなくてもよく、画像データ間のデータ値の近さが算出できればよく、例えば、あるｙ番目のラインの相関Ｓ（ｙ）は、以下の式２により求めてよい。その場合はより簡潔になる。
相関値Ｓ（ｙ）は、
0004637672.tif 000003
【００１３】
また、奥行き度合いの算出は次のような関係式により推定する。
奥行き度合いの算出式は、
相関値＜Ｓ→奥行き度合い＝大
相関値＞Ｓ→奥行き度合い＝小      ・・・式３
本実施形態では、画像領域毎の奥行きを算出し、その平均値を画像全体の奥行きとして推定した。また相関値は、予め与えられた値Ｓと比較して小さかった場合に奥行き度合いが大きいと推定し、相関値が予め与えられた値Ｓより大きかった場合に奥行き度合いが小さいと推定した。
また一部の画像領域を調べて奥行き度合いを推定することもできる。一部の画像領域を調べるだけであるので処理効率を高めることができる。
本実施形態では、前述した奥行き度合い推定のための相関値の算出は、例えば、（式１）あるいは（式２）において、先頭ラインからいくつかのライン（ｙｎ）までのラインについて、
0004637672.tif 000004
を算出して、画像全体の相関値として推定してもよい。
ここで、一部の画像領域は、推定精度が重要とあるような関心領域であったり、あるいは、処理効率を優先し、先に読み込んだ画像領域の画像データの相関を計算するのであっても構わない。全ての画像データを分析しないで済ますことは、処理効率を向上させるという大きな効果がある。
【００１４】
図６は第１の実施形態の符号化処理装置において選択的に右眼用と左眼用の画像データをライン毎にマージする処理を示したフローチャートである。
この場合は、先ず、三次元画像データである右眼用と左眼用の画像データを入力する（Ｓ１）。次の意、右眼用と左眼用の画像データの一部または全部の領域の相関値を算出し、続くステップＳ３において奥行き度合いを判断するようにしている。
ここで、ステップＳ３において相関値が予め設定されている閾値より小さい場合（Ｓ３でＹ）、右眼用と左眼用の画像データをマージする（Ｓ４）。そしてマージした画像データを符号化した後（Ｓ５）、符号化したデータを復号化して（Ｓ６）、マージされた画像データを分解して元の右眼用と左眼用の画像データに戻して（Ｓ７）、右眼用と左眼用の画像データを使用して三次元画像を再生する（Ｓ８）。
一方、ステップＳ３において、相関値値が予め設定されている閾値より大きい場合（Ｓ３でＮ）、右眼用と左眼用の画像データを夫々符号化した後（Ｓ９）、符号化したデータを夫々復号化して（Ｓ１０）、ステップＳ８において、右眼用と左眼用の画像データを使用して三次元画像を再生するようにしている。
【００１５】
上記ステップＳ３における奥行き度合いの判断は、例えば、画像データが輝度情報と色差情報と分割されて構成されているときに、同じ輝度情報同士のデータ間で相関を比較する。画像データは同じ性質をもつ類似なデータであることが前提である。そこで、奥行き度合いの判断では、相関ではなく一般的な類似度を使用することもできる。
例えば、類似度として画像データの分布（濃度）ヒストグラムが互いに近いかどうかによって判別する。類似度判定は、入力処理部で入力された二つの画像データを用いて、上記例のように直接的に、画素単位に比較するのでも構わないし、画像の特徴（特徴を表す分布）で比較しても構わない。例えば、色分布などの特徴量（平均、分散などの統計的特徴）を互いに比較するのでも構わない。また、特定領域であっても全体であっても構わない。画素単位に比較する場合は、判定対象の画像データの二値画像データを生成し互いに比較するのでも構わない。また、使用者が画像データを比較して指定するのでも構わない。
類似度が近い場合は、マージして符号化するが、そうでない場合は、マージしないで符号化する。そして、ステップＳ６、Ｓ１０の復号化処理においてかかる判定結果を反映させる。尚、類似度が近いかどうかの判定基準は、合成して符号化することによって個別に符号化するよりも圧縮率を上げることができるかどうかの推測によって決める。
このように第１の実施形態に係る符号化処理装置においては、三次元画像データとして視野の異なる二つの画像データ（右眼用と左眼用画像データ）間の相関（類似度）を調べ、相関が高い場合だけ、右眼用と左眼用の画像データをライン単位で互いにマージすることで符号化率を高めることできる。
【００１６】
次に、本発明の第２の実施形態として奥行きを考慮した画像データ編集による符号量の調整について説明する
図７は第２の実施形態の符号化処理装置として残符号量を考慮して奥行き調整処理を行うブロックの構成を示した図である。なお、図１と同一部位には同一符号を付す。
この図７に示す符号化処理装置は、三次元画像入力部（画像データ入力手段）１、画像奥行き算出部（奥行き算出手段）２、画像編集部（画像データ編集手段）１１、符号化処理部（符号化手段）５、奥行き度合い保存部６、画像データ保存部（画像データ保存手段）７、残符号量算出部（残符号量算出手段）１２、残符号量保存部１３により構成されている。
三次元画像入力部１から三次元画像データである右眼用と左眼用の画像データを入力し、画像奥行き算出部２で入力された画像データを再生した場合の奥行き度合いを算出し、この奥行き度合いと残符号量保存部１３の残符号量に基づいて画像編集部１１で画像データの編集を行うようにしている。
残符号量は、画像データ保存部７に保存可能な記憶容量である。残符号量は残符号量算出部１２において、画像データ保存部７の記憶容量を測定することで算出することができる。符号化処理部５では、画像編集部１１において編集後の画像データを符号化する。このとき、三次元画像データである右眼用と左眼用の画像データは、前述したようにマージされていることもあるし、そうでないこともある。
このように構成される第２の実施形態に係る符号化処理装置は、画像編集部１１では奥行き情報と残符号量に基づいて画像データの編集を決定するようにした点に特徴がある。
【００１７】
図８は、残符号量を考慮した奥行きを調整する原理図である。
画像奥行き算出部２の相関算出部２ａで三次元画像である右眼用と左眼用の画像データ部分画像データの相関値を算出し、この三次元画像再生時の奥行き度合いを示す相関値と残符号量に基づいて、画像データの部分画像を編集して新しい画像データを構成して符号化する。本実施形態では右眼用と左眼用の画像データは別々に符号化しているが、両者はマージして新しい画像データを構成して符号化しても良い。また、本実施形態では画像編集部１１において部分領域の右眼用の画像データと左眼用の画像データとが同じになるように編集し、簡易に三次元表示画像の奥行きをなくす調整をしている。
このように第２の実施形態では、符号量を調整するのに再生画像の奥行き度合いを考慮しているところに特徴がある。
このように画像データを編集することで奥行きを調整することは可能である。三次元再生画像の奥行きは、一般には左眼用画像データの描画内容の位置を対応する右眼用画像データの描画内容に対して、描画位置を調整することで奥行きを調整することができる。典型的には、描画対象の描画位置を同じにする（同一の描画内容にする）ことで奥行きをなくすことができる。
図９は、奥符号量の制約に基づいて再生画像の奥行きを調整する処理を示したフローチャートである。
この場合は、三次元画像である右眼用と左眼用の画像データを入力し（Ｓ２１）、残符号量に余裕があるか否かの判別を行い（Ｓ２２）、残符号量に余裕がない場合は（Ｓ２２でＮ）、画像属性毎に画像データの奥行き度合いを算出して（Ｓ２３）、奥行き度合いを下げるように画像データを編集する（Ｓ２４）。例えば、右眼用と左眼用の画像データが同じになるように編集する。この後、符号化処理（Ｓ２５）、復号化処理（Ｓ２６）を行い、再生処理（Ｓ２７）を行うようにしている。
なお、図９に示した処理フローでは、ステップＳ２２において、残符号容量に余裕が無いと判断した場合は、ステップＳ２３において画像属性毎に画像データの奥行き度合いを算出し、ステップＳ２４において、奥行き度合いを下げるように画像データを補正しているが、ステップＳ２２において、残符号容量に余裕が無いと判断した場合に右眼用画像データと左眼用画像データをマージする処理を行うようにしても良い、その場合は、マージ処理を行った後、ステップＳ２３以降の処理を行うようにすればよい。
ここで、画像属性毎に奥行き調整処理を行う場合について説明しておく。
【００１８】
図１０は画像属性毎の奥行き調整処理ブロック構成図である。
この図１０に示す奥行き調整処理ブロックは、三次元画像入力部２１、画像データ保存部２２、属性毎領域抽出部２３、画像属性領域データ保存部２４、画像属性毎奥行き算出部２５、画像属性毎奥行きデータ保存部２６、画像属性毎奥行き評価部２７、画像属性毎画像データ編集部２８により構成されている。
三次元画像入力部２１から三次元画像データを入力し、画像データ保存部２２に画像データを保存し、属性毎領域抽出部２３にて画像属性領域情報を抽出する。画像属性毎奥行き算出部２５は、図１１に示すように、画像属性毎画像抽出部３１、ライン毎画像データ抽出部３２、相関算出部３３、奥行き算出部３４、ライン毎画像データ保存部３５、相関データ保存部３６により構成され、画像属性毎画像抽出部３１にて属性領域の画像データを読み込み、ライン毎画像データ抽出部３２で画像データをライン単位で読み込み、相関算出部３３で、ライン単位で相関値を算出する。そして、奥行き算出部３４で奥行きデータを算出する。相関が算出されたらライン単位の相関値を相関データ保存部３６に保存する。奥行き算出部３４では、属性領域の画像データが保存されたライン単位の相関値を用いて奥行き度合いを算出する。また、奥行き算出部３４では保存されたライン単位の相関値を用いて相関値の逆数を画像のライン毎に集計し、ライン毎の平均値を算出し、画像全体の奥行き度合いを算出するようにしている。
このようにして画像属性毎奥行き算出部２５において算出した画像属性毎の奥行き情報は画像属性毎奥行きデータ保存部２６に保存される。画像属性毎奥行き評価部２７は、画像属性の奥行きの有無、あるいは、奥行きのレベルを、基準値を使用して評価する。例えば、奥行きレベルとして、大／中／小の判定を行う。
【００１９】
図１２は、画像領域毎の奥行き調整の原理図である。
右眼用と左眼用画像データの画像属性の特定領域の三次元画像データを抽出し、画像属性毎奥行き算出部２５内の相関算出部３３で部分領域の画像データ間の相関を計算する。
そして、画像属性毎画像データ編集部２８において相関算出部３３で求めた相関値を用いて画像データを編集する。
画像属性毎画像データ編集部２８における編集は、一方の画像データの画像属性領域に対して編集を施すようにする。簡易に三次元表示画像の奥行きを自動的に調整する手段を提供する。典型的な編集としては、領域別に右眼用の画像データと左眼用の画像データを同じにする編集を施し、簡易に三次元表示画像の奥行きをなくすように調整する調整手段を設けるようにする。つまり、三次元画像表示を二次元画像表示に簡易に変換する調整手段を備えるようにする。また文字を認識するのに奥行きがある場合には、視差量が大きいため目の疲労が生じる。そこで、文字画像領域が含まれている場合は、文字画像領域の奥行きが少なくなるように好適には無くすように調整する調整手段を備えるようにすると、視差量をなくすことができ有効である。
図１３は画像属性毎に奥行き調整する処理を示したフローチャートである。
この場合、画像属性毎に画像データの奥行き度合いを算出する算出処理を行った後（Ｓ３１）、画像属性が文字である画像領域に対して奥行き度合いを算出する（Ｓ３２）。そして、前記奥行き度合いが「０」でない場合、右眼用と左眼用の画像データを同じにして（Ｓ３３）、処理を終えるようにする。
なお、この図１３に示す処理フローにおいては、文字画像領域の奥行きをなくす処理について記述しているが、画像属性領域の画像データに対する編集としては、文字属性領域の編集に限定されるわけではない。また、この処理フローでは画像属性領域としているが画像領域でも構わない。注目領域などのある特定の画像領域の画像データの奥行き度合いは残し、残りの領域は奥行きをなくすように画像データを調整しても構わない。
【００２０】
ここで、図１４に示すフローチャートを用いて、図１３に示したステップＳ３１において実行する奥行き度合いを算出する算出処理について説明しておく。
この場合は、三次元画像データである右眼用と左眼用の画像データを入力し（Ｓ４１）、右眼用と左眼用どちらかの三次元画像データを分析し属性毎の領域を算出する（Ｓ４２）。
次に、右眼用と左眼用の画像データのライン毎に入力し（Ｓ４３）、夫々の画像データをライン毎に相関値を算出する（Ｓ４４）。そして、相関値の逆数を画像のライン毎の奥行き度合いとし（Ｓ４５）、相関値の逆数を画像のライン毎に集計しライン毎の平均値を算出して該領域の奥行き度合いとする（Ｓ４６）。そして続くステップＳ４７において、領域内の全ての画像を行ったかどうかの判断を行い、領域内の全ての画像に対して行っていなければ（Ｓ４７でＮ）、ステップＳ４３に戻って処理を行う。
一方、ステップＳ４７において領域内の全ての画像に行ったと判断した場合は（Ｓ４７でＹ）、続くステップＳ４８において全領域に対して行った否かの判断を行い、全領域に対して領域毎に行っていなければ（Ｓ４８でＮ）、領域を変更した後（Ｓ４９）、ステップＳ４３に戻って再度処理を行う。一方、全領域に対して領域毎に行っていれば（Ｓ４８でＹ）、処理を終了する。
このように第２の実施形態に係る符号化処理装置においては、右眼用と左眼用の画像データ間の相関が再生時の奥行き度合いの大きさと反比例の関係にあることに着目して、残符号量と奥行き度合いに基づいて入力画像データを編集して符号量制御することで、三次元画像の再生画質を考慮した符号量制御を行うようにしている。例えば、部分的に右眼用と左眼用の二つの画像データが同じになるように画像データを一部修正することで符号化における圧縮率の向上を図ることができる。
【００２１】
次に、本発明の第３の実施形態としてライン方向を決めて右眼用と左眼用の画像データをライン毎にマージして合成する場合について説明する。
本発明の符号化処理装置の基本的な構成は、画像データをライン単位で読み込み、ライン単位奥行き度合いを評価して選択的にライン単位でマージして、マージした画像データに対して符号化する。本実施形態の符号化処理装置における画像データの読み込み、奥行き度合いの算出と評価、あるいは符号データのマージは全て画像データをライン単位で処理をする。そのため、夫々のライン単位の画像データが、画像データの読み込み方向と一致していることが望ましい。例えば、ライン単位で読み込みながらライン単位でマージした画像データを合成すれば、処理は効率化できる。
そこで、本実施形態においては、画像データの読み込み方向（水平方向または垂直方向）とその後工程の画像データのライン単位の処理のラインの方向が一致する構成し、処理効率を上げるようにすることも可能である。
図１５は、画像データを読み込む方向（水平方向または垂直方向）について説明するための図である。撮影またはスキャンされた画像データをそのままの順番で読み込んで処理できると処理を効率的に進めることができる。全ての画像データを読み込んでから処理をするとなると、画像データを一時保存するためのメモリを必要とするからである。
本実施形態では、水平ライン毎だけでなく垂直ライン毎に右眼用と左眼用の画像データを読み込んで、ライン単位の互いの相関を算出することで、画像データの読み込み（撮影またはスキャン）の順番に合わせた効率的な処理を実現することができる。
なお、入力される画像データの順番に処理できるように、読み込み方向が、水平方向と垂直方向が選択的にできるように構成してもよい。画像データの読み込みの順番に合うように選択的に処理ライン方向を選択することで、画像データの読み込みの順番が予め定まってないような場合においても効率的に処理することができる。
【００２２】
次に、本発明の第４の実施形態として符号レベルでの奥行きの編集について説明する。
図１６は、合成する画像データがタイル単位である場合を示した図である。
右眼用と左眼用の画像データが予めブロック（タイル）単位で分割され、ブロック単位の画像データ毎に独立に符号化されるような場合にあっては、マージする画像データもブロック（タイル）単位であることを示している。特に大きな画像をタイル単位に分割せずにマージした場合の画像データの容量が大きい場合には、画像データ保存する記憶容量が大きくなるため、ブロック単位で分割してマージすることが有効となる。
図１７は、合成する画像データがコンポーネント（色の要素）単位である場合を示した図である。
図１７においては右眼用と左眼用の画像データが夫々３つのコンポーネントからなる画像データで構成されている。色の要素ごと（例えば、ＲＧＢ三要素毎）の合成でないと画像データ間の相関が低いからである。即ち、色の要素ごとは互いに相関が高く、マージした画像データを符号化した時の圧縮率を高まることが期待できる。逆に異なるコンポーネント間の画像データ同士は、相関が高くなることは期待できない。なお、本実施形態ではコンポーネントの数は３つとしているが、複数個からなっていればよく４つであっても構わない。
【００２３】
図１８は、第５の実施形態に係る符号列編集による奥行き度合い調整の原理図である。
二つの画像データを合成する場合に、合成する画像データが互いに分離されているように画像データがブロック（タイル）分割されていて、夫々のブロック（タイル）毎に独立に符号化され、独立したブロック毎に独立した符号データが生成され、符号データレベルで編集する。
係る符号化は前述したＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  １５４４４−１）で符号化されている場合には、符号レベルでの編集を容易に進めることができる。本実施形態では、合成された画像データを符号化する方式は、別々に独立に符号化するのと比較して、両者のデータがまとまっていることから、領域部分的な符号量制御が容易であるというところにも着目した。
ＪＰＥＧ２０００規格の符号化によれば、符号レベルでの編集が容易に実現できる。符号レベルと対応画像空間上での領域対応がなされているため、符号レベルの領域処理も容易に実施できるのである。例えば、前記領域とそれ以外の領域とで異なる圧縮率により前記符号化する。特に、注目領域とそうでない領域とで異なる圧縮率で符号化する。
以下、ＪＰＥＧ２０００規格に基づき符号化について説明する。
ＪＰＥＧ２０００規格の符号化は、おおよそ以下の手順でなされる。
先ず、インターレース画像のフレームデータを、Ｙ，Ｃｒ，Ｃｂの色成分毎のデータに変換する。次に各色成分の色データに対して、次元離散ウェーブレット変換を施す。これにより得られるウェーブレット係数にＪＰＥＧ２０００に規定のスカラ量子化処理を施す。次に、スカラ量子化されたデータに対しＪＰＥＧ２０００に規定のエントロピー符号化処理（いわゆる係数モデリングによる算術符号化処理）を施す。そして全ての色データに対して上記のような処理を施した後、ＪＰＥＧ２０００で規定する符号列を生成するようにしている。
また、復号化処理はこの逆の手順である。
勿論、これらの処理は、ハードウェア回路により実現しても良い。処理の高速化が図られる。なお、ＪＰＥＧ２０００に準拠する符号化処理を全てハードウェア回路で実現する画像処理装置は、既に存在する。
【００２４】
図１９はＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図であり、色空間変換・逆変換部１１０、２次元ウェーブレット変換・逆変換部１１１、量子化・逆量子化部１１２、エントロピー符号化・復号化部１１３、タグ処理部１１４により構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を各々用いている。
ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。
また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部１１４と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコード・ストリームとして生成され、伸長動作時には伸長に必要なコード・ストリームの解釈が行われる。そして、コード・ストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、図２３に示したようにブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる。
なお、原画像の入出力部分には、色空間変換部が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。
以下、ＪＰＥＧ２０００アルゴリズムについて、少し詳しく説明する。
カラー画像は、一般に図２０に示すように、原画像の各コンポーネント（ここではＲＧＢ原色系）が、矩形をした領域（タイル）によって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
符号化時には、各コンポーネントの各タイル１２０のデータが、図１９の色空間変換部１１０に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１１１で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００２５】
図２１には、デコンポジション・レベル数が３の場合の各デコンポジション・レベルにおけるサブ・バンドを示している。即ち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
さらに図２３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。
例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１９の量子化部１１２で対象ビット周辺のビットからコンテキストが生成される。
量子化の処理が終わったウェーブレット係数は、個々のサブ・バンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図２３に示したように一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００２６】
エントロピー符号化部１１３（図１９参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
エントロピー符号化部１１３で形成される符号データの最小単位は、パケットと呼ばれる。パケットは、プログレッシブ順にシーケンス化され、これが画像ヘッダセグメントのなかの１つで示される。パケットは、あるプログレッシブ順データ、例えば、それぞれ、領域、解像度、レイヤ、および色成分によって配列される。即ち、ＪＰＥＧ２０００規格では、画質（レイヤ（Ｌ））、解像度（Ｒ）、コンポーネント（Ｃ）、位置（プレシンクト（Ｐ））という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッションが定義されている。
（１）ＬＲＣＰ プログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質のプログレッションが実現出来る。レイヤプログレッションとも呼ばれる。
（２）ＲＬＣＰ プログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度のプログレッションが実現出来る。
ＲＰＣＬ プログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、ＲＬＣＰ同様、解像度のプログレッションであるが、特定位置の優先度を高くすることが出来る。
（３）ＰＣＲＬ プログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置のプログレッションが実現出来る。
（４）ＣＰＲＬ プログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に最初にグレーの画像を再現するようなコンポーネントのプログレッションが実現出来る。
このようにＪＰＥＧ２０００規格では、画像は領域（タイルまたはプレシンクトといった画像構成要素）、解像度、階層（レイヤ）、色成分に分割され、夫々が独立してパケットとして符号化される。これらのパケットはデコードすることなしに、コード・ストリームから識別され抽出され得るところに特徴がある。
最後にタグ処理部（符号列形成部）は、エントロピコーダ部からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
【００２７】
図２２には、コード・ストリームの構造を簡単に示した。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。
図１９を用いて簡単に説明する。この場合、タグ処理部１１４は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。
コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１２でその対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。
エントロピー復号化部１１３で、このコンテキストとコード・ストリームから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１１で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部によって元の表色系のデータに変換される。
このように、ＪＰＥＧ２０００の符号データは、５通りのプログレッションをもつパケット単位で階層構成をもつため、階層単位で該階層を構成するパケットを削除するなどの符号データの編集処理を容易に実施することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態としての符号化処理装置の構成を示したブロック図である。
【図２】右眼用と左眼用の画像データを夫々合成（マージ）した画像データの生成について説明するための図である。
【図３】動画像データにおけるマージについて説明するための図である。
【図４】右眼用画像データと左眼用画像データを合成する場合に列をずらして合成する処理について説明するための図である。
【図５】選択的に右眼用画像データと左眼用画像データをライン毎にマージした画像データを符号化する処理の原理図である。
【図６】第１の実施形態の符号化処理装置において選択的に右眼用と左眼用の画像データをライン毎にマージする処理を示したフローチャートである。
【図７】第２の実施形態の符号化処理装置として残符号量を考慮して奥行き調整処理を行うブロックの構成を示した図である。
【図８】残符号量を考慮した奥行きを調整する原理図である。
【図９】奥符号量の制約に基づいて再生画像の奥行きを調整する処理を示したフローチャートである。
【図１０】画像属性毎の奥行き調整処理ブロック構成図である。
【図１１】画像属性毎に奥行き度合いを算出する算出処理ブロックの構成を示した図である。
【図１２】画像領域毎の奥行き調整の原理図である。
【図１３】画像属性毎に奥行き調整する処理を示したフローチャートである。
【図１４】画像属性毎に奥行き度合いを算出する算出処理を示したフローチャートである。
【図１５】画像データを読み込む方向（水平方向または垂直方向）について説明するための図である。
【図１６】合成する画像データがタイル単位である場合を示した図である。
【図１７】合成する画像データがコンポーネント（色の要素）単位である場合を示した図である。
【図１８】第５の実施形態に係る符号列編集による奥行き度合い調整の原理図である。
【図１９】ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図である。
【図２０】タイル分割の基本を説明するための図である。
【図２１】デコンポジション・レベルとサブ・バンドを説明するための図である。
【図２２】コード・ストリームの構造を説明するための図である。
【図２３】プレシンクトとコード・ブロックを説明するための図である。
【符号の説明】
【００２９】
１…三次元画像入力部、２…画像奥行き算出部、３…３Ｄ画像データ選択部、２ａ…相関算出部、４…３Ｄ画像データ合成部、５…符号化処理部、６…保存部、７…画像データ保存部、１１…画像編集部、１２…残符号量算出部、１３…残符号量保存部、２１…三次元画像入力部、２２…画像データ保存部、２３…属性毎領域抽出部、２４…画像属性領域データ保存部、２５…画像属性毎奥行き算出部、２６…画像属性毎奥行きデータ保存部、２７…画像属性毎奥行き評価部、２８…画像属性毎画像データ編集部、３１…画像属性毎画像抽出部、３２…ライン毎画像データ抽出部、３３…相関算出部、３４…算出部、３５…ライン毎画像データ保存部、３６…相関データ保存部、１１０…色空間変換・逆変換部、１１１…２次元ウェーブレット変換・逆変換部、１１２…量子化・逆量子化部、１１３…エントロピー符号化・復号化部、１１４…タグ処理部
【図１】
0004637672.tif 000005
【図２】
0004637672.tif 000006
【図３】
0004637672.tif 000007
【図４】
0004637672.tif 000008
【図５】
0004637672.tif 000009
【図６】
0004637672.tif 000010
【図７】
0004637672.tif 000011
【図８】
0004637672.tif 000012
【図９】
0004637672.tif 000013
【図１０】
0004637672.tif 000014
【図１１】
0004637672.tif 000015
【図１２】
0004637672.tif 000016
【図１３】
0004637672.tif 000017
【図１４】
0004637672.tif 000018
【図１５】
0004637672.tif 000019
【図１６】
0004637672.tif 000020
【図１７】
0004637672.tif 000021
【図１８】
0004637672.tif 000022
【図１９】
0004637672.tif 000023
【図２０】
0004637672.tif 000024
【図２１】
0004637672.tif 000025
【図２２】
0004637672.tif 000026
【図２３】
0004637672.tif 000027