(57)【要約】本発明のステレオ画像符号化装置１０は、第１の視点から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分に、第２の視点から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する周波数変換部２１と、第１の画像データと第２の画像データとを比較して、対応関係を分析する対応関係分析部２２と、対応関係に基づいて、第１の周波数成分と第２の周波数成分とに、選択的に回転処理による対称的な視差補償を実行して、視差補償した第１の周波数成分と視差補償した第２の周波数成分を取得する視差補償実行部２３と、分析した対応関係に基づいて、第１の周波数成分と、第２の周波数成分と、視差補償した第１の周波数成分と視差補償した第２の周波数成分とを選択的に符号化する符号化部２４と、を含む。【選択図】図４
2011021240.tif 000002
【特許請求の範囲】
【請求項１】
二つの異なる視点から得られた画像データを符号化するステレオ画像符号化方法であって、
第１の視点から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分に変換し、第２の視点から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する周波数変換ステップと、
前記第１の画像データと前記第２の画像データとを比較して、対応関係を分析する対応関係分析ステップと、
前記対応関係分析ステップで分析した対応関係に基づいて、前記第１の周波数成分と前記第２の周波数成分とに選択的に、回転処理による対称的な視差補償を実行して視差補償した第１の周波数成分と視差補償した第２の周波数成分とを取得する視差補償実行ステップと、
前記対応関係分析ステップで分析した対応関係に基づいて、前記第１の周波数成分と、前記第２の周波数成分と、前記視差補償した第１の周波数成分と前記視差補償した第２の周波数成分とを選択的に符号化する符号化ステップと、
を含む、前記ステレオ画像符号化方法。
【請求項２】
前記周波数変換ステップは、サブバンド分割を実行するステップを含む、請求項１記載のステレオ画像符号化方法。
【請求項３】
前記対応関係分析ステップは、ステレオ・マッチングに基づいて対応関係を分析するステップを含む、請求項１記載のステレオ画像符号化方法。
【請求項４】
前記対応関係分析ステップは、前記第１の周波数成分と前記第２の周波数成分のうち、低解像度の周波数成分を比較して対応関係を分析するステップを含む、請求項１記載のステレオ画像符号化方法。
【請求項５】
前記対応関係分析ステップは、前記第１の画像データと前記第２の画像データに含まれる奥行き情報に基づいて対応関係を分析するステップを含む、請求項１記載のステレオ画像符号化方法。
【請求項６】
前記対応関係分析ステップは、分析した対応関係に基づいて、前記第１の周波数成分と第２の周波数成分とを視差補償ブロックと非視差補償ブロックに分割するステップを含み、
前記視差補償実行ステップは、前記第１の周波数成分と第２の周波数成分の前記視差補償ブロックに対して視差補償を実行して視差補償した第１の周波数成分と視差補償した第２の周波数成分を生成するステップを含み、
前記符号化ステップは、視差補償した第１の周波数成分と視差補償した第２の周波数成分と前記非視差補償ブロックに該当する前記第１の周波数成分と前記第２の周波数成分とを、前記視差補償ブロックと前記非視差補償ブロックの分割の情報とともに独立して符号化するステップを含む、請求項１記載のステレオ画像符号化方法。
【請求項７】
前記分割するステップは、同一の解像度のサブバンドには同一のブロック分割の方法を実行する、または、所与のサブバンドのブロック分割の方法に基づいて他のサブバンドのブロック分割の方法を予測し、
前記符号化ステップは、ブロック分割の方法が予測されたサブバンドについては、ブロック分割の方法の予測残差を符号化する、請求項６記載のステレオ画像符号化方法。
【請求項８】
二つの異なる視点から得られた画像データを符号化するステレオ画像符号化装置であって、
第１の視点から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分に変換し、第２の視点から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する周波数変換部と、
前記第１の画像データと前記第２の画像データとを比較して、対応関係を分析する対応関係分析部と、
前記対応関係分析部で分析した対応関係に基づいて、前記第１の周波数成分と前記第２の周波数成分とに選択的に、回転処理による対称的な視差補償を実行して、視差補償した第１の周波数成分と視差補償した第２の周波数成分を取得する視差補償実行部と、
前記対応関係分析部で分析した対応関係に基づいて、前記第１の周波数成分と、前記第２の周波数成分と、前記視差補償した第１の周波数成分と前記視差補償した第２の周波数成分とを選択的に符号化する符号化部と、
を含む、前記ステレオ画像符号化装置。
【請求項９】
コンピュータに二つの異なる視点から得られた画像データを符号化するステレオ画像符号化処理を実行させるステレオ画像符号化プログラムであって、
前記コンピュータを、
第１の視点から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分に、第２の視点から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する周波数変換部と、
前記第１の画像データと前記第２の画像データとを比較して、対応関係を分析する対応関係分析部と、
前記対応関係分析部で分析した対応関係に基づいて、前記第１の周波数成分と前記第２の周波数成分とに選択的に、回転処理による対称的な視差補償を実行して、視差補償した第１の周波数成分と視差補償した第２の周波数成分を取得する視差補償実行部と、
前記対応関係分析部で分析した対応関係に基づいて、前記第１の周波数成分と、前記第２の周波数成分と、前記視差補償した第１の周波数成分と前記視差補償した第２の周波数成分とを選択的に符号化する符号化部と、
して機能させる、前記ステレオ画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二つの異なる視点から得られたステレオ画像データを符号化するステレオ画像符号化方法、ステレオ画像符号化装置及びステレオ画像符号化プログラムに関する。
【背景技術】
【０００２】
３次元の奥行きをもった映像を表示する３次元ディスプレイ方式として、例えば、偏光フィルタ方式（ｐｏｌａｒｉｚｉｎｇ  ｆｉｌｔｅｒ  ｓｙｓｔｅｍ）、カラーフィルタ方式（ｃｏｌｏｒ  ｆｉｌｔｅｒ  ｓｙｓｔｅｍ）、時分割方式（ｔｉｍｅ−ｍｕｌｔｉｐｌｅｘｅｄ  ｓｙｓｔｅｍ）などがあげられる（非特許文献１参照）。これらの方式はいずれも、映像を見る人間の左右の目に対して、例えば、図８に示すように、対象物１０１について、左目の網膜に写る像１０２と右目の網膜に写る像１０３とが異なるように、異なる映像を提示し、右目と左目で見ることができる対象物の位置または視方向の差、すなわち、両眼視差（Ｂｉｎｏｃｕｌａｒ  ｐａｒａｌｌａｘ）によって立体視（ｓｔｅｒｅｏｓｃｏｐｉｃ  ｖｉｓｉｏｎ）を実現している。【０００３】
２つの視点の符号化には、ＭＰＥＧ−２  ＭＶＰ  （Ｍｕｌｔｉｖｉｅｗ  Ｐｒｏｆｉｌｅ）やＭＰＥＧ−４  ＡＶＣ  ＭＶＣ  （Ｍｕｌｔｉｖｉｅｗ  Ｃｏｄｉｎｇ）などを用いることができる。これらの方法では、動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）に似た視差補償（ｖｉｅｗ  ｃｏｍｐｅｎｓａｔｉｏｎ）を用いて、視点間の冗長性を利用している（非特許文献２、４、５を参照）。【０００４】
具体的には、左右どちらか一方の視点の画像を独立して復号することができるベース・ビュー画像として符号化し、他方の視点の画像をベース・ビュー画像を参照して視差補償することができる、ノン・ベース・ビュー画像として符号化する多視点画像符号化装置が開示されている（例えば、特許文献１参照）。このような視差補償を、参照元の画像と参照先の画像を視点に応じて区別して非対称に実行することから、非対称的な視差補償と呼ぶ。【０００５】
かかる多視点画像符号化装置は、例えば図９に示すように、まず、時間ｔ１において、ベース・ビュー画像である左目用画像５１をフレーム内符号化する。ノン・ベース・ビュー画像である右目用画像５２は、左目用画像５１を参照元とする視差補償により、フレーム間符号化する。次に、時間ｔ３において、左目用画像５５は、前の左目用画像５１を参照元とする動き補償によりフレーム間符号化を行なう。右目用画像５６は、前の右目用画像５２に対して動き補償により、または、左目用画像５５に対して視差補償によりフレーム間符号化を行う。次に、時間ｔ２において、左目用画像５３は、既に符号化した左目用画像５１、５５の復号画像を用いて動き補償によるフレーム間符号化を行う。右目用画像５４は、既に符号化した右目用画像５２、５６の復号画像を用いて動き補償によるフレーム間符号化を行う。さらに、これらの符号化を実行する際、ブロック・マッチングを実行して予測誤差を測定し、予測誤差が所定の閾値を超えた場合には、動き補償、視差補償などを行わずに、フレーム内符号化を実行するなどして、世代耐性を保つようにしている（例えば、特許文献１）。【０００６】
一般に、動き補償は、予測元の絵と比べて、予測先の絵の品質を低下させやすい。非対称的な視差補償においても同様に、参照元の視点の画像と比べて、参照先の視点の画像の品質を低下させやすい。このため、ＭＰＥＧ−２  ＭＶＰやＡＶＣ  ＭＶＣのような、非対称的な視差補償を用いる符号化方法では、ベース・ビュー画像として用いる一方の視点、例えば左目の画像に比べて、ノン・ベース・ビュー画像として用いる他方の視点、例えば右目の画像は品質が低下しやすいという問題がある。この問題を解決するため、ベース・ビュー画像として用いる画像データを量子化する際に用いる量子化ステップのサイズを、ノン・ベース・ビュー画像として用いる画像データを量子化する際に用いる量子化ステップのサイズより小さくするようにして、ベース・ビュー画像として用いる画像データの質を高く保つ符号化装置も開示されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−１９１３９４号公報
【特許文献２】特開平１１−３４１５２０号公報
【非特許文献】
【０００８】
【非特許文献１】日経エレクトロニクス２００８年９月２２日号，  “３Ｄディスプレイ，３度目の正直”
【非特許文献２】ＩＳＯ／ＩＥＣ  １３８１８−２：２０００，  “Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −−  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：  Ｖｉｄｅｏ”
【非特許文献３】ＩＳＯ／ＩＥＣ  １３８１８−７：２００６，  “Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −−  Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ  −−  Ｐａｒｔ  ７：  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  （ＡＡＣ）”
【非特許文献４】ＩＳＯ／ＩＥＣ  １４４９６−１０：２００８，  “Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −−  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  −−  Ｐａｒｔ  １０：  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”
【非特許文献５】ＩＳＯ／ＩＥＣ  １４４９６−１０：２００８／ＦＤＡＭ  １：２００８，  “Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −−  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  −−  Ｐａｒｔ  １０：  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ，  ＡＭＥＮＤＭＥＮＴ  １：  Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”
【非特許文献６】ＩＳＯ／ＩＥＣ  １５４４４−１：２００４，  “Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  −−  ＪＰＥＧ  ２０００  ｉｍａｇｅ  ｃｏｄｉｎｇ  ｓｙｓｔｅｍ：  Ｃｏｒｅ  ｃｏｄｉｎｇ  ｓｉｓｔｅｍ”
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載の符号化装置のように、随時、ブロック・マッチングを実行して予測誤差を測定し、予測誤差が所定の閾値を超えた場合には、フレーム間符号化ではなく、フレーム内符号化を実行するとしても、閾値を超えない程度に高い予測誤差が連続すると、世代耐性を保つことは困難になる。さらに、閾値を小さく設けると、動き補償、視差補償などを実行する頻度が低くなり、符号化効率が下がるという課題がある。さらに、参照元の画像と比較して参照先の画像の品質が低下しやすいという課題は依然として解決することはできない。【００１０】
また、特許文献２に記載の符号化装置のように、ノン・ベース・ビューの予測残差の品質をベース・ビューの画像の品質に近づけるように符号化しても、ベース・ビュー画像に対するノン・ベース・ビュー画像の質は低くなり、ベース・ビュー画像とノン・ベース・ビュー画像との質のバランスは不均一となる。このため、視聴者にとっては、ノン・ベース・ビュー画像を見る方の目の負担は高まる。このように非対称的な視差補償には、参照元の画像と比較して参照先の画像の品質が低下しやすいという課題がある。【００１１】
本発明は、これらの課題を解決するためになされたもので、二つの異なる視点から得られたステレオ画像に対して、符号化と復号を繰り返したときに品質が低下しにくく、世代耐性に優れたステレオ画像符号化方法、ステレオ画像符号化装置、及びステレオ画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の第１の態様によると、二つの異なる視点から得られた画像データを符号化するステレオ画像符号化方法であって、第１の視点から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分に、第２の視点から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する周波数変換ステップと、前記第１の画像データと前記第２の画像データとを比較して、対応関係を分析する対応関係分析ステップと、前記対応関係分析ステップで分析した対応関係に基づいて、前記第１の周波数成分と前記第２の周波数成分とに選択的に、回転処理による対称的な視差補償を実行して、視差補償した第１の周波数成分と視差補償した第２の周波数成分を取得する視差補償実行ステップと、前記対応関係分析ステップで分析した対応関係に基づいて、前記第１の周波数成分と、前記第２の周波数成分と、前記視差補償した第１の周波数成分と前記視差補償した第２の周波数成分とを選択的に符号化する符号化ステップと、を含むステレオ画像符号化方法を提供する。【００１３】
この構成によって、本発明のステレオ画像符号化方法は、前記第１の周波数成分と、前記第２の周波数成分とに対して選択的に行う回転処理により、一方の視点の画像を他方の視点の画像と比較して優越的に扱うことのないように、対称的な視差補償を実行するので、視点間の画像の品質の差を小さくすることができ、復号と符号化を繰り返したときに、品質が低下しにくい、世代耐性のよいステレオ画像符号化を実行することができる。【００１４】
さらに、本発明によると、前記周波数変換ステップは、サブバンド分割を実行するステップを含んでもよい。これによって、本発明のステレオ画像符号化方法は、所定の周波数範囲と解像度によって分けられたサブバンド・サンプルからなる周波数成分を得ることができる。【００１５】
さらに、本発明によると、前記対応関係分析ステップは、ステレオ・マッチングに基づいて対応関係を分析するステップを含んでもよい。これによって、本発明のステレオ画像符号化方法は、前記第１の画像データと前記第２の画像データという二次元のデータから３次元の情報を得て対応関係を分析することができる。【００１６】
さらに、本発明によると、前記対応関係分析ステップは、前記第１の周波数成分と前記第２の周波数成分のうち、低解像度の周波数成分を比較して対応関係を分析するステップを含んでもよい。これによって、本発明のステレオ画像符号化方法は、対応関係分析に要する計算量を削減することができる。【００１７】
さらに、本発明によると、前記対応関係分析ステップは、前記第１の画像データと前記第２の画像データに含まれる奥行き情報に基づいて対応関係を分析するステップを含んでもよい。これによって、本発明のステレオ画像符号化方法は、対応関係分析に要する計算量を削減することができる。【００１８】
さらに、本発明によると、前記対応関係分析ステップは、分析した対応関係に基づいて、前記第１の周波数成分と第２の周波数成分とを視差補償ブロックと非視差補償ブロックに分割するステップを含み、前記視差補償実行ステップは、前記第１の周波数成分と第２の周波数成分の前記視差補償ブロックに対して視差補償を実行して視差補償した第１の周波数成分と視差補償した第２の周波数成分を生成するステップを含み、前記符号化ステップは、視差補償した第１の周波数成分と視差補償した第２の周波数成分と前記非視差補償ブロックに該当する前記第１の周波数成分と前記第２の周波数成分とを、前記視差補償ブロックと前記非視差補償ブロックの分割の情報とともに独立して符号化するステップを含んでもよい。このような情報を本ステレオ画像符号化方法による符号化によって生成するビットストリームに含ませることによって、本発明のステレオ画像符号化方法は、生成したビットストリームを後に任意のデコーダによって復号することを可能にする。【００１９】
さらに、本発明によると、前記分割するステップは、同一の解像度のサブバンドには同一のブロック分割の方法を実行する、または、所与のサブバンドのブロック分割の方法に基づいて他のサブバンドのブロック分割の方法を予測し、前記符号化ステップは、ブロック分割の方法が予測されたサブバンドについては、ブロック分割の方法の予測残差を符号化するようにしてもよい。ここで、ブロック分割の方法とは、ブロック分割のパターンと同義である。これによって、本発明のステレオ画像符号化方法は、同一の解像度のサブバンドについて同じブロック分割の方法を用いることに加えて、ブロック分割の方法を予測符号化することにより、符号量を削減できる。【００２０】
本発明の第２の態様によると、二つの異なる視点から得られた画像データを符号化するステレオ画像符号化装置であって、第１の視点から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分に、第２の視点から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する周波数変換部と、前記第１の画像データと前記第２の画像データとを比較して、対応関係を分析する対応関係分析部と、前記対応関係分析部で分析した対応関係に基づいて、前記第１の周波数成分と前記第２の周波数成分とに選択的に、回転処理による対称的な視差補償を実行して、視差補償した第１の周波数成分と視差補償した第２の周波数成分を取得する視差補償実行部と、前記対応関係分析部で分析した対応関係に基づいて、前記第１の周波数成分と、前記第２の周波数成分と、前記視差補償した第１の周波数成分と前記視差補償した第２の周波数成分とを選択的に符号化する符号化部と、を含むステレオ画像符号化装置を提供する。【００２１】
この構成によって、本発明のステレオ画像符号化装置は、前記第１の周波数成分と、前記第２の周波数成分とに対して選択的に行う回転処理により、一方の視点の画像を他方の視点の画像と比較して優越的に扱うことのないように、対称的な視差補償を実行するので、視点間の画像の品質の差を小さくすることができ、復号と符号化を繰り返したときに、品質が低下しにくい、世代耐性のよいステレオ画像符号化を実行することができる。【００２２】
本発明の第３の態様によると、コンピュータに二つの異なる視点から得られた画像データを符号化するステレオ画像符号化処理を実行させるステレオ画像符号化プログラムであって、コンピュータを、第１の視点から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分に、第２の視点から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する周波数変換部と、前記第１の画像データと前記第２の画像データとを比較して、対応関係を分析する対応関係分析部と、前記対応関係分析部で分析した対応関係に基づいて、前記第１の周波数成分と前記第２の周波数成分とに選択的に、回転処理による対称的な視差補償を実行して、視差補償した第１の周波数成分と視差補償した第２の周波数成分を取得する視差補償実行部と、前記対応関係分析部で分析した対応関係に基づいて、前記第１の周波数成分と、前記第２の周波数成分と、前記視差補償した第１の周波数成分と前記視差補償した第２の周波数成分とを選択的に符号化する符号化部と、して機能させるステレオ画像符号化プログラムを提供する。【００２３】
この構成によって、本発明のステレオ画像符号化プログラムは、前記第１の周波数成分と、前記第２の周波数成分とに対して選択的に行う回転処理により、一方の視点の画像を他方の視点の画像と比較して優越的に扱うことのないように、対称的な視差補償をコンピュータに実行させることができるので、視点間の画像の品質の差を小さくすることができ、復号と符号化を繰り返したときに、品質が低下しにくい、世代耐性のよいステレオ画像符号化を実行することができる。
【発明の効果】
【００２４】
本発明によれば、二つの異なる視点から得られたステレオ画像に対して、符号化と復号を繰り返したときに品質が低下しにくく、世代耐性に優れたステレオ画像符号化方法、ステレオ画像符号化装置、及びステレオ画像符号化プログラムを提供することができる。
【図面の簡単な説明】
【００２５】
【図１】３次元ディスプレイにおける左右の像のずれと再生される像の深さの関係を模式的に表す図である。
【図２】典型的なパラメータにおける、輻輳角の差と再生像の深さの関係を示すグラフである。
【図３】本発明の一実施の形態のステレオ画像符号化装置の概略ブロック図である。
【図４】図３のステレオ画像符号化装置の機能構成を示すブロック図である。
【図５】図３のステレオ画像符号化装置が実行する処理を説明するフロー図である。
【図６Ａ】本発明の対称的な視差補償の概要を説明する図である。
【図６Ｂ】本発明の対称的な視差補償の概要を説明する図である。
【図７】左視点のサブバンドサンプルと右視点のサブバンドサンプルの対応関係の一例を示す図である。
【図８】両眼視差の一例を説明する図である。
【図９】従来の多視点画像符号化処理を説明する図である。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について図面を参照して説明する。
【００２７】
＜対称的な視差補償の原理＞
まず、本発明の対称的な視差補償の前提技術について説明する。
【００２８】
図１は、左右の二つの異なる視点から得られた画像、すなわちステレオ画像を表示する３次元ディスプレイにおける像の位置ずれｘと再生される像の深さｚと輻輳角の差δ（デルタ）の関係を模式的に表す図である。説明の便宜上、右目の視線を観察者の左右の目を通る線に垂直にしている。左右の目に対応する像がディスプレイ上で同じ位置Ａにあるとき、再生像は位置Ａに再生される。このときの輻輳角をθ（シータ）とし、輻輳角の差δを交差視差と呼ぶ。輻輳角の差δが正であるとき、左目像はＡ’の位置となり、再生像はＢ’の位置に飛び出して見える。輻輳角の差δが負であるとき、左目像はＡ’’の位置となり、再生像は出し、Ｂ’’の位置に引っ込んで見える。このときの輻輳角の差δを非交差視差と呼ぶ。
【００２９】
ここで、ディスプレイにおける位置ずれｘと、再生像の深さｚ、輻輳角（ｃｏｎｖｅｒｇｅｎｃｅ  ａｎｇｌｅ）の差δ〔ｒａｄ〕の関係は、輻輳角θや輻輳角の差δの絶対値が十分小さいと仮定すると、以下のように表せる。
【数１】
2011021240.tif 000003
ただし、視距離（ｖｉｅｗｉｎｇ  ｄｉｓｔａｎｃｅ）をＤ、瞳孔間隔（ｉｎｔｅｒｏｃｕｌａｒ  ｄｉｓｔａｎｃｅ）をＰとする。
【００３０】
典型的な視距離は、画素数で測って、Ｄ＝３４００〔ｐｅｌ〕程度である。典型的な瞳孔間隔は６５ｍｍであるので、画素ピッチを０．５ｍｍ／ｐｅｌとすると、Ｐ＝６５／０．５＝１３０〔ｐｅｌ〕程度となる。また、典型的な輻輳角の差δのとる範囲は、安全性を考慮して、±２度程度であると考えられる。以上の典型的なパラメータでは、ディスプレイ上のずれｘは±１２０〔ｐｅｌ〕程度となる。また、再生位置が発散せずに正しく再生されるにはｘ>−Ｐである必要がある。
【００３１】
図２は、典型的なパラメータにおける、輻輳角の差δと再生像の深さｚの関係を示すグラフである。ここでは、δの範囲を±２度としている。図２に示すように、点線で示すＤ＝３４００〔ｐｅｌ〕を境として、輻輳角の差δが正の値、すなわち交差視差の場合、再生像は引っ込み、輻輳角の差δが負の値、すなわち非交差視差の場合、再生像は飛び出す。このように、輻輳角の差δに応じて、再生像を視距離の半分程度の位置まで飛び出させたり、十分遠くまで引っ込ませたりできることがわかる。
【００３２】
以上から、左右の画像のディスプレイ上での位置ずれは、典型的にはＤＣＴブロックの幅よりも大きくなることがわかる。このため、ＤＣＴ変換を用いるコーデックでは、同じディスプレイの位置に対する左右の画像のＤＣＴブロック間の相関は高くないので、視差補償が必要になる。本発明では、従来技術の課題を解決するため、二つの異なる視点から得られた画像に対して、対称的な視差補償を行う。
【００３３】
しかし、以下の理由から、ＤＣＴ変換を用いるコーデックと対称的な視差補償を効率的に組み合わせることは困難であると考えられる。まず、対称的な視差補償を実行するためには、左右の画像で相関のあるブロックを見つける必要があるが、ＤＣＴ変換を用いるコーデックでは、変換ブロックの開始位置が変換ブロック幅の倍数に制限されるため、相関のあるブロックを正確に見つけることが困難である。また、変換ブロック幅を小さくすると符号化効率が落ちる、逆に変換ブロック幅を大きくするとモスキート・ノイズが目立つなどの弊害が生じる。さらに、変換ブロック幅を変則的にすると、処理が複雑になる。したがって、ＤＣＴ変換を用いるコーデックでは、高い精度で対称的な視差補償を実行することができない。
【００３４】
そこで、次に説明する本発明の代表的な実施の形態の符号化処理では、例えば、ＪＰＥＧ２０００（非特許文献６参照）などで用いられる、ウェーブレット変換を実行する。ＪＰＥＧ２０００のウェーブレット変換はサブバンド変換として実現されており、低周波数の周波数成分を再帰的に分解することによって、それぞれが所定の解像度と所定の周波数成分を有する複数のサブバンドを生成する。これらのサブバンドの各々は符号化ブロックに分割されて独立して符号化される。このため、ＤＣＴ変換を用いるコーデックと異なり、周波数変換の単位と符号化の単位が一致しないので、より柔軟な形の符号化ブロックに分割できる。本発明の代表的な実施の形態では、この符号化ブロックの単位で視差補償を実行する。
【００３５】
＜本発明の代表的な実施の形態＞
図３は、本発明の一実施の形態のステレオ画像符号化装置１０の概略ブロック図である。本実施の形態のステレオ画像符号化装置１０は、制御部１１と、ウェーブレット変換部１２と、ブロック分割部１３と、Ｍ／Ｓ（Ｍｉｄ／Ｓｉｄｅ）ステレオ部１４と、エントロピー符号化部１５とを含む。
【００３６】
制御部１１は、入力されたステレオ画像データの対応関係を分析して、得られた分析関係に基づいてブロック分割部１３、Ｍ／Ｓステレオ部１４、エントロピー符号化部１５を制御する。ウェーブレット変換部１２は、右視点の画像データと左視点の画像データからなるステレオ画像データにウェーブレット変換を実行して複数のサブバンドを生成する。
ブロック分割部１３は、制御部１１が実行する対応関係の分析結果に基づいて、ウェーブレット変換部１２によって生成されたサブバンドを視差補償を実行する視差補償ブロックと視差補償を実行しない非視差補償ブロックに分割する。Ｍ／Ｓステレオ部１４は、制御部１１が実行する対応関係の分析結果に基づいて、ブロック分割部１３によってブロック分割されたブロックのうち、視差補償ブロックと判定されたブロックにＭ／Ｓステレオを実行するが、非視差補償ブロックはそのままエントロピー符号化部１５に出力する。エントロピー符号化部１５は、制御部１１が実行する対応関係の分析結果に基づいて、ブロック分割部１３によってブロック分割されたブロックのうち、Ｍ／Ｓステレオ部１４によってＭ／Ｓステレオを実行した視差補償ブロックと、非視差補償ブロックと判定されたブロックと、ブロック分割部１３が実行したブロック分割の情報に対して、それぞれ独立してエントロピー符号化し、ビットストリームを出力する。
【００３７】
ここで、ウェーブレット変換部１２は、ウェーブレット変換の過程で生成される低解像度画像を制御部１１に入力し、制御部１１は、こうして入力された低解像度画像の情報に基づいて、左右のステレオ画像データを構成するサンプルの対応関係を求めるようにしてもよい。制御部１１は、こうして求めた対応関係に基づいて、ブロック分割部１３やＭ／Ｓステレオ部１４を制御し、ブロック分割の方法もエントロピー符号化部に出力する。
【００３８】
図４は、本実施の形態におけるステレオ画像符号化装置の機能構成を示すブロック図である。本実施の形態では、ステレオ画像符号化装置は、周波数変換部２１と、対応関係分析部２２と、視差補償実行部２３と符号化部２４と、を含む。
【００３９】
周波数変換部２１は、図３のウェーブレット変換部１２とブロック分割部１３によって構成され、二つの異なる視点から得られたステレオ画像のデータから、第１の視点、例えば、左目から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分と、第２の視点、例えば、右目から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する。
【００４０】
対応関係分析部２２は、図３の制御部１１によって構成され、第１のサブバンド・サンプルのブロックと第２のサブバンド・サンプルのブロックとを比較して、対応関係を分析する。視差補償実行部２３は、図３のＭ／Ｓステレオ部１４によって構成され、対応関係分析部２２で分析した対応関係に基づいて、第１の周波数成分と第２の周波数成分とに、選択的に回転処理による対称的な視差補償を実行して、視差補償した第１の周波数成分と視差補償した第２の周波数成分を取得する。
【００４１】
符号化部２４は、対応関係分析部２２で分析した対応関係に基づいて、第１の周波数成分と、第２の周波数成分と、視差補償した第１の周波数成分と視差補償した第２の周波数成分とを選択的に符号化する。
【００４２】
より具体的には、周波数変換部２１は、サブバンド分割を実行し、さらに対応関係分析部２２が分析した対応関係に基づいて、視差補償を行うサブバンド・サンプルのブロックと、視差補償を行わないサブバンド・サンプルのブロックにブロック分割を行う。
【００４３】
また、対応関係分析部２２は、第１の周波数成分である第１のサブバンド・サンプルのブロックと第２の周波数成分である第２のサブバンド・サンプルのブロックとの対応関係を、例えば、ステレオ・マッチングに基づいて分析することができる。さらに、対応関係分析部２２は、第１の周波数成分と第２の周波数成分のうち、低解像度の周波数成分を比較して対応関係を分析するようにしてもよいし、第１の画像データと第２の画像データに含まれる奥行き情報に基づいて対応関係を分析するようにしてもよい。また、マッチしない領域すなわち、一方の視点から見える物体の領域によって他方の視点から見える物体の領域が隠れてしまう、重なり（ｏｃｃｌｕｓｉｏｎ）領域をできるだけ少なくするなどの制約条件をつけてマッチングを実行してもよい。
【００４４】
次に、このようにして構成された本実施の形態のステレオ画像符号化装置１０が実行する処理について図５を参照して説明する。なお、以下の処理は、ステレオ画像符号化装置１０に含まれる図示されていないＣＰＵおよびＣＰＵに関連するソフトウェアによる制御によって実行される。
【００４５】
ステップＳ１で、周波数変換部２１は、二つの異なる視点から得られたステレオ画像のデータから、第１の視点、例えば、左目から得られた第１の画像データを所定の周波数範囲と解像度によって分けられた第１の周波数成分と、第２の視点、例えば、右目から得られた第２の画像データを所定の周波数範囲と解像度によって分けられた第２の周波数成分に変換する。本実施の形態では、周波数変換部２１は、ステレオ画像の画像データをウェーブレット変換により周波数変換してサブバンドを得る。
【００４６】
ステップＳ２で、対応関係分析部２２は、第１の画像データと第２の画像データとを比較して、対応関係を分析する。具体的には、対応関係分析部２２は、ステレオ画像データの対応関係を分析する。
【００４７】
より詳細には、対応関係分析部２２は、第１の周波数成分である第１のサブバンド・サンプルのブロックと第２の周波数成分である第２のサブバンド・サンプルのブロックとを比較して、対応関係を分析する。第１のサブバンド・サンプルのブロックと第２のサブバンド・サンプルのブロックとの対応関係は、例えば、ステレオ・マッチングに基づいて分析することができる。これによって、第１のサブバンド・サンプルのブロックと第２のサブバンド・サンプルのブロックという二次元のデータから３次元の情報を得て対応関係を分析することができる。さらに、対応関係分析部２２は、第１の周波数成分と第２の周波数成分のうち、低解像度の周波数成分を比較して対応関係を分析するようにしてもよいし、第１の画像データと第２の画像データに含まれる奥行き情報に基づいて対応関係を分析するようにしてもよい。また、マッチしない領域すなわち、一方の視点から見える物体の領域によって他方の視点から見える物体の領域が隠れてしまう、重なり（ｏｃｃｌｕｓｉｏｎ）領域をできるだけ少なくするなどの制約条件をつけてマッチングを実行してもよい。これによって、対応関係分析に要する計算量を削減することができる。
【００４８】
ステップＳ３で、前記対応関係分析ステップで分析した対応関係に基づいて、第１の周波数成分と第２の周波数成分を、視差補償成分と非視差補償成分に分割する。本実施の形態では、対応関係分析部２２は、得られた対応関係に基づいてサブバンドを視差補償ブロックと非視差補償ブロックに分割する。
【００４９】
具体的には、対応関係分析部２２が分析した対応関係に基づいて、周波数変換部２１は、第１の周波数成分である第１のサブバンド・サンプルと第２の周波数成分である第２のサブバンド・サンプルの中で、対応関係があると判定したブロックのサブバンド・サンプルを視差補償成分である視差補償ブロックとして視差補償実行部２３に送出し、対応関係がないと判定したブロックのサンプルを非視差補償成分である非視差補償ブロックとしてそのまま符号化部２４に送出する。
【００５０】
ステップＳ４で、視差補償実行部２３は、視差補償成分、すなわち、視差補償ブロックについて対称的な視差補償を実行する。
【００５１】
ステップＳ５で、符号化部２４は、こうして送られてきた非視差補償成分と、視差補償した視差補償成分に対して独立して符号化を実行する。
【００５２】
図６Ａ及び図６Ｂを参照して、本実施の形態のステレオ画像符号化装置１０が実行する対応関係の分析、視差補償成分と非視差補償成分への分割、及び対称的な視差補償と符号化について詳細に説明する。
【００５３】
図６Ａに、ステレオ画像符号化装置１０が符号化する右視点の画像と左視点の画像からなるステレオ画像の一例を示す。深さ（図１のｚ参照）が異なって見える対象物は、左右の視点に対して異なる位置に存在する。図６Ａでは、３次元ディスプレイにおいて非交差視差により飛び出して見える再生像をＣ１とし、交差視差により引っ込んで見える再生像をＣ２としている。図６Ｂに、周波数変換部２１が、図６Ａのステレオ画像にサブバンド変換を実行して生成した左（Ｌ）視点のサブバンド３１と右（Ｒ）視点のサブバンド３２より、対応関係のあるブロックを分割して視差補償を実行する例を示す。本実施の形態の対称的な視差補償では、サブバンドを適当な高さのストライプに分割し、さらにこのストライプからブロックを分割する。
【００５４】
ここで、ブロックを切り出すストライプの高さはすべてのサブバンドで同一としてもよいし、可変としてもよい。ストライプにおいて、対応関係があり、かつ、視差がほぼ等しいサンプルを有する列をまとめて、視差補償ブロックを構成する。視差補償ブロックは必ず左右でペアになるように、かつ、ブロックどうしが重ならないように構成する。図６Ｂでは、再生像Ｃ１と再生像Ｃ２に関連するブロックを分割して抽出している。本発明によると、対応関係のあるブロックを視差補償ブロックとして対称的な視差補償を行って符号化し、それ以外の対応関係がないと判断されたブロックは非視差補償ブロックとして視差補償を行わずに、そのまま符号化する。
【００５５】
対称的な視差補償として、本実施の形態では、ＡＡＣ（非特許文献３参照）などで用いられるＭ／Ｓステレオ（Ｍｉｄ／Ｓｉｄｅ  Ｓｔｅｒｅｏ）を用いる。具体的には、視差補償する左右の画像のブロックについて、対応する左のサンプルＬと右のサンプルＲを独立して符号化する代わりに、対応する左のサンプルＬと右のサンプルＲの和Ｍと差Ｓを用いて符号化する。Ｌ、ＲからＭ、Ｓへの変換を以下に定義する。Ｌ、ＲからＭ、Ｓへの変換は、左のサンプルＬと右のサンプルＲを所定の角度、本実施の形態では、４５度の角度で回転する処理に相当する。
【数２】
2011021240.tif 000004
逆変換も同様に定義する。
【００５６】
対応関係分析部２２は、左右の画像のサブバンド３１、３２のブロックに対して、対応関係のあるブロックであるか否かを、左右の画像のマッチング、またはステレオ・マッチングに基づいて判断する。ステレオ・マッチングは、テンプレートに基づくマッチング（ｔｅｍｐｌａｔｅ−ｂａｓｅｄ  ｍａｔｃｈｉｎｇ）や特徴量に基づくマッチング（ｆｅａｔｕｒｅ−ｂａｓｅｄ  ｍａｔｃｈｉｎｇ）などの方法によって、サンプル（ピクセルやサブバンド・サンプルを含む）ごとの対応関係を求める手法である。対応関係分析部２２は、マッチングの精度を上げるため、マッチしない領域すなわち、一方の視点から見える物体の領域によって他方の視点から見える物体の領域が隠れてしまう、重なり（ｏｃｃｌｕｓｉｏｎ）領域をできるだけ少なくするなどの制約条件をつけてマッチングを実行してもよい。また、対応関係分析部２２は、マッチングの計算量を削減するために、例えば、ウェーブレット変換による多重解像度解析を利用して、低解像度画像において求めた対応関係から高解像度における対応関係を予測するようにしてもよい。また、左右の視点に、例えば深さマップ（ｄｅｐｔｈ  ｍａｐ）などの奥行き情報が付加されている場合は、この奥行き情報を手がかりに対応関係を求めるようにしてもよい。
【００５７】
図７に、左視点のサブバンド・サンプルの集まりＬと右視点のサブバンド・サンプルの集まりＲとの対応関係の例を示す。図７において、サブバンドは１６サンプルの幅があるとして、対応関係を左右のサンプルの間の矢印で表す。矢印のないサンプルは対応関係がないことを表す。例えば、Ｌの２番目のサンプルとＲの３番目のサンプルは対応するが、Ｌの１番目のサンプルはＲのサブバンド・サンプルとは対応関係を持たない。また、Ｌの２番目から４番目のサンプルは同じ視差を持つ。このように対応関係を有するサンプルどうしを視差補償ブロックとしてまとめる（Ｌ［２，４］と書く）。対応するＲの３番目から５番目のサンプルも視差補償ブロックにまとめる（Ｒ［３，５］と書く）。Ｌ［２，４］とＲ［３，５］は対称的な視差補償を行うペアになる。同様に、Ｌ［８，１２］とＲ［６，１０］はペアの視差補償ブロックとなる。その他のブロック、Ｌ［０，１］，Ｌ［５，７］，Ｌ［１３，１５］，Ｒ［０，２］，Ｒ［１１，１５］はそれぞれペアを持たず、非視差補償ブロックとなる。
【００５８】
符号化部２４は、非視差補償成分と、視差補償した視差補償成分に対して独立して符号化を実行する。本実施の形態において、非視差補償成分、すなわち、非視差補償ブロックに分割された第１の周波数成分と第２の周波数成分、すなわち、左のサンプルＬと右のサンプルＲであり、視差補償した視差補償成分とは、視差補償ブロックに分割された左のサンプルＬと右のサンプルＲに、Ｍ／Ｓステレオを実行して生成した和Ｍと差Ｓである。
【００５９】
本実施の形態では、視差補償ブロックには対称的な視差補償、具体的には、Ｍ／Ｓステレオを適用する。視差補償ブロックに属さないサンプルは、非視差補償ブロックにまとめる。非視差補償ブロックはペアにならず、それぞれ独立して符号化する。視差補償ブロックや非視差補償ブロックは、レート歪みをより細かく最適化するため、さらに分割してもよい。デコーダにおいてエンコーダと同じブロック分割を行えるように、ブロック分割の方法の情報は符号化ストリームに含める必要がある。ブロック分割の方法は、符号量を低減するため、同じ解像度、すなわち同じ分解レベルのサブバンドには同じブロック分割の方法を用いるようにしてもよい。
【００６０】
また、低い解像度、すなわち高い分解レベルのバンドのブロック分割の方法については、高い解像度、すなわち低い分解レベルのバンドのブロック分割の方法から予測して、その予測残差のみを符号化するようにしてもよい。例えば、低解像度バンドのあるストライプのブロック分割方法を、そのストライプに対応する高解像度バンドの一以上のストライプの分割方法から、例えば、中央値をとるなどして予測した、低解像度バンドのストライプにおけるサンプルの対応関係から計算することができる。このとき、予測したサンプルの対応関係が実際の対応関係と異なる場合は、その差、すなわち、予測残差を符号化しストリームに含めることで、正しい対応関係を得ることができ、正しいブロック分割方法が得られる。同様の手法で、高い解像度、すなわち低い分解レベルのバンドのブロック分割の方法についても低い解像度、すなわち、高い分解レベルのバンド・ブロック分割の方法から予測することもできる。また、同様の手法で、より一般的には、あるサブバンドのブロック分割の方法から、他のブロック分割の方法を予測することができる。したがって、視差補償ブロックと非視差補償ブロックを含む、第１の周波数成分と第２の周波数成分の複数のブロックを含むサブバンドに対して、同一の解像度のサブバンドには同一のブロック分割の方法を実行する、または、所与のサブバンドのブロック分割の方法に基づいて他のサブバンドのブロック分割の方法を予測し、符号化ステップは、ブロック分割の方法が予測されたサブバンドについては、ブロック分割の方法の予測残差のみを符号化することも可能である。ここで、ブロック分割の方法とは、ブロック分割のパターンと同義である。
【００６１】
具体的には、上述のステップＳ４で視差補償を行ったブロックと、ステップＳ３で非視差補償ブロックと判定されたブロックを含むサブバンドに対して、ステップＳ５で、制御部１０は、ブロック分割の方法が予測されたサブバンドについては、ブロック分割の方法の予測残差のみを符号化するようにしてもよい。これによって、同一の解像度のサブバンドについて同じブロック分割の方法を用いることに加えて、ブロック分割の方法を予測符号化することにより、一層の符号量の削減が可能になる
【００６２】
さらに、本実施の形態のステレオ画像符号化方法は、一方の視点のサブバンド・サンプルである第１の周波数成分と、他方の視点のサブバンド・サンプルである第２の周波数成分とに対して選択的に行う回転処理により、一方の視点の画像を他方の視点の画像と比較して優越的に扱うことのないように、対称的な視差補償を実行するので、視点間の画像の品質の差を小さくすることができ、復号と符号化を繰り返したときに、品質が低下しにくい、世代耐性のよいステレオ画像符号化を実行することができる。
【００６３】
以上説明したように、本実施の形態のステレオ画像符号化装置は、非対称的な視差補償の代わりに、対称的な視差補償を用いることによって、一方の視点の画像を他方の視点の画像と比較して、優越的に扱うことのないように、対称的に符号化することにより、視点間の品質の差を小さくできる。ただし、対称的な視差補償を用いるフレームを、動き補償の参照先にすることは難しい場合は、参照元にすることはできるので、対称的な視差補償は主にＩフレームのみに使ってもよい。また、対称的な視差補償を行う場合、ＤＣＴのような比較的小さい変換ブロックよりも大きなブロックを用いることが好ましい。さらに、視点間の品質の差を小さくできるので、デコードとエンコードを繰り返したときに、品質が低下しにくく、世代耐性も向上する。このため、Ｉフレームのみを用いて、編集コーデックとして使える。
【００６４】
また、コンピュータを利用して本発明を実施する場合、上述の機能を実行するハードウェアまたはプログラムとして実装してもよく、また、コンピュータに上述の機能を実行させるプログラムを記憶した、コンピュータが読み取り可能な記憶媒体として実装してもよい。このように本発明によると、より簡易で効果的なステレオ画像の符号化方法、符号化装置、及び符号化プログラムを提供することができる。
【００６５】
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態に限定されるものではない。また、本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したものに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。
【００６６】
例えば、上述の実施の形態では、符号化方式の一例としてＪＰＥＧ２０００方式を言及して説明したが、本発明が適用可能な符号化方式はＪＰＥＧ２０００方式に限定されない。本発明は、サブバンド分割を行うほぼ如何なる符号化方式に適用可能である。
【符号の説明】
【００６７】
１０  ステレオ画像符号化装置
１１  制御部
１２  ウェーブレット変換部
１３  ブロック分割部
１４  Ｍ／Ｓステレオ部
１５  エントロピー符号化部
２１  周波数変換部
２２  対応関係分析部
２３  視差補償実行部
２４  符号化部
【図１】
2011021240.tif 000005
【図２】
2011021240.tif 000006
【図３】
2011021240.tif 000007
【図４】
2011021240.tif 000008
【図５】
2011021240.tif 000009
【図６Ａ】
2011021240.tif 000010
【図６Ｂ】
2011021240.tif 000011
【図７】
2011021240.tif 000012
【図８】
2011021240.tif 000013
【図９】
2011021240.tif 000014
【国際調査報告】
2011021240.tif 000015
2011021240.tif 000016
2011021240.tif 000017
2011021240.tif 000018