(57)【要約】【課題】平坦な領域の奥行き情報を高精度に生成可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。【解決手段】実施形態によれば、ブロック判定部と、平坦領域生成部と、奥行き情報生成部と、を備える画像処理装置が提供される。前記ブロック判定部は、入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定する。前記平坦領域生成部は、前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成する。前記奥行き情報生成部は、前記平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、隣接する平坦ブロックと類似している非平坦ブロックの数、および、類似していない前記非平坦ブロックの数に応じて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する。【選択図】図１
2014064187.tif 000002
【特許請求の範囲】
【請求項１】
入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するブロック判定部と、
前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成する平坦領域生成部と、
前記平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、隣接する平坦ブロックと類似している非平坦ブロックの数、および、類似していない前記非平坦ブロックの数に応じて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する奥行き情報生成部と、を備える画像処理装置。
【請求項２】
前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
前記奥行き情報生成部は、下記（１）式を満たす場合、前記類似している非平坦ブロックの仮の奥行き情報の平均値を、前記平坦領域内の全ての平坦ブロックの奥行き情報とする、請求項１に記載の画像処理装置
Ｎ１≧ａ＊Ｎ２＋ｂ  ・・・（１）
ここで、Ｎ１は前記類似している非平坦ブロックの数、Ｎ２は前記類似していない非平坦ブロックの数、ａは１以上の定数、ｂは０以上の定数。
【請求項３】
前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
前記奥行き情報生成部は、下記（２）式を満たす場合、前記類似していない非平坦ブロックのうち最も奥に見える非平坦ブロックの仮の奥行き情報、または、前記入力画像内のブロックのうち最も奥に見えるブロックの仮の奥行き情報を、前記平坦領域内の全ての平坦ブロックの奥行き情報とする、請求項１に記載の画像処理装置
Ｎ２≧ａ＊Ｎ１＋ｂ  ・・・（２）
ここで、Ｎ１は前記類似している非平坦ブロックの数、Ｎ２は前記類似していない非平坦ブロックの数、ａは１以上の定数、ｂは０以上の定数。
【請求項４】
前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
前記奥行き情報生成部は、下記（３）式および下記（４）式のいずれも満たさない場合、
前記類似している非平坦ブロックの仮の奥行き情報の平均値、および、
前記類似している非平坦ブロックのうち最も奥に見える非平坦ブロックの仮の奥行き情報
に基づいて、前記平坦領域内の全ての平坦ブロックの奥行き情報を生成する、請求項１に記載の画像処理装置
Ｎ１≧ａ＊Ｎ２＋ｂ  ・・・（３）
Ｎ２≧ａ＊Ｎ１＋ｂ  ・・・（４）
ここで、Ｎ１は前記類似している非平坦ブロックの数、Ｎ２は前記類似していない非平坦ブロックの数、ａは１以上の定数、ｂは０以上の定数。
【請求項５】
前記奥行き情報生成部は、
前記平坦ブロックの輝度の平均値または色差の平均値と、
前記平坦ブロックと隣接する非平坦ブロックの輝度の平均値または色差の平均値と、
の差に基づいて、類似しているか否かを判断する、請求項１に記載の画像処理装置。
【請求項６】
第１の画像、および、前記第１の画像とは視点が異なる第２の画像に対して、ステレオマッチング処理を行って、前記第１の画像の各ブロックに前記仮の奥行き情報を付与するステレオマッチング部を備え、
前記平坦ブロック検出部は、前記第１の画像を前記入力画像として処理する請求項２乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記奥行き情報生成部により付与された前記平坦領域の奥行き情報を用いて、前記入力画像から複数の視差画像を生成する視差画像生成部と、
前記複数の視差画像を表示する表示部と、を備える請求項１に記載の画像処理装置。
【請求項８】
入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するステップと、
前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成するステップと、
前記平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、隣接する平坦ブロックと類似している非平坦ブロックの数、および、類似していない前記非平坦ブロックの数に応じて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成するステップと、を備える画像処理方法。
【請求項９】
入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するステップと、
前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成するステップと、
前記平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、隣接する平坦ブロックと類似している非平坦ブロックの数、および、類似していない前記非平坦ブロックの数に応じて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成するステップと、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、画像を立体的に表示する立体表示装置が普及しつつある。この種の立体表示装置では、異なる視点から見た複数の視差画像がディスプレイに表示され、左目でそのうちの１つの視差画像を、右目で他の１つの視差画像を見ることで、画像が立体的に見える。眼鏡を使用しない裸眼立体表示方式の場合、左目用および右目用の２つの視差画像ではなく、より多くの視差画像を表示するのが望ましい。
【０００３】
そのためには、左目用視差画像および右目用視差画像から各画素の奥行き値を算出し、この奥行き値に基づいて多くの視差画像を生成する必要がある。
【０００４】
奥行き値を算出するために、例えば左目用視差画像と右目用視差画像との間でステレオマッチングを行い、左目用視差画像内のあるブロックと、これと対応する右目用視差画像内のブロックとのずれ量から奥行き値を算出できる。しかしながら、平坦な領域では、視差画像間の特徴が類似しているため、対応する領域を正確に検出するのが困難である。その結果、平坦な領域では、誤った奥行き値が得られるおそれがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２７７２２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
平坦な領域の奥行き情報を高精度に生成可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。
【課題を解決するための手段】
【０００７】
実施形態によれば、ブロック判定部と、平坦領域生成部と、奥行き情報生成部と、を備える画像処理装置が提供される。前記ブロック判定部は、入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定する。前記平坦領域生成部は、前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成する。前記奥行き情報生成部は、前記平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、隣接する平坦ブロックと類似している非平坦ブロックの数、および、類似していない前記非平坦ブロックの数に応じて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する。
【図面の簡単な説明】
【０００８】
【図１】一実施形態に係る画像処理装置の概略ブロック図。
【図２】図１の画像処理装置の処理動作の一例を示すフローチャート。
【図３】平坦ブロック判定処理の一例を示す図。
【図４】ラベリング処理の一例を示す図。
【図５】ラベリング処理の手順を示すフローチャート。
【図６】除外処理の一例を示す図。
【図７】統合処理の一例を示す図。
【図８】奥行き情報生成部４の処理動作の概要を説明する図。
【図９】奥行き情報生成部４の処理動作の一例を示すフローチャート。
【図１０】境界非平坦ブロックと平坦ブロックとの関係を示す図。
【図１１】奥行き情報生成部４の処理動作を説明する図。
【図１２】奥行き情報生成部４の処理動作を説明する図。
【図１３】表示部１０の手前に表示される物体の、表示部１０上でのズレ方向を示す図。
【図１４】表示部１０の奥に表示される物体の、表示部１０上でのズレ方向を示す図。
【図１５】奥行き情報生成のまた別の例を示す図。
【発明を実施するための形態】
【０００９】
図１は、一実施形態に係る画像処理装置の概略ブロック図である。画像処理装置は、ステレオマッチング部１と、ブロック判定部２と、平坦領域生成部３と、奥行き情報生成部４と、視差画像生成部５と、表示部１０とを備えている。これらのうち、表示部１０を除く各部は、例えば１枚のＩＣ（Integrated Circuit）として実装される。
【００１０】
本画像処理装置は、左目用画像および右目用画像から複数（例えば９枚）の視差画像を生成し、裸眼立体表示方式で画像を立体表示するものである。左目用画像は被写体をある視点から見た画像であり、右目用画像は同じ被写体を左目用画像の視点より右の視点から見た画像である。左目用画像および右目用画像は、画像処理装置による処理時に、１または複数の画素から構成されるブロックに分割される。ブロックの大きさに制限はないが、例えば８ｘ８画素から構成される。
【００１１】
左目用画像および右目用画像は、放送波を受信およびチューニングして得られるものでもよいし、光ディスクやハードディスク等の記憶媒体から読み出されるものでもよい。
【００１２】
ステレオマッチング部１は、左目用画像および右目用画像に対してステレオマッチングを行い、左目用画像または右目用画像の各ブロックに、仮の奥行き情報を付与する。奥行き情報とは、例えば各ブロックがどの程度表示部１０の奥または手前に表示されるべきかを示す奥行き値である。以下では、左目用画像の各ブロックに仮の奥行き情報が付与されるものとし、左目用画像および仮の奥行き情報が出力される。
【００１３】
ブロック判定部２は左目用画像内の各ブロックが平坦であるか非平坦であるかを判定する。以下では、平坦および非平坦であると判定されたブロックを、それぞれ平坦ブロックおよび非平坦ブロックと呼ぶ。
【００１４】
平坦領域生成部３は、平坦ブロックの連続性を考慮して、平坦ブロックに対してラベリング処理を行って各平坦ブロックにラベルを付す。共通のラベルが付された平坦ブロックにより平坦領域が生成される。すなわち、ラベルの数だけ平坦領域が生成され、各平坦領域は１または複数の平坦ブロックを含む。また、平坦領域生成部３は、必要に応じて、含まれる平坦ブロックの数が少ない平坦領域を除外する除外処理や、特徴が類似している非連続な複数の平坦領域を統合する統合処理を行う。
【００１５】
奥行き情報生成部４は、平坦領域内の平坦ブロックと、これと隣接する非平坦ブロックとの類似性を考慮して、各平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する。奥行き情報の生成には、平坦領域内の平坦ブロックと隣接する非平坦ブロックに付与された仮の奥行き情報を利用することができる。
【００１６】
視差画像生成部５は、左目用画像および奥行き情報に基づいて、９枚の視差画像を生成する。ここでの奥行き情報とは、平坦領域内の各ブロックについては奥行き情報生成部４により生成された奥行き情報であり、それ以外の各ブロックについてはステレオマッチング部１により付与された仮の奥行き情報である。
【００１７】
表示部１０は生成された複数の視差画像を同時に表示する。そして、表示部１０にはレンチキュラレンズ（不図示）が貼り付けられており、各視差画像の出力方向が制御される。視聴者は、９枚の視差画像のうちの１枚を左目で、他の１枚を右目で見ることにより、画像が立体的に見える。もちろん、パララックスバリアを用いる等、他の方式により立体視を実現してもよい。
【００１８】
図２は、図１の画像処理装置の処理動作の一例を示すフローチャートである。図２を用いて、各部の処理動作を詳細に説明する。
【００１９】
まず、ステレオマッチング部１は、左目用画像および右目用画像に対してステレオマッチングを行い、左目用画像の各ブロックに、仮の奥行き情報を付与する（ステップＳ１）。ステレオマッチング処理では、左目用画像の１つのブロックに対して、このブロックとの誤差（例えば各画素の差分絶対値和）が最小となる右目用画像のブロックを探索する。そして、両ブロックがどの程度ずれているか、すなわち、視差に基づいて、ステレオマッチング部１は各ブロックの仮の奥行き情報を算出する。
【００２０】
ステレオマッチングにより、オブジェクトのエッジ等の部分ではある程度正確な奥行き情報が生成される。一方、真っ白の壁や青一色の空等の平坦な部分では、必ずしも正確な奥行き情報が生成されるとは限らない。平坦な部分では、左目用画像と右目用画像との誤差が小さく、誤った探索処理がなされることがあるためである。そのためステレオマッチング処理により付与される奥行き情報を「仮の」奥行き情報と呼んでいる。
【００２１】
本実施形態では、以下の処理を行って、平坦な部分における仮の奥行き情報を補正する。そのため、ステレオマッチング部１は繰り返し演算等を行ってマッチング精度を向上しなくてもよく、ステレオマッチング部１の回路規模や処理時間の増大を抑制できる。
【００２２】
ブロック判定部２は左目用画像内の各ブロックが平坦であるか非平坦であるかを判定する平坦ブロック判定処理を行う（ステップＳ２）。例えば、ブロック判定部２はブロック内の輝度や色の分散が予め定めた閾値より大きい場合は平坦ブロックであると判定する。
【００２３】
図３は、平坦ブロック判定処理の一例を示す図である。図３（ａ）に示す左目用画像に対して平坦ブロック判定を行った結果、図３（ｂ）に示すように画像の背景にあたるブロックは平坦ブロックと判定され、オブジェクトにあたるブロックは非平坦ブロックと判定される。
【００２４】
図２に戻り、平坦ブロック判定の後、平坦領域生成部３は平坦ブロックに対して、連続性を有する平坦ブロックに同一のラベルを付すラベリング処理を行う（ステップＳ３）。
【００２５】
図４は、ラベリング処理の一例を示す図であり、図２のステップＳ３を詳しく説明したものである。また、図５は、ラベリング処理の手順を示すフローチャートである。図４および図５は、平坦領域生成部３がラスタースキャン順に各平坦ブロックにラベリングを行う例を示している。
【００２６】
まず、平坦領域生成部３はラベルＮを０に設定する（ステップＳ１１）。そして、平坦領域生成部３は、処理対象のブロックが平坦ブロックである場合（ステップＳ１２のＹＥＳ）、以下のように上または左に平坦ブロックがあるか否かに応じてラベルを付す。
【００２７】
ラベリング対象の平坦ブロックの上あるいは左に平坦ブロックがある場合（ステップＳ１３のＹＥＳ）、この平坦ブロックはすでにラベリングされている。そこで、平坦領域生成部３は、その平坦ブロックと同一のラベルを、ラベリング対象の平坦ブロックに付す（ステップＳ１４、図４（ａ））。ただし、上と左に異なるラベルが付されている場合、平坦領域生成部３は値が小さい方のラベルを付す。
【００２８】
一方、ラベリング対象の平坦ブロックの上および左に平坦ブロックがない場合（ステップＳ１３のＮＯ）、平坦領域生成部３はラベルＮをラベリング対象の平坦ブロックに付し（ステップＳ１５、図４（ｂ））ラベルＮを１だけインクリメントする（ステップＳ１６）。
【００２９】
以上の処理を、平坦領域生成部３は左目用画像内の全てのブロックに対して行う（ステップＳ１７）。これにより、図４（ｃ）に示すように、水平方向あるいは垂直方向に連続する平坦ブロックには同一のラベルが付される。同一のラベルが付された平坦ブロックから構成される領域を平坦領域と呼ぶ。同図ではラベル０〜２が付された平坦ブロックから構成される３つの平坦領域が生成されている。以下、ラベルｋが付された平坦ブロックから構成される平坦領域を平坦領域ｋと呼ぶ。
【００３０】
なお、平坦ブロックの配置によっては連続する平坦ブロックでも異なるラベルが付されることがある。そのため、ラスタースキャン順で処理を行った後、ラベルの参照テーブルを用いて、連続する平坦ブロックには同一のラベルが付されるよう、対応づけを行ってもよい。
【００３１】
また、図４は、ラベリングの際に上および左の平坦ブロックのみを参照する例を説明したが、さらに左上や右上の平坦ブロックを参照してもよい。この場合、水平方向および垂直方向に加え、斜め方向に連続する平坦ブロックにも同一のラベルが付される。
【００３２】
図２に戻り、ラベリング処理の後、平坦領域生成部３は、含まれる平坦ブロックの数が予め定めた閾値より少ない平坦領域を除外し、平坦領域ではないとみなす除外処理を行う（ステップＳ４）。平坦ブロックの数が少ない平坦領域は、平坦ブロック判定が誤っているか、単なるノイズである可能性があるためである。
【００３３】
図６は、除外処理の一例を示す図である。図６（ａ）では４つの平坦領域０〜３が生成されている。平坦領域０〜２はいずれもある程度の数の平坦ブロックを含む。これに対し、平坦領域３は１つだけしか平坦ブロックが含まれない。そこで、平坦領域生成部３は平坦領域３を平坦領域ではないとみなす除外処理を行う。その結果、図６（ｂ）に示すように、３つの平坦領域０〜３が生成される。
【００３４】
図２に戻り、除外処理の後、平坦領域生成部３は、特徴が類似している非連続な複数の平坦領域を統合する統合処理を行う（ステップＳ５）。特徴とは、例えば平坦領域内の輝度や色の平均値である。
【００３５】
図７は、統合処理の一例を示す図である。同図（ａ）では、除外処理まで行った結果、３つの平坦領域０〜２が生成されている。ここで、平坦領域０〜２はいずれもほぼ真っ黒であり特徴が類似している。そのため、同図（ｂ）に示すように、平坦領域生成部３はこれら平坦領域０〜２を統合して平坦領域０とする。同図に示すような画像では、黒い空間を背景としてオブジェクトがあると認識される。よって、平坦領域０〜２を個別に処理するより統合した方が高精度に奥行き情報を生成できるためである。
【００３６】
なお、先に類似している平坦領域を統合すると、ブロック数が少なく孤立している平坦領域同士が統合されて、除外処理の効果が低くなる。そのため、図２の除外処理（ステップＳ４）の後に統合処理（ステップＳ５）を行うのが望ましいが、これらの順序を適宜入れ替えてもよい。また、平坦領域生成部３は、ステップＳ３〜Ｓ５で用いるラベルを、例えば左目用画像の各ブロックと関連付けられたマップとして保持している。そのマップにおいて、平坦ブロックにはラベルの値が書き込まれており、非平坦ブロックにはラベルの値とはならない特殊な値が書き込まれている。
【００３７】
そして、上記のようにして平坦領域が生成されると、奥行き情報生成部４は、各平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する（ステップＳ６）。付与される奥行き情報は、境界非平坦ブロックと、これと隣接する平坦領域内の平坦ブロックとの類似性を考慮して、設定される。ここで、境界非平坦ブロックとは、平坦領域の外側にあって平坦領域内の平坦ブロックと上下左右のいずれか（あるいは斜め方向を含む８方向のいずれか等でもよい）に隣接する非平坦ブロックを意味する。
【００３８】
図８は、奥行き情報生成部４の処理動作の概要を説明する図である。同図における平坦領域０内の平坦ブロックに付与される奥行き情報の生成手法を説明する。なお、本例では、奥行き情報は、０〜２５５の範囲の値をとり得る奥行き値であり、値が小さいほど手前に見え、値が大きいほど奥に見えるものとする。
【００３９】
平坦領域０に対して、図８（ａ）に示す境界非平坦ブロックが存在する。奥行き情報生成部４は、この境界非平坦ブロックのそれぞれについて、隣接する平坦ブロックと類似しているか否かを判定する。図８（ｂ）は判定結果を示しており、類似している境界非平坦ブロック（以下、単に類似非平坦ブロックと表記）より類似していない境界非平坦ブロック（以下、単に非類似非平坦ブロックと表記）の方が多い例を示している。奥行き情報生成部４は、非類似非平坦ブロックが多い場合、平坦領域０は背景であると判定し、類似非平坦ブロックが多い場合、平坦領域０は前景であると判定する。一般に、境界非平坦ブロックは、平坦領域より手前にあるか、平坦領域と同じ奥行きであると考えられるためである。
【００４０】
前景であると判定された平坦領域内の各平坦ブロックに対して、奥行き情報生成部４は類似非平坦ブロック（すなわち前景と考えられる境界非平坦ブロック）の仮の奥行き情報の平均値を付与する。一方、背景であると判定された平坦領域内の各ブロックに対して、奥行き情報生成部４は非類似非平坦ブロック（すなわち背景と考えられる境界非平坦ブロック）の仮の奥行き情報のうちの最大値を付与する。
【００４１】
図９は、奥行き情報生成部４の処理動作の一例を示すフローチャートである。以下、奥行き情報生成部４の処理動作について、より詳細に説明する。
【００４２】
まず、奥行き情報生成部４は各パラメータを初期化する（ステップＳ２１）。具体的には下記の通りである。
【００４３】
類似非平坦ブロック数Ｎ１＝０
類似非平坦ブロック奥行き合計Ｔ１＝０
非類似非平坦ブロック数Ｎ２＝０
非類似非平坦ブロック奥行き最大値Ｍ２＝０（理論最小値）
【００４４】
なお、以下では、類似非平坦ブロック奥行き合計Ｔ１を単に奥行き合計Ｔ１と表記し、非類似非平坦ブロック奥行き最大値Ｍ２を単に奥行き最大値Ｍ２と表記する。
【００４５】
続いて、奥行き情報生成部３は、境界非平坦ブロックと、これと隣接する平坦ブロックとの類似度を算出する（ステップＳ２２）。そして、奥行き情報生成部３は類似度が所定の閾値以上であるか否かを判定する（ステップＳ２３）。閾値以上であれば、境界非平坦ブロックと、これと隣接する平坦ブロックとは類似しており、閾値未満であれば類似していないことを意味する。類似度は様々な特徴量に基づいて定義することができる。
【００４６】
例えば、境界非平坦ブロック内の各画素の輝度平均値と、平坦ブロック内の各画素の輝度平均値との絶対差分値を類似度とすることができる。そして、この絶対差分値が閾値以上であるか否かが判定される。閾値は固定値であってもよいし、動的に定められてもよい。例えば、画像全体が明るい場合の閾値は、画像全体が暗い場合の閾値より高い値であってもよい。また、輝度に代えて色差を用いてもよい。
【００４７】
また、境界非平坦ブロック内の各画素と、対応する位置に存在する平坦ブロック内の各画素との絶対差分値和（ＳＡＤ：Sum of Absolute Difference）あるいは差分二乗和（ＳＳＤ：Sum of Squared Difference）を類似度としてもよい。
【００４８】
その他、境界非平坦ブロックの動きベクトルと、平坦ブロックの動きベクトルとの絶対差分値を類似度としてもよい。また、両ブロックのエッジ強度の絶対差分値を類似度としてもよい。エッジ強度は、例えば、輝度または色差の分散、あるいは、ブロック内で隣接する画素同士の絶対差分値の平均値あるいは最大値を用いることができる。
【００４９】
もちろん、上記の例示した特徴量のうちの２つ以上を組み合わせて類似度としてもよい。
【００５０】
図９に戻り、類似度が閾値以上の場合（ステップＳ２３のＹＥＳ）、奥行き情報生成部４は、類似非平坦ブロック数Ｎ１を１だけインクリメントする（ステップＳ２４ａ）とともに、奥行き合計Ｔ１に当該境界非平坦ブロックの仮の奥行き値を加算する（ステップＳ２５ａ）。
【００５１】
一方、類似度が閾値未満の場合（ステップＳ２３のＮＯ）、奥行き情報生成部４は、非類似非平坦ブロック数Ｎ２を１だけインクリメントする（ステップＳ２４ｂ）とともに、奥行き最大値Ｍ２を更新する（ステップＳ２５ａ）。すなわち奥行き情報生成部４は、現在の奥行き最大値Ｍ２と、当該境界非平坦ブロックの仮の奥行き値との最大値を、新たな奥行き最大値Ｍ２とする。
【００５２】
以上の処理を、全ての境界非平坦ブロックについて処理する（ステップＳ２６）。
【００５３】
なお、１つの境界非平坦ブロックが平坦領域内の複数の平坦ブロックと接している場合、当該１つの境界非平坦ブロックについて複数回の処理が行われる。図１０において、ブロックＦ１〜Ｆ４が平坦領域内の平坦ブロックであり、ブロックＮ１〜Ｎ４が境界非平坦ブロックであるとする。境界非平坦ブロックＮ１は１つの平坦ブロックＦ１と隣接している。そのため、境界非平坦ブロックＮ１に対して、図９のステップＳ２２〜Ｓ２８ａ（またはＳ２８ｂ，Ｓ２８ｃ）の処理が１回行われる。一方、境界非平坦ブロックＮ３は２つの平坦ブロックＦ２，Ｆ３と隣接している。そのため、境界非平坦ブロックＮ３に対して、図９のステップＳ２２〜Ｓ２８ａ（またはＳ２８ｂ，Ｓ２８ｃ）の処理が２回、すなわち、平坦ブロックＦ２との間の処理および平坦ブロックＦ３との間の処理が行われる。
【００５４】
図９に戻り、全ての境界非平坦ブロックについての処理が終わると（ステップＳ２６のＹＥＳ）、奥行き情報生成部４は、平坦領域が前景であるか、背景であるか、あるいは、そのどちらでもないか、を判定する（ステップＳ２７）。
【００５５】
簡易な判定法として、奥行き情報生成部４は、類似非平坦ブロック数Ｎ１≧非類似非平坦ブロック数Ｎ２であれば平坦領域は前景であると判定し、類似ブロック数Ｎ１＜非類似ブロック数Ｎ２であれば平坦領域は背景であると判定してもよい。この場合、以下のステップＳ２８ｃの処理は行われない。
【００５６】
また、奥行き情報生成部４は、両非平坦ブロック数に有意差がある場合のみ、前景または背景と判定し、有意差がない場合はどちらでもないと判定してもよい。具体的には、両非平坦ブロック数の差が所定値以上、あるいは、一方の非平坦ブロック数が他方の非平坦ブロック数の所定倍以上である場合に、有意差があるとしてもよい。
【００５７】
一般的には、奥行き情報生成部４は、下記（１）式を満たす場合は前景であり、下記（２）式を満たす場合は背景であり、いずれも満たさない場合はどちらでもない、と判定することができる。
【００５８】
Ｎ１≧ａ＊Ｎ２＋ｂ  ・・・（１）
Ｎ２≧ａ＊Ｎ１＋ｂ  ・・・（２）
ここで、ａは１以上の定数であり、ｂは０以上の定数である。
【００５９】
判定結果に応じて、以下の処理が行われる。
【００６０】
平坦領域が前景であると判定された場合、奥行き情報生成部４は、類似非平坦ブロックの奥行き値の平均値Ｔ１／Ｎ１を、当該平坦領域内の各平坦ブロックに付与される奥行き値とする（ステップＳ２８ａ）。
【００６１】
平坦領域が背景であると判定された場合、奥行き情報生成部４は、非類似非平坦ブロックの奥行き最大値Ｍ２、すなわち、最も奥に見える非平坦ブロックに付与される奥行き値を、当該平坦領域内の各平坦ブロックの奥行き値とする（ステップＳ２８ｂ）。
【００６２】
平坦領域が前景でも背景でもないと判定された場合、奥行き情報生成部４は、安全策として、上記Ｔ１／Ｎ１およびＭ２の両方を考慮して、当該平坦領域内の各平坦ブロックに付与されるの奥行き値を生成する。具体例として、これらに所定の重み係数ｐ，ｑを用いて、ｐ＊Ｔ１／Ｎ１＋ｑ＊Ｍ２を奥行き値とできる。ｐ，ｑは予め定めた定数でもよいし、それぞれ類似ブロック数Ｎ１および非類似ブロック数Ｎ２としてもよい。
【００６３】
なお、奥行き値の生成法には種々の変形例が考えられる。例えば、ステップＳ２８ｂにおいて、奥行き最大値Ｍ２に代えて画面全体における奥行き値の最大値を用いてもよい。また、奥行き最大値Ｍ２に代えて、非類似非平坦ブロックの奥行き値のヒストグラム（各奥行き値の出現頻度を示す）を生成しておき、例えば上位２％の奥行き値を用いてもよい。これによりノイズの影響を受けにくくできる。
【００６４】
以上のようにして、１つの平坦領域内の全ての平坦ブロックに共通して付与される奥行き値が生成される。以上のステップＳ２１〜Ｓ２８ａ（またはＳ２８ｂ，Ｓ２８ｃ）の処理を、全ての平坦領域について行う（ステップＳ２９）。
【００６５】
図１１（ａ）は左目用画像の一例である。画像内には、背景である空３１、前景である月３２および植物３３が含まれる。植物３３が最も手前にあり、次いで月３２が手前に見え、空３１が最も奥に見えるべきである。本例では空３１が平坦領域３１ａであり、前景ではなく背景である。
【００６６】
同図（ｂ），（ｃ）は生成された奥行き情報を概念的に示す図であり、色が濃いほど奥行き値が大きい、つまり、奥に見えることを意味している。
【００６７】
同図（ｂ）は正しく奥行き情報が生成されない比較例を示している。すなわち、平坦領域３１ａが前景と判定され、月３２と空３１との奥行き関係が逆転してしまっている。この場合、空３１に穴が空いてその奥に月３２が見えてしまう。
【００６８】
これに対して、同図（ｃ）は本実施形態を適用して生成された奥行き値を示している。すなわち、平坦領域３１ａが正しく背景と判定され、奥行き値は、植物３３、月３２および空３１の順に大きくなる。よって、月３２は空３１より手前に見える適切な表示となる。
【００６９】
図１２（ａ）は左目用画像の別の例である。画像内には、背景である空４１、前景である壁４２および植物３３が含まれる。植物４３が最も手前にあり、次いで壁４２が手前に見え、空４１が最も奥に見えるべきである。本例では壁４２が平坦領域４２ａであり、背景ではなく前景である。
【００７０】
同図（ｂ），（ｃ）は生成された奥行き情報を概念的に示す図であり、色が濃いほど奥行き値が大きい、つまり、奥に見えることを意味している。
【００７１】
同図（ｂ）は正しく奥行き情報が生成されない比較例を示している。すなわち、平坦領域４２ａが背景と判定され、壁４２と空４１との奥行き関係が逆転してしまっている。この場合、空４１に穴が空いてその奥に壁４２が見えてしまう。
【００７２】
これに対して、同図（ｃ）は本実施形態を適用して生成された奥行き値を示している。すなわち、平坦領域４２ａが正しく前景と判定され、奥行き値は、植物４３、壁４２および空４１の順に大きくなる。よって、壁４２は空４１より手前に見える適切な表示となる。
【００７３】
図２に戻り、奥行き情報が生成されると、視差画像生成部５は左目用画像から９枚の視差画像を生成する（ステップＳ７）。例えば、図１３に示すように、左の方向から見た視差画像の場合、表示部１０より手前に表示されるべきブロックは右側にずれて見える。また、左側の視点ほど大きく右側にずれて見える。そのため、奥行き情報に基づき、視差画像生成部５は左目用画像における手前に表示されるべきブロックを右側にずらす処理を行う。一方、図１４に示すように、左の方向から見た視差画像の場合、表示部１０より奥に表示されるべきブロックは左側にずれて見える。また、左側の視点ほど大きく左側にずれて見える。そのため、奥行き情報に基づき、視差画像生成部５は左目用画像における奥に表示されるべきブロックを左側にずらす処理を行う。
【００７４】
そして、もともとそのブロックがあった場所を周辺の画素を用いて適宜補間する。視差画像を生成する際、平坦領域内の各ブロックについては奥行き情報生成部４により生成された奥行き情報が用いられ、それ以外の各ブロックについてはステレオマッチング部１により付与された仮の奥行き情報が用いられる。
【００７５】
そして、生成されたこれら９枚の視差画像が表示部１０に立体表示される（ステップＳ８）。
【００７６】
このように、本実施形態では、連続する平坦ブロックには同一の奥行き情報を付与する。そのため、ステレオマッチング処理が困難な平坦ブロックに対しても高精度に奥行き情報を生成できる。
【００７７】
なお、上述した実施形態では、奥行き情報として、各ブロックがどの程度表示部１０の奥または手前に表示されるべきかを示す奥行き値である例を示した。これに対し、奥行き情報は、左目用画像のブロックに対応する右目用画像のブロックが、どの程度ずれた位置にあるかを示す視差であってもよい。
【００７８】
また、上述した実施形態では、左目用画像に対してのみ図２のステップＳ２以降の処理を行う例を示した。これに対し、奥行き情報として視差を用いるとともに、左目用画像および右目用画像の両方に対して図２の処理を行ってもよい。その結果、図１５に示すように、左目用画像および右目用画像の両方に平坦領域が生成される。そして、奥行き情報生成部４は、左目用画像の平坦領域（平坦領域Ｌ０等）と、これに対応する右目用画像の平坦領域（平坦領域Ｒ０等）を探索する。この探索は、例えば平坦領域の重心や平坦領域内の平坦ブロックの数に基づいて、行うことができる。
【００７９】
そして、両画像内の平坦領域の重心のずれを視差として、平坦領域内の平坦ブロックに共通して付与する。探索処理に成功すれば、より正確な奥行き情報（視差）を得ることができる。
【００８０】
なお、画像処理装置は図１の少なくとも一部を含んでいればよい。例えば、ステレオマッチング部１を省略し、予め各ブロックに仮の奥行き情報が付与された入力画像がブロック判定部２に入力されてもよい。
【００８１】
上述した実施形態で説明した画像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理装置システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００８２】
また、画像処理装置システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００８３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００８４】
１  ステレオマッチング部
２  ブロック判定部
３  平坦領域生成部
４  奥行き情報生成部
５  視差画像生成部
１０  表示部
【図１】
2014064187.tif 000003
【図２】
2014064187.tif 000004
【図５】
2014064187.tif 000005
【図８】
2014064187.tif 000006
【図９】
2014064187.tif 000007
【図１０】
2014064187.tif 000008
【図１３】
2014064187.tif 000009
【図１４】
2014064187.tif 000010
【図３】
2014064187.tif 000011
【図４】
2014064187.tif 000012
【図６】
2014064187.tif 000013
【図７】
2014064187.tif 000014
【図１１】
2014064187.tif 000015
【図１２】
2014064187.tif 000016
【図１５】
2014064187.tif 000017
【手続補正書】
【提出日】平成25年6月25日(2013.6.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するブロック判定部と、
前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成する平坦領域生成部と、
前記平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、隣接する平坦ブロックと類似している非平坦ブロックの数、および、類似していない前記非平坦ブロックの数に応じて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する奥行き情報生成部と、を備える画像処理装置。
【請求項２】
前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
前記奥行き情報生成部は、下記（１）式を満たす場合、前記類似している非平坦ブロックの仮の奥行き情報の平均値を、前記平坦領域内の全ての平坦ブロックの奥行き情報とする、請求項１に記載の画像処理装置
Ｎ１≧ａ＊Ｎ２＋ｂ  ・・・（１）
ここで、Ｎ１は前記類似している非平坦ブロックの数、Ｎ２は前記類似していない非平坦ブロックの数、ａは１以上の定数、ｂは０以上の定数。
【請求項３】
前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
前記奥行き情報生成部は、下記（２）式を満たす場合、前記類似していない非平坦ブロックのうち最も奥に見える非平坦ブロックの仮の奥行き情報、または、前記入力画像内のブロックのうち最も奥に見えるブロックの仮の奥行き情報を、前記平坦領域内の全ての平坦ブロックの奥行き情報とする、請求項１に記載の画像処理装置
Ｎ２≧ａ＊Ｎ１＋ｂ  ・・・（２）
ここで、Ｎ１は前記類似している非平坦ブロックの数、Ｎ２は前記類似していない非平坦ブロックの数、ａは１以上の定数、ｂは０以上の定数。
【請求項４】
前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
前記奥行き情報生成部は、下記（３）式および下記（４）式のいずれも満たさない場合、
前記類似している非平坦ブロックの仮の奥行き情報の平均値、および、
前記類似していない非平坦ブロックのうち最も奥に見える非平坦ブロックの仮の奥行き情報
に基づいて、前記平坦領域内の全ての平坦ブロックの奥行き情報を生成する、請求項１に記載の画像処理装置
Ｎ１≧ａ＊Ｎ２＋ｂ  ・・・（３）
Ｎ２≧ａ＊Ｎ１＋ｂ  ・・・（４）
ここで、Ｎ１は前記類似している非平坦ブロックの数、Ｎ２は前記類似していない非平坦ブロックの数、ａは１以上の定数、ｂは０以上の定数。
【請求項５】
前記奥行き情報生成部は、
前記平坦ブロックの輝度の平均値または色差の平均値と、
前記平坦ブロックと隣接する非平坦ブロックの輝度の平均値または色差の平均値と、
の差に基づいて、類似しているか否かを判断する、請求項１に記載の画像処理装置。
【請求項６】
第１の画像、および、前記第１の画像とは視点が異なる第２の画像に対して、ステレオマッチング処理を行って、前記第１の画像の各ブロックに前記仮の奥行き情報を付与するステレオマッチング部を備え、
前記ブロック判定部は、前記第１の画像を前記入力画像として処理する請求項２乃至５のいずれかに記載の画像処理装置。
【請求項７】
前記奥行き情報生成部により付与された前記平坦領域の奥行き情報を用いて、前記入力画像から複数の視差画像を生成する視差画像生成部と、
前記複数の視差画像を表示する表示部と、を備える請求項１に記載の画像処理装置。
【請求項８】
入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するステップと、
前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成するステップと、
前記平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、隣接する平坦ブロックと類似している非平坦ブロックの数、および、類似していない前記非平坦ブロックの数に応じて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成するステップと、を備える画像処理方法。
【請求項９】
入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するステップと、
前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成するステップと、
前記平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、隣接する平坦ブロックと類似している非平坦ブロックの数、および、類似していない前記非平坦ブロックの数に応じて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成するステップと、をコンピュータに実行させる画像処理プログラム。