(57)【要約】【課題】精度良く且つ高速にオクルージョン領域を推定できる。【解決手段】画像処理装置１０において、推定部１２は、取得部１１で取得された距離画像内で窓を移動させる。そして、推定部１２は、各窓内における注目画素に対応する距離と各非注目画素に対応する距離との差の総和に基づいて、注目画素がオクルージョン領域の画素であるか否かを判定して、オクルージョン領域を推定する。【選択図】図４
2014211829.tif 000002
【特許請求の範囲】
【請求項１】
メモリと、前記メモリに接続されたプロセッサとを有し、
前記プロセッサは、
第１の画像と前記第１の画像と視点が異なる第２の画像とに基づく距離画像内で窓を移動させ、
各窓内における注目画素に対応する距離と各非注目画素に対応する距離との差の総和に基づいて、前記注目画素がオクルージョン領域の画素であるか否かを判定して、前記オクルージョン領域を推定する、
ことを特徴とする画像処理装置。
【請求項２】
前記プロセッサは、
前記推定したオクルージョン領域を挟んで両側に位置する第１の画素及び第２の画素のそれぞれに対応する距離に基づいて、前記オクルージョン領域の推定幅を算出し、
前記推定幅に基づいて、前記推定したオクルージョン領域を補正する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記プロセッサは、
前記推定したオクルージョン領域を挟んで両側に位置する第１の画素及び第２の画素のそれぞれに対応する距離に基づいて、前記オクルージョン領域の推定幅を算出し、
前記推定したオクルージョン領域に対して前記推定幅を有する第１の領域と前記第１の領域を除く第２の領域とを設定し、
前記第２の領域の内で前記第２の画素よりも前記第１の画素に近い画素に対応する距離を前記第１の画素に対応する距離で補正し、前記第１の画素よりも前記第２の画素に近い画素に対応する距離を前記第２の画素に対応する距離で補正し、前記第１の領域の内の画素に対応する距離を前記第１の画素に対応する距離及び前記第２の画素に対応する距離の内の大きい方で補正する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記プロセッサは、前記総和が閾値より大きい場合、前記総和に対応する注目画素を前記オクルージョン領域の画素であると判定する、
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
第１の画像と前記第１の画像と視点が異なる第２の画像とに基づく距離画像内で窓を移動させ、
各窓内における注目画素に対応する距離と各非注目画素に対応する距離との差の総和に基づいて、前記注目画素がオクルージョン領域の画素であるか否かを判定して、前記オクルージョン領域を推定する、
画像処理回路。
【請求項６】
第１の画像と前記第１の画像と視点が異なる第２の画像とに基づく距離画像内で窓を移動させ、
各窓内における注目画素に対応する距離と各非注目画素に対応する距離との差の総和に基づいて、前記注目画素がオクルージョン領域の画素であるか否かを判定して、前記オクルージョン領域を推定する、
処理を、画像処理装置に実行させる画像処理プログラム。
【請求項７】
第１の画像と前記第１の画像と視点が異なる第２の画像とに基づく距離画像内で窓を移動させ、
各窓内における注目画素に対応する距離と各非注目画素に対応する距離との差の総和に基づいて、前記注目画素がオクルージョン領域の画素であるか否かを判定して、前記オクルージョン領域を推定する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理回路、画像処理プログラム、及び画像処理方法に関する。
【背景技術】
【０００２】
３Ｄ（three  dimensions）画像を見たときに、違和感又は不快を感じることがある。実空間で人が対象物を見る場合、その人の焦点は、中心視野に在る対象物近傍に合っている。このため、その中心視野から外れたところの物体はピントがずれた状態で認識される。すなわち、実空間において、人からの距離が大きく異なる複数の物体を同程度で認識することは少ない。このため、画像内で深さ（つまり、距離に対応）が大きく異なる複数の物体を見る場合、輻輳と調節との矛盾の程度が大きいため、観察者は疲労感を感じる。
【０００３】
そこで、この状況において輻輳と調節との矛盾の程度を小さく抑えるために、一般的にフィルタリング処理が行われる。このフィルタリング処理では、距離画像が用いられる。距離画像は、例えば、図１に示すような、２つの視点から撮影された２つの画像（以下では、右側の視点から撮影された画像を「右側画像」、左側の視点から撮影された画像を「左側画像」と呼ぶ）から求められる。図１は、左側画像及び右側画像の一例を示す図である。具体的には、右側画像の原点と左側画像の原点とを合わせ、右側画像の基準点の座標と、当該基準点に対応する左側画像の対応点の座標との差（つまり、視差）を、基準点の値とした画像が、「右側距離画像」である。反対に、右側画像の原点と左側画像の原点とを合わせ、左側画像の基準点の座標と、当該基準点に対応する右側画像の対応点の座標との差（つまり、視差）を、基準点の値とした画像が、「左側距離画像」である。図２は、左側距離画像の一例を示す図である。図２に示す左側距離画像は、図１に示す右側画像及び左側画像に基づいて作成したものである。なお、距離画像では、各画素の値（つまり、視差値）が濃淡で示され、濃い程遠くを意味し、薄い程近くを意味する。
【０００４】
ここで、上記のフィルタリング処理が施された画像の品質を向上させるために、距離画像の精度を向上させることが望まれる。距離画像の精度を向上させるために、距離画像において「オクルージョン領域」を高精度で推定することが望まれる。「オクルージョン領域」とは、右側画像及び左側画像のうちの一方には存在するが他方には存在しない画像領域である。図２において、楕円で示された部分がオクルージョン領域である。
【０００５】
そして、従来、距離画像内のオクルージョン領域を高精度で推定する方法として、ブロックマッチング処理を行う方法がある。この従来の方法では、図３に示すように、右側距離画像及び左側距離画像のうちの一方を基準として、当該一方の各部分領域が他方に存在するか否かを判定し、存在しない領域をオクルージョン領域として特定する。図３は、従来の、ブロックマッチング処理によるオクルージョン領域の推定方法の説明に供する図である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−０９９９１８号公報
【特許文献２】特開２０１２−０１０２５５号公報
【特許文献３】特開２０１２−０８９１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来のオクルージョン領域の推定方法では、まず、左側距離画像及び右側距離画像をブロックマッチング処理によって作成し、さらに、左側距離画像と右側距離画像との間でブロックマッチング処理を行う。このブロックマッチング処理は、演算量が多いため、推定処理に多くの時間が掛かってしまう。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、精度良く且つ高速にオクルージョン領域を推定できる、画像処理装置、画像処理回路、画像処理プログラム、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
開示の態様では、第１の画像と前記第１の画像と視点が異なる第２の画像とに基づく距離画像内で窓を移動させ、各窓内における注目画素に対応する距離と各非注目画素に対応する距離との差の総和に基づいて、前記注目画素がオクルージョン領域の画素であるか否かを判定して、前記オクルージョン領域を推定する。
【発明の効果】
【００１０】
開示の態様によれば、精度良く且つ高速にオクルージョン領域を推定できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、左側画像及び右側画像の一例を示す図である。
【図２】図２は、左側距離画像の一例を示す図である。
【図３】図３は、ブロックマッチング処理によるオクルージョン領域の推定方法の説明に供する図である。
【図４】図４は、実施例１の画像処理装置の一例を示すブロック図である。
【図５】図５は、実施例１の画像処理装置の処理動作の一例を示すフローチャートである。
【図６】図６は、実施例１の画像処理装置によるオクルージョン領域の推定結果の一例を示す図である。
【図７】図７は、実施例２の画像処理装置の一例を示すブロック図である。
【図８】図８は、実施例２の画像処理装置の処理動作の一例を示すフローチャートである。
【図９】図９は、実施例２の画像処理装置における推定幅の算出処理の説明に供する図である。
【図１０】図１０は、実施例２の画像処理装置における推定幅の算出処理の説明に供する図である。
【図１１】図１１は、実施例３の画像処理装置の一例を示すブロック図である。
【図１２】図１２は、実施例３の画像処理装置の処理動作の一例を示すフローチャートである。
【図１３】図１３は、実施例３の画像処理装置における推定幅の算出処理の説明に供する図である。
【図１４】図１４は、実施例３のオクルージョン領域の補正処理後の距離画像の一例を示す図である。
【図１５】図１５は、画像処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する画像処理装置、画像処理回路、画像処理プログラム、及び画像処理方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願の開示する画像処理装置、画像処理回路、画像処理プログラム、及び画像処理方法が限定されるものではない。また、実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。また、実施形態において同等の処理ステップには同一の符号を付し、重複する説明を省略する。
【００１３】
［実施例１］
［画像処理装置の構成例］
図４は、実施例１の画像処理装置の一例を示すブロック図である。図４において、画像処理装置１０は、取得部１１と、推定部１２と、補正部１３とを有する。
【００１４】
取得部１１は、第１の視点で撮影された第１の画像（例えば、左側画像）と、第１の視点と異なる第２の視点で撮影された第２の画像（例えば、右側画像）とに基づく距離画像（例えば、左側距離画像又は右側距離画像）を取得する。なお、ここでは、画像処理装置１０の外部で距離画像が算出されていることを前提として説明するが、これに限定されるものではなく、取得部１１が第１の画像及び第２の画像を取得して、取得した第１の画像及び第２の画像に基づいて、距離画像を算出（形成）してもよい。
【００１５】
推定部１２は、取得部１１で取得された距離画像内のオクルージョン領域を、距離画像における隣接画素間の距離変動に基づいて推定する。
【００１６】
具体的には、推定部１２は、取得部１１で取得された距離画像内で「窓」を順次移動させる。窓は、例えば、１つの「注目画素」と注目画素を囲む８つの画素（非注目画素）とを含む９つの画素に対応する大きさを有する。そして、推定部１２は、距離画像の或る位置に窓を設定すると、窓の中心に対応する画素を注目画素として、注目画素に対応する距離と各非注目画素に対応する距離との差を算出する。すなわち、８つの差が算出される。そして、推定部１２は、算出した８つの差の総和を算出する。そして、推定部１２は、算出した総和に基づいて、当該総和に対応する注目画素がオクルージョン領域の画素であるか否かを判定することにより、オクルージョン領域を推定する。
【００１７】
詳細には、推定部１２は、算出した総和が閾値より大きい場合、総和に対応する注目画素をオクルージョン領域の画素であると判定する。一方、推定部１２は、算出した総和が閾値以下である場合、総和に対応する注目画素をオクルージョン領域の画素でないと判定する。すなわち、推定部１２は、算出した総和が閾値より大きい場合、総和に対応する注目画素が「不安定領域」の画素であると判定し、算出した総和が閾値以下である場合、「安定領域」の画素であると判定する。つまり、「不安定領域」とは、「安定領域」に比べて、距離変動が大きい領域である。そして、推定部１２は、「不安定領域」がオクルージョン領域であると判定している。
【００１８】
補正部１３は、推定部１２で推定されたオクルージョン領域に基づいて、距離画像を補正する。
【００１９】
［画像処理装置の動作例］
以上の構成を有する画像処理装置１０の動作例について説明する。図５は、実施例１の画像処理装置の処理動作の一例を示すフローチャートである。また、図６は、実施例１の画像処理装置によるオクルージョン領域の推定結果の一例を示す図である。
【００２０】
画像処理装置１０において推定部１２は、取得部１１で取得された距離座像において、初期位置に窓を設定する（ステップＳ１０１）。初期位置は、例えば、距離画像の一番左の列（Ｘ’座標）で且つ一番下の行（Ｙ’座標）の画素を（０，０）画素とした場合、（１，１）画素に窓の中心を合わせた位置である。
【００２１】
推定部１２は、ステップＳ１０１で設定した窓内の注目画素に対応する距離と、各非注目画素に対応する距離との差を算出する（ステップＳ１０２）。
【００２２】
推定部１２は、ステップＳ１０２で算出した差の総和を算出する（ステップＳ１０３）。
【００２３】
推定部１２は、ステップＳ１０３で算出した総和が所定の閾値より大きいか否かを判定する（ステップＳ１０４）。
【００２４】
推定部１２は、総和が閾値より大きい場合（ステップＳ１０４肯定）、注目画素がオクルージョン領域の画素であると判定し、注目画素に「１」を設定する（ステップＳ１０５）。
【００２５】
一方、推定部１２は、総和が閾値以下である場合（ステップＳ１０４否定）、注目画素がオクルージョン領域の画素でないと判定し、注目画素に「０」を設定する（ステップＳ１０６）。図６には、各注目画素に対して、オクルージョン領域に関する情報である「１」又は「０」が設定された距離画像の一例が示されている。なお、ここで得られた距離画像には、距離情報に加えて、オクルージョン領域に関する情報が設定されている。
【００２６】
そして、推定部１２は、現在設定している窓の位置が最終位置であるか否かを判定し（ステップＳ１０７）、最終位置でない場合（ステップＳ１０７否定）、窓の移動ルールに従って窓を移動させる（ステップＳ１０８）。そして、推定部１２は、移動後の位置でステップＳ１０２−Ｓ１０７の処理を繰り返す。ここで、窓の移動ルールは、例えば、窓を１画素ずつ右へ移動させ、窓が距離画像の右端まで行くと窓を距離画像の左端に戻しつつ１画素上に移動させる。そして、最終位置は、例えば、距離画像がＭ画素×Ｎ画素の大きさを有する場合、窓の中心が（Ｍ−１，Ｎ−１）画素に合わさった位置である。
【００２７】
推定部１２は、現在設定している窓の位置が最終位置であると判定した場合（ステップＳ１０７肯定）、オクルージョン領域の推定処理を終了する。
【００２８】
以上のように本実施例によれば、画像処理装置１０において、推定部１２は、取得部１１で取得された距離画像内で窓を順次移動させる。そして、推定部１２は、各窓内における注目画素に対応する距離と各非注目画素に対応する距離との差の総和に基づいて、注目画素がオクルージョン領域の画素であるか否かを判定して、オクルージョン領域を推定する。
【００２９】
この画像処理装置１０の構成により、左側距離画像及び右側距離画像の内の一方を用いてオクルージョン領域を推定できるので、推定処理の演算量を削減することができる。また、各窓内における注目画素に対応する距離と各非注目画素に対応する距離との差の総和という、少ない演算量での算出が可能であり且つ具体的な値を有するパラメータに基づいて、オクルージョン領域を推定することができる。従って、高速に且つ精度良くオクルージョン領域を推定することができる。
【００３０】
そして、画像処理装置１０において、補正部１３は、推定部１２で推定されたオクルージョン領域に基づいて、距離画像を補正する。
【００３１】
この画像処理装置１０の構成により、推定部１２で精度良く推定したオクルージョン領域に基づいて、距離画像を補正できるので、距離画像の精度を向上させることができる。そして、例えば、この精度が向上された距離画像を用いて、右側画像及び左側画像に対してフィルタリング処理を行うことにより、輻輳と調節との矛盾の程度を小さく抑えることができる。この結果として、観察者が感じる疲労感を軽減させることができる３Ｄ画像を提供することができる。
【００３２】
［実施例２］
実施例２では、オクルージョン領域の推定幅を算出し、当該推定幅に基づいて、推定したオクルージョン領域を補正する。
【００３３】
［画像処理装置の構成例］
図７は、実施例２の画像処理装置の一例を示すブロック図である。図７において、画像処理装置３０は、幅算出部３１と、補正部３２とを有する。
【００３４】
幅算出部３１は、推定部１２で推定されたオクルージョン領域を挟んで両側（つまり、左右）に位置する第１の画素及び第２の画素のそれぞれに対応する距離に基づいて、オクルージョン領域の推定幅を算出する。幅算出部３１は、推定部１２で推定されたオクルージョン領域の各行（つまり、Ｙ’座標）について、オクルージョン領域の推定幅を算出する。以下では、上記の第１の画素及び第２の画素を「左側画素」及び「右側画素」とそれぞれ呼ぶことがある。また、「左側画素」に対応する距離を「第１の距離」、「右側画素」に対応する距離を「第２の距離」と呼ぶことがある。
【００３５】
補正部３２は、幅算出部３１で算出された推定幅に基づいて、推定部１２で推定されたオクルージョン領域を補正する。幅算出部３１は、推定部１２で推定されたオクルージョン領域の各行（つまり、Ｙ’座標）について、オクルージョン領域を補正する。
【００３６】
そして、補正部３２は、補正したオクルージョン領域に基づいて、距離画像を補正する。
【００３７】
［画像処理装置の動作例］
以上の構成を有する画像処理装置３０の動作例について説明する。図８は、実施例２の画像処理装置の処理動作の一例を示すフローチャートである。図９及び図１０は、実施例２の画像処理装置における推定幅の算出処理の説明に供する図である。
【００３８】
画像処理装置３０において幅算出部３１は、推定部１２で推定されたオクルージョン領域に対して、「注目部分領域」を初期位置に設定する（ステップＳ２０１）。注目部分領域は、オクルージョン領域の内でＹ’座標が同一の画素群である。そして、注目部分領域の初期位置は、推定部１２で推定されたオクルージョン領域の内のＹ’座標が最小値である位置である（図９参照）。
【００３９】
幅算出部３１は、ステップＳ２０１で設定した注目部分領域についての、左側画素に対応する第１の距離と、右側画素に対応する第２の距離とを特定する（ステップＳ２０２）。すなわち、幅算出部３１は、図９に示すように、初期位置の注目部分領域について、画素ｐ１に対応する第１の距離と、画素ｐ２に対応する第２の距離とを特定する。
【００４０】
幅算出部３１は、ステップＳ２０２で特定した第１の距離及び第２の距離に基づいて、推定幅αを算出する（ステップＳ２０３）。具体的には、幅算出部３１は、第１の距離及び第２の距離の内で大きい方をＺ１とし、小さい方をＺ０とし、次の式（１）に代入することにより、推定幅αを算出する。
α＝ｂ×（Ｚ１−Ｚ０）／Ｚ０  ・・・（１）
ｂは、左側画像を撮影した左側カメラと、右側画像を撮影した右側カメラとの離間距離である。
【００４１】
ここで、図１０に示すように、後方物体（背景）の手前の位置（図１０におけるＰ（Ｘ，Ｚ））に前方物体（前景）が存在する場合、カメラ位置から前方物体までの距離（Ｚ０）と、カメラ位置から後方物体までの距離（Ｚ１）と、左右カメラ間の離間距離ｂとに基づいて、推定幅αが決まる。なお、図１０において、Ｏｌは、左側投影面を示し、Ｏｒは、右側投影面を示す。また、ｆは、左側カメラの位置から左側投影面までの距離、又は、右側カメラの位置から右側投影面までの距離である。また、Ｘｌは、左側カメラの位置とＰ（Ｘ，Ｚ）とを結ぶ線分と左側投影面との交点と、左側投影面の中心点との距離である。また、Ｘｒは、右側カメラの位置とＰ（Ｘ，Ｚ）とを結ぶ線分と右側投影面との交点と、右側投影面の中心点との距離である。
【００４２】
図８に戻り、補正部３２は、設定した注目部分領域の幅と推定幅αとを比較し、設定した注目部分領域の幅が推定幅αより大きいか否かを判定する（ステップＳ２０４）。ここでは、例えば、ステップＳ２０３で算出された推定幅αそのものが用いられるのではなく、ステップＳ２０３で算出された実空間の推定幅αが距離画像空間に変換された値が用いられてもよい。
【００４３】
補正部３２は、注目部分領域の幅が推定幅αより大きい場合（ステップＳ２０４肯定）、推定幅αに基づいて、オクルージョン領域を補正する（ステップＳ２０５）。すなわち、補正部３２は、注目部分領域の幅が推定幅αになるまで、注目部分領域の端の画素から画素の状態を不安定領域の画素から安定領域の画素に変更する。具体的には、補正部３２は、注目部分領域の左端の画素から推定幅αに対応する画素までが安定領域となるように、右端の画素から順に画素の状態を不安定領域の画素から安定領域の画素に変更してもよい。又は、補正部３２は、注目部分領域の右端の画素から推定幅αに対応する画素までが安定領域となるように、左端の画素から順に画素の状態を不安定領域の画素から安定領域の画素に変更してもよい。又は、補正部３２は、注目部分領域の中央部に存在する推定幅αに対応する画素群が安定領域の画素となるように、右端及び左端の両方から順に画素の状態を不安定領域の画素から安定領域の画素に変更してもよい。
【００４４】
また、補正部３２は、注目部分領域の幅が推定幅α以下の場合（ステップＳ２０４否定）、注目部分領域の幅の補正を行わない。そして、処理は、ステップＳ２０６へ移る。ここで、ステップＳ２０５での補正後の注目部分領域又は注目部分領域の幅が推定幅α以下の場合の注目部分領域は、確定したオクルージョン領域となる。
【００４５】
幅算出部３１は、現在の注目部分領域が最終位置に対応するか否かを判定する（ステップＳ２０６）。注目部分領域の最終位置は、推定部１２で推定されたオクルージョン領域の内のＹ’座標が最大値である位置である。
【００４６】
幅算出部３１は、最終位置でないと判定した場合（ステップＳ２０６否定）、注目部分領域の移動ルールに従って注目部分領域を移動させる（ステップＳ２０７）。そして、幅算出部３１は、ステップＳ２０２，Ｓ２０３，Ｓ２０６の処理を繰り返し、補正部３２は、ステップＳ２０４，Ｓ２０５の処理を繰り返す。
【００４７】
幅算出部３１は、最終位置であると判定した場合（ステップＳ２０６肯定）、オクルージョン領域の補正処理を終了する。
【００４８】
以上のように本実施例によれば、画像処理装置３０において、幅算出部３１は、推定部１２で推定されたオクルージョン領域を挟んで両側に位置する第１の画素及び第２の画素のそれぞれに対応する距離に基づいて、オクルージョン領域の推定幅を算出する。そして、補正部３２は、幅算出部３１で算出された推定幅に基づいて、推定部１２で推定されたオクルージョン領域を補正する。
【００４９】
この画像処理装置３０の構成により、オクルージョン領域の両側に位置する安定領域の画素に対応する距離に基づいて、オクルージョン領域の推定幅を精度良く算出することができる。そして、精度良く算出された推定幅に基づいて、推定したオクルージョン領域を補正することができるので、推定したオクルージョン領域の精度をさらに向上させることができる。
【００５０】
そして、補正部３２は、補正したオクルージョン領域に基づいて、距離画像を補正する。
【００５１】
この画像処理装置３０の構成により、精度が向上されたオクルージョン領域に基づいて、距離画像を補正できるので、距離画像の精度を向上させることができる。そして、例えば、この精度が向上された距離画像を用いて、右側画像及び左側画像に対してフィルタリング処理を行うことにより、輻輳と調節との矛盾の程度を小さく抑えることができる。この結果として、観察者が感じる疲労感を軽減させることができる３Ｄ画像を提供することができる。
【００５２】
［実施例３］
実施例３では、実施例２と同様に、オクルージョン領域の推定幅を算出し、当該推定幅に基づいて、推定したオクルージョン領域を補正する。ただし、実施例２では、例えば、図６に示したオクルージョン領域に関する情報を補正するのに対して、実施例３では、距離画像において、推定したオクルージョン領域の補正及び推定したオクルージョン領域における距離の補正を行う。
【００５３】
［画像処理装置の構成例］
図１１は、実施例３の画像処理装置の一例を示すブロック図である。図１１において、画像処理装置５０は、補正部５１を有する。
【００５４】
補正部５１は、推定部１２で推定されたオクルージョン領域に対して、幅算出部３１で算出された推定幅αを有する「第１の領域」と、第１の領域を除く「第２の領域」とを設定する。ここで、第１の領域は、確定したオクルージョン領域である。
【００５５】
そして、補正部５１は、第２の領域の内で右側画素よりも左側画素に近い画素に対応する距離を、第１の距離で補正する。また、補正部５１は、第２の領域の内で左側画素よりも右側画素に近い画素に対応する距離を、第２の距離で補正する。さらに、補正部５１は、第１の領域の内の画素に対応する距離を、第１の距離及び第２の距離の内の大きい方で補正する。
【００５６】
なお、補正部５１は、推定部１２で推定されたオクルージョン領域の幅が推定幅α以下の場合には、推定部１２で推定されたオクルージョン領域内の画素に対応する距離を、第１の距離及び第２の距離の内の大きい方で補正する。
【００５７】
［画像処理装置の動作例］
以上の構成を有する画像処理装置５０の動作例について説明する。図１２は、実施例３の画像処理装置の処理動作の一例を示すフローチャートである。図１３は、実施例３の画像処理装置における推定幅の算出処理の説明に供する図である。図１４は、実施例３のオクルージョン領域の補正処理後の距離画像の一例を示す図である。
【００５８】
画像処理装置５０において補正部５１は、注目部分領域の幅が推定幅αより大きい場合（ステップＳ２０４肯定）、注目部分領域において中央部に推定幅αを有する第１の領域と、第１の領域を除く第２の領域とを設定する（ステップＳ３０１）。例えば、図１３の左図に示す注目部分領域（同図では、推定したオクルージョン領域Ａ４００）に対して、右図に示す第１の領域Ａ４０１と、第２の領域Ａ４０２とを設定する。第２の領域Ａ４０２は、領域Ａ４０３と領域Ａ４０４とを含む。
【００５９】
そして、補正部５１は、第２の領域Ａ４０２の内で右側画素よりも左側画素に近い画素（つまり、領域Ａ４０３内の画素）に対応する距離を、第１の距離で補正する（ステップＳ３０２）。また、補正部５１は、第２の領域Ａ４０２の内で左側画素よりも右側画素に近い画素（つまり、領域Ａ４０４内の画素）に対応する距離を、第２の距離で補正する（ステップＳ３０２）。さらに、補正部５１は、第１の領域Ａ４０１の内の画素に対応する距離を、第１の距離及び第２の距離の内の大きい方で補正する（ステップＳ３０２）。
【００６０】
一方、補正部５１は、注目部分領域の幅が推定幅α以下の場合（ステップＳ２０４否定）、注目部分領域の画素に対応する距離を、第１の距離及び第２の距離の内の大きい方で補正する（ステップＳ３０３）。
【００６１】
補正部５１が以上の補正処理を行うことにより、例えば、図１４に示すような補正後の距離画像が得られる。
【００６２】
なお、以上の説明では、第１の領域を注目部分領域の中央部に設定する場合について説明したが、これに限定されるものではない。例えば、第１の領域を注目部分領域の右端に合わせて設定してもよいし、又は、第１の領域を注目部分領域の左端に合わせて設定してもよい。
【００６３】
以上のように本実施例によれば、画像処理装置５０において、幅算出部３１は、推定部１２で推定されたオクルージョン領域を挟んで両側に位置する第１の画素及び第２の画素のそれぞれに対応する距離に基づいて、オクルージョン領域の推定幅を算出する。そして、補正部５１は、推定部１２で推定されたオクルージョン領域に対して、幅算出部３１で算出された推定幅を有する第１の領域とこれを除く第２の領域とを設定する。そして、補正部５１は、第２の領域の内で第２の画素よりも第１の画素に近い画素に対応する距離を第１の距離で補正する。そして、補正部５１は、第１の画素よりも第２の画素に近い画素に対応する距離を第２の距離で補正する。そして、補正部５１は、第１の領域の内の画素に対応する距離を、第１の距離及び第２の距離の内の大きい方で補正する。
【００６４】
この画像処理装置５０の構成により、オクルージョン領域の両側に位置する安定領域の画素に対応する距離に基づいて、オクルージョン領域の推定幅を精度良く算出することができる。そして、精度良く算出された推定幅に基づいて、推定したオクルージョン領域を補正することができるので、推定したオクルージョン領域の精度をさらに向上させることができる。また、推定したオクルージョン領域の画素に対応する距離を、安定領域の画素に対応する距離を用いて補正することができるので、距離画像の精度を向上させることができる。そして、例えば、この精度が向上された距離画像を用いて、右側画像及び左側画像に対してフィルタリング処理を行うことにより、輻輳と調節との矛盾の程度を小さく抑えることができる。この結果として、観察者が感じる疲労感を軽減させることができる３Ｄ画像を提供することができる。
【００６５】
［他の実施例］
［１］実施例１から実施例３では、推定されたオクルージョン領域が１つの場合を前提として説明を行ったが、これに限定されるものではない。推定されたオクルージョン領域が複数在る場合には、実施例１から実施例３で説明した処理を各オクルージョン領域に対して行えばよい。
【００６６】
［２］実施例１から実施例３で図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【００６７】
更に、各装置で行われる各種処理機能は、ＣＰＵ（Central  Processing  Unit）（又はＭＰＵ（Micro  Processing  Unit）、ＭＣＵ（Micro  Controller  Unit）等のマイクロ・コンピュータ）上で、その全部又は任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行するプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしてもよい。
【００６８】
実施例１から実施例３の画像処理装置は、例えば、次のようなハードウェア構成により実現することができる。
【００６９】
図１５は、画像処理装置のハードウェア構成例を示す図である。図１５に示すように、画像処理装置１００は、プロセッサ１０１と、メモリ１０２と、カメラ１０３と、表示装置１０４とを有する。
【００７０】
プロセッサ１０１の一例としては、ＣＰＵ（Central  Processing  Unit）、ＤＳＰ（Digital  Signal  Processor）、ＦＰＧＡ（Field  Programmable  Gate  Array）等が挙げられる。また、メモリ１０２の一例としては、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）等のＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ等が挙げられる。
【００７１】
そして、実施例１から実施例３の画像処理装置で行われる各種処理機能は、不揮発性記憶媒体などの各種メモリに格納されたプログラムを増幅装置が備えるプロセッサで実行することによって実現してもよい。すなわち、取得部１１と、推定部１２と、幅算出部３１と、補正部１３，３２，５１とによって実行される各処理に対応するプログラムがメモリ１０２に記録され、各プログラムがプロセッサ１０１で実行されてもよい。また、右側画像及び左側画像は、カメラ１０３で撮影されてもよい。また、右側画像及び左側画像、距離画像、並びに、補正された距離画像は、表示装置１０４に表示されてもよい。
【００７２】
また、プロセッサ１０１は、１チップの画像処理回路として実現されてもよい。
【符号の説明】
【００７３】
１０，３０，５０  画像処理装置
１１  取得部
１２  推定部
１３，３２，５１  補正部
３１  幅算出部
【図１】
2014211829.tif 000003
【図２】
2014211829.tif 000004
【図３】
2014211829.tif 000005
【図４】
2014211829.tif 000006
【図５】
2014211829.tif 000007
【図６】
2014211829.tif 000008
【図７】
2014211829.tif 000009
【図８】
2014211829.tif 000010
【図９】
2014211829.tif 000011
【図１０】
2014211829.tif 000012
【図１１】
2014211829.tif 000013
【図１２】
2014211829.tif 000014
【図１３】
2014211829.tif 000015
【図１４】
2014211829.tif 000016
【図１５】
2014211829.tif 000017