(57)【要約】【課題】より簡単かつ確実に立体画像の奥行きのひずみを補正する。【解決手段】物体認識部は、立体画像から予め定められたオブジェクトを検出し、実距離推定部は、検出された複数のオブジェクトの大きさに基づいて、オブジェクトの実空間上の位置関係を推定する。視差／再現距離変換部は、立体画像の視差マップを、立体画像の各被写体の再現距離を示す再現距離マップに変換する。奥行き変換部は、オブジェクトの実空間上の位置関係の推定結果に基づいて、再現距離マップで示される再現距離を補正し、補正再現距離マップとする。再現距離／視差変換部は、補正再現距離マップで示される再現距離を視差に変換し、補正視差マップとする。画像生成部は、補正視差マップに基づいて立体画像の視差を補正する。本技術は、画像処理装置に適用することができる。【選択図】図２
2014022866.tif 000002
【特許請求の範囲】
【請求項１】
立体画像から予め定められたオブジェクトを検出する検出部と、
前記立体画像から検出された複数の前記オブジェクトの大きさに基づいて、前記複数の前記オブジェクトの実空間上における位置関係を推定する実距離推定部と、
前記立体画像を表示させたときに再現される前記立体画像の各領域の被写体の再現位置を示す再現距離マップを、前記オブジェクトの前記実空間上における位置関係の推定結果に基づいて補正して、補正された再現位置を示す補正再現距離マップを生成する変換部と、
前記補正再現距離マップに基づいて、前記立体画像の視差を補正する画像生成部と
を備える画像処理装置。
【請求項２】
前記変換部は、前記オブジェクトの前記実空間上における奥行き方向の位置の変化に対して、前記オブジェクトの奥行き方向の前記再現位置がほぼ線形に変化するように前記再現距離マップを補正する
請求項１に記載の画像処理装置。
【請求項３】
前記立体画像の各領域の視差を示す視差マップを前記再現距離マップに変換する視差／再現距離変換部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記補正再現距離マップに示される再現位置を視差に変換することで、前記補正再現距離マップを、前記立体画像の各領域の視差を示す補正視差マップに変換する再現距離／視差変換部をさらに備え、
前記画像生成部は、前記補正視差マップに基づいて前記立体画像の視差を補正する
請求項３に記載の画像処理装置。
【請求項５】
立体画像から予め定められたオブジェクトを検出し、
前記立体画像から検出された複数の前記オブジェクトの大きさに基づいて、前記複数の前記オブジェクトの実空間上における位置関係を推定し、
前記立体画像を表示させたときに再現される前記立体画像の各領域の被写体の再現位置を示す再現距離マップを、前記オブジェクトの前記実空間上における位置関係の推定結果に基づいて補正して、補正された再現位置を示す補正再現距離マップを生成し、
前記補正再現距離マップに基づいて、前記立体画像の視差を補正する
ステップを含む画像処理方法。
【請求項６】
立体画像から予め定められたオブジェクトを検出し、
前記立体画像から検出された複数の前記オブジェクトの大きさに基づいて、前記複数の前記オブジェクトの実空間上における位置関係を推定し、
前記立体画像を表示させたときに再現される前記立体画像の各領域の被写体の再現位置を示す再現距離マップを、前記オブジェクトの前記実空間上における位置関係の推定結果に基づいて補正して、補正された再現位置を示す補正再現距離マップを生成し、
前記補正再現距離マップに基づいて、前記立体画像の視差を補正する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単かつ確実に立体画像の奥行きのひずみを補正することができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、立体表示装置に立体画像を表示させる場合に、立体画像により再現される被写体の奥行き位置を制御する技術が知られている。
【０００３】
立体画像の奥行きは、立体画像の撮影条件と立体画像の視聴条件によって変化し、撮影条件と視聴条件が一致しない場合には、立体画像の奥行きに非線形なひずみが発生してしまう。このひずみは、立体画像にみられる書き割り効果や箱庭効果の発生要因となる。そのため、自然な立体感が得られるように、このようなひずみを補正する技術が求められている。
【０００４】
例えば、奥行きのひずみを補正する技術として、撮影条件パラメータを利用して幾何変換を行なうことで、立体画像の奥行きを補正するものが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１６０３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、簡単な処理で確実に立体画像の奥行きのひずみを補正することはできなかった。例えば、撮影条件パラメータを利用して幾何変換を行なう技術では、幾何学的に正しい補正を行なうことができるが、撮影条件パラメータが得られない場合には、補正を行なうことができなかった。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、より簡単かつ確実に立体画像の奥行きのひずみを補正することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、立体画像から予め定められたオブジェクトを検出する検出部と、前記立体画像から検出された複数の前記オブジェクトの大きさに基づいて、前記複数の前記オブジェクトの実空間上における位置関係を推定する実距離推定部と、前記立体画像を表示させたときに再現される前記立体画像の各領域の被写体の再現位置を示す再現距離マップを、前記オブジェクトの前記実空間上における位置関係の推定結果に基づいて補正して、補正された再現位置を示す補正再現距離マップを生成する変換部と、前記補正再現距離マップに基づいて、前記立体画像の視差を補正する画像生成部とを備える。
【０００９】
前記変換部には、前記オブジェクトの前記実空間上における奥行き方向の位置の変化に対して、前記オブジェクトの奥行き方向の前記再現位置がほぼ線形に変化するように前記再現距離マップを補正させることができる。
【００１０】
画像処理装置には、前記立体画像の各領域の視差を示す視差マップを前記再現距離マップに変換する視差／再現距離変換部をさらに設けることができる。
【００１１】
画像処理装置には、前記補正再現距離マップに示される再現位置を視差に変換することで、前記補正再現距離マップを、前記立体画像の各領域の視差を示す補正視差マップに変換する再現距離／視差変換部をさらに設け、前記画像生成部には、前記補正視差マップに基づいて前記立体画像の視差を補正させることができる。
【００１２】
本技術の一側面の画像処理方法またはプログラムは、立体画像から予め定められたオブジェクトを検出し、前記立体画像から検出された複数の前記オブジェクトの大きさに基づいて、前記複数の前記オブジェクトの実空間上における位置関係を推定し、前記立体画像を表示させたときに再現される前記立体画像の各領域の被写体の再現位置を示す再現距離マップを、前記オブジェクトの前記実空間上における位置関係の推定結果に基づいて補正して、補正された再現位置を示す補正再現距離マップを生成し、前記補正再現距離マップに基づいて、前記立体画像の視差を補正するステップを含む。
【００１３】
本技術の一側面においては、立体画像から予め定められたオブジェクトが検出され、前記立体画像から検出された複数の前記オブジェクトの大きさに基づいて、前記複数の前記オブジェクトの実空間上における位置関係が推定され、前記立体画像を表示させたときに再現される前記立体画像の各領域の被写体の再現位置を示す再現距離マップが、前記オブジェクトの前記実空間上における位置関係の推定結果に基づいて補正されて、補正された再現位置を示す補正再現距離マップが生成され、前記補正再現距離マップに基づいて、前記立体画像の視差が補正される。
【発明の効果】
【００１４】
本技術の一側面によれば、より簡単かつ確実に立体画像の奥行きのひずみを補正することができる。
【図面の簡単な説明】
【００１５】
【図１】立体画像の奥行きのひずみについて説明する図である。
【図２】画像処理装置の構成例を示す図である。
【図３】視差と再現距離の関係について説明する図である。
【図４】視差量の単位変換について説明する図である。
【図５】瞳孔間隔の算出について説明する図である。
【図６】視差補正処理について説明するフローチャートである。
【図７】オブジェクト検出について説明する図である。
【図８】視差量の補正について説明する図である。
【図９】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００１７】
〈第１の実施の形態〉
［本技術の概要について］
本技術は立体画像から奥行きのひずみ量を推定することで、奥行きのひずみを補正する画像処理装置に関するものである。ここで、立体画像は、ユーザの右眼で観察されるように表示される右眼画像と、ユーザの左眼で観察されるように表示される左眼画像とからなるものとする。
【００１８】
特に本技術は人の顔など、同じ種別の２以上のオブジェクトの立体画像上での大きさの比と撮影距離の関係を利用することで、奥行きのひずみを補正することを特徴としている。
【００１９】
例えば、撮影条件（撮影環境）と視聴条件（視聴環境）とが一致する場合、図１の直線Ｌ１１に示すように、立体画像撮影時の撮影距離と、立体画像再生時の再現距離とは等しくなり、立体画像の奥行きにひずみは生じない。
【００２０】
なお、図１において、横軸は撮影距離を示しており、縦軸は再現距離を示している。ここで、撮影距離とは立体画像の撮影時における基準位置、例えば視点位置から各被写体までの距離であり、再現距離とは、立体画像再生時における基準位置、例えばユーザの視点位置から被写体までの距離である。
【００２１】
撮影条件と視聴条件が一致し、立体画像の奥行きにひずみが生じない場合には、立体画像の各被写体の奥行き方向の位置関係は、実際の被写体の位置関係、つまり撮影時における位置関係と同じとなるので、自然な立体感の立体画像を提示することができる。
【００２２】
これに対して、撮影条件と視聴条件が一致しない場合、曲線Ｃ１１に示すように立体画像の再現距離は、実際の撮影距離に対して非線形に変化する。そのため、立体画像の各被写体の奥行き方向の位置関係がもとの位置関係とは異なるものとなり、立体画像の観察者に対して違和感を与えてしまう可能性がある。
【００２３】
そこで、本技術では立体画像から検出された同種別の２以上のオブジェクトの大きさの関係から、それらの撮影距離を推定し、その推定結果と各オブジェクトの再現距離とから立体画像の視差量を調整することで、立体画像の奥行きを正しく補正する。この補正により、撮影距離と再現距離の関係が曲線Ｃ１１から直線Ｌ１２に変化し、立体画像の各被写体がより正しい奥行き位置に再現されることになる。
【００２４】
このように、本技術によれば、立体画像の撮影条件パラメータが得られない場合であっても、２以上のオブジェクトの大きさと再現距離を利用することで、簡単かつ確実に立体画像の奥行き方向のひずみを補正することができる。
【００２５】
［画像処理装置の構成例］
次に、本技術を適用した具体的な実施の形態について説明する。
【００２６】
図２は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００２７】
画像処理装置１１は、視差検出部２１、視聴環境取得部２２、視差／再現距離変換部２３、物体認識部２４、奥行き変換部２５、再現距離／視差変換部２６、および画像生成部２７から構成される。画像処理装置１１では、立体画像を構成する右眼画像と左眼画像とが、視差検出部２１、物体認識部２４、および画像生成部２７に供給される。
【００２８】
なお、以下では、画像処理装置１１に入力される右眼画像および左眼画像を、特に入力右眼画像および入力左眼画像とも称し、画像処理装置１１から出力される右眼画像および左眼画像を、特に出力右眼画像および出力左眼画像とも称することとする。すなわち、入力右眼画像および入力左眼画像に対して、奥行きのひずみ補正が行なわれて得られる画像が、出力右眼画像および出力左眼画像である。
【００２９】
視差検出部２１は、供給された入力右眼画像と入力左眼画像の視差を検出して、立体画像の各領域の視差を示す視差マップを生成し、視差／再現距離変換部２３に供給する。ここで、視差マップの各画素の画素値は、その画素と同じ位置にある立体画像の画素の視差を示している。
【００３０】
視聴環境取得部２２は、図示せぬ表示装置に表示される立体画像を観察するユーザの視聴環境に関する情報として、ユーザの視距離と瞳孔間隔を取得し、視差／再現距離変換部２３および再現距離／視差変換部２６に供給する。ここで、ユーザの視距離とは、ユーザの視点位置から表示装置までの距離であり、瞳孔間隔とは、ユーザの右眼から左眼までの距離である。
【００３１】
視差／再現距離変換部２３は、視差検出部２１からの視差マップと、視聴環境取得部２２からの視距離および瞳孔間隔とに基づいて、立体画像の各被写体の再現距離を示す再現距離マップを生成し、奥行き変換部２５に供給する。再現距離マップの各画素の画素値は、その画素と同じ位置にある立体画像の画素に表示される被写体の再現距離の値を示している。
【００３２】
物体認識部２４は、供給された入力右眼画像と入力左眼画像に対して物体認識を行なって、立体画像から顔等の予め定められたオブジェクトを検出し、その検出結果を奥行き変換部２５に供給する。
【００３３】
奥行き変換部２５は、物体認識部２４から供給された、オブジェクトの検出結果に基づいて、視差／再現距離変換部２３からの再現距離マップを補正し、補正により得られた補正再現距離マップを再現距離／視差変換部２６に供給する。
【００３４】
また、奥行き変換部２５は、実距離推定部３１を備えている。実距離推定部３１は、オブジェクトの検出結果に基づいて、各オブジェクトの実空間における奥行きの位置関係、つまり上述した撮影距離の関係を推定し、奥行き変換部２５は、その推定結果に基づいて再現距離マップを補正する。
【００３５】
再現距離／視差変換部２６は、視聴環境取得部２２からの視距離および瞳孔間隔に基づいて、奥行き変換部２５からの補正再現距離マップを補正視差マップに変換し、画像生成部２７に供給する。
【００３６】
再現距離／視差変換部２６で得られる補正視差マップは、補正再現距離マップにより示される補正後の再現距離により定まる、立体画像の各領域の視差を示している。つまり、補正視差マップは、視差補正（ひずみ補正）された視差マップであり、この補正視差マップに基づいて、右眼画像と左眼画像の視差を補正すれば、視差補正後の立体画像の各被写体は、補正再現距離マップで示される再現距離の位置に定位する。
【００３７】
画像生成部２７は、再現距離／視差変換部２６からの補正視差マップに基づいて、供給された入力右眼画像と入力左眼画像の視差を補正し、その結果得られた出力右眼画像と出力左眼画像を、最終的な立体画像を構成する右眼画像および左眼画像として出力する。
【００３８】
［視差と再現距離の変換について］
続いて、視差／再現距離変換部２３における視差マップから再現距離マップへの変換と、再現距離／視差変換部２６における補正再現距離マップから補正視差マップへの変換について説明する。
【００３９】
例えば、図３に示すように、立体画像が表示される表示装置ＤＳ１１をユーザが観察する場合について考える。図３では、ＥＬおよびＥＲは、それぞれユーザの左眼および右眼を表している。したがって、ユーザの右眼ＥＲと左眼ＥＬの間の距離が、ユーザの瞳孔間隔ｄeとなる。
【００４０】
いま、ユーザから表示装置ＤＳ１１までの図中、縦方向の距離、つまり立体画像の奥行き方向の距離を視距離Ｌsとし、表示装置ＤＳ１１に表示される立体画像上における注目被写体の視差量がｘであるとする。すなわち、視差量ｘは、表示装置ＤＳ１１における右眼画像上の注目被写体と、左眼画像上の注目被写体との図中、横方向の距離である。
【００４１】
この場合、ユーザから注目被写体の定位位置、つまり注目被写体が再現される奥行き方向の位置までの距離である再現距離Ｌdは、視距離Ｌs、瞳孔間隔ｄe、および視差量ｘを用いて次式（１）で表される。
【００４２】
Ｌd＝Ｌs×ｄe／（ｄe−ｘ）      ・・・（１）
【００４３】
なお、図３の例では再現距離Ｌdは、ユーザの左右の眼の視線が交差する位置から、ユーザの視点位置までの奥行き方向（図中、縦方向）の長さとなっている。
【００４４】
また、式（１）を変形することで、視差量ｘは次式（２）で表される。
【００４５】
ｘ＝（Ｌd−Ｌs）×ｄe／Ｌd      ・・・（２）
【００４６】
ここで、式（１）および式（２）における視距離Ｌsと瞳孔間隔ｄeは、視聴環境取得部２２によって取得されるので既知の値である。
【００４７】
したがって、視差マップの注目している画素の画素値である視差により定まる視差量ｘと、視距離Ｌsおよび瞳孔間隔ｄeとから再現距離Ｌdを求めることができる。そして、得られた再現距離Ｌdを、注目している画素と同じ位置にある再現距離マップの画素の画素値とすればよい。
【００４８】
但し、式（１）における視差量ｘは、例えばｍｍ単位となっているのに対して、視差マップにより示される視差は、画素単位（ピクセル単位）となっている。そこで、式（１）の計算により視差マップを再現距離マップに変換するにあたっては、視差マップの画素の画素値である視差量ｘ’をｍｍ単位の視差量ｘに変換する必要がある。
【００４９】
例えば、図４に示すように表示装置ＤＳ１１の図中、横方向、つまり立体画像の視差方向の画面幅がＷｍｍであり、表示装置ＤＳ１１の横方向にＮ個の画素が設けられているとする。例えば、Ｎ＝１９２０などとされる。
【００５０】
この場合、画面幅Ｗｍｍである画面上には横方向にＮ個の画素が並んでいるので、図中、横方向に互いに隣接する画素の画素間隔は、Ｗ／Ｎｍｍとなる。この画素間隔Ｗ／Ｎから、次式（３）の計算をすることで、画素単位の視差量ｘ’を、ｍｍ単位の視差量ｘに変換することができる。
【００５１】
ｘ＝ｘ’×Ｗ／Ｎ      ・・・（３）
【００５２】
このようにして得られた視差量ｘを上述した式（１）に代入すれば、再現距離Ｌdを得ることができる。すなわち、視差マップを再現距離マップに変換することができる。
【００５３】
逆に、補正再現距離マップを補正視差マップに変換する場合には、補正再現距離マップの画素の画素値である再現距離Ｌdを式（２）に代入して視差量ｘを求め、視差量ｘと式（３）から画素単位の視差量ｘ’を求めて補正視差マップの画素の画素値とすればよい。
【００５４】
［瞳孔間隔について］
次に、視聴環境取得部２２においてユーザの視聴環境に関する情報として取得される瞳孔間隔ｄeについて説明する。
【００５５】
例えば、視聴環境取得部２２は、図５中、下側に示すように視聴環境取得部２２を構成する画像センサＭＳ１１により、表示装置を観察しているユーザＨ１１を被写体として撮影し、撮影画像ＰＣ１１を得る。なお、画像センサＭＳ１１は、図中、横方向、つまり表示装置を観察するユーザから見て奥行き方向において、図示せぬ表示装置の表示画面と同じ位置にあるものとする。
【００５６】
視聴環境取得部２２は、撮影画像ＰＣ１１から顔検出によりユーザＨ１１の顔領域ＦＣ１１を検出し、さらに顔領域ＦＣ１１からユーザＨ１１の両眼の領域を検出する。
【００５７】
視聴環境取得部２２は、検出されたユーザＨ１１の撮影画像ＰＣ１１上における両眼間の距離ｅｐを算出し、画像センサＭＳ１１の画素ピッチから両眼間の距離ｅｐに相当する画像センサＭＳ１１のセンサ面ＣＥ１１上の距離ｅｐ’を算出する。ここで、距離ｅｐは画素単位の距離（長さ）であり、距離ｅｐ’はｍｍ単位の長さである。
【００５８】
さらに、視聴環境取得部２２は、得られた距離ｅｐ’、画像センサＭＳ１１の焦点距離ｆ、およびユーザＨ１１の視距離Ｌsから次式（４）を計算することで、ユーザＨ１１の瞳孔間隔ｄeを算出する。
【００５９】
ｄe＝Ｌs×ｅｐ’／ｆ      ・・・（４）
【００６０】
［視差補正処理の説明］
ところで、画像処理装置１１に入力右眼画像と入力左眼画像が供給され、それらの入力右眼画像と入力左眼画像の視差補正が指示されると、画像処理装置１１は視差補正処理を開始して、立体画像の視差補正を行う。以下、図６のフローチャートを参照して、画像処理装置１１による視差補正処理について説明する。
【００６１】
ステップＳ１１において、視差検出部２１は、例えばブロックマッチングなどにより、供給された入力右眼画像と入力左眼画像の視差を検出して、立体画像の各領域の視差を示す視差マップを生成する。視差検出部２１は、生成した視差マップを視差／再現距離変換部２３に供給する。
【００６２】
ステップＳ１２において、視聴環境取得部２２は、ユーザの視聴環境に関する情報として、ユーザの視距離Ｌsと瞳孔間隔ｄeを取得し、視差／再現距離変換部２３および再現距離／視差変換部２６に供給する。
【００６３】
例えば、視聴環境取得部２２は、図示せぬ表示装置から、その表示装置のディスプレイサイズ情報を取得して、そのディスプレイサイズ情報により示される表示画面サイズに基づいて標準視距離（３Ｈ）を算出し、標準視距離をユーザの視距離Ｌsとする。
【００６４】
なお、ユーザの視距離Ｌsの算出方法は、ディスプレイサイズ情報から求める方法に限らず、どのようにして求めてもよい。例えば、ステレオカメラを用いてユーザを撮影して得られる画像から視差を検出し、三角測量の原理により視距離Ｌsを算出してもよいし、距離センサ等を用いて視距離Ｌsを測定するようにしてもよい。
【００６５】
また、視聴環境取得部２２は、図５を参照して説明したように、画像センサＭＳ１１により撮影画像ＰＣ１１を撮影して、撮影画像ＰＣ１１からユーザの顔領域ＦＣ１１を検出し、顔領域ＦＣ１１における両眼間の距離ｅｐを求める。そして、視聴環境取得部２２は、両眼間の距離ｅｐからセンサ面ＣＥ１１上の距離ｅｐ’を算出し、得られた距離ｅｐ’を上述した式（４）に代入することで、瞳孔間隔ｄeを求める。
【００６６】
ステップＳ１３において、視差／再現距離変換部２３は、視聴環境取得部２２からの視距離Ｌsおよび瞳孔間隔ｄeに基づいて、視差検出部２１からの視差マップを再現距離マップに変換し、奥行き変換部２５に供給する。
【００６７】
例えば、視差／再現距離変換部２３は、視差マップの注目している画素（以下、注目画素と呼ぶ）の画素値である視差量ｘ’を式（３）に代入することでｍｍ単位の視差量ｘを求める。そして、視差／再現距離変換部２３は、得られた視差量ｘと、視距離Ｌsおよび瞳孔間隔ｄeとを式（１）に代入することで再現距離Ｌdを算出し、得られた再現距離Ｌdを注目画素と同じ位置にある再現距離マップの画素の画素値とする。これにより、視差マップが再現距離マップへと変換される。
【００６８】
ステップＳ１４において、物体認識部２４は、供給された入力右眼画像と入力左眼画像に対して物体認識を行なって、立体画像から予め定められたオブジェクトを検出し、その検出結果を奥行き変換部２５に供給する。
【００６９】
例えば物体認識部２４は、顔認識を行なって入力右眼画像または入力左眼画像から、人の顔を検出する。これにより、例えば図７に示すように、入力右眼画像または入力左眼画像である入力画像ＩＰ１１から、人の顔Ｆ１１と顔Ｆ１２が検出されたとする。
【００７０】
なお、図７中、縦方向および横方向をｘ方向およびｙ方向とし、入力画像ＩＰ１１上の位置をｘｙ座標で表すものとする。
【００７１】
入力画像ＩＰ１１から人の顔Ｆ１１と顔Ｆ１２が検出されると、物体認識部２４は、それらの顔の領域の位置と大きさを示す情報を、オブジェクトの検出結果として奥行き変換部２５に供給する。
【００７２】
図７の顔Ｆ１１の例では、物体認識部２４は、顔Ｆ１１全体を囲む（含む）矩形領域ＦＲ１１を特定し、その矩形領域ＦＲ１１の図中、左上の頂点位置ＰＯ１１の座標（ｘ，ｙ）を、顔Ｆ１１の位置を示す情報として奥行き変換部２５に供給する。また、物体認識部２４は矩形領域ＦＲ１１のｙ方向の長さＣｙと、矩形領域ＦＲ１１のｘ方向の長さＣｘとを、顔Ｆ１１の領域の大きさを示す情報として奥行き変換部２５に供給する。
【００７３】
さらに、物体認識部２４は、顔Ｆ１１における場合と同様に、顔Ｆ１２についても、その顔Ｆ１２の領域の位置と大きさを示す情報を奥行き変換部２５に供給する。
【００７４】
なお、物体認識部２４において認識対象となるオブジェクトは、画像上での見かけの大きさと実際の奥行き方向の撮影距離（以下、実距離とも称する）の関係が既知であるものであれば、どのようなオブジェクトであってもよい。また、オブジェクトの認識方法もパターン認識など、どのような方法であってもよい。
【００７５】
図６のフローチャートの説明に戻り、ステップＳ１４の処理の後、ステップＳ１５の処理が行なわれる。すなわち、ステップＳ１５において、実距離推定部３１は物体認識部２４から供給された、オブジェクトの検出結果と、既知とされている画像上のオブジェクトの大きさと距離の関係とに基づいて、各オブジェクトの実距離の関係を推定する。
【００７６】
例えば、図７の例において、顔Ｆ１１と顔Ｆ１２の大きさの比率から、それらの顔の実距離の比率が求められる。具体的には、顔Ｆ１１の大きさが顔Ｆ１２の大きさの２倍であったとすると、顔Ｆ１２の実距離がＡとされ、顔Ｆ１１の実距離がＡ／２とされる。
【００７７】
このように、ステップＳ１５では、立体画像から検出された複数のオブジェクトの大きさに基づいて、各オブジェクトの実空間上における位置関係、つまり実距離の関係が推定される。
【００７８】
ステップＳ１６において、奥行き変換部２５は、オブジェクトの実距離の関係の推定結果と、視差／再現距離変換部２３からの再現距離マップとから、各実距離の値と、それらの実距離に対する立体画像の再現距離との関係を示す近似関数を算出する。
【００７９】
すなわち、所定のオブジェクトの実距離と、立体画像の再生時におけるオブジェクトの再現距離との関係を示す近似関数が、検出されたオブジェクトの実距離の関係の推定結果と、再現距離マップから得られる各オブジェクトの再現距離とから求められる。なお、近似関数の算出に用いられるオブジェクトの実距離は、各オブジェクトの奥行き方向の相対的な位置関係が正しければ、必ずしも撮影装置の視点位置を基準とした距離、つまり撮影距離でなくてもよい。
【００８０】
例えば、図７に示したように入力画像ＩＰ１１から２つの顔Ｆ１１と顔Ｆ１２が検出され、それらの顔の実距離がＡ／２とＡであり、実際の実距離と立体画像での再現距離との関係が、図８の曲線Ｃ４１に示す関係であったとする。
【００８１】
また、顔Ｆ１２の領域の再現距離がＢ１であり、顔Ｆ１１の再現距離がＢ２であったとする。なお、各顔の再現距離は、再現距離マップにおける顔Ｆ１１と顔Ｆ１２の領域の画素の画素値から得ることができる。
【００８２】
このような場合、奥行き変換部２５は、顔Ｆ１１の実距離Ａ／２および再現距離Ｂ２と、顔Ｆ１２の実距離Ａおよび再現距離Ｂ１とから、折れ線Ｌ４１を曲線Ｃ４１の近似曲線として求める。すなわち、折れ線Ｌ４１が実距離と再現距離との関係を示す近似関数として求められる。
【００８３】
折れ線Ｌ４１は、実距離と再現距離を軸とする座標系上において、原点（０，０）と顔Ｆ１１についての点（Ａ／２，Ｂ２）とを結ぶ直線、および点（Ａ／２，Ｂ２）と顔Ｆ１２についての点（Ａ，Ｂ１）とを結ぶ直線からなる折れ線となっている。
【００８４】
なお、立体画像において奥行き方向の位置関係のひずみがない場合、実距離の変化に対して再現距離は線形に変化するので、本来であれば折れ線Ｌ４１は直線となるはずである。すなわち、例えば顔Ｆ１２についての実距離と再現距離の関係が正しいとすれば、顔Ｆ１１の再現距離はＢ２ではなく、Ｂ１／２となるはずである。これは、顔Ｆ１１の実距離が顔Ｆ１２の実距離Ａの半分の値Ａ／２だからである。
【００８５】
そこで、以降の処理においては、例えば顔Ｆ１２を基準とし、折れ線Ｌ４１が本来であれば、顔Ｆ１２についての点（Ａ，Ｂ１）と原点（０，０）を結ぶ直線Ｌ４２であるものとして、再現距離マップにより示される立体画像の各領域の再現距離が補正される。
【００８６】
図６のフローチャートの説明に戻り、ステップＳ１７において、奥行き変換部２５はステップＳ１６で求めた近似関数に基づいて再現距離マップの各画素の画素値、つまり再現距離を補正して、補正再現距離マップを生成する。
【００８７】
例えば図８の例において、奥行き変換部２５は、再現距離マップの画素を順番に注目画素とする。ここで、注目画素の画素値がＱであったとする。すなわち、立体画像上の注目画素の位置の被写体の再現距離がＱであったとする。
【００８８】
この場合、奥行き変換部２５は、折れ線Ｃ４１に示す近似関数から再現距離Ｑに対する実距離Ｍ、つまり再現距離Ｑにおける折れ線Ｃ４１の実距離の値Ｍを求める。例えば、再現距離Ｑ＝Ｂ２であれば、実距離Ｍ＝Ａ／２となる。
【００８９】
次に、奥行き変換部２５は、求めた実距離Ｍにおける直線Ｌ４２の再現距離の値Ｑ’を求め、得られた再現距離Ｑ’を、注目画素と同じ位置における補正再現距離マップの画素の画素値とする。例えば再現距離Ｑ＝Ｂ２であれば、補正後の再現距離Ｑ’はＢ１／２となる。
【００９０】
このように、立体画像上のオブジェクトの大きさの関係から得られる各オブジェクトの実距離の関係に基づいて各再現距離の値を補正することで、再現距離マップが補正再現距離マップに変換される。このようにして得られた補正再現距離マップで示される再現距離は、実距離に対して線形に変化するので、補正再現距離マップに基づいて立体画像の視差を補正すれば、奥行き方向のひずみの少ない自然な画像を得ることができる。
【００９１】
奥行き変換部２５は、補正再現距離マップを生成すると、生成した補正再現距離マップを再現距離／視差変換部２６に供給し、処理はステップＳ１８に進む。
【００９２】
ステップＳ１８において、再現距離／視差変換部２６は、視聴環境取得部２２からの視距離Ｌsおよび瞳孔間隔ｄeに基づいて、奥行き変換部２５からの補正再現距離マップを補正視差マップに変換し、画像生成部２７に供給する。
【００９３】
具体的には、再現距離／視差変換部２６は、補正再現距離マップの画素を注目画素とし、注目画素の画素値である再現距離Ｌdと、視距離Ｌsおよび瞳孔間隔ｄeとを式（２）に代入して視差量ｘを求める。そして、再現距離／視差変換部２６は、求めた視差量ｘと式（３）から画素単位の視差量ｘ’を求めて、得られた視差量ｘ’の値を、注目画素と同じ位置にある補正視差マップの画素の画素値とする。
【００９４】
ステップＳ１９において、画像生成部２７は、再現距離／視差変換部２６からの補正視差マップに基づいて、供給された入力右眼画像および入力左眼画像の視差を補正し、出力右眼画像および出力左眼画像とする。
【００９５】
例えば、画像生成部２７は、ブロックマッチングなどにより、入力右眼画像と入力左眼画像の互いに対応する画素の位置、つまり同じ被写体の位置を求める。そして、画像生成部２７は、入力右眼画像と入力左眼画像の互いに対応する画素位置を、補正視差マップの画素の画素値に基づいてシフトさせ、出力右眼画像および出力左眼画像とする。つまり、右眼画像と左眼画像の互いに対応する画素間の距離が、補正視差マップの画素の画素値により示される視差量となるように画素シフトが行なわれる。
【００９６】
これにより、出力右眼画像と出力左眼画像の各領域の視差が、補正視差マップにより示される視差となり、これらの出力右眼画像と出力左眼画像に基づいて立体画像を表示すれば、実際の撮影位置に近い、より正確な奥行き位置に各被写体が再現される。
【００９７】
画像生成部２７は、得られた出力右眼画像と出力左眼画像を、最終的な立体画像を構成する右眼画像と左眼画像として出力し、視差補正処理は終了する。
【００９８】
以上のようにして、画像処理装置１１は、立体画像の視差マップから各被写体の再現距離を求めるとともに、立体画像から検出された２以上の各オブジェクトの大きさから求まる実距離の関係に基づいて、求めた各被写体の再現距離を補正する。そして、画像処理装置１１は、補正後の再現距離から補正視差マップを生成し、補正視差マップに基づいて、立体画像の視差を補正する。
【００９９】
このように、立体画像から検出された２以上のオブジェクトの実距離の関係に基づいて、立体画像の視差を補正することで、立体画像の撮影条件パラメータが得られない場合であっても、より簡単かつ確実に立体画像の奥行き方向のひずみを補正することができる。これにより、より自然で立体感のある画像を提示することができるようになる。
【０１００】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０１】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１０２】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１０３】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１０４】
入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１０５】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０６】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１０７】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１０８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１０９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１１１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１３】
さらに、本技術は、以下の構成とすることも可能である。
【０１１４】
［１］
立体画像から予め定められたオブジェクトを検出する検出部と、
前記立体画像から検出された複数の前記オブジェクトの大きさに基づいて、前記複数の前記オブジェクトの実空間上における位置関係を推定する実距離推定部と、
前記立体画像を表示させたときに再現される前記立体画像の各領域の被写体の再現位置を示す再現距離マップを、前記オブジェクトの前記実空間上における位置関係の推定結果に基づいて補正して、補正された再現位置を示す補正再現距離マップを生成する変換部と、
前記補正再現距離マップに基づいて、前記立体画像の視差を補正する画像生成部と
を備える画像処理装置。
［２］
前記変換部は、前記オブジェクトの前記実空間上における奥行き方向の位置の変化に対して、前記オブジェクトの奥行き方向の前記再現位置がほぼ線形に変化するように前記再現距離マップを補正する
［１］に記載の画像処理装置。
［３］
前記立体画像の各領域の視差を示す視差マップを前記再現距離マップに変換する視差／再現距離変換部をさらに備える
［１］または［２］に記載の画像処理装置。
［４］
前記補正再現距離マップに示される再現位置を視差に変換することで、前記補正再現距離マップを、前記立体画像の各領域の視差を示す補正視差マップに変換する再現距離／視差変換部をさらに備え、
前記画像生成部は、前記補正視差マップに基づいて前記立体画像の視差を補正する
［１］乃至［３］の何れかに記載の画像処理装置。
【符号の説明】
【０１１５】
１１  画像処理装置，  ２１  視差検出部，  ２２  視聴環境取得部，  ２３  視差／再現距離変換部，  ２４  物体認識部，  ２５  奥行き変換部，  ２６  再現距離／視差変換部，  ２７  画像生成部，  ３１  実距離推定部
【図１】
2014022866.tif 000003
【図２】
2014022866.tif 000004
【図３】
2014022866.tif 000005
【図４】
2014022866.tif 000006
【図５】
2014022866.tif 000007
【図６】
2014022866.tif 000008
【図７】
2014022866.tif 000009
【図８】
2014022866.tif 000010
【図９】
2014022866.tif 000011