(57)【要約】【課題】画像内の物体の奥行き方向の位置を表す奥行き値の生成に用いられる情報の情報量を削減することができる。【解決手段】奥行き生成部は、顔内領域、顔外領域、首領域、胴体内領域、胴体外領域等の物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の顔内領域、顔外領域、首領域、胴体内領域、胴体外領域等の物体の奥行き値を生成する。本技術は、例えば、画像の奥行きマップを生成する画像処理装置に適用することができる。【選択図】図１
2014021744.tif 000002
【特許請求の範囲】
【請求項１】
物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の前記物体の奥行き値を生成する生成部
を備える画像処理装置。
【請求項２】
前記画像内の前記物体の領域を複数の領域に分割して設定する設定部
をさらに備え、
前記生成部は、前記設定部により設定される前記領域ごとの前記２次曲線に基づいて、前記画像内の前記物体の奥行き値を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記設定部は、前記物体の外側の領域と前記物体の内側の領域を設定する
請求項２に記載の画像処理装置。
【請求項４】
前記２次曲線は、前記物体の奥行き値と前記物体における位置の関係のモデルを表し、
前記生成部は、前記２次曲線に基づいて、前記画像内の前記物体における位置ごとに、その位置に対応する前記奥行き値を生成する
請求項１に記載の画像処理装置。
【請求項５】
前記２次曲線は、前記物体の奥行き値と前記物体における水平方向の位置の関係のモデルを表す水平２次曲線と、前記物体の奥行き値と前記物体における垂直方向の位置の関係のモデルを表す垂直２次曲線とにより構成され、
前記生成部は、前記水平２次曲線と前記垂直２次曲線に基づいて、前記画像内の前記物体における水平方向および垂直方向の位置ごとに、その位置に対応する前記奥行き値を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記画像内の前記物体の角度に基づいて、前記２次曲線を補正する角度補正部
をさらに備え、
前記生成部は、前記角度補正部により補正された前記２次曲線に基づいて、前記画像内の前記物体の奥行き値を生成する
請求項１に記載の画像処理装置。
【請求項７】
前記画像内の前記物体のサイズに基づいて、前記２次曲線を補正するサイズ補正部
をさらに備え、
前記生成部は、前記サイズ補正部により補正された前記２次曲線に基づいて、前記画像内の前記物体の奥行き値を生成する
請求項１に記載の画像処理装置。
【請求項８】
前記物体は、少なくとも顔を含む
請求項１に記載の画像処理装置。
【請求項９】
画像処理装置が、
物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の前記物体の奥行き値を生成する生成ステップ
を含む画像処理方法。
【請求項１０】
コンピュータを、
物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の前記物体の奥行き値を生成する生成部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、画像内の物体の奥行き方向の位置を表す奥行き値の生成に用いられる情報の情報量を削減することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
画像処理装置は、２次元（２Ｄ）画像から３次元（３Ｄ）画像を生成する際、例えば、２次元画像の各画素の奥行き方向の位置を表す奥行き値からなる奥行きマップを利用する。具体的には、画像処理装置は、奥行きマップを構成する各画素の奥行き値に基づいて２次元画像の各画素を左右方向にずらし、３次元画像のうちの左目用の画像と右目用の画像を生成する。その結果、３次元画像を表示する３Ｄディスプレイなどを視聴する視聴者が、左目用の画像を左目で、右目用の画像を右目で見ることにより、視差が発生し、視聴者は奥行きを感じる。
【０００３】
ところで、画像内の物体の奥行き値の生成方法としては、各種の方法が考案されている。例えば、人間の一般的な顔の同一平面状に存在しない４点以上の各特徴点の３次元形状情報を用いて、画像内の人物の顔の奥行き値を生成する方法が考案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−４７６７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、各特徴点の３次元形状情報の情報量は比較的大きく、その３次元形状情報を保持するためには、比較的大きなメモリが必要となる。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、画像内の物体の奥行き値の生成に用いられる情報の情報量を削減することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の前記物体の奥行き値を生成する生成部を備える画像処理装置である。
【０００８】
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
【０００９】
本技術の一側面においては、物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の前記物体の奥行き値が生成される。
【発明の効果】
【００１０】
本技術の一側面によれば、画像内の物体の奥行き値の生成に用いられる情報の情報量を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】部位情報の例を示す図である。
【図３】図１の奥行き生成部の構成例を示すブロック図である。
【図４】水平２次曲線の例を示す図である。
【図５】ズームイン撮影に伴う奥行き値の変化を説明する図である。
【図６】顔画像のサイズと補正後の水平２次曲線のレンジの関係を示す図である。
【図７】顔画像の角度が全て０度である場合の奥行き値の生成を説明する図である。
【図８】顔画像の角度が全て０度である場合の奥行き値の生成を説明する図である。
【図９】顔画像の角度が全て０度である場合の人物領域の各画素の奥行き値の例を示す図である。
【図１０】顔画像のヨー角とピッチ角が０以外である場合の奥行き値の生成を説明する図である。
【図１１】図１の画像処理装置の奥行きマップ生成処理を説明するフローチャートである。
【図１２】図１１の奥行き値生成処理の詳細を説明するフローチャートである。
【図１３】奥行きマップ生成処理の他の例を説明するフローチャートである。
【図１４】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
＜一実施の形態＞
［画像処理装置の一実施の形態の構成例］
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００１３】
図１の画像処理装置１０は、顔検出部１１、顔内領域判定部１２、顔外領域判定部１３、首領域判定部１４、胴体内領域判定部１５、胴体外領域判定部１６、境界判定部１７、奥行き生成部１８、選択部１９、および平滑化処理部２０により構成される。画像処理装置１０は、外部から入力画像として入力された画像の奥行きマップを生成する。
【００１４】
具体的には、画像処理装置１０の顔検出部１１は、外部から入力された入力画像内の顔画像を検出する。顔検出部１１は、顔画像の位置とサイズを表す顔画像情報を、顔内領域判定部１２、顔外領域判定部１３、首領域判定部１４、胴体内領域判定部１５、および胴体外領域判定部１６に供給する。
【００１５】
また、顔検出部１１は、検出された顔画像のピッチ角とヨー角を顔画像の角度として検出する。なお、顔画像のピッチ角とは、人の左右の目を結んだ線と平行で、ほぼ人の頭の中心を通る軸を中心として回転する角度である。また、ヨー角とは、その軸に垂直な軸であって、ほぼ頭の中心を垂直に通る軸を中心として回転する角度である。顔画像のピッチ角とヨー角の検出方法の詳細は、例えば、特開２０１０−３０２１号公報に記載されている。顔検出部１１は、検出された顔画像の角度と顔画像のサイズを奥行き生成部１８に供給する。
【００１６】
顔内領域判定部１２は、顔検出部１１から供給される顔画像情報に基づいて、顔画像の中心を中心とする、顔画像のサイズに基づくサイズの楕円領域を顔内領域に設定する。例えば、顔内領域判定部１２は、短軸が顔画像の水平方向の長さの1倍であり、長軸が顔画像の垂直方向の長さの1.5倍である楕円領域を顔内領域に設定する。顔内領域判定部１２は、顔内領域の位置とサイズを表す顔内領域情報を境界判定部１７に供給する。
【００１７】
顔外領域判定部１３は、顔検出部１１から供給される顔画像情報に基づいて、顔画像の中心を中心とする、顔画像のサイズに基づくサイズであって、顔内領域より大きい楕円領域を顔外領域に設定する。顔外領域判定部１３は、顔外領域の位置とサイズを表す顔外領域情報を境界判定部１７に供給する。
【００１８】
首領域判定部１４は、顔検出部１１から供給される顔画像情報に基づいて、顔画像の下の、顔画像のサイズに基づくサイズの長方形の領域を首領域に設定する。首領域判定部１４は、首領域の位置とサイズを表す首領域情報を境界判定部１７に供給する。
【００１９】
胴体内領域判定部１５は、顔検出部１１から供給される顔画像情報に基づいて、顔画像のサイズに基づくサイズの、首領域の下の台形領域と、その台形領域の下の長方形領域とを、胴体内領域に設定する。
【００２０】
例えば、胴体内領域判定部１５は、首領域の下の、上辺と下辺が、顔画像の水平方向の長さに比例し、高さが、顔画像の垂直方向の長さに比例する台形領域と、その台形領域の下の、水平方向の長さが顔画像の水平方向の長さに比例し、垂直方向の長さが顔画像の垂直方向の長さに比例する長方形領域とを、胴体内領域に設定する。胴体内領域判定部１５は、胴体内領域の位置とサイズを表す胴体内領域情報を境界判定部１７に供給する。
【００２１】
胴体外領域判定部１６は、顔検出部１１から供給される顔画像情報に基づいて、顔画像のサイズに基づくサイズであって、首領域の下の胴体内領域より大きい、台形領域と、その台形領域の下の長方形領域とを、胴体外領域に設定する。胴体外領域判定部１６は、胴体外領域の位置とサイズを表す胴体外領域情報を境界判定部１７に供給する。
【００２２】
境界判定部１７は、顔内領域判定部１２からの顔内領域情報、顔外領域判定部１３からの顔外領域情報、首領域判定部１４からの首領域情報、胴体内領域判定部１５からの胴体内領域情報、および胴体外領域判定部１６からの胴体外領域情報に基づいて、顔内領域、顔外領域、首領域、胴体内領域、または胴体外領域の少なくともいずれかである領域を人物領域とする。
【００２３】
また、境界判定部１７は、顔内領域情報、顔外領域情報、首領域情報、胴体内領域情報、および胴体外領域情報に基づいて、人物領域内の各画素を最終的な顔内領域、顔外領域、首領域、胴体内領域、または胴体外領域の画素のいずかに決定する。即ち、境界判定部１７は、設定部として機能し、人物領域を複数の領域に分割して設定する。
【００２４】
なお、以下では、顔内領域、顔外領域、首領域、胴体内領域、胴体外領域のそれぞれを特に区別する必要がない場合、それらをまとめて部位領域という。同様に、顔内領域情報、顔外領域情報、首領域情報、胴体内領域情報、胴体外領域情報をまとめて部位領域情報という。
【００２５】
境界判定部１７は、最終的な部位領域の位置とサイズを部位領域ごとに表す部位情報を、奥行き生成部１８に供給する。また、境界判定部１７は、人物領域内の各画素に対して、人物領域であることを表す人物領域フラグを生成し、入力画像内の人物領域外の各画素に対して、人物領域ではないことを表す人物領域フラグを生成する。境界判定部１７は、入力画像の各画素の人物領域フラグを選択部１９に供給する。
【００２６】
奥行き生成部１８は、各部位領域の物体の奥行き値のモデルを表す２次曲線を記憶する。奥行き生成部１８は、顔検出部１１から供給される顔画像のサイズおよび角度、記憶している２次曲線、並びに、境界判定部１７から供給される部位情報に基づいて、人物領域内の各画素の奥行き値を生成する。奥行き生成部１８は、生成された奥行き値を選択部１９に供給する。
【００２７】
選択部１９は、入力画像の画素ごとに、境界判定部１７から供給される人物領域フラグに基づいて、奥行き生成部１８から供給される奥行き値、または、外部から入力される背景画像用の奥行き値を選択する。選択部１９は、選択された各画素の奥行き値を、その画素の奥行きマップの画素値に割り当てることにより奥行きマップを生成する。そして、選択部１９は、生成された奥行きマップを平滑化処理部２０に供給する。
【００２８】
平滑化処理部２０は、一般的な空間フィルタを用いて、選択部１９から供給される奥行きマップを平滑化する。これにより、各部位領域の境界で発生する奥行き値の大きな変化を抑制することができる。
【００２９】
［部位情報の例］
図２は、図１の境界判定部１７により生成される部位情報の例を示す図である。
【００３０】
図２の例では、画像４０内の中央に人物領域４１が存在する。境界判定部１７は、まず、顔内領域情報に基づいて、人物領域４１内の画素のうちの顔内領域情報が表す顔内領域内の画素を、最終的な顔内領域４２の画素に決定する。
【００３１】
次に、境界判定部１７は、顔外領域情報に基づいて、顔外領域情報が表す顔外領域内の画素のうちの顔内領域４２の画素以外の画素を、最終的な顔外領域４３に決定する。そして、境界判定部１７は、首領域情報に基づいて、首領域情報が表す首領域内の画素のうちの顔内領域４２と顔外領域４３以外の画素を、最終的な首領域４４に決定する。
【００３２】
次に、境界判定部１７は、胴体内領域情報に基づいて、胴体内領域情報が表す胴体内領域内の画素のうちの、顔内領域４２、顔外領域４３、および首領域４４以外の画素を、最終的な胴体内領域４５に決定する。最後に、境界判定部１７は、胴体外領域情報に基づいて、胴体外領域情報が表す胴体外領域内の画素のうちの、顔内領域４２、顔外領域４３、首領域４４、および胴体内領域４５以外の画素を、最終的な胴体外領域４６に決定する。
【００３３】
［奥行き生成部の構成例］
図３は、図１の奥行き生成部１８の構成例を示すブロック図である。
【００３４】
図３の奥行き生成部１８は、記憶部６１、サイズ補正部６２、角度補正部６３、および生成部６４により構成される。
【００３５】
奥行き生成部１８の記憶部６１は、各部位領域の２次曲線を記憶する。具体的には、記憶部６１は、各部位領域の物体の奥行き値と部位領域における水平方向の位置との関係のモデルを表す２次曲線である水平２次曲線と、各部位領域の物体の奥行き値と部位領域における垂直方向の位置との関係のモデルを表す２次曲線である垂直２次曲線とを記憶する。
【００３６】
サイズ補正部６２は、記憶部６１から各部位領域の水平２次曲線と垂直２次曲線を読み出し、顔検出部１１から供給される顔画像のサイズに基づいて、その水平２次曲線と垂直２次曲線を補正する。サイズ補正部６２は、補正後の水平２次曲線と垂直２次曲線を角度補正部６３に供給する。
【００３７】
角度補正部６３は、顔検出部１１から供給される顔画像の角度に基づいて、サイズ補正部６２から供給される顔内領域および顔外領域の水平２次曲線と垂直２次曲線を補正する。角度補正部６３は、補正後の顔内領域および顔外領域の水平２次曲線と垂直２次曲線を生成部６４に供給する。また、角度補正部６３は、サイズ補正部６２から供給される首領域、胴体内領域、および胴体外領域の水平２次曲線と垂直２次曲線をそのまま生成部６４に供給する。
【００３８】
生成部６４は、人物領域内の各画素を順次処理対象の画素とする。生成部６４は、境界判定部１７から供給される部位情報に基づいて、処理対象の画素の部位領域を判定する。生成部６４は、角度補正部６３から供給される水平２次曲線および垂直２次曲線のうちの、処理対象の画素の部位領域の水平２次曲線および垂直２次曲線に基づいて、処理対象の画素の水平方向および垂直方向の位置に対応する奥行き値を生成する。生成部６４は、生成された人物領域内の各画素の奥行き値を図１の選択部１９に供給する。
【００３９】
［水平２次曲線の例］
図４は、図３の記憶部６１に記憶される水平２次曲線の例を示す図である。
【００４０】
なお、図４において、横軸は、部位領域の水平方向の中心座標を０としたときの水平方向の位置ｊを表している。また、縦軸は、位置ｊにおける部位領域の物体の奥行き値ｄhを表している。本明細書では、奥行き値は、背景画像用の奥行き値を０としたときの値であり、手前側の位置を表すほど大きく、奥側の位置を表すほど小さいものとする。
【００４１】
図４に示すように、水平２次曲線は、部位領域の物体の奥行き値ｄhと部位領域における水平方向の位置ｊとの関係のモデルを表している。具体的には、水平２次曲線は、以下の式（１）で定義される。
【００４２】
【数１】
2014021744.tif 000003
【００４３】
式（１）におけるofstは、図４に示すように、背景画像用の奥行き値から水平２次曲線が表す奥行き値ｄhまでの距離であり、jvolは、水平２次曲線が表す奥行き値ｄhの範囲（レンジ）である。また、jwは、水平２次曲線において有効な水平方向の位置ｊの範囲の半分の値である。
【００４４】
なお、図４では水平２次曲線についてのみ説明したが、垂直２次曲線は、位置ｊが部位領域の垂直方向の中心座標を０としたときの垂直方向の位置ｉに代わる点を除いて水平２次曲線と同様であるので、説明は省略する。
【００４５】
ここで、背景画像用の奥行き値から垂直２次曲線が表す奥行き値ｄvまでの距離は、水平２次曲線の距離ofstと同一である。また、以下では、垂直２次曲線が表す奥行き値ｄvの範囲（レンジ）を、レンジivolといい、垂直２次曲線において有効な垂直方向の位置ｉの範囲の半分の値を、値iwという。
【００４６】
［水平２次曲線および垂直２次曲線の顔画像のサイズに基づく補正の説明］
図５は、ズームイン撮影に伴う奥行き値の変化を説明する図である。
【００４７】
図５に示すように、通常撮影された画像８１における人物領域８１Ａの水平方向の位置に対応する奥行き値のレンジは、所定のズーム倍率で撮影された画像８２における人物領域８２Ａの水平方向の位置に対応する奥行き値のレンジより大きくなる。このように、ズームイン撮影や比較的近くからの撮影等により人物領域のサイズが大きくなると、水平方向の位置に対応する奥行き値のレンジは大きくなる。これに対して、図示は省略するが、ズームアウト撮影や比較的遠くからの撮影等により人物領域のサイズが小さくなると、水平方向の位置に対応する奥行き値のレンジは小さくなる。
【００４８】
また、図示は省略するが、垂直方向の位置に対応する奥行き値のレンジも水平方向の位置に対応する奥行き値のレンジと同様に、人物領域のサイズに応じて変化する。従って、サイズ補正部６２は、人物領域のサイズに対応する顔画像のサイズに基づいて、水平２次曲線のレンジjvolと垂直２次曲線のレンジivolを補正する。
【００４９】
図６は、顔画像のサイズと、サイズ補正部６２により補正された水平２次曲線のレンジjvolの関係を示す図である。
【００５０】
なお、図６において、横軸は、顔画像の水平方向の長さを表し、縦軸は、サイズ補正部６２により補正された水平２次曲線のレンジjvolを表している。
【００５１】
図６に示すように、サイズ補正部６２により補正された水平２次曲線のレンジjvolは、顔画像の水平方向の長さに比例する。即ち、サイズ補正部６２は、顔画像の水平方向の長さに基づいて、レンジjvolが顔画像の水平方向の長さに比例するように、レンジjvolを補正する。また、図示は省略するが、サイズ補正部６２は、レンジivolもレンジjvolと同様に、顔画像の垂直方向の長さに基づいて、顔画像の垂直方向の長さに比例するように補正する。
【００５２】
なお、記憶部６１に記憶されている水平２次曲線のレンジjvolと垂直２次曲線のレンジivolは、例えば、デフォルト値であるようにすることができる。
【００５３】
以上のように、サイズ補正部６２は、顔画像のサイズに基づいて、顔画像のサイズが大きいほど、レンジjvolとレンジivolが大きくなるように補正する。従って、画像処理装置１０は、実世界で人間が感じる近距離の人物と遠距離の人物の奥行き値の差を反映した奥行きマップを生成することができる。その結果、この奥行きマップを用いて、より自然な３Ｄ画像を生成することができる。
【００５４】
また、サイズ補正部６２は、顔画像のサイズに基づいてレンジjvolとレンジivolを補正するだけで、より自然な奥行きマップを容易に生成することができる。これに対して、従来のように人間の一般的な顔の３次元形状情報に基づいて奥行きマップを生成する場合、その３次元形状情報に対応する顔を拡大または縮小して、３次元形状情報に対応する顔のサイズと入力画像内の顔のサイズを精度良く一致させる必要がある。従って、従来の場合、より自然な奥行きマップを生成するためには複雑な処理が必要である。
【００５５】
なお、図６の例では、サイズ補正部６２は、顔画像のサイズに基づいて、レンジjvolとレンジivolを線形変換したが、人間の視覚特性に応じた非線形変換するようにしてもよい。
【００５６】
［奥行き値の生成の説明］
図７および図８は、顔画像の角度が全て０度である場合の奥行き値の生成を説明する図である。
【００５７】
図７および図８に示すように、顔画像の角度が全て０度である場合、角度補正部６３は、サイズ補正部６２から供給される水平２次曲線と垂直２次曲線をそのまま生成部６４に供給する。
【００５８】
図７に示すように、生成部６４は、処理対象の画素の部位領域が顔内領域４２である場合、生成部６４は、角度補正部６３から供給される水平２次曲線と垂直２次曲線のうちの、顔内領域４２の水平２次曲線１０１と垂直２次曲線１０２を選択する。そして、生成部６４は、選択された水平２次曲線１０１と垂直２次曲線１０２を用いて、処理対象の画素の奥行き値を生成する。
【００５９】
具体的には、顔内領域４２の水平２次曲線１０１が以下の式（２）で定義され、垂直２次曲線１０２が以下の式（３）で定義される場合、生成部６４は、以下の式（４）により、処理対象の画素の奥行き値を生成する。
【００６０】
【数２】
2014021744.tif 000004
【００６１】
なお、式（２）乃至（４）において、ofst1は、水平２次曲線１０１と垂直２次曲線１０２に共通の距離ofstであり、式（２）において、ｄh1は、水平２次曲線１０１が表す奥行き値である。また、式（２）および式（４）において、jvol1は水平２次曲線１０１のレンジjvolであり、jw1は水平２次曲線１０１の値jwである。
【００６２】
また、式（３）において、ｄV1は、垂直２次曲線１０２が表す奥行き値であり、式（４）において、ｄ1は、顔内領域４２の奥行き値である。さらに、式（３）および式（４）において、ivol1は垂直２次曲線１０２のレンジivolであり、iw1は垂直２次曲線１０２の値iwである。
【００６３】
また、図７に示すように、処理対象の画素の部位領域が顔外領域４３である場合、生成部６４は、角度補正部６３から供給される水平２次曲線と垂直２次曲線のうちの、顔外領域４２の水平２次曲線１０３と垂直２次曲線１０４を選択する。そして、生成部６４は、選択された水平２次曲線１０３と垂直２次曲線１０４を用いて、処理対象の画素の奥行き値を生成する。
【００６４】
具体的には、顔外領域４２の水平２次曲線１０３が以下の式（５）で定義され、垂直２次曲線１０４が以下の式（６）で定義される場合、生成部６４は、以下の式（７）により、処理対象の画素の奥行き値を生成する。
【００６５】
【数３】
2014021744.tif 000005
【００６６】
なお、式（５）乃至（７）において、ofst2は、水平２次曲線１０３と垂直２次曲線１０４に共通の距離ofstであり、式（５）において、ｄh2は、水平２次曲線１０３が表す奥行き値である。また、式（５）および式（７）において、jvol2は水平２次曲線１０３のレンジjvolであり、jw2は水平２次曲線１０３の値jwである。
【００６７】
また、式（６）において、ｄV2は、垂直２次曲線１０４が表す奥行き値であり、式（７）において、ｄ2は、顔外領域４２の奥行き値である。さらに、式（６）および式（７）において、ivol2は垂直２次曲線１０４のレンジivolであり、iw2は垂直２次曲線１０４の値iwである。
【００６８】
図７の例では、レンジjvol2がレンジjvol1より大きく設定されているので、より実際の人物の顔の奥行き値に近い奥行き値を生成することができる。
【００６９】
即ち、生成部６４は、顔内領域４２の奥行き値を、レンジjvol1で定義される水平２次曲線１０１を用いて生成し、顔外領域４３の奥行き値を、レンジjvol1より大きいレンジjvol2で定義される水平２次曲線１０３を用いて生成する。従って、顔外領域４３の奥行き値に対応する曲率は、顔内領域４２の奥行き値に対応する曲率より大きくなる。ここで、一般的に、人物の顔を正面から見た場合、顔内領域４２に対応する顔の前面に比べて、顔外領域４３に対応する顔の側面の曲率は強い。よって、生成部６４は、より実際の人物の顔の奥行き値に近い奥行き値を生成することができるといえる。
【００７０】
また、レンジjvol2がレンジjvol1より大きく設定されているので、人物領域外の領域と顔外領域４３の奥行き値の差が大きくなる。その結果、奥行きマップを用いて生成される３Ｄ画像において、視聴者は、人物画像と背景画像を奥行き方向の位置により容易に分離することができる。即ち、奥行きマップを用いて立体効果の大きい３Ｄ画像を生成することができる。
【００７１】
また、図８に示すように、処理対象の画素の部位領域が胴体内領域４５である場合、生成部６４は、角度補正部６３から供給される水平２次曲線と垂直２次曲線のうちの、胴体内領域４５の水平２次曲線１２１と垂直２次曲線１２２を選択する。そして、生成部６４は、選択された水平２次曲線１２１と垂直２次曲線１２２を用いて、図７で説明した顔内領域４２の場合と同様に、処理対象の画素の奥行き値を生成する。
【００７２】
さらに、図８に示すように、処理対象の画素の部位領域が胴体外領域４６である場合、生成部６４は、角度補正部６３から供給される水平２次曲線と垂直２次曲線のうちの、胴体外領域４６の水平２次曲線１２３と垂直２次曲線１２４を選択する。そして、生成部６４は、選択された水平２次曲線１２３と垂直２次曲線１２４を用いて、図７で説明した顔外領域４３の場合と同様に、処理対象の画素の奥行き値を生成する。
【００７３】
なお、図示は省略するが、処理対象の画素の部位領域が首領域４４である場合も、生成部６４は、他の部位領域の場合と同様に、首領域４４の水平２次曲線と垂直２次曲線を用いて、処理対象の画素の奥行き値を生成する。首領域４４の水平２次曲線と垂直２次曲線は、顔外領域４３の奥行き値より首領域４４の奥行き値の方が小さくなるようになっている。これにより、奥行きマップを用いて生成された３Ｄ画像において、顎と首を分離するができ、実際の人物により近似した３Ｄ画像を生成することができる。
【００７４】
図９は、以上のように生成された人物領域の各画素の奥行き値の例を示す図である。
【００７５】
図９において、ｘ軸は、入力画像における各画素の水平方向の位置を表し、ｙ軸は、入力画像における各画素の垂直方向の位置を表し、ｚ軸は、各画素の奥行き値を表す。なお、図９では、人物領域外の領域の奥行き値も、背景画像用の奥行き値０として示されている。
【００７６】
次に、図１０は、顔画像のヨー角が０以外のθjであり、ピッチ角が０以外のθiである場合の顔内領域４２と顔外領域４３の画素の奥行き値の生成を説明する図である。
【００７７】
図１０に示すように、顔画像のヨー角が０以外のθjである場合、角度補正部６３は、以下の式（８）に示すように、ヨー角θjを用いてシフト量shiftjを求める。なお、本明細書では、顔画像が左向きである場合、ヨー角θjは正の値であり、顔画像が右向きである場合、ヨー角θjは負の値であるものとする。
【００７８】
【数４】
2014021744.tif 000006
【００７９】
そして、図１０に示すように、角度補正部６３は、シフト量shiftjに基づいて、水平２次曲線１０１（図７）を、以下の式（９）で定義される水平２次曲線１４１に補正する。
【００８０】
【数５】
2014021744.tif 000007
【００８１】
なお、式（９）において、ｄh1'は、水平２次曲線１４１が表す奥行き値である。
【００８２】
ここで、補正後の水平２次曲線１０３である水平２次曲線１４３を、水平２次曲線１４３が表す奥行き値ｄh2'と水平２次曲線１０３の距離ofst2を用いて、以下の式（１０）で定義する。
【００８３】
ｄh2'-ofst2=a（j-b）
・・・（１０）
【００８４】
このとき、水平２次曲線１４１と補正後の水平２次曲線１０３である水平２次曲線１４３の２つの交点（Hb,dHb）と交点（Hc,dHc）は、以下の式（１１）で表される。
【００８５】
【数６】
2014021744.tif 000008
【００８６】
なお、式（１１）における-Hb、即ちHcは、顔内領域４２の短軸の長さの半分である。
【００８７】
式（１１）の連立方程式を解くことにより、ａ，ｂは、以下の式（１２）で表される。
【００８８】
【数７】
2014021744.tif 000009
【００８９】
ここで、交点（Hb,dHb）と交点（Hc,dHc）は、水平２次曲線１４１上の点でもあるため、上述した式（９）により、dHbとdHcを求めることができる。従って、角度補正部６３は、上述した式（９）により、dHbとdHcを求め、水平２次曲線１０３を、以下の式（１３）で定義する水平２次曲線１４３に補正する。
【００９０】
【数８】
2014021744.tif 000010
【００９１】
また、図１０に示すように、顔画像のピッチ角が０以外のθiである場合、角度補正部６３は、値iw1、ピッチ角θi、およびレンジivol1を用いて、シフト量shiftjと同様にシフト量shiftiを求める。なお、本明細書では、顔画像が上向きである場合、ピッチ角θｉは正の値であり、顔画像が下向きである場合、ピッチ角θiは負の値であるものとする。
【００９２】
図１０に示すように、角度補正部６３は、シフト量shiftiに基づいて、水平２次曲線１０１と同様に、垂直２次曲線１０２（図７）を垂直２次曲線１４２に補正する。また、角度補正部６３は、水平２次曲線１４３と同様に、垂直２次曲線１０４を垂直２次曲線１４４に補正する。
【００９３】
そして、ピッチ角とヨー角が０以外である場合、生成部６４は、水平２次曲線１４１と垂直２次曲線１４２に基づいて、以下の式（１４）により、顔内領域４２の画素の奥行き値ｄ1’を生成する。
【００９４】
【数９】
2014021744.tif 000011
【００９５】
また、生成部６４は、水平２次曲線１４３と垂直２次曲線１４４に基づいて、以下の式（１５）により、顔外領域４３の画素の奥行き値ｄ2’を生成する。
【００９６】
【数１０】
2014021744.tif 000012
【００９７】
なお、式（１５）において、ｄVb，ｄVcは、垂直２次曲線１４２と垂直２次曲線１４４の２つの交点の垂直方向の位置Vb,Vcに対応する奥行き値である。また、位置-Vbは位置Vcと同一であり、顔内領域４２の長軸の長さの半分である。
【００９８】
以上のように、角度補正部６３は、顔画像のヨー角θjとピッチ角θiに基づいて、ヨー角とピッチ角が所定値（本実施の形態では０）である場合の顔内領域４２および顔外領域４３の水平２次曲線と垂直２次曲線を補正する。従って、奥行き生成部１８は、ヨー角とピッチ角が所定値である場合の顔内領域４２および顔外領域４３の水平２次曲線と垂直２次曲線を用いて、顔内領域４２と顔外領域４３の奥行き値を、顔画像の角度に応じた自然な奥行き値にすることができる。
【００９９】
これに対して、従来のように人間の一般的な顔の３次元形状情報を用いて奥行きマップを生成する場合、顔画像の角度に応じた奥行き値を生成するためには、顔画像の角度ごとの３次元形状情報を保持する必要がある。従って、奥行きマップの生成に用いられる情報の情報量が多くなる。
【０１００】
［画像処理装置の処理の説明］
図１１は、図１の画像処理装置１０の奥行きマップ生成処理を説明するフローチャートである。この奥行きマップ生成処理は、画像処理装置１０に外部から画像が入力画像として入力されたとき、開始される。
【０１０１】
図１１のステップＳ１１において、画像処理装置１０の顔検出部１１は、外部から入力された入力画像内の顔画像を検出する。顔検出部１１は、検出された顔画像の顔画像情報を、顔内領域判定部１２、顔外領域判定部１３、首領域判定部１４、胴体内領域判定部１５、および胴体外領域判定部１６に供給する。
【０１０２】
ステップＳ１２において、顔検出部１１は、検出された顔画像のピッチ角とヨー角を顔画像の角度として検出する。顔検出部１１は、検出された顔画像の角度と顔画像のサイズを奥行き生成部１８に供給する。
【０１０３】
ステップＳ１３において、顔内領域判定部１２は、顔検出部１１から供給される顔画像情報に基づいて、顔画像の中心を中心とする、顔画像のサイズに基づくサイズの楕円領域を顔内領域に設定し、その顔内領域の顔内領域情報を境界判定部１７に供給する。
【０１０４】
ステップＳ１４において、顔外領域判定部１３は、顔検出部１１から供給される顔画像情報に基づいて、顔画像の中心を中心とする、顔画像のサイズに基づくサイズであって、顔内領域より大きい楕円領域を顔外領域に設定する。顔外領域判定部１３は、その顔外領域の顔外領域情報を境界判定部１７に供給する。
【０１０５】
ステップＳ１５において、首領域判定部１４は、顔検出部１１から供給される顔画像情報に基づいて、顔画像の下の、顔画像のサイズに基づくサイズの長方形の領域を首領域に設定し、その首領域の首領域情報を境界判定部１７に供給する。
【０１０６】
ステップＳ１６において、胴体内領域判定部１５は、顔検出部１１から供給される顔画像情報に基づいて、顔画像のサイズに基づくサイズの、首領域の下の台形領域と、その台形領域の下の長方形領域とを、胴体内領域に設定する。胴体内領域判定部１５は、その胴体内領域の胴体内領域情報を境界判定部１７に供給する。
【０１０７】
ステップＳ１７において、胴体外領域判定部１６は、顔検出部１１から供給される顔画像情報に基づいて、顔画像のサイズに基づくサイズであって、首領域の下の胴体内領域より大きい、台形領域と、その台形領域の下の長方形領域とを、胴体外領域に設定する。胴体外領域判定部１６は、その胴体外領域の胴体外領域情報を境界判定部１７に供給する。
【０１０８】
ステップＳ１８において、境界判定部１７は、顔内領域判定部１２、首領域判定部１４、胴体内領域判定部１５、および胴体外領域判定部１６から供給される部位領域情報に基づいて、部位領域を人物領域に決定する。
【０１０９】
ステップＳ１９において、境界判定部１７は、部位領域情報に基づいて、図２で説明したように、人物領域内の各画素を、最終的な顔内領域、顔外領域、首領域、胴体内領域、または胴体外領域の画素に決定することにより、最終的な部位領域を決定する。境界判定部１７は、決定された最終的な部位領域の部位情報を、奥行き生成部１８に供給する。
【０１１０】
ステップＳ２０において、境界判定部１７は、人物領域内の各画素に対して、人物領域であることを表す人物領域フラグを生成し、入力画像内の人物領域外の各画素に対して、人物領域ではないことを表す人物領域フラグを生成する。境界判定部１７は、入力画像の各画素の人物領域フラグを選択部１９に供給する。
【０１１１】
ステップＳ２１において、奥行き生成部１８は、人物領域内の各画素の奥行き値を生成する奥行き値生成処理を行う。この奥行き値生成処理の詳細は、後述する図１２を参照して説明する。
【０１１２】
ステップＳ２２において、選択部１９は、入力画像を構成する画素のうちの、まだ処理対象の画素として決定されていない画素を、処理対象の画像に決定する。ステップＳ２３において、選択部１９は、処理対象の画像の人物領域フラグが、人物領域であることを表しているかどうかを判定する。
【０１１３】
ステップＳ２３で処理対象の画像の人物領域フラグが、人物領域であることを表していると判定された場合、処理はステップＳ２４に進む。ステップＳ２４において、選択部１９は、処理対象の画素に対応する奥行きマップの画素の画素値として、奥行き生成部１８から供給される人物領域の処理対象の画素の奥行き値を割り当て、処理をステップＳ２６に進める。
【０１１４】
一方、ステップＳ２３で処理対象の画像の人物領域フラグが、人物領域ではないことを表していると判定された場合、処理はステップＳ２５に進む。ステップＳ２５において、選択部１９は、処理対象の画素に対応する奥行きマップの画素の画素値として、外部から入力される背景画像用の奥行き値を割り当て、処理をステップＳ２６に進める。
【０１１５】
ステップＳ２６において、選択部１９は、入力画像の全ての画素を処理対象の画素としたかどうかを判定する。ステップＳ２６でまだ入力画像の全ての画素を処理対象の画素としていないと判定された場合、選択部１９は、処理をステップＳ２２に戻し、入力画像の全ての画素を処理対象の画素とするまで、ステップＳ２２乃至Ｓ２６の処理を繰り返す。
【０１１６】
一方、ステップＳ２６で入力画像の全ての画素を処理対象の画素としたと判定された場合、選択部１９は、全ての画素の画素値として奥行き値が割り当てられた奥行きマップを平滑化処理部２０に供給する。
【０１１７】
ステップＳ２７において、平滑化処理部２０は、一般的な空間フィルタを用いて、選択部１９から供給される奥行きマップを平滑化して出力し、処理を終了する。
【０１１８】
図１２は、図１１のステップＳ２１の奥行き値生成処理の詳細を説明するフローチャートである。
【０１１９】
図１２のステップＳ４１において、サイズ補正部６２は、記憶部６１から各部位領域の水平２次曲線と垂直２次曲線を読み出す。ステップＳ４２において、顔検出部１１から供給される顔画像のサイズに基づいて、読み出された各部位領域の水平２次曲線のレンジjvolと垂直２次曲線のレンジivolを補正する。
【０１２０】
サイズ補正部６２は、補正後の水平２次曲線と垂直２次曲線を角度補正部６３に供給する。角度補正部６３は、サイズ補正部６２から供給される首領域４４、胴体内領域４５、および胴体外領域４６の水平２次曲線と垂直２次曲線をそのまま生成部６４に供給する。
【０１２１】
ステップＳ４３において、角度補正部６３は、顔検出部１１から顔画像の角度として供給される顔画像のヨー角が０であるかどうかを判定する。ステップＳ４３で顔画像のヨー角が０ではないと判定された場合、ステップＳ４４において、角度補正部６３は、０ではないヨー角θjに基づいて、上述した式（８）、式（９）、および式（１３）により、顔内領域４２と顔外領域４３の水平２次曲線を補正する。そして、角度補正部６３は、補正後の顔内領域４２と顔外領域４３の水平２次曲線を生成部６４に供給し、処理をステップＳ４５に進める。
【０１２２】
一方、ステップＳ４３で顔画像のヨー角が０であると判定された場合、角度補正部６３は、ステップＳ４４の処理をスキップし、サイズ補正部６２から供給される顔内領域４２と顔外領域４３の水平２次曲線をそのまま生成部６４に供給する。そして、処理はステップＳ４５に進む。
【０１２３】
ステップＳ４５において、角度補正部６３は、顔検出部１１から顔画像の角度として供給される顔画像のピッチ角が０であるかどうかを判定する。ステップＳ４５で顔画像のピッチ角が０ではないと判定された場合、ステップＳ４６において、角度補正部６３は、０ではないピッチ角θiに基づいて、図１０で説明したように、顔内領域４２と顔外領域４３の垂直２次曲線を補正する。そして、角度補正部６３は、補正後の顔内領域４２と顔外領域４３の垂直２次曲線を生成部６４に供給し、処理をステップＳ４７に進める。
【０１２４】
一方、ステップＳ４５で顔画像のピッチ角が０であると判定された場合、角度補正部６３は、ステップＳ４６の処理をスキップし、サイズ補正部６２から供給される顔内領域４２と顔外領域４３の垂直２次曲線をそのまま生成部６４に供給する。そして、処理はステップＳ４７に進む。
【０１２５】
ステップＳ４７において、生成部６４は、人物領域内の画素のうちのまだ処理対象の画素とされていない画素を、処理対象の画素に決定する。ステップＳ４８において、生成部６４は、境界判定部１７から供給される部位情報に基づいて、処理対象の画素の部位領域を判定する。
【０１２６】
ステップＳ４９において、生成部６４は、角度補正部６３から供給される水平２次曲線および垂直２次曲線のうちの、処理対象の画素の部位領域の水平２次曲線および垂直２次曲線に基づいて、処理対象の画素の水平方向および垂直方向の位置に対応する奥行き値を生成する。
【０１２７】
ステップＳ５０において、生成部６４は、人物領域内の全ての画素を処理対象の画像としたかどうかを判定する。ステップＳ５０でまだ人物領域内の全ての画素を処理対象の画素としていないと判定された場合、処理はステップＳ４７に戻り、人物領域内の全ての画素を処理対象とするまで、ステップＳ４７乃至Ｓ５０の処理が繰り返される。
【０１２８】
一方、ステップＳ５０で人物領域内の全ての画素を処理対象の画素としたと判定された場合、生成部６４は、生成された人物領域内の全ての画素の奥行き値を図１の選択部１９に供給する。そして、処理は、図１１のステップＳ２１に戻り、ステップＳ２２に進む。
【０１２９】
以上のように、画像処理装置１０は、奥行き値のモデルを表す２次曲線に基づいて、入力画像の奥行き値を生成する。従って、従来のように人間の一般的な顔の各特徴点の３次元形状情報に基づいて奥行き値を生成する場合に比べて、奥行き値の生成に用いられる情報の情報量を削減することができる。その結果、記憶部６１の記憶容量は少なくて済む。
【０１３０】
また、画像処理装置１０は、部位領域ごとの２次曲線に基づいて部位領域ごとに奥行き値を生成するので、人物領域全体の１つの２次曲線に基づいて奥行き値を生成する場合に比べて、奥行き値の自由度が高くなる。その結果、より自然な奥行き値を容易に生成することができる。さらに、画像処理装置１０は、顔画像に基づいて部位領域を設定するので、部位領域の設定が容易である。
【０１３１】
さらに、画像処理装置１０では、各部位領域の物体の奥行き値の生成に用いられる情報が全て２次曲線であるので、奥行き生成部１８は、奥行き値を演算する演算部を部位領域間で共有化することができる。
【０１３２】
なお、画像処理装置１０は、入力画像内に５つの部位領域を設定し、その部位領域ごとの２次曲線に基づいて奥行き値を生成したが、入力画像内に設定される部位領域の数は、５個に限定されない。また、例えば、画像処理装置１０は、所定の部位領域を設定しないモードを有していてもよい。このモードは、例えば、ユーザからの指示により設定される。
【０１３３】
［奥行き値生成処理の他の例］
図１３は、画像処理装置１０が、首領域を設定しない首領域除外モードを有している場合の奥行きマップ生成処理を説明するフローチャートである。この奥行きマップ生成処理は、画像処理装置１０に外部から画像が入力画像として入力されたとき、開始される。
【０１３４】
図１３のステップＳ７１乃至Ｓ７４の処理は、図１１のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。
【０１３５】
ステップＳ７５において、首領域判定部１４は、首領域除外モードが設定されているかどうかを判定する。ステップＳ７５で首領域除外モードが設定されていないと判定された場合、首領域判定部１４は、処理をステップＳ７６に進める。
【０１３６】
一方、ステップＳ７５で首領域除外モードが設定されていると判定された場合、首領域判定部１４は、ステップＳ７６をスキップし、処理をステップＳ７７に進める。
【０１３７】
ステップＳ７６乃至Ｓ８８の処理は、図１３のステップＳ１５乃至Ｓ２７の処理と同様であるが、首領域除外モードが設定されている場合、人物領域および部位領域には首領域が含まれない。
【０１３８】
[本技術を適用したコンピュータの説明]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１３９】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１４０】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１４２】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１４３】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４４】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１４５】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１４６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４８】
例えば、画像処理装置１０は、画像内の人物領域以外の領域（建物の領域、空の領域、風景の領域、動物の領域、車の領域等）の物体の奥行き値を生成するようにしてもよい。この場合、その領域に適した領域が部位領域として設定される。例えば、画像処理装置１０が車の領域の物体の奥行き値を生成する場合、フロントガラスの領域、タイヤの領域、ボンネットの領域等が部位領域として設定される。
【０１４９】
また、画像処理装置１０は、顔画像の位置とサイズに基づいて部位領域を設定するのではなく、入力画像から部位領域を検出し、設定するようにしてもよい。
【０１５０】
さらに、画像処理装置１０は、顔や胴体の領域以外の領域（首領域等）においても、内領域と外領域を設定し、２種類の２次曲線に基づいて奥行き値を生成するようにしてもよい。また、顔や胴体の領域の分割数は２に限定されず、３以上であってもよい。分割数が多いほど、奥行き値の自由度は高くなり、より自然な奥行き値を生成することができる。
【０１５１】
また、画像処理装置１０は、顔画像以外の胴体画像や首画像などの角度を検出し、その角度に応じて、顔内領域および顔外領域と同様に、対応する部分領域の水平２次曲線と垂直２次曲線を補正するようにしてもよい。
【０１５２】
さらに、画像処理装置１０は、顔画像のサイズや顔画像の角度に基づいて水平２次曲線と垂直２次曲線を補正しなくてもよい。また、奥行き値の生成単位は、画素単位でなくてもよい。
【０１５３】
また、例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５４】
さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５５】
また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５６】
本技術は、以下のような構成もとることができる。
【０１５７】
（１）
物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の前記物体の奥行き値を生成する生成部
を備える画像処理装置。
（２）
前記画像内の前記物体の領域を複数の領域に分割して設定する設定部
をさらに備え、
前記生成部は、前記設定部により設定される前記領域ごとの前記２次曲線に基づいて、前記画像内の前記物体の奥行き値を生成する
前記（１）に記載の画像処理装置。
（３）
前記設定部は、前記物体の外側の領域と前記物体の内側の領域を設定する
前記（２）に記載の画像処理装置。
（４）
前記２次曲線は、前記物体の奥行き値と前記物体における位置の関係のモデルを表し、
前記生成部は、前記２次曲線に基づいて、前記画像内の前記物体における位置ごとに、その位置に対応する前記奥行き値を生成する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記２次曲線は、前記物体の奥行き値と前記物体における水平方向の位置の関係のモデルを表す水平２次曲線と、前記物体の奥行き値と前記物体における垂直方向の位置の関係のモデルを表す垂直２次曲線とにより構成され、
前記生成部は、前記水平２次曲線と前記垂直２次曲線に基づいて、前記画像内の前記物体における水平方向および垂直方向の位置ごとに、その位置に対応する前記奥行き値を生成する
前記（４）に記載の画像処理装置。
（６）
前記画像内の前記物体の角度に基づいて、前記２次曲線を補正する角度補正部
をさらに備え、
前記生成部は、前記角度補正部により補正された前記２次曲線に基づいて、前記画像内の前記物体の奥行き値を生成する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記画像内の前記物体のサイズに基づいて、前記２次曲線を補正するサイズ補正部
をさらに備え、
前記生成部は、前記サイズ補正部により補正された前記２次曲線に基づいて、前記画像内の前記物体の奥行き値を生成する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記物体は、少なくとも顔を含む
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置が、
物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の前記物体の奥行き値を生成する生成ステップ
を含む画像処理方法。
（１０）
コンピュータを、
物体の奥行き方向の位置を表す奥行き値のモデルを表す２次曲線に基づいて、画像内の前記物体の奥行き値を生成する生成部
として機能させるためのプログラム。
【符号の説明】
【０１５８】
１０  画像処理装置，  １７  境界判定部，  １８  奥行き生成部，  ６２  サイズ補正部，  ６３  角度補正部
【図１】
2014021744.tif 000013
【図２】
2014021744.tif 000014
【図３】
2014021744.tif 000015
【図４】
2014021744.tif 000016
【図５】
2014021744.tif 000017
【図６】
2014021744.tif 000018
【図７】
2014021744.tif 000019
【図８】
2014021744.tif 000020
【図９】
2014021744.tif 000021
【図１０】
2014021744.tif 000022
【図１１】
2014021744.tif 000023
【図１２】
2014021744.tif 000024
【図１３】
2014021744.tif 000025
【図１４】
2014021744.tif 000026