(57)【要約】【課題】撮影画像に関する精度の良い距離情報を作成し、作成した距離情報に応じた画像処理を実行する撮像装置を提供する。【解決手段】撮像装置が、被写体を撮影して画像信号を出力し、上記画像信号に係る画像の画素における被写体との近距離情報を作成する。撮像装置は、上記画像の奥行きに関する奥行き情報を作成する。撮像装置が、近距離情報と奥行き情報とに基づいて、被写体までの距離情報を作成する。そして、撮像装置が、作成した距離情報に基づいて、画像を処理する。【選択図】図１
2015146500.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像信号を出力する撮影手段と、
前記画像信号に係る画像の画素における被写体との距離に関する第１の距離情報を作成する第１距離作成手段と、
前記画像の奥行きに関する奥行き情報を作成する奥行き情報作成手段と、
前記第１の距離情報と前記奥行き情報とに基づいて、前記被写体までの距離に関する第２の距離情報を作成する第２距離作成手段と、
前記第２の距離情報に基づいて前記画像を処理する画像処理手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記第１距離作成手段は、撮影光学系の異なる瞳領域を通過した光束が結像することで得られる２つの画像のずれ量に基づいて、前記第１の距離情報を作成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
画素毎または複数の画素毎の距離情報を有する構図パターンが記憶された構図パターン記憶手段を備え、
前記奥行き情報作成手段は、
前記画像の所定の特徴量抽出領域について特徴量を抽出し、
前記抽出した特徴量に基づいて、前記構図パターン記憶手段に記憶された構図パターンのうち、前記画像に対応する構図パターンを決定し、
前記決定した構図パターンを用いて前記奥行き情報を作成する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記奥行き情報作成手段は、
前記画像の所定の特徴量抽出領域のうち、補間が必要である特徴量抽出領域については、当該特徴量抽出領域を当該特徴量抽出領域の周辺画素を用いて補間した上で、特徴量を抽出する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記奥行き情報作成手段は、前記所定の特徴量抽出領域のうち、前記第１の距離情報が作成されている特徴量抽出領域を前記補間が必要である特徴量抽出領域として決定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像信号に係る画像からの被写体の認識処理を実行する認識手段を備え、
前記奥行き情報作成手段は、前記被写体の認識処理結果に基づいて、前記所定の特徴量抽出領域のうち、背景領域であると判断した特徴量抽出領域を前記補間が必要である特徴量抽出領域として決定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記奥行き情報作成手段は、
前記画像の所定の特徴量抽出領域のうち、特徴量を算出する特徴量抽出領域を決定し、当該決定した特徴量抽出領域について特徴量を抽出し、
前記抽出した特徴量に基づいて、前記構図パターン記憶手段に記憶された構図パターンのうち、前記画像に対応する構図パターンを決定し、
前記決定した構図パターンを用いて前記奥行き情報を作成する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項８】
前記奥行き情報作成手段は、前記所定の特徴量抽出領域のうち、前記第１の距離情報が作成されてない特徴量抽出領域を前記特徴量を算出する特徴量抽出領域として決定する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像信号に係る画像からの被写体の認識処理を実行する認識手段を備え、
前記奥行き情報作成手段は、前記被写体の認識処理結果に基づいて、前記所定の特徴量抽出領域のうち、背景領域であると判断した特徴量抽出領域を前記特徴量を算出する特徴量抽出領域として決定する
ことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記奥行き情報作成手段は、前記算出された特徴量と、前記画像の画素における前記第１の距離情報とを用いて、前記構図パターンを決定する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１１】
撮影場所と撮影方向とに紐付けられた奥行き情報が記憶された奥行き記憶手段を備え、
前記奥行き情報作成手段は、
前記被写体の撮影時のレンズ情報から画角情報を作成し、
前記奥行き記憶手段に記憶された奥行き情報に基づいて、前記画角情報と前記撮影時の撮影方向の情報とに対応する奥行き情報を作成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項１２】
外部装置と通信する通信手段を備え、
前記奥行き情報作成手段は、
前記被写体の撮影時のレンズ情報から画角情報を作成し、
前記通信手段を介して、前記画角情報と前記撮影時の撮影方向の情報とを前記外部装置に送信することで、当該外部装置から前記画角情報と前記撮影時の撮影方向の情報とに対応する奥行き情報を取得し、
前記第２距離作成手段は、前記第１の距離情報と前記取得された奥行き情報とに基づいて、前記被写体までの距離に関する第２の距離情報を作成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項１３】
被写体を撮影して画像信号を出力する工程と、
前記画像信号に係る画像の画素における被写体との距離に関する第１の距離情報を作成する工程と、
前記画像の奥行きに関する奥行き情報を作成する工程と、
前記第１の距離情報と前記奥行き情報とに基づいて、前記被写体までの距離に関する第２の距離情報を作成する工程と、
前記第２の距離情報に基づいて前記画像を処理する工程とを有する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳ等の撮像素子を用いて画像を取得する撮像装置（例えば、デジタルカメラ）で、風景を撮影した画像データを後日、見直した場合、撮影時の雰囲気と異なることがある。これは、大気中の水蒸気やチリにより、撮影画像が肉眼で見るよりも彩度、鮮やかさ、奥行き感が異なることが要因の一つである。なお、ＣＣＤは、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。
【０００３】
ここで、奥行き感を向上させるため、奥行きを推定し、推定された奥行きに応じて、画像処理を変更させることが考えられる。特許文献１は、疑似立体動画像を生成するための奥行き推定データを生成する疑似立体画像生成装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８５０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１が開示する疑似立体画像生成装置は、奥行き情報を示す３種類の基本奥行きモデルを用いて、奥行き推定データを生成する。しかし、この疑似立体画像生成装置では、画像における遠景部分までの距離情報（遠距離情報）を得ることはできるが、画像の近景部分の距離情報（近距離情報）を得ることができない。したがって、この疑似立体画像生成装置では、近景部分に関しては不自然な画像となってしまう。
【０００６】
本発明は、撮影画像に関する精度の良い距離情報を作成し、作成した距離情報に応じた画像処理を実行する撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の撮像装置は、被写体を撮影して画像信号を出力する撮影手段と、前記画像信号に係る画像の画素における被写体との距離に関する第１の距離情報を作成する第１距離作成手段と、前記画像の奥行きに関する奥行き情報を作成する奥行き情報作成手段と、前記第１の距離情報と前記奥行き情報とに基づいて、前記被写体までの距離に関する第２の距離情報を作成する第２距離作成手段と、前記第２の距離情報に基づいて前記画像を処理する画像処理手段とを備える。
【発明の効果】
【０００８】
本発明によれば、近距離から遠距離までの距離情報を作成することができ、距離に応じた画像処理を施すことで人間の記憶色の再現や遠近感の向上を図ることができる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成例を示す図である。
【図２】撮像素子の画素の構造を説明する図である。
【図３】撮像素子の画素と光電変換部の配置を説明する平面図である。
【図４】物体像の結像状態を説明する図である。
【図５】近距離情報を説明する図である。
【図６】構図パターンの一例を示す図である。
【図７】構図パターンの一例を示す図である。
【図８】構図パターンの一例を示す図である。
【図９】撮影時における撮像装置の動作処理を説明するフローチャートである。
【図１０】奥行き情報の作成処理を説明するフローチャートである。
【図１１】特徴量抽出領域を説明する図である。
【図１２】奥行き情報の作成処理を説明するフローチャートである。
【図１３】特徴点抽出領域が補間された画像データを示す図である。
【図１４】撮像装置の構成を示す図である。
【図１５】奥行き情報の作成処理を説明するフローチャートである。
【図１６】奥行き情報の作成処理を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
（実施例１）
図１は、実施例１の撮像装置の構成を示す図である。
本実施例の撮像装置は、デジタルカメラである。なお、本発明の適用範囲は、デジタルカメラに限定されない。本発明は、デジタルビデオカメラ、カメラ付き携帯電話等の任意の撮像装置に適用可能である。
【００１１】
図１は、第１の実施例に係るデジタルカメラの構成を示すブロック図である。
撮像素子１００は、受光した被写体像を電気信号に変換して画像信号を出力するＣＣＤやＣＭＯＳセンサ等の受光素子である。Ａ／Ｄ変換器１０１は、撮像素子１００のアナログ出力信号をデジタル信号に変換する。近距離情報作成部１０２は、撮像装置から被写体までの近距離情報を作成する（第１距離作成手段である）。近距離情報は、撮影された画像すなわち撮像素子１００が出力する画像信号に係る画像の画素における被写体との距離に関する第１の距離情報である。具体的には、近距離情報は、当該画像の近景部分までの距離情報である。近距離情報作成処理の詳細については、後述する。
【００１２】
構図パターン１０３は、各画素あるいは複数画素からなる矩形ブロック毎の距離情報を有するデータであり、構図パターン記憶手段として機能するメモリ１１１あるいは不揮発メモリ１１３に保持されている。奥行き情報作成部１０４は、構図パターンを用いて、奥行き情報を作成する。奥行き情報は、撮影された画像の遠景部分までの距離情報である。構図パターンの詳細については、後述する。
【００１３】
奥行き情報作成部１０４は、奥行き情報を作成する。具体的には、奥行き情報作成部１０４は、近距離情報作成部１０２が近距離情報を作成できなかった箇所について奥行き情報を作成する。奥行き情報作成処理の詳細については、後述する。
【００１４】
距離情報作成部１０５は、近距離情報が作成されなかった箇所に対して、奥行き情報作成部１０４によって作成された奥行き情報をマージして、画像データ中の各画素あるいは複数画素からなる矩形ブロック毎の距離情報を作成する。すなわち、距離情報作成部１０５は、近距離情報と奥行き情報とに基づいて、被写体までの距離に関する第２の距離情報を作成する第２距離作成手段として機能する。
【００１５】
画像処理部１０６は、距離情報作成部１０５が作成した距離情報が示す距離に応じて、画像の領域毎にフィルタ処理やコントラスト、明るさや色変更などの画像処理を実行する。このために、画像処理部１０６は、ホワイトバランスや黒レベル補正、シェーディング補正、キズ補正、ノイズリダクション、ガンマ補正、縮小拡大、歪補正などの画像処理を実行する複数の処理部を備える。また、画像処理部１０６は、不図示の画像バッファメモリ、画像データの圧縮処理や伸長処理を行う圧縮伸長部、モニタなどに表示する表示制御部、記録媒体に記憶する記憶処理部などを備える。
【００１６】
データ転送部１０７は、データ転送を行う複数のＤｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓコントローラ（不図示）のＷＲＤＭＡＣとＲＤＤＭＡＣとを備える。画像データは、ＷＲＤＭＡＣによってバス１０９に出力され、メモリコントローラ１１０を介してメモリ１１１に一時記憶される。メモリ１１１に一時記憶された画像データは、ＲＤＤＭＡＣによってメモリ１１１からバス１０９に出力され、画像処理部１０６に出力される。
【００１７】
バス１０８は、システムバスであり、バス１０９は、画像データバスである。なお、本実施形態では、システムバスと画像データバスとを分けているが、同一バスとしてもよい。
【００１８】
メモリコントローラ１１０は、システム制御部であるＣＰＵ１１４またはデータ転送部１０７からの指示に応じて、メモリ１１１にデータを書き込んだり、メモリ１１１からデータを読み出したりする。なお、Ａ／Ｄ変換器１０１からの出力データがメモリ１１１に直接書き込まれる場合もある。メモリ１１１は、所定枚数の静止画像や所定時間の動画像、音声等のデータやシステム制御部１１４の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える記憶装置である。
【００１９】
不揮発性メモリコントローラ１１２は、システム制御部１１４からの指示に応じて、不揮発性メモリ１１３にデータを書き込んだり、不揮発性メモリ１１３からデータを読み出したりする。不揮発性メモリ１１３は、電気的に消去・記録可能なメモリである。不揮発性メモリ１１３として、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１３には、システム制御部１１４の動作用の定数、プログラム等が記憶される。
【００２０】
システム制御部１１４は、デジタルカメラの動作制御を司るマイクロコンピュータなどで構成される。システム制御部１１４は、デジタルカメラを構成する各処理部に対して様々な指示を行い、各種の制御処理を実行する。システム制御部１１４は、バス１０８を介して接続された近距離情報作成部１０２、奥行き情報作成部１０４、距離情報作成部１０５を制御する。また、システム制御部１１４は、画像処理部１０６、データ転送部１０７、メモリコントローラ１１０、不揮発性メモリコントローラ１１２、及び操作部１１５、撮像素子１００を制御する。システム制御部１１４が備えるマイクロコンピュータは、不揮発性メモリ１１３に記録されたプログラムを実行する。
【００２１】
操作部１１５は、ユーザにより操作されるスイッチ（ＳＷ）やボタン等を含む。操作部１１５は、電源のＯＮ／ＯＦＦ、シャッタのＯＮ／ＯＦＦ等の操作に用いられる。本実施形態では、ＳＷが半押しされると、システム制御部１１４が、ＡＦ制御を実行する。また、ＳＷが全押しされると、システム制御部１１４が、奥行き情報の取得処理を実行する。
【００２２】
被写体認識部１１６は、画像データの局所的な特徴量に応じて画像データの領域分割を行って、領域毎の特徴量によって被写体を認識する。また、被写体認識部１１６は、領域毎に認識した被写体をグループ化する。被写体認識部１１６は、例えば、山、空、海、建物、人物、木、動物などをそれぞれのグループとして、領域毎の被写体認識情報として、奥行き情報作成部１０４に通知する。
【００２３】
次に、近距離情報作成処理について説明する。近距離情報作成部１０２は、各画素における被写体との距離を、複数の光電変換領域を持つ撮像素子を使用した位相差検出方式で算出する。つまり、近距離情報作成部１０２は、撮影光学系の異なる瞳領域を通過した光束が結像する像のずれ量に基づいて、位相差方式で近距離情報を算出する。
【００２４】
図２は、撮像素子の画素の構造を説明する図である。
撮像素子１００は、図２に示す画素の構造を有する。図２（Ａ）は、画素の正面図である。図２（Ｂ）は、画素の断面図である。１つの画素は、マイクロレンズ２０１と、光電変換部２０２、２０３を備える。このように、１つの画素に二つの光電変換部を配置することで、瞳分割が行われる。左右の画素をＡ画素、Ｂ画素、また左右それぞれの画素からの信号に係る像をそれぞれＡ像、Ｂ像と呼ぶものとする。
【００２５】
図３は、撮像素子の画素と光電変換部、カラーフィルターの配置を説明する平面図である。各画素における円は、マイクロレンズを表している。ここでは４列×４列のみを抜き出して示している。この撮像素子は各画素にＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルターを規則的に並べることによって、一般的なベイヤー配列を形成している。１画素は、Ａ像、Ｂ像のそれぞれに対応する画像信号を出力する２つの光電変換部を有している。例えば、図３に示す例では、左上のＧ画素は、左側の光電変換部３００であるＧ１および右側の光電変換部３０１であるＧ２を有している。従って、図３の各画素における２つの光電変換部は、瞳分割によって異なる射出瞳を通過して光電変換される。なお、撮像素子は、各画素にＲ（赤色）、Ｇ（緑色）、Ｂ（青色）を左右２分割しているが、無色フィルタの焦点検出用の専用画素を配置してもよい。
【００２６】
図４は、物体像の結像状態を説明する図である。
図４を参照して、撮像素子を使用した被写体と距離の算出方法について説明する。４００はレンズ、４０１は撮像素子の断面を表している。図３で示すような撮像素子による光学系では、例えば、図４のように、撮像素子よりも手前に物体像が形成されているときは、図４中のＡで示される射出瞳の上側を通る半光束は、撮像素子上でＡ’のように下側にシフトする。また、Ｂで示される射出瞳の下側を通る半光束は、Ｂ’のように上側にシフトする。
【００２７】
つまり、各画素において撮像光学系の瞳の半分ずつを通った光束で形成される一対の画像信号は、物体像の結像状態に応じて、図４の上下方向に位相がシフトしたものとなる。従って、システム制御部１１４は、２つの被写体像の相対位置関係であるずれ量をその相関から求めることによって、デフォーカス量を算出して、レンズおよび絞りの各情報を使用して被写体との距離を算出する。例えば、Ｘ（行）方向に８画素、Ｙ（列）方向に６画素の矩形ブロックに分け、デフォーカス量と方向を算出すると、撮影レンズのレンズ繰り出し量が決定される。上記矩形ブロックにおける被写体距離をＤ、撮影レンズの繰り出し量、焦点距離をそれぞれＰ，ｆとすると、近似的に
Ｄ≒ｆ＾2 ／Ｐ
の関係が成立する。この関係に基づいて、矩形ブロックに対応する撮影画像の近距離情報を求めることができる。
【００２８】
図５は、近距離情報を説明する図である。
画像イメージ５００は、人物を撮影した画像データを示し、画像イメージ５００に近距離情報を付加したものが、近距離情報イメージ５０１である。近距離情報イメージ５０１の各矩形ブロックに表示された値は、便宜上簡略化した被写体までの距離（単位はメートル）である。ただし、値が表示されていない箇所は無限遠を意味するものとする。また、近距離情報の算出方法として、別の算出方法を用いてもよい。また、この例では、撮像面位相差検出方式を用いて近距離情報を算出するが、別途測距センサを用いて位相差検出方式や三角測距などで距離情報を求めてもよい。また、この例では、矩形ブロック毎に距離情報を算出するが、画素毎に算出してもよい。
【００２９】
図６乃至図８は、構図パターンの一例を示す図である。
図６の６００，図７の７００，図８の８００は、いずれも風景を撮影した結果得られる画像イメージ図である。それぞれの画像イメージに対応した構図パターンが、構図パターン６０１、７０１、８０１である。
【００３０】
構図パターンは、Ｘ（行）方向、Ｙ（列）方向の画素を複数まとめた矩形ブロック毎に分割されている。図６乃至図８に示す例では、矩形ブロック内に記載されている数値が大きいほど、距離が遠いことを示している。具体的には、画像イメージ６００は画面中央に水平線があり、画面下から画面中央に向かって道が延びており、中央付近に消失点があり、画面中央より上は、空を示した画像イメージ図である。
【００３１】
構図パターン６０１は、画面上側が全て遠景で、距離としては一律遠いパターンで、画面下側は、中央と左右で距離が異なっていることを示している。画像イメージ７００は、画面下から画面中央に向かって道が延びており、中央付近に消失点がある。また、画面中央より上は空であるが、道の脇に街路樹があるため、空の一部が街路樹で隠れている画像イメージ図である。構図パターン７０１は、画面中央に向けて距離が遠くなるパターンを示している。画像イメージ８００は画面中央に水平線があり、水平線より下は海を示し、水平線より上は空を示した画像イメージ図である。構図パターン８０１は、画面上側が全て遠景で、距離としては一律遠いパターンで、画面下側は左右で均一に距離が遠いパターンを示している。
【００３２】
図９は、撮影時における撮像装置の動作処理を説明するフローチャートである。
まず、システム制御部１１４が、操作部１１５のＳＷが半押しされたかを判断する（ステップＳ９００）。ＳＷが半押しされていない場合は、処理がステップＳ９００に戻る。ＳＷが半押しされた場合は、システム制御部１１４が、撮影を開始し、撮像素子１００からの画像データをＡ／Ｄ変換器１０１を通して各処理部に取り込む。そして、処理がステップ９０１に進む。
【００３３】
次に、システム制御部１１４が、撮影レンズを駆動して、オートフォーカス（ＡＦ）制御を実行する（ステップＳ９０１）。具体的には、システム制御部１１４は、像面あるいは専用測距センサを用いた位相差検出方式を適用して、デフォーカス量と方向を算出し、算出したデフォーカス量と方向とに基づいて、レンズ制御部（不図示）を制御する。
【００３４】
次に、システム制御部１１４が、近距離情報を取得する（ステップＳ９０２）。具体的には、近距離情報作成部１０２が近距離情報を作成し、システム制御部１１４は、上記作成された近距離情報を取得する。システム制御部１１４は、メモリコントローラ１１０を制御して、近距離情報をメモリ１１１に一時的に記録するようにしてもよい。
【００３５】
次に、システム制御部１１４が、操作部１１５が有するＳＷが全押しされたかを判断する（ステップＳ９０３）。ＳＷが全押しされた場合は、処理がステップＳ９０４に進む。ＳＷが全押しされていない場合は、処理がステップＳ９０１に戻り、再度ＡＦ制御が実行される。なお、ＡＦ制御は、カメラのモードに応じて、ＳＷ半押し時の１回のみ動作させてもよい。
【００３６】
ステップ９０４において、システム制御部１１４が、奥行き情報を取得する（ステップＳ９０４）。具体的には、奥行き情報作成部１０４が、奥行き情報を作成し、システム制御部１１４が、作成された奥行き情報を取得する。システム制御部１１４が、メモリコントローラ１１０を制御して、奥行き情報をメモリ１１１に一時的に記録してもよい。奥行き情報の作成処理は、図１０および図１１を用いて後述する。
【００３７】
次に、距離情報作成部１０５が、近距離情報と奥行き情報とに基づいて、距離情報を作成する（ステップＳ９０５）。システム制御部１１４が、メモリコントローラ１１０を制御して、作成された距離情報をメモリ１１１に一時的に記録してもよい。
【００３８】
次に、システム制御部１１４が、画像処理部１０６を制御して、ステップ９０５で作成した距離情報が示す距離に応じて、画素または矩形ブロック毎に、領域毎にフィルタ処理やコントラスト、明るさや色変更などの画像処理を行う（ステップＳ９０６）。また、システム制御部１１４が、画像処理部１０６を制御して、その他の画像処理（ホワイトバランスや黒レベル補正、シェーディング補正、キズ補正、ノイズリダクション、ガンマ補正、縮小拡大、歪補正など）を行う。さらに、システム制御部１１４が、画像処理部１０６を制御して、画像データを圧縮して記録媒体に記憶、モニタなどへの表示を行い、撮影を完了させる。
【００３９】
図１０は、実施例１における奥行き情報の作成処理を説明するフローチャートである。システム制御部１１４が、奥行き情報作成部１０４を制御することで、奥行き情報の作成処理を実行する。
【００４０】
まず、システム制御部１１４が、画像データの全矩形ブロックに近距離情報があるかを判断する（ステップＳ１０００）。なお、ステップＳ１０００において、システム制御部１１４が、画像データの全画素に近距離情報があるかを判断するようにしてもよい。
【００４１】
画像データの全矩形ブロックに近距離情報がある場合は、奥行き情報を作成する必要がない。したがって、この場合には、処理を終了する。画像データに近距離情報がない矩形ブロックがある場合は、その矩形ブロックについて奥行き情報を作成する必要がある。したがって、この場合は、処理がステップＳ１００１に進む。
【００４２】
ステップ１００１において、システム制御部１１４が、特徴量抽出領域に対して特徴量を抽出するかを判断する。
【００４３】
図１１は、特徴量抽出領域を説明する図である。
特徴量抽出領域は、特徴量を抽出する対象とする領域である。図１１には、画像データ１１００における特徴量抽出領域を示す。画像データ１１００は、図５中の画像データ５００に対応する。図１１中の点線枠（特徴量抽出領域枠）で囲まれたＡ乃至Ｉの領域が特徴量抽出領域である。
【００４４】
図１０のステップＳ１００１の判断処理で、システム制御部１１４が、特徴量抽出領域に対して特徴量を抽出すると判断した場合は、処理がステップＳ１００２に進む。そして、システム制御部１１４が、特徴量として、例えば色ヒストグラムやエッジ（輪郭）情報を抽出（算出）し、処理がステップＳ１００３に進む。システム制御部１１４が、特徴量抽出領域に対して特徴量を抽出しないと判断した場合は、処理がステップＳ１００３に進む。
【００４５】
ステップＳ１００１における判断処理について、２つの具体例について説明する。ステップＳ１００１における判断処理の１つ目の具体例は、以下のとおりである。システム制御部１１４は、特徴量抽出領域に対して近距離情報があるか否かを判断する。特徴量抽出領域に対して近距離情報がある場合に、システム制御部１１４が、特徴量抽出領域に対して特徴量を算出しないと判断する。特徴量抽出領域に対して近距離情報がない場合に、システム制御部１１４が、特徴量抽出領域に対して特徴量を算出すると判断する。
【００４６】
図１１中の領域Ｅ、Ｇ、Ｈ、Ｉに対する近距離情報が取得でき、領域Ａ、Ｂ、Ｃ、Ｄ、Ｆに対する近距離情報が取得できなかった場合を想定する。この場合には、領域Ｅ、Ｇ、Ｈ、Ｉについては、図１０のステップＳ１００１において特徴量を抽出しないと判断され、処理がステップＳ１００３に進む。また、領域Ａ、Ｂ、Ｃ、Ｄ、Ｆについては、図１０のステップＳ１００１において特徴量を抽出すると判断され、処理がステップＳ１００２に進む。
【００４７】
ステップＳ１００１における判断処理の２つ目の具体例は、以下のとおりである。システム制御部１１４が、被写体認識部１１６を制御して、画像データから被写体を認識する被写体認識処理を実行する。システム制御部１１４が、被写体認識処理結果に基づいて、特徴量抽出領域が背景領域か否かを判断する。特徴量抽出領域が背景領域でない場合、システム制御部１１４が、特徴量を抽出しないと判断する。特徴量抽出領域が背景領域である場合、システム制御部１１４が、特徴量を抽出すると判断する。
【００４８】
図１１に示す画像データ１１００中の領域Ｅ、Ｈからは被写体が認識される。したがって、領域Ｅ、Ｈは、背景領域でないので、システム制御部１１４は、特徴量を抽出しないと判断する。一方、領域Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｉからは被写体が認識されない。したがって、領域Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｉは、背景領域であるので、システム制御部１１４は、特徴量を抽出すると判断する。
【００４９】
ステップＳ１００３において、システム制御部１１４が、画像データの全ての特徴量抽出領域について処理（Ｓ１００１、Ｓ１００２の処理）を行ったかを判断する（ステップＳ１００３）。画像データの全ての特徴量抽出領域について処理を行った場合は、処理がステップＳ１００４に進む。処理がされていない特徴量抽出領域がある場合は、ステップＳ１００１に戻る。
【００５０】
ステップ１００４において、システム制御部１１４が、奥行き情報作成部１０４を制御して、図１１の領域ＡからＩのうち、特徴量が抽出された領域の特徴量を比較・分析する。続いて、システム制御部１１４が、奥行き情報作成部１０４を制御して、ステップ１００４における比較・分析処理結果と、近距離情報とに基づいて、奥行き情報の作成に用いる構図パターンを決定する（ステップＳ１００５）。
【００５１】
構図パターンの決定について以下に説明する。近距離情報の有無に基づいて、特徴量を抽出するかの判断（Ｓ１００１）を行った場合を想定する。図１１中の領域ＡからＣは、空であるので、システム制御部１１４は、これらの領域について、同じヒストグラムを算出する。領域Ｄ、Ｆは、空と地面を含むが、ほぼ同じヒストグラムが算出される。システム制御部１１４は、算出されたヒストグラムを比較することで、左右の類似度は高いが、画面上と画面中央の類似度は低いと判断する。
【００５２】
さらに、システム制御部１１４は、領域Ｄ、Ｆの特徴量（エッジ情報）に基づいて、画像データ１１００中の水平線を検出する。Ｅ領域は、近距離情報があり、手前に物体がある可能性があるので、水平線の検出処理に利用しない。
【００５３】
システム制御部１１４は、左右の類似度は高く、画面上と画面中央の類似度は低いというヒストグラムの分析結果と、水平線の検出処理結果に基づいて、図６の構図パターン６０１か図８の構図パターン８０１を奥行き情報の作成に用いる構図パターンの候補とする。さらに、絞り込み条件として、近距離情報により、中央と左右の近距離情報が異なることが分かる。したがって、システム制御部１１４は、構図パターン６０１を奥行き情報の作成に用いる構図パターンとして決定する。
【００５４】
一方、被写体認識処理結果に基づいて、特徴量を抽出するかの判断（Ｓ１００１）を行った場合を想定する。図１１中の領域ＡからＣは、空であるので、システム制御部１１４は、これらの領域について、同じヒストグラムを算出する。同様に、領域Ｇ、Ｉは、道であり、ほぼ同じヒストグラムを示す。領域Ｄ、Ｆは、空と地面を含むが、ほぼ同じヒストグラムを示す。
【００５５】
また、領域Ｅには、手前に人物が写っているので、領域Ｅのヒストグラムは、領域Ｄ、Ｆのヒストグラムとは異なる。同様に、領域Ｈには、手前に人物が写っているので、領域Ｈのヒストグラムは、領域Ｇ、Ｉのヒストグラムとは異なる。さらに、領域Ａ、Ｄ、Ｇについても、それぞれの領域が異なるため、ヒストグラムが異なる。システム制御部１１４は、上記のようにヒストグラムを比較することで、左右の類似度は高いが、上下の類似度は低いと判断する。
【００５６】
さらに、システム制御部１１４は、領域Ｄ、Ｆの特徴量（エッジ情報）に基づいて、画像データ１１００中の水平線を検出する。システム制御部１１４は、左右の類似度は高く、上下の類似度は低いというヒストグラムの比較結果と、水平線の検出処理結果に基づいて、図６の構図パターン６０１か図８の構図パターン８０１を奥行き情報の作成に用いる構図パターンの候補とする。さらに、絞り込み条件として、近距離情報により、中央と左右の近距離情報が異なることが分かる。したがって、システム制御部１１４は、構図パターン６０１を奥行き情報の作成に用いる構図パターンとして決定する。
【００５７】
図１０の説明に戻る。ステップ１００６において、システム制御部１１４が、奥行き情報作成部１０４を制御して、構図パターンから奥行き情報を作成し、奥行き情報作成処理を終了する。
【００５８】
本実施例によれば、撮影画像に関して近距離から奥行きまでの距離情報を作成することができる。したがって、距離に応じた画像処理を施すことが可能となり、人間の記憶色の再現や遠近感の向上を図ることができる。
【００５９】
（実施例２）
以下に、実施例２について説明する。なお、実施例２では、実施例１と異なる部分のみを説明し、同一の部分については、同一の符号を付すなどして詳細な説明を省略する。
【００６０】
図１２は、実施例２における奥行き情報の作成処理を説明するフローチャートである。  ステップ１２００で、システム制御部１１４が、特徴量抽出領域に対して補間するかを判断する。システム制御部１１４が、特徴量抽出領域に対して補間すると判断した場合は、処理がステップＳ１２０１に進む。システム制御部１１４が、特徴量抽出領域に対して補間しないと判断した場合は、処理がステップＳ１００２に進む。
【００６１】
ステップＳ１２００における判断処理について、２つの具体例について説明する。ステップＳ１２００における判断処理の１つ目の具体例は、以下のとおりである。システム制御部１１４は、特徴量抽出領域に対して近距離情報があるか否かを判断する。特徴量抽出領域に対して近距離情報がある場合に、システム制御部１１４が、特徴量抽出領域に対して補間すると判断する。特徴量抽出領域に対して近距離情報がない場合に、システム制御部１１４が、特徴量抽出領域に対して補間しないと判断する。
【００６２】
ステップＳ１２００における判断処理の２つ目の具体例は、以下のとおりである。システム制御部１１４が、被写体認識部１１６を制御して、画像データから被写体を認識する被写体認識処理を実行する。システム制御部１１４が、被写体認識処理結果に基づいて、特徴量抽出領域が背景領域か否かを判断する。特徴量抽出領域が背景領域でない場合、システム制御部１１４が、特徴量抽出領域に対して補間すると判断する。例えば、図１１の領域Ｅは、人物の顔によって背景が隠れてしまっている。つまり、領域Ｅは、背景領域でないので、システム制御部１１４が、特徴量抽出領域に対して補間すると判断する。特徴量抽出領域が背景領域である場合、システム制御部１１４が、特徴量抽出領域に対して補間しないと判断する。
【００６３】
ステップ１２０１において、システム制御部１１４が、奥行き情報作成部を制御して、周辺画素から補間して特徴量抽出領域を補間してから、特徴量を抽出する（ステップＳ１２０１）。なお、周辺画素の領域の距離情報が特徴量抽出領域とほぼ同じ距離の場合には、補間は行わず、特徴量も抽出しない。
【００６４】
図１３は、特徴点抽出領域が補間された画像データを示す図である。具体的には、図１３には、画像データ１１００に対して特徴量抽出領域を補間した後の画像データ１３００を示す。
【００６５】
システム制御部１１４は、領域Ｅについては、まず、周辺画素から水平線を検出して、水平線を補間する。システム制御部１１４は、さらに、水平線より上の画素に対しては、空領域から補間し、水平線より下の画素に対しては、道領域から補間する。システム制御部１１４は、領域Ｈについては、道領域から補間する。
【００６６】
実施例２では、背景が隠れてしまった特徴量抽出領域に対して、周辺画素から補間した上で特徴量を算出して、より多くの特徴量抽出領域に対して特徴量を比較・分析することで、構図パターンの選択精度を向上することができる。
【００６７】
（実施例３）
以下に、実施例３について説明する。なお、実施例３では、実施例１と異なる部分のみを説明し、同一の部分については、同一の符号を付すなどして詳細な説明を省略する。
【００６８】
図１４は、実施例３の撮像装置の構成を示す図である。
位置情報取得部１４００は、ＧＰＳなどによって得られる撮影時の位置情報を取得する。姿勢判定部１４０１は、ジャイロや慣性航法センサによって得られる、撮像装置の姿勢を判定する。レンズ情報取得部１４０２は、撮影時のズーム倍率や絞り値などの情報を取得する。
【００６９】
通信部１４０３は、撮像装置と他装置１４０５（例えば、携帯電話や外部サーバなど）とを接続して通信を行う。通信規格としては、Ｗｉ−Ｆｉに代表される無線通信や３Ｇ（第３世代移動通信システム）、ＬＴＥ（Long Term Evolution ）に代表される携帯電話通信などを用いるが、これらに限定されるわけではなく別の通信規格を用いてもよい。
【００７０】
奥行きマップ１４０４は、奥行き情報を作成するための距離情報を各画素あるいは複数画素からなる矩形ブロック毎に持ったデータである。この例では、奥行きマップ１４０４は、各撮影場所・方向に紐づけられた距離情報を保持している。例えば、奥行きマップ１４０４は、Ａ地点のＸ方向、Ａ地点のＹ方向、Ｂ地点のＸ方向、Ｂ地点のＹ方向に対するぞれぞれの距離情報を保持している。奥行きマップ１４０１は、メモリ１１１または不揮発メモリ１１３に保持されている。
【００７１】
図１５は、実施例３における、奥行き情報の作成処理を説明するフローチャートである。
まず、システム制御部１１４が、レンズ情報取得部１４０２を制御して、レンズ情報を取得する（ステップＳ１５００）。続いて、システム制御部１１４が、位置情報取得部１４００を制御して、位置情報を取得する（ステップＳ１５０１）。
【００７２】
次に、システム制御部１１４が、姿勢判定部１４０１を制御して、撮像装置の姿勢を判定する（ステップＳ１５０２）。なお、ステップＳ１５００からＳ１５０２までの処理の順番は順不同である。
【００７３】
次に、システム制御部１１４が、奥行き情報作成部１０４を制御して、位置情報と姿勢情報から撮影方向の情報を作成し、レンズ情報から画角情報を作成する（ステップＳ１５０３）。そして、システム制御部１１４が、システム制御部１１４が、奥行き情報作成部１０４を制御して、ステップＳ１５０３において作成された撮影方向の情報と画角情報とから撮影場所を特定する。システム制御部１１４は、奥行きマップ１４０４から、上記撮影方向の情報と撮影場所とに紐付けられた距離情報を取得し、取得した距離情報に基づいて奥行き情報を作成する（ステップＳ１５０４）。
【００７４】
（実施例４）
実施例４の撮像装置は、他装置１４０５と通信することで、他装置１４０５から奥行き情報を取得する。
【００７５】
図１６は、実施例４における、奥行き情報の作成処理を説明するフローチャートである。なお、図１５と同一の部分については説明を省略する。
ステップ１６００において、システム制御部１１４が、奥行き情報作成部１０４を制御して、撮影方向の情報、画角情報を、通信部１４０３を介して他装置１４０５に送信する。他装置１４０５には、撮影場所と撮影方向に紐づけられた距離情報を保持している奥行きマップが予め記憶されているものとする。他装置１４０５は、撮像装置から送信された撮影方向の情報と画角情報とから撮影場所を特定する。他装置１４０５が、奥行きマップから、上記撮影方向の情報と撮影場所とに紐付けられた距離情報を取得し、奥行き情報を作成する。そして、他装置１４０５が、作成した奥行き情報を撮像装置に送信する。撮像装置では、システム制御部１１４が、通信部１４０３を介して、他装置１４０５から送信された奥行き情報を受信（取得）する。
【００７６】
以上、本発明を好適な実施例に基づき具体的に説明したが、本発明は、上述した実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【００７７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００７８】
１０２  近距離情報作成部
１０４  奥行き情報作成部
１０５  距離情報作成部
【図１】
2015146500.tif 000003
【図２】
2015146500.tif 000004
【図３】
2015146500.tif 000005
【図４】
2015146500.tif 000006
【図５】
2015146500.tif 000007
【図６】
2015146500.tif 000008
【図７】
2015146500.tif 000009
【図８】
2015146500.tif 000010
【図９】
2015146500.tif 000011
【図１０】
2015146500.tif 000012
【図１１】
2015146500.tif 000013
【図１２】
2015146500.tif 000014
【図１３】
2015146500.tif 000015
【図１４】
2015146500.tif 000016
【図１５】
2015146500.tif 000017
【図１６】
2015146500.tif 000018