(57)【要約】【課題】カメラ情報に応じて精度良く奥行き情報を決定することができる撮像装置を提供する。【解決手段】撮像装置が、被写体を撮影して画像信号を出力する撮像素子１０１と、画像の奥行きを示す構図パターンが予め記憶された構図パターンＤＢ１０５とを備える。撮像装置が、カメラ情報を検出し、上記画像信号とカメラ情報とに基づいて、上記画像信号に係る画像の特徴量を抽出する。そして、撮像装置が、上記特徴量とカメラ情報と構図パターンとに基づいて、上記画像信号に係る画像の奥行きを決定する。【選択図】図１
2016092462.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像信号を出力する撮影手段と、
画像の奥行きを示す構図パターンが予め記憶された記憶手段と、
カメラ情報を検出する検出手段と、
前記画像信号と前記カメラ情報とに基づいて、前記画像信号に係る画像の特徴量を抽出する抽出手段と、
前記画像信号に係る画像の特徴量と前記カメラ情報と前記構図パターンとに基づいて、前記画像信号に係る画像の奥行きを決定する決定手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記カメラ情報は、撮影時のカメラの動きに関する情報と、前記撮像装置が備える撮像光学系に含まれるレンズの駆動に関するレンズ駆動情報である
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記カメラの動きに関する情報は、カメラのピッチ情報とロール情報である
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記抽出手段は、前記カメラ情報に応じて、前記画像信号に対応する撮影画角から、前記特徴量の抽出対象とする参照領域を決定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記抽出手段は、
前記カメラ情報に含まれるカメラのピッチ情報に基づいて、前記撮影画角の基準線を移動し、前記移動した基準線に基づいて、前記撮影画角から前記参照領域を決定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記抽出手段は、
前記カメラ情報に含まれるカメラのロール情報に基づいて、前記撮影画角の基準線を回転し、前記回転した基準線に基づいて、前記撮影画角から前記参照領域を決定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
前記決定手段は、
前記抽出された特徴量に基づいて、前記記憶手段に記憶された構図パターンのうち、前記画像信号に係る画像に対応する構図パターンを決定し、
前記決定した構図パターンの領域から、撮影画角に応じた画角領域を特定し、
前記カメラ情報に基づいて、前記画角領域を移動し、
前記移動した画角領域が有する奥行きに基づいて、前記画像信号に係る画像の奥行きを決定する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記決定手段は、前記カメラ情報に含まれるカメラのピッチ情報に基づいて、前記画角領域を移動する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記決定手段は、
前記抽出された特徴量に基づいて、前記記憶手段に記憶された構図パターンのうち、前記画像信号に係る画像に対応する構図パターンを決定し、
前記決定した構図パターンの領域から、撮影画角に応じた画角領域を特定し、
前記カメラ情報に基づいて、前記画角領域を回転し、
前記回転した画角領域が有する奥行きに基づいて、前記画像信号に係る画像の奥行きを決定する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項１０】
前記決定手段は、前記カメラ情報に含まれるカメラのロール情報に基づいて、前記画角領域を回転する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記決定手段は、
前記抽出された特徴量に基づいて、前記記憶手段に記憶された構図パターンのうち、前記画像信号に係る画像に対応する構図パターンを決定し、
前記カメラ情報に基づいて、前記構図パターンを変形し、
前記変形した構図パターンの領域のうち、撮影画角に応じた画角領域が有する奥行きに基づいて、前記画像信号に係る画像の奥行きを決定する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項１２】
前記決定手段は、前記カメラ情報に含まれるレンズ駆動情報に基づいて、前記構図パターンを拡大または縮小することで変形する
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
被写体を撮影して画像信号を出力する撮影手段と、画像の奥行きを示す構図パターンが予め記憶された記憶手段とを備える撮像装置の制御方法であって、
カメラ情報を検出する工程と、
前記画像信号と前記カメラ情報とに基づいて、前記画像信号に係る画像の特徴量を抽出する工程と、
前記画像信号に係る画像の特徴量と前記カメラ情報と前記構図パターンとに基づいて、前記画像信号に係る画像の奥行きを決定する工程とを有する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮影方法に関するものである。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳ等の撮像素子を用いて画像を取得するデジタルカメラ等で、風景を撮影した画像データを後日見直した場合、撮影時の風景の雰囲気と異なることがある。ＣＣＤは、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｉｍａｇｅ  Ｓｅｎｓｏｒの略称である。
【０００３】
撮影した画像データが撮影時の風景の雰囲気と異なる原因の一つは、大気中の水蒸気やチリにより、撮影画像が肉眼で見るよりも彩度、鮮やかさ、奥行き感が異なることである。したがって、奥行き感を向上させるために、奥行き情報に応じて画像処理を変更させることが考えられる。
【０００４】
特許文献１は、３種類の基本奥行きモデルを用いて、画像の上部と下部に対して高域成分評価値から３種類の基本奥行きモデルの合成比率を決定して、奥行き推定を行う疑似立体画像生成装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６―１８５０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１が開示する疑似立体画像生成装置では、水平線の位置の検出に失敗した場合には、奥行き推定の精度が著しく低下する。また、この疑似立体画像生成装置は、ピッチ、ロール等のカメラ情報に応じて奥行きを決定することは行っていないので、カメラの向きによっては、評価値算出を行う画面の上部と下部に水平線の領域が含まれ、正しい検出処理が行われない可能性がある。
本発明は、カメラ情報に応じて精度良く奥行き情報を決定することができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態の撮像装置は、被写体を撮影して画像信号を出力する撮影手段と、画像の奥行きを示す構図パターンが予め記憶された記憶手段と、カメラ情報を検出する検出手段と、前記画像信号と前記カメラ情報とに基づいて、前記画像信号に係る画像の特徴量を抽出する抽出手段と、前記画像信号に係る画像の特徴量と前記カメラ情報と前記構図パターンとに基づいて、前記画像信号に係る画像の奥行きを決定する決定手段とを備える。
【発明の効果】
【０００８】
本発明の撮像装置によれば、カメラ情報に応じて精度良く奥行き情報を決定することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の構成例を示す図である。
【図２】構図パターンの一例を説明する図である。
【図３】構図パターンの一例を説明する図である。
【図４】構図パターンの一例を説明する図である。
【図５】特徴量の抽出処理と構図パターンの決定処理を説明する図である。
【図６】特徴量の抽出処理と構図パターンの決定処理を説明する図である。
【図７】特徴量の抽出処理と構図パターンの決定処理を説明する図である。
【図８】奥行き情報の出力処理について説明する図である。
【図９】奥行き情報の決定に用いる画角領域の決定処理を説明する図である。
【図１０】奥行き情報の決定に用いる画角領域の決定処理を説明する図である。
【図１１】奥行き情報の決定に用いる画角領域の決定処理を説明する図である。
【発明を実施するための形態】
【００１０】
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置は、撮像光学系１００乃至画像処理手段１０７を備える。撮像光学系１００は、フォーカスレンズ、ズームレンズ、絞り等を含む。撮像光学系１００は、被写体光を撮像素子１０１に導く。撮像素子１０１は、被写体を撮影して画像信号を出力する撮影手段として機能する。具体的には、撮像素子１０１は、被写体光を光電変換により電気信号に変換して、画像信号として出力する。
【００１１】
ＣＰＵ１０２は、撮像装置全体を制御する。具体的には、ＣＰＵ１０２は、撮像光学系１００の駆動制御を実行する。また、ＣＰＵ１０２は、レンズ駆動情報とピッチ情報とロール情報とを含むカメラ情報を検出して出力する。レンズ駆動情報は、撮像光学系に含まれるレンズの駆動に関する情報である。ピッチ情報とロール情報は、撮影時のカメラの動きに関する情報である。ピッチ情報は、カメラの上下方向の動きに関する情報である。ロール情報は、カメラの光軸を中心とした回転動作に関する情報である。
【００１２】
ジャイロ１０３は、カメラの動きと水平位置とを検出し、検出した情報をＣＰＵ１０２に出力する。特徴量抽出手段１０４は、撮像素子１０１から出力された画像信号と、ＣＰＵ１０２から出力されるピッチ情報、ロール情報とに基づいて、撮影された画像の特徴量を抽出して出力する。構図パターンデータベース（ＤＢ）１０５は、画像の奥行きを示す構図パターンが予め記憶された記憶手段として機能する。
【００１３】
構図パターン決定手段１０６は、特徴量抽出手段１０４が出力する特徴量と、ＣＰＵ１０２が出力するレンズ駆動情報、ピッチ情報、ロール情報とに基づいて、構図パターンＤＢ１０５内の構図パターンのうち、撮影された画像に対応する構図パターンを決定する。そして、構図パターン決定手段１０６は、決定した構図パターンに基づいて、撮影された画像の奥行き情報を生成して出力する。画像処理手段１０７は、撮像素子１０１から出力された画像信号と、構図パターン決定手段１０６が出力する奥行き情報に基づいて画像処理を行う。
【００１４】
図２乃至図４は、構図パターンの一例を説明する図である。
図２の２００、図３の３００，図４の４００は、いずれも風景を撮影した結果得られる画像イメージである。それぞれの画像イメージに対応した構図パターンが、構図パターン２０１、３０１、４０１である。
【００１５】
構図パターンは、Ｘ（行）方向、Ｙ（列）方向の画素を複数まとめた矩形ブロック毎に分割されている。図２乃至図４に示す例では、矩形ブロック内に記載されている数値が大きいほど、距離が遠いことを示している。具体的には、画像イメージ２００は画面中央に水平線があり、画面下から画面中央に向かって道が延びており、中央付近に消失点があり、画面中央より上は、空を示した画像イメージ図である。構図パターン２０１は、画面上側が全て遠景で、距離としては一律遠いパターンで、画面下側は、中央と左右で距離が異なっていることを示している。
【００１６】
画像イメージ３００は、画面下から画面中央に向かって道が延びており、中央付近に消失点がある。また、画面中央より上は空であるが、道の脇に街路樹があるため、空の一部が街路樹で隠れている画像イメージ図である。構図パターン３０１は、画面中央に向けて距離が遠くなるパターンを示している。画像イメージ４００は画面中央に水平線があり、水平線より下は海を示し、水平線より上は空を示した画像イメージ図である。構図パターン４０１は、画面上側が全て遠景で、距離としては一律遠いパターンで、画面下側は左右で均一に距離が遠いパターンを示している。これらの構図パターンは、構図パターン決定手段１０６で処理するためのマージンが必要であるので、撮像素子１０１で取得される画像の領域よりも広い領域で作成されている。なお、これらの構図パターンは一例であり、画像の特徴に応じて数を増やしてもよい。
【００１７】
図５乃至図７は、特徴量の抽出処理と構図パターンの決定処理を説明する図である。
風景５００は、撮影対象となる風景全体を示す。撮影画角５０１は、実際に撮像素子１０１に結像する撮影画角を示す。矩形で示す撮影画角５０１の枠を評価枠と記述する。評価枠に対して、ＡからＩまでの点線で示す特徴量抽出領域枠５０２が割り当てられる。水平基準線５０３は、撮影画角の水平位置を示す線である。
【００１８】
特徴量抽出手段１０４は、それぞれの特徴量抽出領域枠５０２についてヒストグラムを算出する。構図パターン決定手段１０６は、各枠のヒストグラムの結果を比較することによって、選択する構図パターンを決定する。図５に示す撮影画角５０１の画像データを対象とした特徴量抽出処理を説明する。Ａ、Ｃ領域は、空であり、水平基準線５０３よりも上側にあり、ほぼ同じヒストグラムを示す。Ｇ、Ｉ領域は海であり、水平基準線５０３よりも下側にあり、ほぼ同じヒストグラムを示す。しかし、Ａ、Ｇ領域で比較した場合は、空と海なので、ヒストグラムの分布位置が異なっている。
【００１９】
構図パターン決定手段１０６は、算出したヒストグラムを上下左右で比較する。そして、左右の領域の類似度は高いが、画面上と画面下で領域の類似度が低いと判断する。さらに、空と海では領域内のヒストグラムがほぼ一定の値になっている。したがって、構図パターン決定手段１０６は、撮影画角５０１の画像データが画像イメージ４００（図４）に対応すると推定し、対応する構図パターンとして、構図パターン４０１を出力する。なお、図５を参照して説明した特徴量抽出処理は、ＣＰＵ１０２が出力するピッチ情報、ロール情報による特徴量抽出を行う必要がない場合の処理を示す。
【００２０】
図６は、カメラを回転して撮影された場合の構図パターンの決定処理を説明する図である。
カメラを回転して撮影した場合、評価枠は、図６（Ａ）に示す位置になる。したがって、特徴量抽出手段１０４は、図６（Ａ）中の点線で示す水平基準線をＣＰＵ１０２が出力したロール情報に基づいて回転する。具体的には、特徴量抽出手段１０４は、水平基準線を、図６（Ｂ）に示すように、風景の実際の水平線と同じ位置になるように回転して補正する。そして、構図パターン決定手段１０６は、補正後の水平基準線の上側の領域であり、かつ左右の距離が一番離れているＢ、Ｆ領域のヒストグラムの比較と、水平基準線の下側の領域であり、かつ左右の距離が一番離れているＤ、Ｈ領域のヒストグラムの比較を行う。さらに、構図パターン決定手段１０６は、上下方向にもＢ、Ｄ領域のヒストグラムの比較を行う。そして、構図パターン決定手段１０６は、ヒストグラムの比較によって判断される、領域の類似度の大小関係に基づいて、構図パターンＤＢ１０５内の構図パターンのうち、撮影された画像に対応する構図パターンを決定する。
【００２１】
すなわち、特徴量抽出手段１０４は、カメラ情報に応じて、画像信号に対応する撮影画角から、特徴量の抽出対象とする参照領域（特徴量抽出領域枠）を決定する。図６（Ｂ）に示す例では、特徴量抽出手段１０４は、ロール情報に基づいて、撮影画角の基準線を回転し、回転した基準線に基づいて、特徴量抽出領域枠を決定する。
【００２２】
図７は、カメラがあおって撮影された場合の構図パターンの決定処理を説明する図である。
カメラがあおって撮影された場合、評価枠は、図７（Ａ）に示すような位置になる。したがって、特徴量抽出手段１０４は、図７（Ａ）中の点線で示す水平基準線をＣＰＵ１０２が出力したピッチ情報に基づいて下方に移動する。具体的には、特徴量抽出手段１０４は、水平基準線を、図７（Ｂ）に示すように、風景の実際の水平線と同じになるように移動して補正する。構図パターン決定手段１０６は、水平基準線５０３の上側の領域であり、かつ左右の距離が一番離れ、水平基準線に最も近いＤ、Ｆ領域のヒストグラムを比較する。また、構図パターン決定手段１０６は、水平基準線の下側の領域であり、かつ左右の距離が一番離れているＧ、Ｉ領域のヒストグラムの比較を行う。さらに、構図パターン決定手段１０６は、上下方向について、Ｄ、Ｇ領域のヒストグラムの比較を行う。すなわち、特徴量抽出手段１０４は、ピッチ情報に基づいて、撮影画角の基準線を移動し、移動した基準線に基づいて、特徴量抽出領域枠を決定する。そして、構図パターン決定手段１０６は、特徴量抽出領域枠のヒストグラムの比較によって判断される、領域の類似度の大小関係に基づいて、構図パターンを決定する。
【００２３】
カメラが回転され、かつ、カメラがあおられて撮影された場合は、特徴量抽出手段１０４は、ロール情報、ピッチ情報を組み合わせて、水平基準線の補正を行った上で、特徴量の抽出に使用する特徴量抽出領域枠を決定する。複数の特徴量抽出領域枠が選択可能な場合は、特徴量抽出手段１０４は、水平基準線に近い特徴量抽出領域枠を優先して選択する。
【００２４】
図８乃至図１１は、構図パターン決定手段による奥行き情報の出力処理について説明する図である。
図８中に示す構図パターン８００は、撮影された画像に対応する構図パターンである。画角領域８０１は、撮影画角に応じて決定される画角領域である。水平基準線８０２は、構図パターン８００の領域の水平基準線である。構図パターン決定手段１０６は、ＣＰＵ１０２が出力するピッチ情報、ロール情報、レンズ駆動情報に基づいて、奥行き情報の決定に用いる画角領域として、画角領域８０１を決定する。そして、構図パターン決定手段１０６は、画角領域８０１内のデータを奥行き情報として決定し、画像処理手段１０７に対して出力する。以下に、奥行き情報の決定に用いられる画角領域の決定処理について説明する。
【００２５】
図９は、カメラを回転して撮影された場合の、画角領域の決定処理を説明する図である。図９（Ａ）中の太線の矩形は、カメラを回転せずに撮影された場合における画角領域を示す。
構図パターン決定手段１０６は、ＣＰＵ１０２が出力するロール情報に基づいて、図９（Ａ）中の画角領域を、点線で示す水平基準線を基準に回転する。図９（Ｂ）中の太線の矩形は、回転後の画角領域を示す。構図パターン決定手段１０６は、回転後の画角領域が有する奥行き情報に基づいて、画像処理手段１０７に対して出力する奥行き情報を決定する。元々の構図パターンの枠に対して、回転後の枠が複数の奥行き情報を持っている場合は、その面積比に応じて重み付け加算を行った結果を、その枠内の奥行き情報として使用する。
【００２６】
すなわち、構図パターン決定手段１０６は、決定した構図パターンの領域から、撮影画角に応じた画角領域を特定し、カメラ情報に基づいて、画角領域を回転する。そして、構図パターン決定手段１０６は、回転した画角領域が有する奥行きに基づいて、画像信号に係る画像の奥行きを決定する。
【００２７】
図１０は、カメラがあおって撮影された場合の、画角領域の決定処理を説明する図である。図１０（Ａ）中の太線の矩形は、カメラをあおらずに撮影された場合における画角領域を示す。構図パターン決定手段１０６は、ＣＰＵ１０２が出力するピッチ情報に基づいて、図１０（Ａ）中の画角領域を、点線で示す水平基準線を基準に上に移動する。図１０（Ｂ）中の太線の矩形は、移動後の画角領域を示す。構図パターン決定手段１０６は、移動後の画角領域が有する奥行き情報に基づいて、画像処理手段１０７に対して出力する奥行き情報を決定する。元々の構図パターンの枠に対して、移動後の枠が複数の奥行き情報を持っている場合は、その面積比に応じて重み付け加算を行った結果を、その枠内の奥行き情報として使用する。
【００２８】
すなわち、構図パターン決定手段１０６は、決定した構図パターンの領域から、撮影画角に応じた画角領域を特定し、カメラ情報に基づいて、画角領域を移動させる。そして、構図パターン決定手段１０６は、移動した画角領域が有する奥行きに基づいて、画像信号に係る画像の奥行きを決定する。
【００２９】
図１１は、ズームに応じて拡大された画像が撮影された場合の、画角領域の決定処理を説明する図である。図１１（Ａ）中の太線の矩形は、拡大せずに撮影された場合における画角領域を示す。この画角領域は、構図パターンにおける中心に配置されている。
【００３０】
構図パターン決定手段１０６は、ＣＰＵ１０２が出力するレンズ駆動情報に含まれる拡大率（ズーム倍率）に基づいて、図１１（Ａ）中の構図パターンの情報を拡大処理する。図１１（Ｂ）は、拡大処理後の構図パターンを示す。構図パターン決定手段１０６は、図１１（Ｂ）中の太線に示すように、拡大処理後の構図パターンの中心に位置する画角領域を、奥行き情報の決定に用いる画角領域とする。そして、この画角領域が持っている奥行き情報に基づいて、画像処理手段１０７に対して出力する奥行き情報を決定する。元々の構図パターンの枠に対して、拡大後の枠が複数の奥行き情報を持っている場合は、その面積比に応じて重み付け加算を行った結果を、その枠内の奥行き情報として使用する。なお、縮小して撮影された場合は、図１１を参照して説明した構図パターンの情報の拡大処理とは逆に、構図パターンの情報を縮小処理し、奥行き情報の算出を行う。
【００３１】
すなわち、構図パターン決定手段１０６は、カメラ情報に基づいて、構図パターンを変形する。具体的には、構図パターン決定手段１０６は、レンズ駆動情報に基づいて、構図パターンを拡大または縮小することで変形する。そして、構図パターン決定手段１０６は、変形した構図パターンの領域のうち、撮影画角に応じた画角領域が有する奥行きに基づいて、画像信号に係る画像の奥行きを決定する。
【００３２】
画像処理手段１０７は、構図パターン決定手段１０６が出力した奥行き情報をもとに、画素あるいは矩形ブロック毎に、フィルタ処理やコントラスト、明るさや色変更などの処理を行う。
【００３３】
以上説明した本実施形態によれば、カメラの動きに応じて特徴量抽出の処理および構図パターンの情報を適応的に変更することができるため、カメラが動いた場合でも、常に最適な距離情報を使用した画像処理を実現することができる。
本発明は、上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【００３４】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３５】
１０４  特徴量抽出手段
１０５  構図パターンＤＢ
１０６  構図パターン決定手段
【図１】
2016092462.tif 000003
【図２】
2016092462.tif 000004
【図３】
2016092462.tif 000005
【図４】
2016092462.tif 000006
【図５】
2016092462.tif 000007
【図６】
2016092462.tif 000008
【図７】
2016092462.tif 000009
【図８】
2016092462.tif 000010
【図９】
2016092462.tif 000011
【図１０】
2016092462.tif 000012
【図１１】
2016092462.tif 000013