(57)【要約】【課題】置きピン撮影の対象である仮想被写体までの距離を正確に決定する。【解決手段】実画像取得手段は、撮影レンズ１１により結像される被写体の像を撮像して実画像を取得する。深度マップ取得部１６は、実画像に応じた距離情報を含む深度マップを取得する。表示部２４は、実画像を表示する。タッチパネル２５は、予めピントを合わせておく置きピン位置と仮想被写体の大きさとの情報を入力する。ＣＰＵ２７は、深度マップに基づいて置きピン位置までの距離情報を取得し、その距離情報に仮想被写体の大きさを考慮した仮想被写体までの距離を求め、求めた距離に位置する仮想被写体に合焦するレンズ位置に撮影レンズ１１を移動させる。【選択図】図１
2013251801.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズにより結像される被写体の像を撮像して実画像を取得する実画像取得手段と、
前記実画像に応じた距離情報を含む３次元情報を取得する３次元情報取得手段と、
予めピントを合わせておく置きピン位置の情報を入力する入力手段と、
前記置きピン位置の情報と前記３次元情報とに基づいて、置きピン撮影の対象である仮想被写体までの距離情報を決定する距離情報決定手段と、
前記仮想被写体までの距離情報に基づいて前記撮影レンズの合焦を制御する合焦制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記置きピン位置を含む周辺の距離情報を前記３次元情報から取得して前記仮想被写体までの距離情報を修正する修正手段を備えことを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
前記仮想被写体の情報を入力する手段と、
前記仮想被写体の情報に基づいて前記仮想被写体までの距離情報を修正する修正手段と、
を特徴とする撮像装置。
【請求項４】
被写体を撮像して取得した実画像を入力するステップと、
前記実画像に応じた距離情報を含む３次元情報を入力するステップと、
予めピントを合わせておく置きピン位置の情報を入力するステップと、
前記置きピン位置の情報と前記３次元情報とに基づいて、置きピン撮影の対象である仮想被写体までの距離情報を決定するステップと、
を含むことを特徴とする仮想被写体距離決定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
撮像装置、及び仮想被写体距離決定方法に関する。
【背景技術】
【０００２】
動きのある被写体（動体）が到達する前に、到達すると予測できる場所（置きピン位置）に予めピントを合わせておき、動体が置きピン位置付近に到達した時に撮影を行う置きピン撮影が知られている。
【０００３】
しかし、撮影レンズの光軸方向に移動する動体を置きピン撮影する場合、カメラ本体の背面やファインダに設けたＬＣＤ表示部に表示されるライブビュー画像（スルー画像）等で視認される動体がボケて見難くなる。このため、置きピン撮影は、熟練者でなければ、シャッターチャンスを逃したり、動体のピントがぼけた失敗画像を得るおそれがある。
【０００４】
そこで、ポインタをライブビュー画像上に表示し、フレーミングをして、ポインタを置きピン位置と等距離にある基準対象物に合わせた状態でシャッタボタンを半押し操作することで、基準対象物に合焦するレンズ位置に基づいて算出される基準対象物までの被写体距離を仮想被写体距離として予め記憶しておき、動体を追尾合焦して、動体が仮想被写体距離付近に到達したタイミングで撮影を行う撮像装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１５３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の発明では、置きピン位置と等距離にある基準対象物が無い場合、置きピン撮影を行うことができない。また、実際には置きピン位置の手前を動体が通過するため、動体の厚み分ピントがずれるおそれがある。さらに、基準対象物は、カメラと正対していない場合が多いため、正確にはカメラから置きピン位置と等距離になっておらず、よってその分だけピントがずれるおそれがある。
【０００７】
本発明は、上記問題に鑑み、置きピン撮影の対象である仮想被写体までの距離を正確に決定することができる撮像装置、及び仮想被写体距離決定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明を例示する撮像装置の一態様は、撮影レンズにより結像される被写体の像を撮像して実画像を取得する実画像取得手段と、前記実画像に応じた距離情報を含む３次元情報を取得する３次元情報取得手段と、予めピントを合わせておく置きピン位置の情報を入力する入力手段と、前記置きピン位置の情報と前記３次元情報とに基づいて置きピン撮影の対象である仮想被写体までの距離情報を決定する距離情報取得手段と、前記仮想被写体までの距離情報に基づいて前記撮影レンズの合焦を制御する合焦制御手段と、を備えたものである。
【０００９】
また、本発明の仮想被写体距離決定方法の一観点によれば、被写体を撮像して取得した実画像を入力するステップと、前記実画像に応じた距離情報を含む３次元情報を入力するステップと、予めピントを合わせておく置きピン位置の情報を入力するステップと、前記置きピン位置の情報と前記３次元情報とに基づいて、置きピン撮影の対象である仮想被写体までの距離情報を決定するステップと、を含むものである。
【発明の効果】
【００１０】
本発明によれば、置きピン撮影の対象である仮想被写体まで距離を正確に決定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一形態である電子カメラの構成を示すブロック図である。
【図２】仮想被写体距離決定部の構成を示すブロック図である。
【図３】図１で説明した電子カメラの動作手順を示すフローチャートである。
【図４】フォーカスポイントマークをスルー画像上に重ねて表示した状態を説明する説明図である。
【図５】深度マップの概略を示す説明図である。
【図６】実画像と深度マップとに基づいて生成される３次元画像の概略を示す説明図である。
【図７】仮想被写体の外形画像として車の外形画像を選択して３次元画像に重ねて表示した表示部を示す説明図である。
【図８】仮想被写体を設定した領域の距離情報を更新した深度マップを示す説明図である。
【発明を実施するための形態】
【００１２】
本発明の撮像装置の一実施形態を示す電子カメラ１０は、図１に示すように、撮影レンズ１１、撮像素子１２、アナログ信号処理部１３、ＡＤ変換部１４、デジタル信号処理部１５、深度マップ取得部１６、位置検出部１７、レンズ駆動部１８、ＡＥ・ＡＦ部１９、ＲＯＭ２０、ＲＡＭ２１、記録部２２、表示制御部２３、表示部２４、タッチパネル２５、操作部２６、及びこれらを統括的に制御するＣＰＵ２７等を含む。なお、図１に示す符合２８はバスである。
【００１３】
撮像素子１２は、撮影レンズ１１により結像する被写体の光像を撮像してアナログの画像信号をアナログ信号処理部１３に出力する。アナログ信号処理部１３は、アナログ信号に相関二重サンプリング処理を施すＣＤＳ回路、及びＣＤＳ処理後の信号を可変利得で増幅する可変利得増幅回路を含み、これら処理済みのアナログ信号をＡＤ変換部１４に出力する。ＡＤ変換部１４は、アナログの画像信号をデジタルの画像データに変換してデジタル信号処理部１５に出力する。デジタル信号処理部１５は、画像データに対してホワイトバランス（ＷＢ）の調整、γ補正、色補間等の画像処理を施す。
【００１４】
画像処理済みの画像データ（以下「実画像」と称す。）は、ＲＡＭ２１に格納されていく。また、デジタル信号処理部１５は、解像度変換部を含む。解像度変換部は、実画像に対して所定の解像度変換を行ってスルー画像を生成する。スルー画像は、表示制御部２３に送られる。表示制御部２３は、スルー画像を表示するように表示部２４の表示を制御する。表示部２４の画面には、タッチパネル２５が設けられている。タッチパネル２５は、タッチされる位置を検出する検出手段を含む。検出手段で検出される位置情報は、ＣＰＵ２７に送られる。なお、撮影レンズ１１、撮像素子１２、アナログ信号処理部１３、ＡＤ変換部１４、及びデジタル信号処理部１５は、実画像取得部の一例である。
【００１５】
深度マップ取得部１６は、奥行き（距離）情報である深度マップ、又はそれを含む３次元情報（以下、「深度マップ」と称す）を、実画像と略同時に、同じ撮像範囲となるように取得する。取得した深度マップは、実画像と関連付けしてＲＡＭ２１に一時的に格納される。なお、深度マップ取得部１６は、周知の「ステレオカメラによる深度マップの生成手法」、「赤外光を利用したＴＯＦ（Time of Flight）手法」、「赤外光の反射パターンを利用した手法」、及び「動きベクトルからの深度マップの生成手法」等の技術を利用して深度マップを生成する深度マップ生成回路を備える。生成される深度マップは、例えばある基準位置を基に深さ（被写体までの距離）が深い画素の場合にはその画素の輝度を高くする等、各画素における深度に応じた輝度分布を求めたグレースケールの画像である。なお、深度マップ取得部１６は、３次元情報取得部の一例である。
【００１６】
ＡＥ・ＡＦ部１９には、ＡＥ評価値算出部、及びＡＦ評価値算出部を含む。ＡＦ評価値算出部は、実画像を取得して、一般的なコントラスト方式（山登り方式）のＡＦ動作と同様に、合焦レンズの合焦状態に関する評価値（以下、「ＡＦ評価値」）を算出するものであり、算出されたＡＦ評価値を示すデータをＣＰＵ２７に送信する。ＣＰＵ２７は、レンズ駆動部１８を制御して、撮影レンズに含まれるフォーカスレンズを光軸方向に何点かの位置に移動させ、各位置で撮像して得られる実画像の所定範囲におけるコントラスト値（ＡＦ評価値）を算出する。ＡＦ評価値としては、例えば所定範囲の各画素について周囲の画素との輝度差であるコントラスト値を求め、それらの合計値を算出してもよい。ＣＰＵ２７は、複数点で算出したＡＦ評価値の大小の比較や、変化するコントラスト値の傾きから、コントラスト値が最大となるピーク位置を判断し、そのピーク位置を合焦位置としてその位置に撮影レンズ１１を移動させるようにレンズ駆動部１８を制御する。
【００１７】
ＡＥ評価値算出部は、ＲＡＭ２１から読み出した実画像に基づいて輝度データを抽出し、抽出した輝度データに応じたＡＥ評価値をＣＰＵ２７に出力する。ＣＰＵ２７は、ＡＥ評価値に基づいて、絞り値、シャッタ速度、及び可変利得増幅回路での増幅度等の自動露出制御を行う。なお、シャッタ、及び絞りとしては、例えば撮影レンズ１１内に設けられるメカニカル・レンズシャッタを用いてもよい。また、図１では、煩雑化を防ぐためにレンズシャッタ、及びこれを駆動するシャッタ駆動部を省略している。
【００１８】
操作部２６は、電源操作部、モード設定部、及びレリーズ操作部を含む。電子カメラ１０の撮影モードは、通常撮影モード以外に置きピンモードを含む。撮影モードは、モード選択部の操作により択一的に選択される。置きピンモードでは、レリーズ操作部の操作に応答して仮撮影が行われ、その後、本撮影が行われる。
【００１９】
ＲＯＭ２０は、撮影用プログラム等ＣＰＵ２７に実行させるための各種プログラムや、撮影レンズ１１の合焦位置から被写体距離を出力するための距離テーブル等が予め記憶されている。ＲＡＭ２１は、ＣＰＵ２７の作業領域やデータの一時的な記憶領域等に使用される。記録部２２には、本撮像に応答して取得する実画像のデータが記録される。
【００２０】
ＣＰＵ２７は、３次元画像作成部２９、仮想被写体距離決定部３０、及び撮影実行部３１を含む。３次元画像作成部２９は、実画像と深度マップとに基づいて仮想の３次元画像を生成する。仮想被写体距離決定部３０は、置きピン位置を含む領域を通過する仮想被写体までの距離（仮想被写体距離）を決定する。置きピン位置は、予めピントを合わせておく位置である。仮想被写体は、置きピン撮影時の対象となる被写体である。
【００２１】
撮影実行部３１は、仮想被写体距離に位置する仮想被写体に合焦するレンズ位置にフォーカスレンズを移動させた後に、撮影領域のうちの置きピン位置を含む範囲を監視して、監視範囲の画像の変化を検出することで撮影を自動的に実行する。なお、撮影実行部は、例えばレリーズ操作部の操作に応答して本撮影を実行する手動撮影の構成であってもよい。この場合、レリーズ操作部の最初の操作で仮撮影を、２回目の操作で本撮影を行ってもよいし、仮撮影用と本撮影用とで別々にレリーズ操作部を設けてもよい。
【００２２】
仮想被写体距離決定部３０は、図２に示すように、ポイント表示制御部３２、ポイント座標取得部３３、ポイント大きさ取得部３４、及び仮想被写体距離算出部３５を含む。ポイント表示制御部３２は、置きピン位置を指定するためのフォーカスポイントを生成し、生成したフォーカスポイントをスルー画像上に重ねて表示するよう表示制御部２３を制御する。ポイント座標取得部３３は、タッチパネル２５から入力されるフォーカスポイントの位置を表す座標を取得する。仮想被写体距離算出部３５は、置きピン位置の情報と深度マップとに基づいて仮想被写体距離を決定する。
【００２３】
次に、上記構成を、図３を参照しながら説明する。電源操作部をＯＮすると（Ｓ−１）、被写体を撮像したスルー画像が表示部２４に表示される（Ｓ−２）。置きピン撮影を行う場合には、モード設定部を操作して置きピンモードを設定する（Ｓ−３の「Ｙ」側）。
【００２４】
撮影者は、表示部２４に表示されるスルー画像を見ながら、仮想被写体が通過する位置、すなわち、予めピントを合わせておく置きピン位置を含むようにフレーミングを行って構図を決める。撮影者は、構図を決めた後に、レリーズ操作部を操作する（Ｓ−４）。なお、仮撮影を実行するタイミング用の操作部としては、レリーズ操作部に限らず、シャッタボタンの半押し操作、又は全押し操作としてもよい。ＣＰＵ２７は、レリーズ操作部の操作に応答して、その時点の実画像を取得するとともに、深度マップ取得部１６を作動させてその時点の実画像に対応する深度マップを取得してそれぞれＲＡＭ２１に格納する（Ｓ−５）。
【００２５】
ＣＰＵ２７は、解像度変換部を制御して実画像を表示用の解像度に変換した表示用実画像を表示部２４に表示するとともに、ポイント表示制御部３２によりフォーカスポイント（○の中に×が入ったマーク）４０を、図４に示すように、表示用実画像４１上に重ねて表示する（Ｓ−６）。ここで、深度マップ４３は、電子カメラ１０から被写体までの距離を濃淡で表した画像である。濃淡を数値化することで、例えば、図５に示すように、画素、又は撮影領域を分割した領域４５毎に電子カメラ１０からの距離情報を数値で表した画像で表せる。この場合には、距離が遠い程大きな値で、また近い程小さな値となる。なお、図５では、数値の背後に、実画像に写る被写体を仮想的に記載している。
【００２６】
撮影者は、フォーカスポイント４０をドラッグ（スライド）させて表示用実画像４１上のうち所望する置きピン位置に移動させる（Ｓ−７）。置きピン位置の指定が終了した旨の指示は、タッチ操作から指を離した時点で「ＯＫですか」等のコメント付きのボタンを表示してもよいし、画面上に「次へ」のボタンを表示してもよい。３次元画像生成部２９は、「ＯＫですか」又は「次へ」のボタンのタッチ操作に応答して、ＲＡＭ２１から読み出した実画像と深度マップとに基づいて、３次元画像を生成する。
【００２７】
具体的には、実画像から輝度データ抽出し、深度マップと輝度データとに基づいて距離や輝度等の特徴の類似度を調べて、距離に応じて被写体をグループ分けし、グループ毎に被写体を抽出して、抽出した被写体に所定の奥行き情報を与えることで、図６に示すように、３次元画像４７を生成し、生成した３次元画像４７を表示部２４に表示する（Ｓ−８）。そして、ＣＰＵ２７は、ポイント表示制御部３２を制御してフォーカスポイント４８を３次元画像４７上に重ねて表示する（Ｓ−９）。フォーカスポイント４０を表示する位置としては、実画像の二次元座標上で設定したフォーカスポイント４０の座標位置（図４に示す（ｘ，ｙ）座標）と同じ位置となる線上（ｚ軸上）に表示する。
【００２８】
撮影者は、フォーカスポイント４８をドラッグ操作して置きピン位置の奥行き、及び高さ等を指定する。ここで、フォーカスポイント４８は自在に動かすことができるので、この操作により、置きピン位置の座標（ｘ，ｙ）も含めた位置修正も可能である（Ｓ−１０）。
【００２９】
ポイント座標取得部３３は、タッチパネル２５を介してフォーカスポイント４８の３次元空間での座標位置を取得する。なお、３次元画像の斜視方向の角度（斜視角）を入力するボックスと変更ボタンとを表示して、任意の斜視角で３次元画像を表示することができるように構成してもよい。また、３次元画像上の任意の位置、例えば四隅のうちのいずれかをドラッグ操作することで、斜視角を変えた画像に変更されるように構成してもよい。
【００３０】
その後、撮影者は、フォーカスポイント４８に対して二本の指でピンチアウト（オープン）、又はピンチイン（クローズ）等の操作を行うことでフォーカスポイント４８の輪郭を拡大、又は縮小して仮想被写体の大きさを指定する（Ｓ−１１）。仮想被写体の大きさを指定することで、仮想被写体の厚みを置きピン位置に反映させることができる。こうすることで、置きピン位置を通る仮想被写体の前面にピントを合わせることができるので、ピント合わせの精度が向上する。
【００３１】
なお、仮想被写体の大きさを指定する方法としては、例えば、予め記憶した仮想被写体の外形、例えば人、車、電車、鳥、箱、及び丸等の外形画像の一覧を表示部２４に表示して、その中から撮影者に選択させ、選択された外形画像をフォーカスポイントに代えて３次元画像に重ねて表示して、その外形画像の大きさを変えることで仮想被写体の大きさが指定されるように構成してもよい。なお、図７では、選択された車の輪郭画像４９を３次元画像４７上に仮想被写体として表示した状態を示している。この場合、前述したように、表示された輪郭画像４９を拡大、又は縮小して仮想被写体の大きさを指定すればよい。
【００３２】
仮想被写体の大きさ指定を完了した後に、画面上に表示される例えば、「完了」ボタンをタッチ操作する。「完了」ボタンのタッチ操作に応答して仮想被写体距離算出部３５は、置きピン位置に対して仮想被写体の大きさを考慮した仮想被写体距離を深度マップから算出する（Ｓ−１２）。
【００３３】
具体的には、図８に示すように、深度マップ４３のうち仮想被写体の領域５０に対して置きピン位置の情報と仮想被写体の大きさ情報とに基づいて。置きピン位置を含む領域を通る仮想被写体の前面までの距離（仮想被写体距離）を示す数値を算出する（Ｓ−１２）。例えば、図８で説明した仮想被写体の輪郭画像４９に対応する領域５０の距離情報が、仮想被写体４９の輪郭画像を設定する前では、図５で示したように、例えば「４５」や「５０」という距離情報だったものが、仮想被写体の輪郭画像４９を配置することで、図８に示すように、例えば「２０」や「３０」の距離情報になる。これにより、仮想被写体の輪郭画像４９までの距離（仮想被写体距離）を求めることができる。なお、深度マップ４３のうちの仮想被写体の輪郭画像４９に対応する複数の領域５０で距離情報が異なる場合には、平均値を仮想被写体距離の情報とするのが好適である。
【００３４】
ＣＰＵ２７は、ＲＯＭ２０から距離テーブルを読み出して、距離テーブルから仮想被写体距離の情報に対応するレンズ移動量を出力し、出力されるレンズ移動量に基づいてフォーカスレンズを移動させるようにレンズ駆動部１８を制御する（Ｓ―１３）。これにより、撮影レンズ１１は、置きピン位置を通過する仮想被写体までの距離にピントを合わせた状態にされる。また、ＣＰＵ２７は、仮撮影で取得した実画像から算出したＡＥ評価値に基づいて露出を設定するよう制御する。
【００３５】
なお、ホワイトバランスで予め設定されている光源の種別と、仮想被写体の輪郭画像４９の種別とが分かれば、仮想被写体の反射面での反射率を特定することができる。そこで、仮想被写体での反射率を割り出し、割り出した反射率に基づいて仮想被写体の輝度値を、仮撮影で得た実画像から抽出した輝度データに加えて、仮想被写体の反射率を考慮したＡＥ評価値を求めて露出を制御してもよい。
【００３６】
撮影レンズ１１のピント位置を置きピン位置に合わせた後には、撮影実行部３１が、ＲＡＭ２１に取り込まれる実画像の撮影領域のうちの置きピン位置を含む所定範囲を監視して、所定範囲の画像の変化を検出することで本撮影を自動的に実行する（Ｓ−１４）。これにより、本撮影時に取得した実画像が記録部２２に記録される。なお、本撮影としては、連写撮影を行ってもよい。
【００３７】
上記各実施形態では、電子カメラ１０として説明しているが、本発明ではこれに限らず、カメラ付き携帯電話やカメラ付電子機器等の撮像装置としてもよい。
上記各実施形態では、実画像とこれに対応する深度マップとに基づいて３次元画像を生成しているが、本発明ではこれに限らず、演算を簡略化するために実画像と深度マップとをバイリニア法プやバイキュービック法で縮小化したものを用いて３次元画像を生成するようにしてもよい。
【００３８】
上記各実施形態では、実画像取得部と深度マップ取得部１６とを一体に設けた電子カメラ１０として説明しているが、実画像取得部と深度マップ取得部１６とのいずれか一方、又は両方を別に設けた構成であってもよい。この場合、別に設けた方から実画像と深度マップの一方又は両方を入力する構成にすればよい。また、仮想被写体距離の情報に基づいて撮影レンズの合焦を制御する合焦制御手段も省略し、実画像と深度マップとを外部入力とし、実画像上で置きピン位置の情報を入力することで、置きピン撮影時の対象である仮想被写体までの距離情報を決定するプログラム、及びそのプログラムを記録する記録媒体の発明としてもよい。
【００３９】
以上、本発明を好適な実施の形態に基づき具体的に説明したが、本発明は上記各実施形態で説明した構成に限定されるものではなく、その要旨を逸脱しない範囲で種種変更可能であることは言うまでもない。
【符号の説明】
【００４０】
１０  電子カメラ
１１  撮影レンズ
１２  撮影素子
４１  表示用実画像
４０，４８  フォーカスポイント
４３  深度マップ
４７  ３次元画像
４９  仮想被写体の輪郭画像
【図１】
2013251801.tif 000003
【図２】
2013251801.tif 000004
【図３】
2013251801.tif 000005
【図４】
2013251801.tif 000006
【図５】
2013251801.tif 000007
【図６】
2013251801.tif 000008
【図７】
2013251801.tif 000009
【図８】
2013251801.tif 000010