(57)【要約】【課題】遠近競合の状況においてフォーカスレンズを駆動して至近端から望遠端までのＡＦ評価値をスキャンすることなく、ユーザが所望の被写体にフォーカスを合わせることが可能な撮像装置を提供すること。【解決手段】焦点調節を行うフォーカスレンズと、前記フォーカスレンズを通して結像した被写体像を撮影し光電変換する撮像手段と、前記撮像手段が取得した撮像データから距離マップを算出する距離マップ取得手段と、前記距離マップ取得手段が取得した距離マップからフォーカス対象位置近傍の遠近競合状態を判定する遠近競合判定手段と、前記遠近競合判定手段が遠近競合状態であると判定した場合に、遠近の被写体のいずれにフォーカスを合わせるかをユーザに選択させる遠近被写体選択手段と、前記遠近被写体選択手段によって選択された範囲にフォーカスレンズの移動範囲を限定するフォーカス範囲限定手段と、を有することを特徴とする。【選択図】図１
2017223764.tif 000002
【特許請求の範囲】
【請求項１】
焦点調節を行うフォーカスレンズと、
前記フォーカスレンズを通して結像した被写体像を撮影し光電変換する撮像手段と、
前記撮像手段が取得した撮像データから距離マップを算出する距離マップ取得手段と、
前記距離マップ取得手段が取得した距離マップからフォーカス対象位置近傍の遠近競合状態を判定する遠近競合判定手段と、
前記遠近競合判定手段が遠近競合状態であると判定した場合に、遠近の被写体のいずれにフォーカスを合わせるかをユーザに選択させる遠近被写体選択手段と、
前記遠近被写体選択手段によって選択された範囲にフォーカスレンズの移動範囲を限定するフォーカス範囲限定手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記遠近競合判定手段は、フォーカス対象位置近傍の距離マップの距離方向の分布が所定の範囲よりも広く分布しているときに遠近競合状態であると判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
距離マップにおけるフォーカス対象位置近傍の距離分布が複数の領域に分離可能か否かを判定する距離分布分離判定手段を有し、前記遠近競合判定手段が遠近競合状態であると判定しても前記距離分布分離判定手段が分離不可と判定した場合は前記遠近被写体選択手段による被写体選択を行わないことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
ユーザがフォーカス対象位置を選択するフォーカス対象位置選択手段
を有し、前記遠近競合反転手段は、ユーザがフォーカス対象位置を選択した際に、フォーカス対象位置近傍の遠近競合状態を判定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記撮像手段が出力した被写体像をライブビュー表示可能なタッチパネル式表示手段を有し、前記フォーカス対象位置選択手段は、ユーザが前記タッチパネル式表示手段にライブビュー表示上でタッチした位置を元にフォーカス対象位置を決定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記遠近競合判定手段が遠近競合状態であると判定し、かつ前記距離分布分離判定手段が分離不可と判定した場合、前記タッチパネル式表示手段は、ユーザが指定したフォーカス対象位置近傍の被写体を拡大して表示することを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートフォーカス機能を有する撮像装置に関する。
【背景技術】
【０００２】
（コントラストＡＦ）
従来、デジタルカメラやビデオカメラにおけるオートフォーカス（ＡＦ）方式として、撮像信号から得られる輝度信号の高域成分（以下、ＡＦ評価値）が最大になるレンズ位置を合焦位置とするコントラストＡＦ方式が広く用いられている。
【０００３】
例えば、ＡＦ評価値が増加する方向にフォーカスレンズを駆動し、ＡＦ評価値が最大になる位置を合焦位置とする山登り方式が用いられている。
【０００４】
（位相差ＡＦ）
また、瞳分割して得られる複数の被写体像の信号に基づいて相関演算を行い、位相のずれ量を算出してそれから被写体への距離を求めることで合焦位置を得る位相差ＡＦ方式も用いられている。
【０００５】
位相差ＡＦ方式では現在のフォーカス位置に対するピントのずれ量が求められるため、一回のフォーカスレンズ移動で所望のフォーカス位置に合わせることが出来る。
【０００６】
さて、撮像する画像上においてＡＦ対象の被写体位置付近に距離が異なる物体が混在している状況を遠近競合と呼ぶ。
【０００７】
例えばコントラストＡＦ方式において遠近競合が発生するとＡＦ評価値が極大となるフォーカスレンズ位置が複数存在する状態となる。ユーザがフォーカスを合わせたい被写体がＡＦ評価値ピークのいずれに対応するかを知ることができない状態で単純に山登り方式を適用しても、所望のＡＦ評価値ピークに到達できない可能性があるという問題が存在する。
【０００８】
上記の課題に対して、特許文献１には、至近端から望遠端までのＡＦ評価値を取得し、ＡＦ評価値の極大値が複数存在する場合には任意の極大値の位置を選択可能な操作手段を備え、選択された極大値の位置にフォーカスレンズを移動する技術について開示されている。この技術ではピーク位置移動用の操作スイッチを備えており、このスイッチを押すことで異なるＡＦ評価値のピーク位置にフォーカスを移動する例が挙げられている。この技術によれば遠近競合が発生してＡＦ評価値の極大値が複数存在するような状況において、ユーザの意図したフォーカス位置にフォーカスレンズを駆動することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−２８６１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１の方法では、至近端から望遠端までのＡＦ評価値を取得するためにフォーカスレンズを駆動する必要があるため、撮像周期で遅延なく全フォーカス位置のＡＦ評価値を更新することができない。したがって被写体が動いているような場合はＡＦ評価値取得中に被写体位置が変わり、ずれてしまう恐れがあるという問題が存在した。
【００１１】
そこで、本発明では、遠近競合の状況においてフォーカスレンズを駆動して至近端から望遠端までのＡＦ評価値をスキャンすることなく、ユーザが所望の被写体にフォーカスを合わせることが可能な撮像装置を提供することを目的とする。また、遠近競合の状況において、ライブビュー画像上の被写体位置の指定によってユーザが所望の被写体に容易にフォーカスを合わせることが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、本発明に係る撮像装置は、
焦点調節を行うフォーカスレンズと、
前記フォーカスレンズを通して結像した被写体像を撮影し光電変換する撮像手段と、
前記撮像手段が取得した撮像データから距離マップを算出する距離マップ取得手段と、
前記距離マップ取得手段が取得した距離マップからフォーカス対象位置近傍の遠近競合状態を判定する遠近競合判定手段と、
前記遠近競合判定手段が遠近競合状態であると判定した場合に、遠近の被写体のいずれにフォーカスを合わせるかをユーザに選択させる遠近被写体選択手段と、
前記遠近被写体選択手段によって選択された範囲にフォーカスレンズの移動範囲を限定するフォーカス範囲限定手段と、
を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、遠近競合の状況においてフォーカスレンズを駆動して至近端から望遠端までのＡＦ評価値をスキャンすることなく、ユーザが所望の被写体にフォーカスを合わせることが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施例における構成図である。
【図２】実施例において遠近競合が発生しており、かつ遠近の被写体分離が可能な被写体の例を示す図である。
【図３】図２におけるフォーカス位置近傍の距離分布を説明する図である。
【図４】実施例において遠近競合が発生しており、かつ遠近の被写体分離が不可能な被写体の例を示す図である。
【図５】図２におけるフォーカス位置近傍の距離分布を説明する図である。
【図６】実施例における全画角ライブビューモードにおける処理の流れを説明する図である。
【図７】実施例における拡大ライブビューモードにおける処理の流れを説明する図である。
【図８】実施例における静止画記録処理の詳細について説明する図である。
【図９】実施例において遠近競合が発生しており、かつ遠近の被写体分離が可能な被写体において遠近の被写体をユーザに選択させるＵＩ表示の例を示す図である。
【図１０】図９においてユーザが前景を選択した場合の撮影画像の例を示す図である。
【図１１】図９においてユーザが背景を選択した場合の撮影画像の例を示す図である。
【図１２】実施例において遠近競合が発生しており、かつ遠近の被写体分離が不可能な被写体において拡大ライブビュー表示によってユーザにフォーカス位置を指定させるＵＩ表示の例を示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１６】
図１は本発明の実施例における撮像装置１００の構成図である。
【００１７】
この撮像装置は撮像光学系１０１、撮像部１０２、画像信号処理部１０３、フォーカス制御部１０４、距離マップ生成部１０５、フレームメモリ１０６、ＪＰＥＧ  ＣＯＤＥＣ１０７、遠近競合判定部１０８、遠近被写体分離部１０９、操作・表示部１１０、被写体選択制御部１１１、ＣＰＵ（中央演算処理装置）１１２、記録部１１３からなる。
【００１８】
撮像光学系１０１は被写体像を撮像部１０２に入射させるものであり、フォーカスレンズ（図示しない）を有し所望の被写体にフォーカスを合わせることができる。
【００１９】
撮像部１０２は撮像光学系１０１から入射・結像した被写体像を撮影し光電変換するものである。また、撮像部１０２が有する複数の画素は撮像光学系１０１の射出瞳を分割するために、１つのマイクロレンズと２つに分割された光電変換部を備える。出力される画像データはマイクロレンズ毎に２つの画素データを持つ。
【００２０】
画像信号処理部１０３は撮像部１０２で得られた画像データに適切な画像処理を施すものである。画像信号処理部１０３は、ライブビュー表示や静止画記録用にマイクロレンズ毎の２つの画素データを加算してマイクロレンズあたり１画素相当の瞳分割されていない画像データ（以後、加算画像データ）に変換・出力する機能と、距離マップ生成用に瞳分割された状態のままの画像データ（以後、非加算画像データ）を出力する機能を有する。
【００２１】
フォーカス制御部１０４は撮像光学系１０１が有するフォーカスレンズの駆動を制御する。距離マップ生成部１０５は画像信号処理部１０３から得られた非加算画像データを元にマイクロレンズ毎に瞳分割された２つの像の相関演算によって現在のフォーカス位置からの位相差を算出し、距離マップを生成する。
【００２２】
フレームメモリ１０６は画像信号処理部１０３や距離マップ生成部１０５が生成した画像データを保持するものである。
【００２３】
ＪＰＥＧ  ＣＯＤＥＣ１０７は画像データを圧縮・伸張するものである。
【００２４】
遠近競合判定部１０８は任意の被写体位置近傍において遠近競合が発生しているか否かを判定するものである。遠近被写体分離部１０９は距離マップの情報を用いて任意の画像位置近傍の被写体像が遠近方向に複数の物体に分離可能かを判定し可能であれば分離した結果を出力するものである。
【００２５】
操作・表示部１１０は物理ボタンとタッチパネル式のＬＣＤ（図示しない）を有し、画像やＵＩを表示するほか、物理ボタンやタッチパネルのタッチによるＵＩ操作を行うものである。
【００２６】
ＣＰＵはソフトウェアによる処理を行うものである。記録部１１３は不揮発性メモリ（図示しない）を有しており、画像データなどを記録・再生するものである。
【００２７】
（静止画撮影時の動作概要）
撮像装置１００は静止画撮影用にライブビュー表示する機能を有しており、操作・表示部１１０に含まれるタッチパネル式ＬＣＤに表示を行う。また、ライブビューの画像表示上の任意の位置をタッチすることでタッチ位置の被写体にフォーカスを合わせて静止画を撮影する機能を有している。タッチ位置の付近で遠近競合が発生している場合、遠近の被写体が分離可能である場合はタッチパネル式ＬＣＤにどの被写体にフォーカスを合わせたいかを選択させるＵＩを表示し、ユーザの選択結果に応じてフォーカス範囲を限定する。遠近の被写体が分離不可である場合は被写体付近を拡大してライブビュー表示することでより正確なフォーカス位置指定を可能にする。
【００２８】
以降、ライブビューにおいて全画角を表示するモードを全画角ライブビュー、一部を拡大して表示するモードを拡大ライブビューと記す。全画面ライブビュー時のセンサ読み出しは加算読み出しで高速処理を行い、拡大ライブビュー時は非加算で表示領域のみを切り出しで拡大表示用の精細な画像を生成し、静止画記録時は非加算全面読みを行うことで高解像度の画像を生成する。
【００２９】
以下では静止画撮影処理の詳細について説明する。
【００３０】
（距離マップを用いたフォーカス制御）
撮像装置１００は距離マップを用いたＡＦ制御を行う。フォーカス制御部１０４はフォーカスを合わせたい被写体への距離を距離マップから取得し、取得した距離にフォーカスが合うようにフォーカスレンズを駆動することでフォーカシングを行う。また、被写体分離部１０９から被写体距離の範囲を受け取り、その距離範囲の中でフォーカシングを行う機能を有する。
【００３１】
（遠近競合判定）
遠近競合の有無の判定は遠近競合判定部１０８が行う。遠近競合判定部１０８は距離マップからフォーカスを合わせたい被写体の近傍の距離データを取得し、距離の分布を調べることで遠近競合の有無を判定する。具体的には距離の分布範囲が所定の範囲よりも広く分布しているときに遠近競合あり、そうでなければ遠近競合なしと判定する。
【００３２】
（被写体分離）
遠近被写体分離部１０９は遠近競合が発生した状況において遠近の被写体が分離できるか否かを判定するほか、分離可能な場合は分離したそれぞれの被写体の存在する距離範囲を出力し、フォーカス制御部１０４に受け渡す。被写体の分離処理では、フォーカス位置の近傍画素について距離毎の度数分布を算出する。度数分布グラフ上で、ノイズ除去のための閾値Ｔを設け、Ｔを超える度数を持つ距離の存在範囲が複数の離れた領域に分かれていれば分離可能と判定する。実際には距離値は離散的であるため、度数分布に対してフィルタ処理によって平滑化を施したグラフを用いる。
【００３３】
例えば図２のような被写体においてタッチパネル式ＬＣＤ２００上の位置２０１にフォーカスを合わせて撮影するケースでは、手前にはクモの巣２０２、奥には樹木２０３が存在しており、フォーカス位置近傍の度数分布を平滑化してグラフにすると図３のようになる。このケースではクモの巣に対応する距離分布３０１と樹木に対応する距離分布３０２が分かれているため、分離可能と判定し、距離範囲３０３、３０４を出力する。３個以上に分離可能な場合も同様である。また、別の例として図４のような被写体においてタッチパネル式ＬＣＤ４００上の位置４０１にフォーカスを合わせるケースでは、列車４０２の側面がフォーカス位置となる。このケースにでは距離分布自体は広いため遠近競合の状況であるが、度数分布を平滑化したグラフは図５のように距離分布５０１として連続しており分離することができない。このような場合、遠近被写体分離部１０９は分離不可と判定し、距離範囲５０２を出力する。
【００３４】
（撮影時の処理シーケンス詳細）
ライブビューから撮影に至る処理の流れについて図６〜８を用いて説明する。
【００３５】
最初に前述した図２の被写体において位置２０１をタッチして撮影する例について説明する。
【００３６】
静止画記録用のライブビュー動作は全画角ライブビューモードで動作を開始する。全画角ライブビューモード時の１コマの処理の流れを図６に示す。
【００３７】
まずライブビュー用の駆動で撮像を行い（図６Ｓ６０１）、画像信号処理部１０３による信号処理を経て加算画像データを操作・表示部１１０のタッチパネル式ＬＣＤにライブビュー画像を表示する（図６Ｓ６０２）。
【００３８】
次に、操作・表示部１１０はユーザからのタッチパネルによる撮影指示の有無をチェックし、指示がなかった場合（図６Ｓ６０３Ｎｏ）は何もせず終了し、ライブビュー動作を続行する。指示がなされた場合（図６Ｓ６０３Ｙｅｓ）、遠近競合判定部１０８はタッチされた位置に対する被写体位置近傍の距離マップを取得し（図６Ｓ６０４）、遠近競合判定を行う（図６Ｓ６０５）。この例では遠近競合状態であると判定され（図６Ｓ６０６Ｙｅｓ）、遠近被写体分離部１０９はタッチ位置付近の被写体の距離マップから前景・背景の分離を試みる（図６Ｓ６０７）。この例では被写体は分離可能と判定され（図６Ｓ６０８Ｙｅｓ）、ユーザに前景・背景を選択させるＵＩを表示する（図６Ｓ６０９）。
【００３９】
このＵＩの表示例を図９に示す。
【００４０】
タッチパネル式ＬＣＤ９００上にＵＩ０９４が表示されており、現在フォーカスが合っている前景（クモの巣９０２に対応）か背景（樹木９０３に対応）かを選択することができる。ユーザが被写体を選択すると（図６Ｓ６１０）、選択結果に応じてフォーカス範囲を限定し（図６Ｓ６１１）、静止画記録を行う（図６Ｓ６１２）。図６Ｓ６１０で前景を選択した場合、撮影される画像イメージは図１０のようになり、ここではクモの巣１００１にフォーカスが合っており、樹木１００２はボケた画像となる。また、図６Ｓ６１０で背景を選択した場合、撮影される画像イメージは図１１のようになり、ここでは樹木１１０２にフォーカスが合っており、クモの巣１１０１はボケた画像となる。
【００４１】
図６Ｓ６１２の静止画記録の処理の詳細について図８を用いて説明する。
【００４２】
フォーカス制御部１０４は距離マップから被写体までのフォーカスのずれ量を算出し（図８Ｓ８０１）、ずれ量だけフォーカスレンズを駆動する（図８Ｓ８０２）。次いで静止画用の駆動で撮像を行い（図８Ｓ８０３）、画像信号処理部１０３による信号処理を経た加算画像データをＪＰＥＧ  ＣＯＤＥＣ１０７によりエンコードを行う（図８Ｓ８０４）。最後に記録部１１３に記録を行う（図８Ｓ８０５）。
【００４３】
次に、前述した図４の被写体において位置４０１をタッチして撮影する例について図６〜８を用いて説明する。
【００４４】
図６Ｓ６０７に至るまでは図２の例と同様であるが、Ｓ６０７の前景・背景の分離が不可という判定結果になる（図６Ｓ６０８Ｎｏ）。この場合、拡大ライブビューモードとしてライブビュー動作を続行する。
【００４５】
遠近競合状態、かつ被写体分離が不可のケースでは拡大ライブビュー表示を行う。処理の流れを図７に示す。まず拡大ライブビュー用の撮像を行い（図７Ｓ７０１）、画像信号処理部１０３による信号処理を経て加算画像データを操作・表示部１１０のタッチパネル式ＬＣＤに拡大ライブビュー画像を表示する（図７Ｓ７０２）。拡大ライブビュー表示の例を図１２に示す。タッチパネル式ＬＣＤ１２００上で全画角ライブビューモードと同様にフォーカス位置１２０１を指定することができる。また拡大ライブビュー表示をキャンセルするためのＵＩ１２０２が表示される。
【００４６】
拡大ライブビューのキャンセルボタンが押下された場合（図７Ｓ７０３Ｙｅｓ）、ライブビューを全画角表示モードとして（図７Ｓ７０７）ライブビュー表示を続行する。キャンセルボタンが押下されていない場合（図７Ｓ７０３Ｎｏ）、タッチパネル式ＬＣＤはユーザからのタッチパネルによる撮影指示の有無をチェックし、撮影指示がなかった場合（図７Ｓ７０４Ｎｏ）は何もせず終了し、拡大ライブビュー表示を続行する。撮影指示がなされた場合（図７Ｓ７０４Ｙｅｓ）、フォーカス制御部１０４はタッチされた位置に対する被写体位置近傍の距離マップを取得し（図７Ｓ７０５）、静止画記録を行う（図７Ｓ７０６）。拡大ライブビューモードでは、被写体が拡大されて表示されるため、より精度良く被写体位置を指定することが可能になる。
【００４７】
また、遠近競合が発生していない条件では遠近競合判定部１０８は遠近競合なしと判定し（図６Ｓ６０６Ｎｏ）、静止画記録動作を行う（図６Ｓ６１２）。
【００４８】
上記のとおりにすることで、遠近競合の状況においてユーザが所望の被写体に簡単な操作で確実にフォーカスを合わせることが可能な撮像装置を提供することができる。
【符号の説明】
【００４９】
１００  撮像装置、１０１  撮像光学系、１０２  撮像部、１０３  画像信号処理部、
１０４  フォーカス制御部、１０５  距離マップ生成部、１０６  フレームメモリ、
１０７  ＪＰＥＧ  ＣＯＤＥＣ、１０８  遠近競合判定部、１０９  遠近被写体分離部、
１１０  操作・表示部、１１１  被写体選択制御部、
１１２  ＣＰＵ（中央演算処理装置）、１１３  記録部
【図１】
2017223764.tif 000003
【図２】
2017223764.tif 000004
【図３】
2017223764.tif 000005
【図４】
2017223764.tif 000006
【図５】
2017223764.tif 000007
【図６】
2017223764.tif 000008
【図７】
2017223764.tif 000009
【図８】
2017223764.tif 000010
【図９】
2017223764.tif 000011
【図１０】
2017223764.tif 000012
【図１１】
2017223764.tif 000013
【図１２】
2017223764.tif 000014