(57)【要約】画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器を備える検出装置である。【選択図】図１
2017037978.tif 000002
【特許請求の範囲】
【請求項１】
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器
を備える検出装置。
【請求項２】
前記フォーカスエリアのデフォーカス情報の前記被写体領域ごとの値に基づいて前記有効フォーカスエリアを検出する
請求項１に記載の検出装置。
【請求項３】
前記フォーカスエリアの前記被写体領域ごとの深さ情報に基づいて前記有効フォーカスエリアを検出する
請求項１に記載の検出装置
【請求項４】
前記深さ情報はデフォーカス情報に基づいて計算される
請求項３に記載の検出装置
【請求項５】
距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いを前記デフォーカス情報の前記被写体領域ごとの値から算出し、前記度合いに基づいて前記有効フォーカスエリアを検出する
請求項２に記載の検出装置。
【請求項６】
前記有効フォーカスエリアとは、前記複数のフォーカスエリアのうち、距離が異なる複数の被写体が存在しないフォーカスエリアである
請求項１に記載の検出装置。
【請求項７】
前記有効フォーカスエリアとは、前記複数のフォーカスエリアのうち、距離が異なる複数の被写体が混在する度合いが所定の閾値以下であるフォーカスエリアである
請求項５に記載の検出装置。
【請求項８】
距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いに基づいて、前記フォーカスエリアを分類する
請求項５に記載の検出装置。
【請求項９】
前記有効フォーカスエリア以外のフォーカスエリアを非有効フォーカスエリアと中間フォーカスエリアとに分類する
請求項８に記載の検出装置。
【請求項１０】
前記有効フォーカスエリアを示す情報を外部に出力する
請求項１に記載の検出装置。
【請求項１１】
前記有効フォーカスエリア、前記非有効フォーカスエリアおよび前記中間フォーカスエリアを示す情報を外部に出力する
請求項９に記載の検出装置。
【請求項１２】
前記有効フォーカスエリアのみが撮像装置におけるオートフォーカスに用いられる
請求項１１に記載の検出装置。
【請求項１３】
有効フォーカスエリア、非有効フォーカスエリアと中間フォーカスエリアの検出結果に基づいて、表示部における表示制御を行なう
請求項１に記載の検出装置。
【請求項１４】
前記検出結果に応じて、前記表示部における前記フォーカスエリアの表示を変化させる
請求項１３に記載の検出装置。
【請求項１５】
前記表示部における前記フォーカスのフレームの表示色の透明度を変化させる
請求項１４に記載の検出装置。
【請求項１６】
前記表示部に表示される画像中における被写体に対応した複数の領域のうち、合焦している領域の表示を変化させる
請求項１３に記載の検出装置。
【請求項１７】
前記表示部に表示される前記画像中における前記被写体に対応した複数の領域のうち、合焦している領域の色を変化させる
請求項１６に記載の検出装置。
【請求項１８】
前記表示部にモニタリング画像と、前記フォーカスエリアにおけるデフォーカス情報の前記被写体領域ごとの値を示す情報を表示する
請求項１３に記載の検出装置。
【請求項１９】
合焦した前記被写体領域と他の被写体領域とにおいて、前記フォーカスエリアにおけるデフォーカス情報の被写体領域ごとの値が略同等である場合、合焦している前記被写体領域と前記他の被写体領域とを同一の態様で表示する
請求項１３に記載の検出装置。
【請求項２０】
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する
検出方法。
【請求項２１】
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出方法をコンピュータに実行させる
検出プログラム。
【請求項２２】
画像を撮像する撮像素子と、
前記撮像素子により撮像される画像中の被写体に対応した領域である被写体領域に基づいて、前記画像上に配置される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器
を備える
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、検出装置、検出方法、検出プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置においては、例えば位相差検出方式によるオートフォーカス用の複数のＡＦ（Auto Focus）エリアを備え、各ＡＦエリアで被写体に合焦しているかを検出することができるものがある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２０２８７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、ＡＦエリア内に例えば、距離が異なる複数の被写体が存在する場合、そのＡＦエリアにおいてはユーザが所望する被写体ではない被写体に合焦してしまう、またはそれら複数の被写体の略中間の位置に合焦してしまい、ユーザが所望する被写体に合焦しないという問題がある。そのような距離が異なる複数の被写体が存在するＡＦエリアは、オートフォーカスなどにおいて有効なＡＦエリアであるとはいえない。【０００５】
本技術はこのような問題点に鑑みなされたものであり、複数のＡＦエリアの中から有効なＡＦエリアを検出することができる検出装置、検出方法、検出プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本技術は、画像中の被写体に対応した領域である被写体領域に基づいて、画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器を備える検出装置である。【０００７】
また、第２の技術は、画像中の被写体に対応した領域である被写体領域に基づいて、画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出方法である。【０００８】
また、第３の技術は、画像中の被写体に対応した領域である被写体領域に基づいて、画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出方法をコンピュータに実行させる検出プログラムである。【０００９】
さらに、第４の技術は、画像を撮像する撮像素子と、撮像素子により撮像される画像中の被写体に対応した領域である被写体領域に基づいて、画像上に配置される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器を備える撮像装置である。
【発明の効果】
【００１０】
本技術によれば、複数のフォーカスエリアの中から有効なフォーカスエリアを検出することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】検出装置の構成を示すブロック図である。
【図２】有効フォーカスエリアの説明図である。
【図３】撮像装置の構成を示すブロック図である。
【図４】検出処理の流れを示すフローチャートである。
【図５】図５Ａ乃至図５Ｅは、被写体領域検出処理の説明図である。
【図６】図６Ａは、処理対象となる画像を示す図であり、図６Ｂは画像から検出された被写体領域を示す図である。
【図７】深さ情報生成処理の説明図である。
【図８】フォーカスエリア検出処理の説明図である。
【図９】フォーカスエリア検出処理の説明図である。
【図１０】フォーカスエリア検出情報を用いたオートフォーカス処理の流れを示すフローチャートである。
【図１１】図１１Ａおよび図１１Ｂは、遠近混在度と重みの関係を示すグラフである。
【図１２】表示制御部を備える検出装置の構成を示すブロック図である。
【図１３】図１３Ａは表示態様の比較例であり、図１３Ｂはフォーカスエリア検出情報を利用した表示態様の第１の例である。
【図１４】図１４Ａおよび図１４Ｂは表示態様の比較例であり、図１４Ｃおよび図１４Ｄはフォーカスエリア検出情報を利用した表示態様の第２の例である。
【図１５】図１５Ａは表示態様の比較例であり、図１５Ｂはフォーカスエリア検出情報を利用した表示態様の第３の例である。
【図１６】図１６Ａは表示態様の比較例であり、図１６Ｂはフォーカスエリア検出情報を利用した表示態様の第４の例である。
【発明を実施するための形態】
【００１２】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．検出装置の構成］
［１−２．撮像装置の構成］
［１−３．検出処理］
［１−４．フォーカスエリア検出情報の利用］
［１−５．表示処理］
＜２．変形例＞
【００１３】
＜１．実施の形態＞
［１−１．検出装置の構成］
まず、図１を参照して、本技術に係る検出装置１００の構成について説明する。図１は検出装置１００の構成を示すブロック図である。
【００１４】
検出装置１００は、被写体領域検出部１０１、検波部１０２、深さ情報生成部１０３、フォーカスエリア検出器１０４から構成されている。
【００１５】
被写体領域検出部１０１は、入力画像中における被写体に対応した領域（以下、被写体領域と称する。）を検出する。被写体領域の検出の詳細については後述する。検出された被写体領域を示す情報（以下、被写体領域情報と称する。）は深さ情報生成部１０３およびフォーカスエリア検出器１０４に供給される。入力画像は、例えば、検出装置１００が搭載される撮像装置２００の撮影により取得された画像である。
【００１６】
検波部１０２は、入力画像に対するオートフォーカス用の検波範囲である各フォーカスエリアにおける被写体への合焦の状態（合焦の程度）を検出して、全てのフォーカスエリアにおける、焦点からのずれ量を表すデフォーカス情報を取得する。または、撮像装置が備えるＡＦセンサによって得られるフォーカスエリアごとの位相差検出信号に基づいて、複数のフォーカスエリア全てにおける、焦点からのずれ量を表すデフォーカス情報を算出する。フォーカスエリアごとのデフォーカス情報は深さ情報生成部１０３およびフォーカスエリア検出器１０４に供給される。また、検波部１０２からはフォーカスエリア検出器１０４に対して、全てのフォーカスエリアの位置およびサイズを示す情報（以下、フォーカスエリア位置情報と称する。）が供給される。
【００１７】
深さ情報生成部１０３は、被写体領域情報とデフォーカス情報とに基づいて、入力画像中におけるデフォーカス情報の被写体領域ごとの値である深さ情報を生成する。深さ情報の詳細については後述する。生成された深さ情報はフォーカスエリア検出器１０４に供給される。
【００１８】
フォーカスエリア検出器１０４は、被写体領域情報、深さ情報およびフォーカスエリア位置情報に基づいて、全てのフォーカスエリアの中から、距離が異なる複数の被写体が存在しないフォーカスエリア（以下、有効フォーカスエリアと称する。）を検出する。検出された有効フォーカスエリアを示すフォーカスエリア検出情報は外部に出力される。フォーカスエリア検出器１０４は、特許請求の範囲における検出器に相当するものである。
【００１９】
検出装置１００は、複数存在するフォーカスエリアの中から、距離が異なる複数の被写体が存在しないフォーカスエリアを有効フォーカスエリアとして検出するものである。図２の例においては、モニタリング画像上に破線のフレームで示されるように多数のフォーカスエリアが配置されている。その多数のフォーカスエリアの中の１つであるフォーカスエリアＬ内においては、近い側に位置する人物の顔の一部である被写体Ｍと、遠い側に位置する背景である被写体Ｎという２つの距離が異なる被写体が存在している。よって、このフォーカスエリアＬは有効フォーカスエリアではない非有効フォーカスエリアとなる。検出装置１００はこのような非有効フォーカスエリア以外を有効フォーカスエリアとして検出する。検出した有効フォーカスエリアなどを示す情報はフォーカスエリア検出情報として外部、例えば検出装置１００が搭載された撮像装置に供給される。なお、「距離が異なる複数の被写体」における「距離」とは、検出装置１００としての機能を備え、撮影を行なう撮像装置２００のＡＦセンサ、撮像装置２００の筐体の特定の位置、撮像装置２００のレンズ、撮影者、いずれからの距離であってもよい。
【００２０】
以上のようにして検出装置１００が構成されている。検出装置１００は、例えば撮像装置において用いられる。
【００２１】
検出装置１００は、プログラムで構成され、そのプログラムは、予め撮像装置内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。そのプログラムを撮像装置の制御部が実行することにより制御部が検出装置１００として機能する。なお、検出装置１００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
【００２２】
［１−２．撮像装置の構成］
次に、実施の形態に係る検出装置１００の機能を備える撮像装置２００の構成について説明する。図３は、撮像装置２００の構成を示すブロック図である。
【００２３】
撮像装置２００は、制御部２０１、光学撮像系２０２、レンズ駆動ドライバ２０３、撮像素子２０４、前処理部２０５、画像信号処理部２０６、画像メモリ２０７、記憶部２０８、入力部２０９、表示部２１０を備えて構成されている。
【００２４】
制御部２０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置２００全体の制御を行う。また、制御部２０１は、所定のプログラムを実行することにより検出装置１００、ＡＦ制御部２１１として機能する。
【００２５】
光学撮像系２０２は、被写体からの光を撮像素子２０４に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部２０１からの制御およびレンズ駆動ドライバ２０３の制御に基づいて駆動される。光学撮像系２０２を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子２０４上に結像される。
【００２６】
レンズ駆動ドライバ２０３は、例えばマイコンなどにより構成され、制御部２０１の制御に従い、光学撮像系２０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
【００２７】
撮像素子２０４は、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子２０４から出力されるアナログ撮像信号は前処理部２０５に出力される。撮像素子２０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。なお、撮像素子２０４がＡＦセンサの機能を備えているという構成でもよい。
【００２８】
前処理部２０５は、撮像素子２０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。
【００２９】
画像信号処理部２０６は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施す。
【００３０】
画像メモリ２０７は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ２０７は、画像信号処理部２０６によって所定の処理が施された画像データなどを一時的に蓄えておくものである。
【００３１】
記憶部２０８は、例えば、ハードディスク、メモリスティック（ソニー株式会社の登録商標）、ＳＤメモリカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。動画は、例えば、ＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４などの形式で保存される。
【００３２】
入力部２０９は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部２１０と一体に構成されたタッチスクリーンなどからなる。入力部２０９に対して入力がなされると、その入力に応じた制御信号が生成されて制御部２０１に出力される。そして、制御部２０１はその制御信号に対応した演算処理や制御を行う。
【００３３】
表示部２１０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部２１０には、撮像装置２００のユーザインターフェース、メニュー画面、撮影中のモニタリング画像、記憶部２０８に記録された撮影済み画像、撮影済み動画などが表示される。
【００３４】
ＡＦ制御部２１１は、検出装置１００からのフォーカスエリア検出情報に基づいてレンズ駆動ドライバ２０３を駆動させることにより、被写体に合焦するようにオートフォーカス制御を行なう。
【００３５】
検出装置１００としての機能を備える撮像装置２００は以上のようにして構成されている。
【００３６】
［１−３．検出処理］
次に検出装置１００を備える撮像装置２００において行われる検出処理について説明する。図４は、検出処理の流れを示すフローチャートである。
【００３７】
まずステップＳ１１で検出装置１００に画像が入力される。本実施の形態において入力画像は撮像装置２００による撮影で得られた画像である。次にステップＳ１２で、検波部１０２が全てのフォーカスエリアにおけるデフォーカス情報を取得する。
【００３８】
次にステップＳ１３で、被写体領域検出部１０１は画像中における被写体領域の検出を行う。被写体領域検出部１０１は、例えばスーパーピクセルを用いて被写体領域の検出を行うことができる。
【００３９】
ここで、図５を参照してスーパーピクセルを用いた被写体領域の検出の概要について説明する。処理は処理対象である画像に対してシード画素Ｓを設定し、図５Ａに示すようにそのシード画素Ｓを画像を構成する全画素について左上からラスタ状に移動させていき、全ての画素をスキャンしていくことにより行われる。
【００４０】
まず、図５Ｂに示すように、シード画素Ｓで指定される左端最上段の画素が注目画素Ｔとされ、その注目画素Ｔの上下左右に位置する太線で囲われた４つの画素を処理対象画素Ｕ１、Ｕ２、Ｕ３、Ｕ４として順に処理していく。処理は同一の被写体領域に含まれると決定された全画素の平均色と処理対象画素の色の差分と所定の閾値を比較し、差分が閾値以下である場合にその画素をその被写体領域に含まれるものとして決定することにより行われる。
【００４１】
図５Ｂに示すように、注目画素Ｔの右の画素を一つ目の処理対象画素Ｕ１とする場合、まだ複数の画素からなる被写体領域が形成されていないため、注目画素Ｔと処理対象画素Ｕ１の差分と所定の閾値との比較を行う。差分が閾値以下である場合、その処理対象画素Ｕ１を被写体領域として決定する。一方、差分が閾値以上である場合、被写体領域として決定せず、その被写体領域の拡張は終了する。そして次の処理対象画像から別の被写体領域となる。そして、この処理を注目画素Ｔの周囲上下左右のすべての画素について行う。
【００４２】
図５Ｃは上述の処理を数回行った状態を示す図である。斜線が付されている画素が同一の被写体領域として設定された画素である。この状態においても上述の説明と同様に注目画素Ｔの上下左右の画素を順次処理対象画素Ｕ１、Ｕ２、Ｕ３、Ｕ４として処理していく。注目画素Ｔの下に位置する処理対象画素Ｕ２を処理する場合、それまでの処理で同一の被写体領域とされた斜線が付されているすべての画素の平均色と処理対象画素Ｕ２の差分と閾値との比較を行う。その結果、差分が閾値以下である場合、その処理対象画素Ｕ２を被写体領域として決定する。そして、図５Ｄ、図５Ｅに示すようにシード画素Ｓを移動させていき、全ての画素を注目画素Ｔとして上記の処理を行っていく。
【００４３】
以上の処理により、図６に示すように画像中における被写体のそれぞれに対応した領域である被写体領域が検出される。図６Ａは処理対象となる入力画像であり、図６Ｂが入力画像から検出された被写体領域を示すものである。図６Ｂにおいては、被写体領域は白線により区切られており、人物、地面、背景の３つの被写体のそれぞれに対応する領域が被写体領域として検出されている。この被写体領域を示す被写体領域情報は深さ情報生成部１０３およびフォーカスエリア検出器１０４に供給される。
【００４４】
被写体領域は、画像中における個々の被写体のそれぞれに対応した領域である。よって、被写体領域検出部１０１は公知のエッジ検出処理を用いて被写体領域の検出を行うことも可能である。
【００４５】
フローチャートの説明に戻る。ステップＳ１３の次にステップＳ１４で深さ情報生成部１０３が被写体領域情報とデフォーカス情報とに基づいて深さ情報を生成する。
【００４６】
ここで、深さ情報の生成について説明する。図７に示すように、まず被写体領域情報とデフォーカス情報との重ね合わせを行い、被写体領域ごとに、被写体領域とその被写体領域に重なるフォーカスエリアのデフォーカス情報とを対応付ける。そして、被写体領域ごとにその被写体領域に重なる全てのフォーカスエリアのデフォーカス情報の平均値を算出する。このデフォーカス情報の平均値をその被写体領域についての１つの深さ情報とする。これにより、画像中における全ての被写体領域ごとにその被写体領域に対応した１つの深さ情報を得ることができる。このように、深さ情報は距離に対応するデフォーカス情報に基づいて生成するものである。深さ情報は、被写体本体の深さではなく、被写体領域の深さと相関性がある情報であり、デフォーカス情報の平均値で各被写体領域の深さを反映することができる。
【００４７】
なお、深さ情報は、被写体領域内に位置する複数のフォーカスエリアのデフォーカス情報の平均値に限られない。例えば、被写体領域内に位置する各フォーカスエリアのデフォーカス情報の最大値と最小値を除いた残りのデフォーカス情報の平均値を深さ情報としてもよい。最大値と最小値を除くことによりノイズ耐性を向上させることができる。また、被写体領域内に位置する各フォーカスエリアのデフォーカス情報の中間値を深さ情報としてもよい。これらの値が特許請求の範囲におけるデフォーカス情報の被写体領域ごとの値に相当するものである。
【００４８】
フローチャートの説明に戻る。ステップＳ１４の次にステップＳ１５で、フォーカスエリア検出器１０４により有効フォーカスエリアの検出が行われる。上述したように、フォーカスエリア検出器１０４には、被写体領域情報、深さ情報およびフォーカスエリア位置情報が供給されている。フォーカスエリア検出器１０４は、それらの情報に基づいて有効フォーカスエリアの検出を行なう。
【００４９】
有効フォーカスエリアの検出はまず、図８に示すように、被写体領域情報、深さ情報およびフォーカスエリア位置情報を重ね合わせることにより各フォーカスエリアに被写体領域と各被写体領域の深さ情報を対応付ける。そして、全てのフォーカスエリアごとに下記の式（１）を用いてフォーカスエリア内に距離が異なる複数の被写体が存在する度合い（以下、遠近混在度Ｐと称する。）を算出する。式（１）においてspdはフォーカスエリア内における被写体領域の深さ情報である。
【００５０】
【数１】
2017037978.tif 000003
【００５１】
そして、算出したフォーカスエリアごとの遠近混在度Ｐを所定の閾値と比較することにより遠近混在度Ｐの大きさに応じてフォーカスエリアの分類を行う。
【００５２】
本実施の形態においては、図９に示すように、第１閾値と、第１閾値よりも小さい値である第２閾値という２つの閾値と遠近混在度Ｐを比較することにより、遠近混在度Ｐの大きさに応じてフォーカスエリアを第１閾値以上、第２閾値以下、第２閾値以上かつ第１閾値以下の３つに分類する。
【００５３】
遠近混在度Ｐが第２閾値以下である場合、遠近混在度Ｐが低い、すなわち、フォーカスエリア内に距離が異なる複数の被写体が存在しないと判定し、そのフォーカスエリアを有効フォーカスエリアとして分類する。また、遠近混在度Ｐが第１閾値以上である場合、遠近混在度Ｐが高い、すなわち、フォーカスエリア内に距離が異なる複数の被写体が存在すると判定し、そのフォーカスエリアを非有効フォーカスエリアとして分類する。
【００５４】
さらに、遠近混在度Ｐが第１閾値以上であり、かつ、第２閾値以下である場合、そのフォーカスエリアを有効フォーカスエリアでもなく、非有効フォーカスエリアでもない中間フォーカスエリアとして分類する。
【００５５】
なお、フォーカスエリアの分類は、上述した３つの分類に限られない。有効フォーカスエリアと、有効フォーカスエリア以外の非有効フォーカスエリアという２つに分類してもよい。また、閾値の数を増やし、遠近混在度Ｐの大きさに応じてフォーカスエリアを４つ以上に分類してもよい。
【００５６】
そして、ステップＳ１６で検出装置１００から有効フォーカスエリア、非有効フォーカスエリア、中間フォーカスエリアを示すフォーカスエリア検出情報が外部に出力される。本実施形態においては、フォーカスエリア検出情報は撮像装置２００におけるＡＦ制御を実行するＡＦ制御部２１１に供給される。
【００５７】
以上のようにして検出装置１００による有効フォーカスエリア検出処理が行われる。
【００５８】
［１−４．フォーカスエリア検出情報の利用］
次に、検出装置１００から外部に出力されるフォーカスエリア検出情報の利用について説明する。第１の利用態様は、有効フォーカスエリアのみを撮像装置２００におけるオートフォーカスに使用し、有効フォーカスエリア以外、すなわち、非有効フォーカスエリアと中間フォーカスエリアはオートフォーカスには使用しない、とするものである。これは、遠近混在度Ｐが高い、すなわち、距離が異なる複数の被写体が存在するフォーカスエリアは上述したように複数の被写体の略中間の位置など適切ではない位置に合焦してしまうという問題があるため、そのようなフォーカスエリアは信頼度が低いとしてオートフォーカスには使用しないとするものである。この場合、有効フォーカスエリアのみを用いてオートフォーカスが行われる。
【００５９】
これによれば、距離が異なる複数の被写体が存在しないフォーカスエリアにおけるデフォーカス情報を用いてオートフォーカスが行われるため、オートフォーカスの精度を高めることができる。また、遠くの被写体と近くの被写体の略中央など、ユーザが所望する位置とは異なる位置に合焦してしまうことを抑制することができる。
【００６０】
図１０は有効フォーカスエリアを用いてオートフォーカスを行う場合の処理を示すフローチャートである。ステップＳ１１乃至ステップＳ１６までは図４におけるフローチャートと同様であるため説明を省略する。
【００６１】
ステップＳ１６でフォーカスエリア検出情報が外部であるＡＦ制御部２１１に出力されると、ステップＳ２１でＡＦ制御部２１１は被写体に合焦しているか否かを判定する。被写体に合焦しているか否かは検波部１０２で得られるデフォーカス情報に基づいて判定することができる。
【００６２】
被写体に合焦していない場合、処理はステップＳ２２でＡＦ制御部２１１の制御のもと、被写体に合焦するようにレンズ駆動ドライバ２０３が光学撮像系２０２のレンズを駆動する。そして処理はステップＳ１１に戻り、ステップＳ１１乃至ステップＳ１６で再び有効フォーカスエリアが検出されて、フォーカスエリア検出情報がＡＦ制御部２１１に出力される。そして、被写体に合焦するまでステップＳ１１乃至ステップＳ１６、ステップＳ２１およびステップＳ２２の処理が繰り返される。
【００６３】
フォーカスエリア検出情報の第２の利用態様は、非有効フォーカスエリアはオートフォーカスには使用せず、有効フォーカスエリアはオートフォーカスに使用し、中間フォーカスエリアは有効フォーカスエリアよりも重み付けを低くしてオートフォーカスに使用する、というものである。
【００６４】
例えば図１１Ａのグラフに示すように、横軸を遠近混在度Ｐとし、縦軸を重みとして、遠近混在度Ｐが低いほど重みが高くなり、遠近混在度Ｐが高いほど重みが低くなるような特性を設定し、その特性に従い重みを決定する。なお、重み付けを決定する特性は必ずしも図１１Ａに示したような直線状である必要はなく、図１１Ｂに示すような曲線状の特性であってもよい。
【００６５】
フォーカスエリア検出情報の第３の利用態様は、有効フォーカスエリアはオートフォーカスに使用し、非有効フォーカスエリアはオートフォーカスには使用せず、中間フォーカスエリアは再度フォーカスエリアの検出を行う、というものである。
【００６６】
再び中間フォーカスエリアの検出を行う場合、検波部１０２は、中間フォーカスエリアと判定されたフォーカスエリアの位置、サイズを変化させて再度検出を行なう。また、中間フォーカスエリアに分類されたフォーカスエリアの位置に、よりサイズの小さいフォーカスエリアを密に再配置して検出を行なうとよい。再配置されたフォーカスエリアの位置、サイズを示すフォーカスエリア位置情報は、検波部１０２からはフォーカスエリア検出器１０４に供給される。そして、フォーカスエリア検出器１０４その再配置されたフォーカスエリアのフォーカスエリア位置情報に基づいて有効フォーカスエリアの検出を行なう。これによって、中間フォーカスエリアと分類されたフォーカスエリアをより細かくし、その中から有効フォーカスエリア、非有効フォーカスエリア、中間フォーカスエリアを検出することができるので、より詳細に有効フォーカスエリアの検出を行なうことが可能となる。
【００６７】
［１−５．表示処理］
次に、本技術により検出されるフォーカスエリア検出情報などを利用したユーザインターフェースにおける表示処理について説明する。図１２は、表示制御部１０５を備える検出装置１１０の構成を示すブロック図である。被写体領域検出部１０１、検波部１０２、深さ情報生成部１０３、フォーカスエリア検出器１０４は図１を参照して説明したものと同様である。
【００６８】
表示制御部１０５は、被写体領域検出部１０１、検波部１０２、深さ情報生成部１０３、フォーカスエリア検出器１０４からの情報に基づいて撮像装置２００が備える表示部２１０における表示を制御する。なお、その際、表示部２１０における表示と共に、または表示に替えて、スピーカ（図示せず）からの音声によりガイドを行なうようにしてもよい。
【００６９】
図１３を参照してユーザインターフェース表示の第１の態様について説明する。図１３Ａの比較例では、合焦しているフォーカスエリアに色が付されて表示されている。第１の態様では、撮像装置２００による撮影時に表示部２１０に表示されるモニタリング画像上において合焦しているフォーカスエリアを示すフレームに色を付して表示する。さらに遠近混在度Ｐに応じてフォーカスエリアを示すフレームの透明度を変化させて表示する。
【００７０】
図１３Ｂの本技術における第１の態様では、フォーカスエリア１乃至フォーカスエリア１４の合計１４個のフォーカスエリアが合焦しているとして色が付されて表示されている。また、被写体Ｈ１の略中央に並ぶ５つのフォーカスエリアであるフォーカスエリア１乃至フォーカスエリア５は遠近混在度Ｐが低いとしてフレームの透明度が低く表示されている。さらに、被写体Ｈ１の中央の頂点、左側、右側に位置する合計９個のフォーカスエリア６乃至フォーカスエリア１４は、被写体領域の境界に重なっており、遠近混在度Ｐが高いとしてフレームの透明度が高く表示されている。このように表示することにより、ユーザは有効フォーカスエリアは遠い被写体と近い被写体とが混在しておらず、高い精度で合焦しているということを容易に理解することができる。また、ユーザは透明度が高いフォーカスエリアは遠い被写体と近い被写体とが混在しており、有効フォーカスエリアに比べて合焦の精度が低くなっているということを容易に理解できる。
【００７１】
このようなユーザインターフェース表示を実現するためには、フォーカスエリア検出器１０４からフォーカスエリア検出情報、遠近混在度情報を表示制御部１０５に供給し、ＡＦ制御部２１１から全てのフォーカスエリアにおける最終的な合焦状態を示す情報を表示制御部１０５に供給する必要がある。そして、表示制御部１０５は、各フォーカスエリアの合焦状態、遠近混在度Ｐとフォーカスエリアのフレームの透明度とを対応付け、フォーカスエリアのフレームの透明度を変更する処理を行なう。
【００７２】
なお、合焦し、かつ、遠近混在度Ｐが低いフォーカスエリアを示すフレームの透明度を低く表示するのは、そのフォーカスエリアを強調して表示するためである。よって、色を付す以外にも、フォーカスエリアを示すフレームを他のフォーカスエリアのフレームよりも太くする、合焦していないフォーカスエリアや遠近混在度Ｐが高いフォーカスエリアを示すフレームを細くするなどの手法を採用してもよい。
【００７３】
次に図１４を参照してユーザインターフェース表示の第２の態様について説明する。図１４Ａの比較例では、合焦している被写体である被写体Ｈ１に重なるフォーカスエリアのみが表示されている。また、図１４Ｂの比較例では、合焦している被写体である被写体Ｈ２に重なるフォーカスエリアのみが表示されている。
【００７４】
一方、本技術におけるユーザインターフェース表示の第２の態様である図１４Ｃの例では、有効フォーカスエリアのみを表示し、さらに、有効フォーカスエリアが位置する被写体Ｈ１に対応する被写体領域に色を付して表示している。また、図１４Ｄの例では、有効フォーカスエリアのみを表示し、さらに、有効フォーカスエリアが位置する被写体Ｈ２に対応する被写体領域に色を付して表示している。
【００７５】
これにより、ユーザはモニタリング画像中においてどの被写体に合焦しているかを容易に確認することができる。なお、有効フォーカスエリアを示すフレームに色を付して強調する場合、有効フォーカスエリアに付す色と被写体領域に付す色は異なる色にするとよい。同じ色または似た色を付すと被写体領域上に表示されている有効フォーカスエリアを視認することが難しくなるからである。
【００７６】
このようなユーザインターフェース表示を実現するためには、被写体領域検出部１０１から被写体領域情報を表示制御部１０５に供給し、ＡＦ制御部２１１から全てのフォーカスエリアにおける最終的な合焦状態を示す情報を表示制御部１０５に供給する必要がある。そして、表示制御部１０５は、各フォーカスエリアの合焦状態と被写体領域とを対応付け、被写体領域の色を変更する処理を行なう。
【００７７】
なお、合焦している被写体領域に色を付すのは、被写体領域を強調して表示するためである。よって、色を付す以外にも、合焦している被写体領域の輪郭を太くする、被写体領域の輪郭に線を重畳する、合焦していない被写体領域の輪郭を細くするなど、合焦している被写体領域を強調することができればどのような方法を採用してもよい。
【００７８】
図１５を参照してユーザインターフェース表示の第３の態様について説明する。第３の態様では、表示部２１０に表示されているモニタリング画像上に深さ情報を示す画像を重畳表示する。図１５Ａの比較例では、深さ情報を示す画像は重畳表示されていない。一方、本技術における第３の態様である図１５Ｂの例では、モニタリング画像の右上にモニタリング画像よりも小さいサイズで深さ情報を示す深さ情報画像Ｒが重畳表示されている。
【００７９】
深さ情報画像Ｒは、被写体領域と、それに対応する深さ情報が示されているため、この第３の態様によればモニタリング画像における被写体が画角内でどのような位置関係で位置しており、さらにどのような深さ情報を有しているかを確認することができる。
【００８０】
このようなユーザインターフェース表示を実現するためには、被写体領域検出部１０１から被写体領域情報を表示制御部１０５に供給し、深さ情報生成部１０３から深さ情報を表示制御部１０５に供給する必要がある。表示制御部１０５は被写体領域と深さ情報とから深さ情報画像Ｒを生成し、表示部２１０に表示する制御を行う。なお、重畳表示する位置はモニタリング画像の右上に限られるものではない。また、重畳表示にかぎらず、表示部２１０を左右、上下などに分割してモニタリング画像と深さ情報を示す画像を表示するようにしてもよい。
【００８１】
図１６を参照してユーザインターフェース表示の第４の態様について説明する。第４の態様では、表示部２１０に表示されているモニタリング画像において合焦している被写体領域に加え、その合焦している被写体領域と深さ情報が略同等である被写体領域を強調して表示する。「深さ情報が略同等である被写体領域」を強調して表示するには、合焦している被写体領域（有効フォーカスエリア）の深さ情報の平均値と、合焦している被写体領域以外の被写体領域の深さ情報を比較する。もし、その比較結果（差分値）が所定の誤差以内である場合には、その合焦している被写体領域と合焦していない領域を同一の態様で表示する（同一の色）。例えば、図１６Ｂにおいて、人物の上半身に対応する被写体領域は合焦しており、人物の下半身に対応する被写体領域は合焦していない場合でも、上半身の被写体領域と下半身の被写体領域の深さ情報の差分値が所定の誤差以内場合には同一の色で表示する。なお、ユーザがその差分値の所定の誤差を設定することができるようにしてもよい。
【００８２】
図１６Ａの比較例では、合焦しているフォーカスエリアのみが表示されている。一方、本技術における第４の態様である図１６Ｂの例では、人物の上半身に対応する被写体Ｈ３に合焦している。よって、人物の上半身に対応する被写体Ｈ３に色が付されて表示されている。さらに、人物の下半身に対応する被写体Ｈ４は人物の上半身に対応する被写体Ｈ３と深さ情報がほぼ等しいため、人物の下半身に対応する被写体Ｈ４にも被写体Ｈ３と同様の色が付されて表示されている。
【００８３】
このようなユーザインターフェース表示を実現するためには、被写体領域検出部１０１から被写体領域情報を表示制御部１０５に供給し、撮像装置２００のＡＦ制御部２１１からの全てのフォーカスエリアにおける最終的な合焦状態を示す情報を表示制御部１０５に供給し、さらに、深さ情報生成部１０３から深さ情報を表示制御部１０５に供給する必要がある。
【００８４】
そして、表示制御部１０５は、合焦している被写体領域を把握し、深さ情報生成部１０３から供給された情報に基づいてその被写体領域における深さ情報を取得する。次に、その被写体領域の深さ情報とほぼ等しい深さ情報を有する被写体領域を画像中から検索する。この検索は、深さ情報生成部１０３から供給された情報を参照することにより行なうことができる。そして、それらのほぼ等しい深さ情報を有する被写体領域を強調して表示部２１０に表示する。
【００８５】
なお、深さ情報がほぼ等しいとは、例えば、合焦している被写体領域の深さ情報よりも大きい閾値と小さい閾値をそれぞれ設定し、比較対象である他の被写体領域の深さ情報がその閾値の範囲内であることをいう。
【００８６】
なお、上述したユーザインターフェース表示の第１乃至第４の態様はいずれか一つだけを用いるのではなく、組み合わせて用いてもよい。例えば、第１の態様と、第３の態様を組み合わせて、合焦しているフォーカスエリアを示すフレームの透明度を低く表示し、さらに、深さ情報を示す画像をモニタリング画像上に重畳表示する、などである。
【００８７】
なお、表示制御部１０５は、必ずしも検出装置１００が備える必要はなく、検出装置１００を備える他の装置、例えば撮像装置２００が備えていてもよい。
【００８８】
＜２．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【００８９】
実施の形態においては、距離が異なる複数の被写体が存在するフォーカスエリアを非有効フォーカスエリアとし、その非有効フォーカスエリア以外を有効フォーカスエリアとして検出すると説明した。しかし、検出装置１００は非有効フォーカスエリアのみを検出し、非有効フォーカスエリア検出情報を外部に出力するようにしてもよい。
【００９０】
検出装置１００は、デジタルスチルカメラ、デジタル一眼レフカメラなどの他にも、スマートフォンと連携するいわゆるレンズスタイルカメラ、車載カメラ、監視カメラ、暗視カメラ、Ｘ線カメラ（Ｘ線写真）や胃カメラ（内視鏡）などの医療用カメラ、航空カメラ、水中カメラなどに適用することも可能である。また、カメラ機能を備える各種機器、例えば、スマートフォン、携帯電話機、タブレット端末、パーソナルコンピュータ、ノートパソコン、携帯ゲーム機などにも適用可能である。
【００９１】
検出装置１００からのフォーカスエリア検出情報の出力先は撮像装置に限られず、パーソナルコンピュータ、スマートフォンなどの情報処理装置であってもよい。
【００９２】
また、本技術は静止画撮影に限らず動画撮影に適用することも可能である。
【００９３】
本技術は以下のような構成も取ることができる。
（１）
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器
を備える検出装置。
（２）
前記フォーカスエリアのデフォーカス情報の前記被写体領域ごとの値に基づいて前記有効フォーカスエリアを検出する
（１）に記載の検出装置。
（３）
フォーカスエリアの前記被写体領域ごとの深さ情報に基づいて有効フォーカスエリアを検出する
（１）または（２）に記載の検出装置
（４）
前記深さ情報はデフォーカス情報に基づいて計算される
（３）に記載の検出装置
（５）
距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いを前記デフォーカス情報の前記被写体領域ごとの値から算出し、前記度合いに基づいて前記有効フォーカスエリアを検出する
（２）に記載の検出装置。
（６）
前記有効フォーカスエリアとは、前記複数のフォーカスエリアのうち、距離が異なる複数の被写体が存在しないフォーカスエリアである
（１）から（５）のいずれかに記載の検出装置。
（７）
前記有効フォーカスエリアとは、前記複数のフォーカスエリアのうち、距離が異なる複数の被写体が混在する度合いが所定の閾値以下であるフォーカスエリアである
（５）に記載の検出装置。
（８）
距離が異なる複数の被写体が前記フォーカスエリア内に存在する度合いに基づいて、前記フォーカスエリアを分類する
（５）に記載の検出装置。
（９）
前記有効フォーカスエリア以外のフォーカスエリアを非有効フォーカスエリアと中間フォーカスエリアとに分類する
（８）に記載の検出装置。
（１０）
前記有効フォーカスエリアを示す情報を外部に出力する
（１）から（９）のいずれかに記載の検出装置。
（１１）
前記有効フォーカスエリア、前記非有効フォーカスエリアおよび前記中間フォーカスエリアを示す情報を外部に出力する
（９）に記載の検出装置。
（１２）
前記有効フォーカスエリアのみが撮像装置におけるオートフォーカスに用いられる
（１１）に記載の検出装置。
（１３）
有効フォーカスエリア、非有効フォーカスエリアと中間フォーカスエリアの検出結果に基づいて、表示部における表示制御を行なう
（１）から（１２）のいずれかに記載の検出装置。
（１４）
前記検出結果に応じて、前記表示部における前記フォーカスエリアの表示を変化させる
（１３）に記載の検出装置。
（１５）
前記表示部における前記フォーカスのフレームの表示色の透明度を変化させる
（１４）に記載の検出装置。
（１６）
前記表示部に表示される画像中における被写体に対応した複数の領域のうち、合焦している領域の表示を変化させる
（１３）に記載の検出装置。
（１７）
前記表示部に表示される前記画像中における前記被写体に対応した複数の領域のうち、合焦している領域の色を変化させる
（１６）に記載の検出装置。
（１８）
前記表示部にモニタリング画像と、前記フォーカスエリアにおけるデフォーカス情報の前記被写体領域ごとの値を示す情報を表示する
（１３）に記載の検出装置。
（１９）
合焦した前記被写体領域と他の被写体領域とにおいて、前記フォーカスエリアにおけるデフォーカス情報の被写体領域ごとの値が略同等である場合、合焦している前記被写体領域と前記他の被写体領域とを同一の態様で表示する
（１３）に記載の検出装置。
（２０）
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する
検出方法。
（２１）
画像中の被写体に対応した領域である被写体領域に基づいて、前記画像に対して設定される複数のフォーカスエリアから有効フォーカスエリアを検出する検出方法をコンピュータに実行させる
検出プログラム。
（２２）
画像を撮像する撮像素子と、
前記撮像素子により撮像される画像中の被写体に対応した領域である被写体領域に基づいて、前記画像上に配置される複数のフォーカスエリアから有効フォーカスエリアを検出する検出器
を備える
撮像装置。
【符号の説明】
【００９４】
１００・・・・撮像装置
１５４・・・・表示制御部
２００・・・・撮像装置
【図１】
2017037978.tif 000004
【図２】
2017037978.tif 000005
【図３】
2017037978.tif 000006
【図４】
2017037978.tif 000007
【図５】
2017037978.tif 000008
【図６】
2017037978.tif 000009
【図７】
2017037978.tif 000010
【図８】
2017037978.tif 000011
【図９】
2017037978.tif 000012
【図１０】
2017037978.tif 000013
【図１１】
2017037978.tif 000014
【図１２】
2017037978.tif 000015
【図１３】
2017037978.tif 000016
【図１４】
2017037978.tif 000017
【図１５】
2017037978.tif 000018
【図１６】
2017037978.tif 000019
【国際調査報告】
2017037978.tif 000020
2017037978.tif 000021
2017037978.tif 000022