(57)【要約】【課題】被写体の動きに応じて精度良く合焦することができる撮像装置を提供する。【解決手段】撮像装置（１００）は、撮像部（１１５）と、検出部（１２２）と、制御部（１３５）とを備える。撮像部は、被写体を撮像して撮像画像（Ｉｍ）を生成する。検出部は、被写体が動いているか否かを検出する。制御部は、撮像画像において設定される合焦対象の画像領域（５０）に基づいて合焦動作を制御する。制御部は、被写体が動いていると検出部が検出したとき（Ｓ３，Ｓ１１でＹＥＳ）、合焦対象の画像領域を、撮像画像における第１のエリア（４１）に設定し（Ｓ４，Ｓ１２）、被写体が動いていないと検出部が検出したとき（Ｓ３，Ｓ１１でＮＯ）、合焦対象の画像領域を、第１のエリアよりも小さい第２のエリア（４２）に設定する（Ｓ５，Ｓ１３）。【選択図】図２
2020079834.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像画像を生成する撮像部と、
前記被写体が動いているか否かを検出する検出部と、
前記撮像画像において設定される合焦対象の画像領域に基づいて合焦動作を制御する制御部とを備え、
前記制御部は、
前記被写体が動いていると前記検出部が検出したとき、前記合焦対象の画像領域を、前記撮像画像における第１のエリアに設定し、
前記被写体が動いていないと前記検出部が検出したとき、前記合焦対象の画像領域を、前記第１のエリアよりも小さい第２のエリアに設定する
撮像装置。
【請求項２】
前記第２のエリアは、前記第１のエリアの中央位置を含む
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記被写体が動いているか否かが検出される毎に、前記第１又は第２のエリアに前記合焦対象の画像領域を設定する
請求項１又は２に記載の撮像装置。
【請求項４】
前記制御部は、前記第１又は第２のエリアに設定された前記合焦対象の画像領域に基づいて、前記合焦動作を実行する
請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１のエリアは、前記合焦対象の画像領域を複数個分、含み、
前記第２のエリアは、前記第１のエリアよりも少ない個数分の前記合焦対象の画像領域を含む
請求項１〜４のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、合焦動作を行う撮像装置に関する。
【背景技術】
【０００２】
特許文献１は、オートフォーカス（ＡＦ）機能を有するデジタルカメラを開示している。特許文献１のデジタルカメラは、被写体をロストしたときに、ロスト直前のフォーカスエリアからワイドフォーカスエリアへ変更している。被写体がロストしたか否かの判定は、ＡＦ制御部により、レンズ位置とコントラスト値の関係の判定基準に基づき行われている。被写体ロスト時にフォーカスエリアの面積を大きくすることで、被写体がフォーカスエリアに含まれる可能性が高くなり、合焦を短時間で回復する可能性を高めている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３１２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、被写体の動きに応じて精度良く合焦することができる撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示に係る撮像装置は、撮像部と、検出部と、制御部とを備える。撮像部は、被写体を撮像して撮像画像を生成する。検出部は、被写体が動いているか否かを検出する。制御部は、撮像画像において設定される合焦対象の画像領域に基づいて合焦動作を制御する。制御部は、被写体が動いていると検出部が検出したとき、合焦対象の画像領域を、撮像画像における第１のエリアに設定し、被写体が動いていないと検出部が検出したとき、合焦対象の画像領域を、第１のエリアよりも小さい第２のエリアに設定する。
【発明の効果】
【０００６】
本開示に係る撮像装置によると、被写体が動いているか否かの検出結果に応じて第１又は第２エリアが設定され、被写体の動きに応じて精度良く合焦することができる。
【図面の簡単な説明】
【０００７】
【図１】本開示の実施の形態１に係るデジタルカメラの構成を示す図
【図２】実施の形態１に係るデジタルカメラの動作の概要を説明するための図
【図３】実施の形態１に係るデジタルカメラの動作例を示すフローチャート
【図４】図３に続くデジタルカメラの動作例を示すフローチャート
【図５】実施の形態１に係るデジタルカメラのＡＦ枠を説明するための図
【図６】デジタルカメラにおける被写体の検出処理の一例を示すフローチャート
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【０００９】
（実施の形態１）
実施の形態１では、本開示に係る撮像装置の一例として、画像認識技術に基づき被写体の動きを検出して合焦動作を制御するデジタルカメラについて説明する。
【００１０】
〔１−１．構成〕
実施の形態１に係るデジタルカメラの構成について、図１を用いて説明する。
【００１１】
図１は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、イメージセンサ１１５と、画像処理エンジン１２０と、表示モニタ１３０と、コントローラ１３５とを備える。さらに、デジタルカメラ１００は、バッファメモリ１２５と、カードスロット１４０と、フラッシュメモリ１４５と、操作部１５０と、通信モジュール１５５とを備える。また、デジタルカメラ１００は、例えば光学系１１０及びレンズ駆動部１１２を備える。
【００１２】
光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ等を含む。フォーカスレンズは、イメージセンサ１１５上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズ等は、それぞれ１枚又は複数枚のレンズで構成される。
【００１３】
レンズ駆動部１１２は、光学系１１０におけるフォーカスレンズ等を駆動する。レンズ駆動部１１２はモータを含み、コントローラ１３５の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１１２においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。
【００１４】
イメージセンサ１１５は、光学系１１０を介して形成された被写体像を撮像して、撮像データを生成する。撮像データは、イメージセンサ１１５による撮像画像を示す画像データを構成する。イメージセンサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ１３５によって制御される。イメージセンサ１１５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。
【００１５】
イメージセンサ１１５は、静止画像の撮像動作、スルー画像の撮像動作等を実行する。スルー画像は主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために表示モニタ１３０に表示される。スルー画像及び静止画像は、それぞれ本実施形態における撮像画像の一例である。イメージセンサ１１５は、本実施形態における撮像部の一例である。
【００１６】
画像処理エンジン１２０は、イメージセンサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１３０に表示するための画像を生成したりする。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理エンジン１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。
【００１７】
本実施形態において、画像処理エンジン１２０は、撮像画像の画像認識によって人と動物の検出機能を実現する画像認識部１２２を含む。画像認識部１２２の詳細については後述する。
【００１８】
表示モニタ１３０は、種々の情報を表示する表示部の一例である。例えば、表示モニタ１３０は、イメージセンサ１１５で撮像され、画像処理エンジン１２０で画像処理された画像データが示す画像（スルー画像）を表示する。また、表示モニタ１３０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１３０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。
【００１９】
操作部１５０は、デジタルカメラ１００の外装に設けられた操作ボタンや操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部１５０は、例えば、レリーズボタン、モードダイヤル、タッチパネルを含む。操作部１５０はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ１３５に送信する。
【００２０】
コントローラ１３５は、デジタルカメラ１００全体の動作を統括制御する。コントローラ１３５はＣＰＵ等を含み、ＣＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。コントローラ１３５は、ＣＰＵに代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、コントローラ１３５は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。コントローラ１３５は１つまたは複数のプロセッサで構成してもよい。また、コントローラ１３５は、画像処理エンジン１２０などと共に１つの半導体チップで構成してもよい。
【００２１】
バッファメモリ１２５は、画像処理エンジン１２０やコントローラ１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ(Dynamic Random Access Memory)などにより実現される。フラッシュメモリ１４５は不揮発性の記録媒体である。また、図示していないが、コントローラ１３５は各種の内部メモリを有してもよく、例えばＲＯＭを内蔵してもよい。ＲＯＭには、コントローラ１３５が実行する様々なプログラムが記憶されている。また、コントローラ１３５は、ＣＰＵの作業領域として機能するＲＡＭを内蔵してもよい。
【００２２】
カードスロット１４０は、着脱可能なメモリカード１４２が挿入される手段である。カードスロット１４０は、メモリカード１４２を電気的及び機械的に接続可能である。メモリカード１４２は、内部にフラッシュメモリ等の記録素子を備えた外部メモリである。メモリカード１４２は、画像処理エンジン１２０で生成される画像データなどのデータを格納できる。
【００２３】
通信モジュール１５５は、通信規格ＩＥＥＥ８０２．１１またはＷｉ−Ｆｉ規格等に準拠した通信を行う通信モジュール（回路）である。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と通信することができる。デジタルカメラ１００は、通信モジュール１５５を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール１５５は、インターネット等の通信ネットワークに接続可能であってもよい。
【００２４】
〔１−１−１．画像認識部について〕
本実施形態における画像認識部１２２の詳細を、以下説明する。
【００２５】
画像認識部１２２は、例えば畳み込みニューラルネットワーク等のニューラルネットワークによる学習済みモデルを採用する。画像認識部１２２は、イメージセンサ１１５の撮像画像Ｉｍを示す情報を学習済みモデルに入力して、当該モデルによる画像認識処理を実行する。また、本実施形態の画像認識部１２２は、例えば学習済みモデルからの出力に基づいて、後述するように被写体の動きを検出する処理を実行する（図６参照）。画像認識部１２２は、本実施形態における検出部の一例である。画像認識部１２２は、画像処理エンジン１２０とコントローラ１３５との協働によって構成されてもよい。また、画像認識部１２２としての画像処理エンジン１２０が、時系列に入力される画像に基づき動き量等を出力してもよい。
【００２６】
画像認識部１２２における学習済みモデルの処理は、例えば入力された画像Ｉｍにおいて、予め設定された複数のカテゴリの何れかに分類される被写体が映っている領域を示す位置情報を、各カテゴリに対応付けて出力する。複数のカテゴリは、例えば、人の体、顔および瞳といった人の各部、並びに動物の体、顔および瞳といった動物の各部を含む。位置情報は、例えば処理対象の画像Ｉｍ上の水平座標及び垂直座標で規定され、例えば検出された被写体を矩形状に囲む領域を示す（図２参照）。
【００２７】
画像認識部１２２は、各カテゴリについて、予め設定された最大の個数までの被写体を同時に検出してもよい。また、上記の動物のカテゴリは、さらに、動物の種類に応じて分類されてもよい。例えば、犬、猫および鳥などのカテゴリが別々に設定されてもよいし、犬と猫を１つにまとめたカテゴリが設定されてもよい。
【００２８】
以上のような画像認識部１２２の学習済みモデルは、例えば、各カテゴリの被写体が映った画像を正解とする正解ラベルを関連付けた画像データを教師データとして用いた教師あり学習によって得ることができる。学習済みモデルは、各カテゴリの検出結果に関する信頼度或いは尤度を生成してもよい。
【００２９】
画像認識部１２２の学習済みモデルはニューラルネットワークに限らず、種々の画像認識に関する機械学習モデルであってもよい。また、画像認識部１２２は機械学習に限らず、種々の画像認識アルゴリズムを採用してもよい。また、画像認識部１２２は、例えば人の顔および瞳などの一部のカテゴリに対する検出がルールベースの画像認識処理によって行われるように構成されてもよい。また、画像認識部１２２は、ＤＦＤ(Depth From Defocus)、追尾、及びＭＥ等の各種アルゴリズムにより、被写体の動きを検出してもよい。画像認識部１２２は、例えばＤＳＰ等で構成されてもよい。また、画像認識部１２２は、画像処理エンジン１２０とは別に構成されてもよく、コントローラ１３５と一体的に構成されてもよい。
【００３０】
〔１−２．動作〕
以上のように構成されるデジタルカメラ１００の動作について、以下説明する。
【００３１】
デジタルカメラ１００は、光学系１１０を介して形成された被写体像をイメージセンサ１１５で撮像して撮像データを生成する。画像処理エンジン１２０は、イメージセンサ１１５により生成された撮像データに対して各種処理を施して画像データを生成する。コントローラ１３５は、例えば静止画像の撮像動作において、画像処理エンジン１２０にて生成された画像データをカードスロット１４０に装着されたメモリカード１４２に記録する。
【００３２】
また、デジタルカメラ１００は、スルー画像の撮像動作において、表示モニタ１３０にスルー画像を表示させる。ユーザは、表示モニタ１３０のスルー画像により、静止画像の撮像のための構図を確認することができる。コントローラ１３５は、例えばユーザによるレリーズボタンの操作に応じて、光学系１１０のフォーカスレンズを駆動するようにレンズ駆動部１１２を制御する合焦動作を行う。
【００３３】
以上のような合焦動作を行う際に、本実施形態のデジタルカメラ１００は、例えばスルー画像等の撮像画像Ｉｍに対する画像認識によって被写体を検出し、検出された被写体に応じて、撮像画像Ｉｍ上で合焦の対象とする範囲の画像領域を示すＡＦ枠を設定する。図２（Ａ），（Ｂ）を用いて、本実施形態に係るデジタルカメラ１００の動作の概要を説明する。
【００３４】
図２（Ａ）は、デジタルカメラ１００の被写体２０が動いている状態における表示モニタ１３０の表示例を示す。図２（Ｂ）は、図２（Ａ）の被写体２０が静止した状態の表示例を示す。
【００３５】
本実施形態のデジタルカメラ１００は、画像認識部１２２による被写体２０の検出結果として、例えば検出枠３０を表示モニタ１３０に表示させる。検出枠３０は、表示モニタ１３０に表示された撮像画像Ｉｍ上で、被写体２０が映っていることが認識された領域を囲むように設定される。
【００３６】
図２（Ａ）の例では、検出された被写体２０が動いていることから、本実施形態のデジタルカメラ１００は、例えば検出枠３０よりも広い広域エリア４１にＡＦ枠（詳細は後述）を設定する。これにより、例えば被写体２０が動いて、撮像画像Ｉｍ上の被写体２０の位置が検出枠３０からずれた場合であっても、被写体２０に対して合焦し易くすることができる。
【００３７】
図２（Ｂ）の例では、被写体２０が静止しており、撮像画像Ｉｍ上の位置は特に動いていない。このような場合、ＡＦ枠が上記のように広範囲に及ぶと、被写体２０の周囲において手前側の障害物２１或いは奥側の背景物２２に誤って合焦する偽合焦を生じてしまう事態が考えられる。このため、動いていない被写体２０に精度良く合焦することが困難になることが考えられる。
【００３８】
そこで、本実施形態のデジタルカメラ１００は、被写体２０が動いていないことを検出すると、例えば図２（Ｂ）に示すように、広域エリア４１の中央近傍となる中央エリア４２にＡＦ枠を設定する。これにより、被写体２０が動いていても静止しても、被写体２０に合焦させる精度を良くすることができる。
【００３９】
広域エリア４１は、本実施形態における第１のエリアの一例である。中央エリア４２は、本実施形態における第２のエリアの一例である。以下、本実施形態のデジタルカメラ１００の動作の詳細を説明する。
【００４０】
〔１−２−１．動作の詳細〕
図３〜５を用いて、本実施形態に係るデジタルカメラ１００の動作の詳細を説明する。以下では、デジタルカメラ１００の動作の一例として、ＡＦＣ(Auto Focus Continuous)モードの動作例を説明する。ＡＦＣモードは、デジタルカメラ１において、例えばレリーズボタンが半押しのときに、フォーカスを調整し続けるように合焦動作を行う動作モードである。
【００４１】
図３は、本実施形態に係るデジタルカメラ１００の動作例を示すフローチャートである。図４は、図３に続くデジタルカメラ１００の動作例を示すフローチャートである。図５は、デジタルカメラ１００におけるＡＦ枠５０を説明するための図である。
【００４２】
図３，図４のフローチャートによる各処理は、デジタルカメラ１００のコントローラ１３５によって実行される。本フローチャートは、例えばデジタルカメラ１００が操作部１５０を介してＡＦＣモードに設定されると開始する。
【００４３】
まず、コントローラ１３５は、画像認識部１２２から被写体の検出情報を取得する（Ｓ１）。被写体の検出情報は、例えば撮像画像Ｉｍにおいて被写体が検出された領域の位置情報（例えば座標）、及び被写体の動きの有無の検出結果を示す情報（例えば後述の動きフラグ）を含む。画像認識部１２２による被写体の検出処理については、後述する。
【００４４】
取得した検出情報に基づいて、コントローラ１３５は、検出情報が示す領域に対応する検出枠３０を表示モニタ１３０に表示させる（Ｓ２）。これにより、検出枠３０は、例えば図２に示すように、撮像画像Ｉｍ上の被写体２０に応じた位置及びサイズで表示される。
【００４５】
また、コントローラ１３５は、被写体の検出情報に基づいて、画像認識部１２２によって被写体が動いていると検出されたか否かを判断する（Ｓ３）。検出対象の動きは、例えば撮像画像Ｉｍ上の水平方向及び垂直方向による二次元的な動きである。
【００４６】
画像認識部１２２によって、被写体が動いていると検出された場合（Ｓ３でＹＥＳ）、コントローラ１３５は、例えば生成した検出枠３０を基準とする広域エリア４１に、ＡＦ枠５０を設定する（Ｓ４）。図５（Ａ）に、広域エリア４１のＡＦ枠５０を例示する。広域エリア４１は、例えば、検出枠３０の内部の領域と共通の中央位置及び所定倍大きいサイズを有し、検出枠３０を覆うように配置される。図５（Ａ）の例では、広域エリア４１中に、複数のＡＦ枠５０が配置されている。広域エリア４１中のＡＦ枠５０同士は、重畳してもよいし、別々のサイズを有してもよい。
【００４７】
一方、被写体が動いていないと画像認識部１２２によって検出された場合（Ｓ３でＮＯ）、コントローラ１３５は、例えば検出枠３０の中央に位置する中央エリア４２に、ＡＦ枠５０を設定する（Ｓ５）。図５（Ｂ）に、中央エリア４２のＡＦ枠５０を例示する。図５（Ｂ）の例では、中央エリア４２に、１つのＡＦ枠５０が配置されている。中央エリア４２は、例えば、検出枠３０の内部領域の中央位置を含み、同領域よりも所定倍、小さいサイズを有する。中央エリア４２のＡＦ枠５０は、例えば広域エリア４１のＡＦ枠５０の１つと共通に設定されてもよい（図５（Ａ）参照）。中央エリア４２は、被写体像の直上となることが想定される配置に適宜、設定されてもよい。
【００４８】
コントローラ１３５は、レリーズボタンが半押しされるまで（Ｓ６でＮＯ）、例えば所定の周期で、以上のステップＳ１〜Ｓ６の処理を繰り返す。当該周期は、例えば撮像画像Ｉｍのフレーム周期又はその複数倍である。
【００４９】
レリーズボタンが半押しされると（Ｓ６でＹＥＳ）、コントローラ１３５は、設定されたＡＦ枠５０に基づいて、合焦動作を行う（Ｓ７）。例えば、コントローラ１３５は、設定されたＡＦ枠５０内の画像領域に関してコントラスト値などの評価値を算出し、算出結果に応じてフォーカスレンズを駆動するようにレンズ駆動部１１２を制御する。広域エリア４１の使用時（Ｓ５）には、コントローラ１３５は、各々のＡＦ枠５０毎に評価値を算出し、評価値が最も良いＡＦ枠５０中の画像に対して合焦動作を行う。
【００５０】
その後、図４に示すように、レリーズボタンが全押しされていなければ（Ｓ８でＮＯ）、コントローラ１３５は、例えばステップＳ１〜Ｓ６と同様にＡＦ枠５０の設定を再度行う（Ｓ９〜Ｓ１３）。
【００５１】
具体的に、コントローラ１３５は、画像認識部１２２から検出情報を新たに取得し（Ｓ９）、新たな検出情報に基づき検出枠３０の表示を更新する（Ｓ１０）。さらに、新たな検出情報において、被写体の動きがあると検出されていれば（Ｓ１１でＹＥＳ）、コントローラ１３５は、更新した検出枠３０に対する広域エリア４１にＡＦ枠５０を設定する（Ｓ１２）。一方、被写体の動きがないと検出されていれば（Ｓ１１でＮＯ）、コントローラ１３５は、更新した検出枠３０に対する中央エリア４２にＡＦ枠５０を設定する（Ｓ１３）。
【００５２】
次に、コントローラ１３５は、再設定されたＡＦ枠５０に基づいて、例えばステップＳ７と同様に合焦動作を行う（Ｓ１４）。その後、コントローラ１３５は、レリーズボタンが全押しされるまで（Ｓ８でＮＯ）、所定の周期でステップＳ８〜Ｓ１４の処理を繰り返す。合焦動作の周期は、ステップＳ１〜Ｓ６の周期と同じであってもよいし、別途設定されてもよい。当該周期は、被写体の動きの有無に応じて変更されてもよい。
【００５３】
レリーズボタンが全押しされると（Ｓ８でＹＥＳ）、コントローラ１３５は、イメージセンサ１１５による撮像動作を制御して、撮像結果の画像データをメモリカード１４２等に記録する（Ｓ１５）。これにより、本フローチャートによる処理は終了する。
【００５４】
以上の処理によると、被写体が動いているか否かに応じてＡＦ枠５０の設定が動的に変更され（Ｓ３〜Ｓ５，Ｓ１１〜Ｓ１３）、被写体に合焦させる合焦動作を精度良く行える。
【００５５】
例えば、合焦動作の継続中（Ｓ７〜Ｓ１４）において被写体が最初は動いており、その後に静止した場合、まずは広域エリア４１にＡＦ枠５０が設定された（Ｓ１２）状態で合焦動作が行われる（Ｓ１４）。その後の静止時には（Ｓ１１でＮＯ）、広域エリア４１から中央エリア４２に縮小してＡＦ枠５０が設定されて（Ｓ１３）、合焦動作が行われる（Ｓ１４）。これにより、動いていた被写体の静止時に周辺物に偽合焦してしまう事態が回避し易くなり、合焦動作の精度を良くすることができる。
【００５６】
また、レリーズボタンの半押し前など（Ｓ１〜Ｓ６）、合焦前の時点から被写体の動きに応じてＡＦ枠５０の拡大／縮小を準備しておくことにより（Ｓ３〜Ｓ５）、合焦の開始時（Ｓ７）に即時、精度良く合焦可能となる。
【００５７】
〔１−２−１−１．被写体の検出処理〕
画像認識部１２２による被写体の検出処理について、図６を用いて説明する。
【００５８】
図６は、デジタルカメラ１００における被写体の検出処理の一例を示すフローチャートである。図６に例示するフローチャートは、例えば図３，４の実行中に並列して、画像認識部１２２によって行われる。
【００５９】
図６の例において、まず、画像認識部１２２は、イメージセンサ１１５から、現在の１フレーム分の撮像画像Ｉｍを取得する（Ｓ２１）。
【００６０】
次に、画像認識部１２２は、取得した撮像画像Ｉｍにおける被写体の画像認識を行って、被写体の現在位置の位置情報を取得する（Ｓ２２）。ステップＳ２１の処理は、例えば学習済みモデルに撮像画像Ｉｍの１フレーム分を入力し、処理結果を出力させることによって行われる。取得された位置情報は、例えば検出枠３０の座標に対応する。
【００６１】
画像認識部１２２は、検出した被写体の現在位置と、例えば所定のフレーム数分、過去に検出された被写体の位置とを比較する（Ｓ２３）。所定のフレーム数は、被写体の動きを検出するための比較対象の過去のタイミングを規定する。画像認識部１２２は、例えば対応する検出枠３０における中心座標を被写体の位置として算出する。
【００６２】
画像認識部１２２は、上記の比較結果に基づいて、被写体の動きがあるか否かを判断する（Ｓ２４）。例えば、画像認識部１２２は、被写体の現在位置と過去の位置との差分を算出し、算出した差分がしきい値を超える場合に、ステップＳ２４で「ＹＥＳ」に進む。ステップＳ２４の判断では、所定の複数フレーム分の平均演算を用いて行われてもよい。
【００６３】
画像認識部１２２は、被写体の動きがあると判断すると（Ｓ２４でＹＥＳ）、例えば動きフラグを「ＯＮ」に設定する（Ｓ２５）。動きフラグは、被写体の動きの検出結果を管理するフラグである。動きフラグにおいて、「ＯＮ」は被写体が動いていると検出されたことを示し、「ＯＦＦ」は被写体が動いていないと検出されたことを示す。
【００６４】
一方、画像認識部１２２は、被写体２０の動きがないと判断すると（Ｓ２４でＮＯ）、動きフラグを「ＯＦＦ」に設定する（Ｓ２６）。なお、ステップＳ２４のしきい値は、被写体が動いていないものとして無視できる程度の動きの大きさを考慮して設定可能である。
【００６５】
画像認識部１２２は、以上の検出結果を含む検出情報をコントローラ１３５に出力して（Ｓ２７）、例えばフレーム周期などの所定の周期で以上の処理を繰り返す。
【００６６】
以上の処理によると、画像認識によって被写体の動きをリアルタイムに検出することができる。動きフラグが「ＯＮ」のとき（Ｓ２５）、コントローラ１３５は、ステップＳ３又はＳ１１で「ＹＥＳ」に進み、ＡＦ枠５０が広域エリア４１に設定される（Ｓ４，Ｓ１２）。一方、動きフラグが「ＯＦＦ」のとき（Ｓ２６）、コントローラ１３５は、ステップＳ３又はＳ１１で「ＮＯ」に進み、ＡＦ枠５０が中央エリア４２に設定される（Ｓ５，Ｓ１３）。
【００６７】
以上の処理において、ステップＳ２３において、過去の比較対象を規定するフレーム数は、例えば、前回の動作周期において被写体が動いていると検出された場合よりも、動いていないと検出された場合に大きくなるように設定されてもよい。これにより、被写体の動きの有無に応じて比較対象の過去を軽視／尊重することができる。
【００６８】
以上の処理の一部又は全部は、コントローラ１３５において行われてもよい。例えば、上記のステップＳ２２までが画像処理エンジン１２０において行われ、ステップＳ２３以降がコントローラ１３５において行われてもよい。デジタルカメラ１００の検出部は、画像処理エンジン１２０とコントローラ１３５との協働によって実現されてもよい。
【００６９】
〔１−３．効果等〕
以上のように、本実施形態において、撮像装置の一例であるデジタルカメラ１００は、イメージセンサ１１５（撮像部）と、画像認識部１２２（検出部）と、コントローラ１３５（制御部）とを備える。イメージセンサ１１５は、被写体を撮像して撮像画像Ｉｍを生成する。画像認識部１２２は、被写体が動いているか否かを検出する。コントローラ１３５は、撮像画像Ｉｍにおいて設定される合焦対象の画像領域、即ちＡＦ枠５０中の画像領域に基づいて、合焦動作を制御する。コントローラ１３５は、被写体が動いていると画像認識部１２２が検出したとき（Ｓ３，Ｓ１１でＹＥＳ）、ＡＦ枠５０（合焦対象の画像領域）を、撮像画像Ｉｍにおける広域エリア４１（第１のエリア）に設定する（Ｓ４，Ｓ１２）。コントローラ１３５は、被写体が動いていないと画像認識部１２２が検出したとき（Ｓ３，Ｓ１１でＮＯ）、ＡＦ枠５０を、広域エリア４１よりも小さい中央エリア４２（第２のエリア）に設定する（Ｓ５，Ｓ１３）。
【００７０】
以上のデジタルカメラ１００によると、被写体が動いているか否かの検出結果に応じて広域エリア４１又は中央エリア４２が設定され、被写体の動きに応じて精度良く合焦することができる。
【００７１】
本実施形態において、中央エリア４２は、広域エリア４１の中央位置を含む。これにより、例えば動いていた被写体が静止したときに、広域エリア４１の中央近傍に縮小してＡＦ枠５０が設定される。撮像画像Ｉｍ上で広域エリア４１の中央近傍には、被写体が映っている可能性が充分に考えられることから、被写体に対する合焦の精度を良くすることができる。
【００７２】
また、本実施形態において、コントローラ１３５は、被写体が動いているか否かが検出される毎に（Ｓ３，Ｓ１１）、広域エリア４１又は中央エリア４２にＡＦ枠５０を設定する（Ｓ４，Ｓ５，Ｓ１２，Ｓ１３）。被写体の動きの検出時にＡＦ枠５０が設定されるエリアを動的に制御することにより、被写体の動きに応じて精度良く合焦することができる。
【００７３】
また、本実施形態において、コントローラ１３５は、広域エリア４１又は中央エリア４２に設定されたＡＦ枠５０に基づいて、合焦動作を実行する（Ｓ７，Ｓ１４）。広域エリア４１又は中央エリア４２を用いた合焦動作において、動き得る被写体に対する精度良い合焦を実現することができる。
【００７４】
また、本実施形態において、広域エリア４１は、ＡＦ枠５０を複数個分、含んでもよい（図５（Ａ）参照）。中央エリア４２は、１つのＡＦ枠５０を含んでもよい（図５（Ｂ）参照）。中央エリア４２は、広域エリア４１よりも少ない個数分のＡＦ枠５０を含んでもよい。
【００７５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００７６】
上記の実施形態１では、ＡＦＣモードにおけるデジタルカメラ１００の動作例を説明した（図３，４）。本開示はＡＦＣモードに限らず、例えばＡＦＳ(Auto Focus Single)モード又はＡＦＦ(Auto Focus Flexible)モードに適用されてもよい。
【００７７】
図３，４の動作例では、被写体の動きに応じた広域エリア４１又は中央エリア４２におけるＡＦ枠５０の設定が、レリーズボタンの半押し前（Ｓ３〜Ｓ５）と半押し後（Ｓ１１〜Ｓ１３）の双方で行われた。本実施形態では、レリーズボタンの半押し前（Ｓ３〜Ｓ５）と半押し後（Ｓ１１〜Ｓ１３）のいずれか一方で、上記と同様のＡＦ枠５０の設定が行われてもよい。
【００７８】
上記の各実施形態では、被写体の自動認識による検出枠３０が表示された。本実施形態において、被写体の検出枠３０は適宜、省略されてもよい。本実施形態において、デジタルカメラ１００は、合焦動作において被写体を自動認識しなくてもよく、例えば表示モニタ１３０のスルー画像上で予め設定された箇所に、検出枠３０に対応する枠を表示してもよい。広域エリア４１及び中央エリア４２は、このような枠を基準として設定されてもよい。
【００７９】
また、上記の各実施形態では、光学系１１０及びレンズ駆動部１１２を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１１２を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。
【００８０】
また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。
【００８１】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００８２】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００８３】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００８４】
本開示は、合焦動作を行う撮像装置に適用可能である。
【符号の説明】
【００８５】
３０  検出枠
４１  広域エリア
４２  中央エリア
５０  ＡＦ枠
１００  デジタルカメラ
１１５  イメージセンサ
１２０  画像処理エンジン
１２２  画像認識部
１３０  表示モニタ
１３５  コントローラ
【図１】
2020079834.tif 000003
【図２】
2020079834.tif 000004
【図３】
2020079834.tif 000005
【図４】
2020079834.tif 000006
【図５】
2020079834.tif 000007
【図６】
2020079834.tif 000008