(57)【要約】【課題】被写体が種々の苦手シーンであっても、偽合焦や非合焦とならず、無駄なＡＦ動作を防止するようにした撮像装置および焦点調節方法を提供する。【解決手段】画像データを入力し、所定の複数の画像分類のいずれに近いかを示す第１の指標を生成し（Ｓ１）、フォーカスレンズが合焦位置付近にあるか否かを判定し（Ｓ１３）、この判定の結果、フォーカスレンズが合焦位置付近にある場合には、第１の指標に基づいて特定の画像分類と判断された場合には（Ｓ１５Ｙｅｓ）、画像データに対応する画像のボケ状態を示す第２の指標を生成し（Ｓ１７）、第２の指標に基づいて、真の合焦位置にあるか否かを判定し（Ｓ１９）、この判定の結果、真の合焦位置にある場合には、真の合焦位置にフォーカスレンズを駆動する（Ｓ２３）。【選択図】  図１２
2019215489.tif 000002
【特許請求の範囲】
【請求項１】
被写体光を受光して画像データを生成する撮像部と、
上記画像データに基づいて焦点検出を行い、焦点検出結果に基づきフォーカス駆動を制御するフォーカス制御部と、
上記画像データを入力し、上記画像データが所定の複数の画像分類のいずれに近いかを示す第１の指標と、上記画像データに対応する画像のボケ状態を示す第２の指標を生成する指標生成部と、
上記指標生成部の出力に基づいて、上記フォーカス制御部におけるフォーカス駆動の制御を変更する制御部と、
を具備することを特徴とする撮像装置。
【請求項２】
上記指標生成部は、上記画像データが複数の画像分類のいずれであるかを示す指標を生成する第１のニューラルネットワークと、上記画像データに対応する画像のボケ状態を示す指標を生成する第２のニューラルネットワークを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記指標生成部は、上記画像データを画像の領域に応じて複数に分割し、分割された画像データのそれぞれを上記第１および／または第２のニューラルネットワークに入力することを特徴とする請求項２の撮像装置。
【請求項４】
上記指標生成部は、初段に畳み込み層を含むニューラルネットワークを有することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。
【請求項５】
上記指標生成部は、上記複数の画像分類として夜景シーン、または周期性被写体シーン、または遠近混在シーン、または上記以外のシーンを含むことを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。
【請求項６】
上記フォーカス制御部は、上記指標生成部の出力する指標が、上記夜景シーンを示す場合、焦点検出の結果として生成される評価値を輝度に応じて補正することを特徴とする請求項５に記載の撮像装置。
【請求項７】
上記フォーカス制御部は、上記指標生成部の出力する指標が、上記遠近混在シーンを示す場合、フォーカスを至近側に変更して焦点検出を行うことを特徴とする請求項５に記載の撮像装置。
【請求項８】
上記フォーカス制御部は、上記指標生成部の出力する指標が、上記夜景シーンを示し、かつ、ボケ状態を示す指標が所定量より大きいボケ量を示す場合、合焦と判断するための閾値を高くすることを特徴とする請求項５に記載の撮像装置。
【請求項９】
上記指標生成部の上記第２のニューラルネットワークは、画像分類に応じて複数のニューラルネットワークを有し、上記第１の指標に基づいて、上記複数のニューラルネットワークを選択して上記第２の指標を生成することを特徴とする請求項２に記載の撮像装置。
【請求項１０】
上記指標生成部は、画像データを画像の領域に応じて複数に分割し、それぞれの領域と画像全体について上記第１のニューラルネットワークを用いて画像分類を行い、この画像分類結果に基づいて、上記第１の指標を生成することを特徴とする請求項２に記載の撮像装置。
【請求項１１】
上記フォーカス制御部は、上記第１の指標が大ボケ状態を示す場合には、通常より高速でフォーカスレンズを駆動することを特徴とする請求項１に記載の撮像装置。
【請求項１２】
被写体光を撮像素子によって受光して画像データを生成し、
上記画像データを入力し、上記画像データが所定の複数の画像分類のいずれに近いかを示す第１の指標と、上記画像データに対応する画像のボケ状態を示す第２の指標を生成し、
上記画像データに基づいて焦点検出を行い、焦点検出結果に基づきフォーカス動作を制御するにあたって、上記第１の指標および第２の指標に基づいて、上記フォーカス駆動制御を変更する、
ことを特徴とする焦点調節方法。
【請求項１３】
画像データを入力し、所定の複数の画像分類のいずれに近いかを示す第１の指標を生成し、
フォーカスレンズが合焦位置付近にあるか否かを判定し、
この判定の結果、フォーカスレンズが合焦位置付近にある場合には、上記第１の指標に基づいて特定の画像分類と判断された場合には、上記画像データに対応する画像のボケ状態を示す第２の指標を生成し、
上記第２の指標に基づいて、真の合焦位置にあるか否かを判定し、この判定の結果、真の合焦位置にある場合には、上記真の合焦位置に上記フォーカスレンズを駆動する、
ことを特徴とする焦点調節方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子からの画像信号に基づいて、レンズの焦点調節を行う撮像装置および焦点調節方法に関する。
【背景技術】
【０００２】
撮像装置に備えられた撮影レンズの自動焦点検出の方式として、位相差検出方式やコントラストＡＦ方式が使用されている。コントラストＡＦは、撮影レンズによって形成された被写体像のコントラスト値（ＡＦ評価値ともいう）を算出し、このコントラスト値がピーク値となるように撮影レンズの位置を制御する方式である。
【０００３】
しかし、コントラストＡＦ方式は、夜景撮影時における点光源のような被写体に対して、正確に焦点検出を行うことが困難である。すなわち、イルミネーションや車のヘッドライトがあるような夜景シーンにおいて、撮影レンズの焦点位置が大ボケ状態の場合には、丸くボケるが、エッジははっきりと現われることから、偽合焦となり易い。そこで、ＡＦ評価値を加工することにより、偽合焦の発生を防止する焦点検出装置が提案されている（特許文献１参照）。また、ＡＦ評価値の変化量やフォーカスレンズ位置をニューラルネットワークに入力し、合焦位置の方向を検出するようにしたオートフォーカス装置が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−００９７５２号公報
【特許文献２】特開平７−０３８７９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
被写体が夜景シーンの場合に、上述した特許文献１に開示された焦点検出装置では、偽合焦を防止することができる。しかし、夜景シーン等の苦手シーンでないにもかかわらず、苦手シーンを克服するための補正処理（例えば、特許文献１に開示された処理）を実施すると偽合焦を防止できず、合焦させることができない場合がある。また、特許文献２に開示されたオートフォーカス装置では、被写体位置を予測するものであり、ＡＦ制御を切り換えて、種々の苦手シーンにおいて合焦させることができない。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、被写体が種々の苦手シーンであっても、偽合焦や非合焦とならず、無駄なＡＦ動作を防止するようにした撮像装置および焦点調節方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係る撮像装置は、被写体光を受光して画像データを生成する撮像部と、上記画像データに基づいて焦点検出を行い、焦点検出結果に基づきフォーカス駆動を制御するフォーカス制御部と、上記画像データを入力し、上記画像データが所定の複数の画像分類のいずれに近いかを示す第１の指標と、上記画像データに対応する画像のボケ状態を示す第２の指標を生成する指標生成部と、上記指標生成部の出力に基づいて、上記フォーカス制御部におけるフォーカス駆動の制御を変更する制御部と、を具備する。
【０００８】
第２の発明に係る撮像装置は、上記第１の発明において、上記指標生成部は、上記画像データが複数の画像分類のいずれであるかを示す指標を生成する第１のニューラルネットワークと、上記画像データに対応する画像のボケ状態を示す指標を生成する第２のニューラルネットワークを有する。
第３の発明に係る撮像装置は、上記第２の発明において、上記指標生成部は、上記画像データを画像の領域に応じて複数に分割し、分割された画像データのそれぞれを上記第１および／または第２のニューラルネットワークに入力する。
【０００９】
第４の発明に係る撮像装置は、上記第１ないし第３の発明において、上記指標生成部は、初段に畳み込み層を含むニューラルネットワークを有する。
第５の発明に係る撮像装置は、上記第１ないし第４の発明において、上記指標生成部は、上記複数の画像分類として夜景シーン、または周期性被写体シーン、または遠近混在シーン、または上記以外のシーンを含む。
【００１０】
第６の発明に係る撮像装置は、上記第５の発明において、上記フォーカス制御部は、上記指標生成部の出力する指標が、上記夜景シーンを示す場合、焦点検出の結果として生成される評価値を輝度に応じて補正する。
第７の発明に係る撮像装置は、上記第５の発明において、上記フォーカス制御部は、上記指標生成部の出力する指標が、上記遠近混在シーンを示す場合、フォーカスを至近側に変更して焦点検出を行う。
第８の発明に係る撮像装置は、上記第５の発明において、上記フォーカス制御部は、上記指標生成部の出力する指標が、上記夜景シーンを示し、かつ、ボケ状態を示す指標が所定量より大きいボケ量を示す場合、合焦と判断するための閾値を高くする。
【００１１】
第９の発明に係る撮像装置は、上記第２の発明において、上記指標生成部の上記第２のニューラルネットワークは、画像分類に応じて複数のニューラルネットワークを有し、上記第１の指標に基づいて、上記複数のニューラルネットワークを選択して上記第２の指標を生成する。
第１０の発明に係る撮像装置は、上記第２の発明において、上記指標生成部は、画像データを画像の領域に応じて複数に分割し、それぞれの領域と画像全体について上記第１のニューラルネットワークを用いて画像分類を行い、この画像分類結果に基づいて、上記第１の指標を生成する。
第１１の発明に係る撮像装置は、上記第１の発明において、上記フォーカス制御部は、上記第１の指標が大ボケ状態を示す場合には、通常より高速でフォーカスレンズを駆動する。
【００１２】
第１２の発明に係る焦点調節方法は、被写体光を撮像素子によって受光して画像データを生成し、上記画像データを入力し、上記画像データが所定の複数の画像分類のいずれに近いかを示す第１の指標と、上記画像データに対応する画像のボケ状態を示す第２の指標を生成し、上記画像データに基づいて焦点検出を行い、焦点検出結果に基づきフォーカス動作を制御するにあたって、上記第１の指標および第２の指標に基づいて、上記フォーカス駆動制御を変更する。
第１３の発明に係る焦点調節方法は、画像データを入力し、所定の複数の画像分類のいずれに近いかを示す第１の指標を生成し、フォーカスレンズが合焦位置付近にあるか否かを判定し、この判定の結果、フォーカスレンズが合焦位置付近にある場合には、上記第１の指標に基づいて特定の画像分類と判断された場合には、上記画像データに対応する画像のボケ状態を示す第２の指標を生成し、上記第２の指標に基づいて、真の合焦位置にあるか否かを判定し、この判定の結果、真の合焦位置にある場合には、上記真の合焦位置に上記フォーカスレンズを駆動する。
【発明の効果】
【００１３】
本発明によれば、被写体が種々の苦手シーンであっても、偽合焦や非合焦とならず、無駄なＡＦ動作を防止するようにした撮像装置および焦点調節方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係るカメラにおいて、被写体が夜景シーンである場合のＡＦ制御を説明するグラフである。
【図３】本発明の一実施形態に係るカメラにおいて、被写体が夜景シーンである場合のＡＦ制御を説明する図である。
【図４】本発明の一実施形態に係るカメラにおいて、被写体が周期性のパターを有する場合のＡＦ制御を説明するである。
【図５】本発明の一実施形態におけるカメラにおいて、被写体が遠近混在の場合のＡＦ制御を説明する図である。
【図６】本発明の一実施形態におけるカメラにおいて、被写体が一般シーンの場合のＡＦ制御を説明する図である。
【図７】本発明の一実施形態におけるカメラにおいて、苦手シーンを判断するニューラルネットワークを説明する図である。
【図８】本発明の一実施形態におけるカメラにおいて、苦手シーンの場合のＡＦ制御を説明するグラフである。
【図９】本発明の一実施形態におけるカメラにおいて、ニューラルネットワークの学習結果による切替を示す図表である。
【図１０】本発明の一実施形態におけるカメラにおいて、ＡＦエリアの分割を示す図である。
【図１１】本発明の一実施形態におけるカメラにおいて、シーン判断結果と静止画撮影時の合焦判断に使用するニューラルネットワーク（ＮＮ）の関係を示す図表である。
【図１２】本発明の一実施形態におけるカメラにおいて、静止画撮影待機時の焦点調節動作を示すフローチャートである。
【図１３】本発明の一実施形態におけるカメラにおいて、シーン認識の動作を示すフローチャートである。
【図１４】本発明の一実施形態におけるカメラにおいて、動画撮影待機／記録時の焦点調節動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明に係る撮像装置を、一実施形態としてデジタルカメラ（「カメラ」と略す）に適用した例について説明する。撮像装置は、デジタルカメラ及びスマートフォンといった機器の他、フォーカスレンズを有する各種の撮像装置を含む。本実施形態に係るカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。静止画撮影時にレリーズを操作すると、静止画の画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。また、動画撮影時に、動画釦等を操作すると、動画の画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１６】
また、このカメラは、ニューラルネットワークを有しており、このニューラルネットワークには、被写体のシーンを分類するための学習結果と、画像のボケ状態（合焦、非合焦等）を判断するための学習結果が設定されている。撮像部からの画像データをニューラルネットワークに入力し、被写体のシーン分類を行い、画像のボケ状態、合焦状態を判定する。
【００１７】
図１は、本実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、交換レンズ１０と、カメラ本体２０とを有している。交換レンズ１０とカメラ本体２０とは、カメラ本体２０のマウント部１５に設けられた電気信号接点１６を介して電気的に接続されている。なお、交換レンズ１０およびカメラ本体２０を一体に構成しても勿論かまわない。この場合には、交換レンズ１０内のレンズＣＰＵ（Central Processing Unit）の機能をカメラ本体２０内のＣＰＵが担えばよい。
【００１８】
交換レンズ１０は、レンズ部１０ａと、レンズ制御部１３と、レンズＣＰＵ１４とを有している。また、図では省略されているが、交換レンズ１０は記憶部（メモリ）を有する。この記憶部はレンズ情報を記憶しており、このレンズ情報はレンズ部１０ａを構成するレンズに関する情報である。また記憶部は、交換レンズ１０の動作に必要なプログラム及びパラメータ等を記憶する。この記憶部は、例えばレンズＣＰＵ１４内に設けられている。勿論、記憶部は、レンズＣＰＵ１４とは別に設けられていてもよい。
【００１９】
また、交換レンズ１０の各ブロックは、例えばハードウェアによって構成されている。しかしながら、一部のブロックは必ずしもハードウェアによって構成されている必要はなく、ソフトウェアによって構成されていてもよい。また、交換レンズ１０の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【００２０】
レンズ部１０ａは、被写体からの光束をカメラ本体２０の撮像素子２１に結像させるための光学系を含む。レンズ部１０ａは、フォーカスレンズ１１を含む単一又は複数のレンズと、絞り１２とを有している。ここで、レンズ部１０ａの光学系は、ズームレンズとして構成されていてもよい。絞り１２は、その口径が可変に構成されており、撮像素子２１に入射する被写体からの光束を規制する。絞り１２の口径を変化させることにより、撮像素子２１に入射する光量を制御することができる。
【００２１】
レンズ制御部１３は、フォーカスレンズ１１等および絞り１２を駆動するためのモータ等のアクチュエータと、このアクチュエータの駆動制御を行う駆動制御回路を含む。レンズＣＰＵ１４からの制御信号に基づいて、レンズ制御部１３は、レンズ部１０ａのフォーカスレンズ１１を光軸方向に駆動することにより、焦点調節を行う。また、レンズ制御部１３は、レンズＣＰＵ１４からの制御信号に基づいて、絞り１２を駆動することによって、絞り値を制御する。
【００２２】
レンズＣＰＵ１４は、レンズ制御用のプロセッサであり、ＣＰＵ（Central Processing Unit）および周辺回路を有する。前述したように、プログラムおよび／またはパラメータ等を記憶するメモリを有していてもよい。レンズＣＰＵ１４は、電気信号接点１６を介してカメラ本体２０のＣＰＵ２８と通信できるように構成されている。レンズＣＰＵ１４は、ＣＰＵ２８の制御の下でレンズ制御部１３の制御を行う。レンズＣＰＵ１４は、必ずしもＣＰＵである必要はなく、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等によって構成されていてもよい。
【００２３】
カメラ本体２０は、撮像素子２１、撮像信号処理部２２、撮像制御部２３、記録部２４、表示部２５、操作部２６、メモリ２７、ＣＰＵ２８、ＡＦ処理部２９、ＡＥ処理部３０、ストロボ装置３１、バス３２を有している。また、図では省略されているが、カメラ本体２０は、カメラ本体２０の動作に必要なプログラム及びパラメータ等を記憶した記憶部（メモリ）を有している。この記憶部は、例えばＣＰＵ２８に設けられている。勿論、この記憶部は、ＣＰＵ２８とは別に設けられていてもよい。
【００２４】
また、カメラ本体２０の各ブロックは、例えばハードウェアによって構成されている。しかしながら、一部のブロックは必ずしもハードウェアによって構成されている必要はなく、ソフトウェアによって構成されていてもよい。また、カメラ本体２０の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。例えば、ＡＦ処理部２９、ＡＥ処理部３０の機能の全部または一部は、記憶部（メモリ）に記憶されたプログラムによって、ＣＰＵ２８によって実現されるようにしてもよい。
【００２５】
撮像部としての撮像素子２１は、レンズ部１０ａの光軸上であって、被写体像の結像位置の付近に配置されている。撮像素子２１は、２次元状に配列された複数の画素を備えている。それぞれの画素は、フォトダイオード等からなる光電変換部を有し、被写体像（光学像）を電気信号に変換する。ここで、撮像素子２１の画素には、焦点検出画素が含まれていてもよい。焦点検出画素は、例えば入射する光束の入射方向を制限するように構成されている。焦点検出画素の構成としては、例えばマイクロレンズを用いた瞳分割方式によって光束の入射方向を制限する構成、画素の一部を遮光することによって光束の入射方向を制限する構成がある。本実施形態では、任意の構成の焦点検出画素を用いることができる。なお、以下の説明では、撮像素子２１の画素には、焦点検出画素が含まれているものとする。撮像素子２１は、被写体光を受光して画像データを生成する撮像部として機能する。
【００２６】
撮像信号処理部２２は、撮像信号処理回路を有し、撮像素子２１の各画素から出力される撮像信号に対して増幅処理等の各種の信号処理を行う。撮像信号処理部２２によって処理された信号は、バス３２に出力される。
【００２７】
撮像制御部２３は、撮像制御回路を有し、ＣＰＵ２８からの制御信号に従って撮像素子２１に対して撮像制御信号（垂直同期信号ＶＤ等）を出力し、撮像素子２１の各画素における電荷蓄積の制御と撮像信号の読み出しの制御とを行う。
【００２８】
記録部２４は、例えば電気的に書き換え可能な不揮発性の半導体メモリであり、カメラ本体２０に固定されていても、また装填可能であってもよい。記録部２４には、カメラ本体２０で発生した各種のデータが記録される。例えば、記録部２４には、撮影の結果として得られた画像ファイルが記録される。
【００２９】
表示部２５は、例えば、カメラ本体２０の背面の外装部等に配置された液晶ディスプレイ、または有機ＥＬディスプレイである。表示部２５は、撮像素子２１を介して得られたライブビュー画像及び記録部２４に記録された画像等の各種の画像を表示する。また、表示部２５には、各種メニュー画面が表示される。なお、表示部２５は、カメラ本体２０の外装部以外に配置されたディスプレイ以外にも、電子ビューファインダであってもよい。
【００３０】
操作部２６は、ユーザによって操作される各種の操作部材であり、インターフェースでもある。操作部２６としては、例えば、レリーズボタン、動画ボタン、モードボタン、選択キー、電源ボタンといった各種の操作ボタン及びタッチパネル等の各種の操作部材が含まれる。
【００３１】
レリーズボタンは、１ｓｔレリーズスイッチと２ｎｄレリーズスイッチを有している。１ｓｔレリーズスイッチは、レリーズボタンの半押し（１ｓｔレリーズ操作）によってオンするスイッチである。１ｓｔレリーズスイッチのオンによって、焦点調節指示検出部としてのＣＰＵ２８にはＡＦ（焦点調節）及びＡＥ（露出調節）といった撮影準備の指示が与えられる。２ｎｄレリーズスイッチは、レリーズボタンの全押し（２ｎｄレリーズ操作）によってオンするスイッチである。２ｎｄレリーズスイッチのオンによって、指示検出部としてのＣＰＵ２８には静止画撮影の指示が与えられる。動画ボタンは、動画撮影の指示をするための操作部材である。
【００３２】
モードボタンは、カメラ（撮像装置）の撮影設定を選択するための操作部材である。選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。電源ボタンは、撮像装置の電源をオン又はオフするための操作部材である。タッチパネルは、表示部２５の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置を検出する。ＣＰＵ２８は、ユーザの指等の接触位置に応じた処理を実行する。タッチパネルは、撮像装置の動作モードを例えば連続撮影モード（連写モード）に切り替えるための連写モード設定部や連写速度を設定するための連写速度設定部の一例として機能する。勿論、連写モード設定部及び連写速度設定部の機能は、タッチパネル以外の操作部材によって実現されてもよい。
【００３３】
メモリ２７は、電気的に書き換えできるメモリであり、撮像信号処理部２２で処理されたデータ、ＡＦ処理部２９又はＡＥ処理部３０における処理データ等の各種データを一時的に記憶する。連続撮影モード（連写モード）中においては、メモリ２７は、連写用バッファとして機能する。連写用バッファとは、連写モード中の画像処理をはじめとする各種演算等に必要となる作業用のバッファのことである。
【００３４】
ＣＰＵ２８は、カメラ本体２０の制御を行うプロセッサであり、ＣＰＵおよび周辺回路を有する。前述したように、プログラムおよび／またはパラメータ等を記憶するメモリを有していてもよい。例えば、ＣＰＵ２８は、撮像制御部２３を制御して撮像素子２１の動作を制御する。また、ＣＰＵ２８は、１ｓｔレリーズスイッチのオンに応じてＡＦ動作及びＡＥ動作を開始したり、２ｎｄレリーズスイッチのオンに応じて静止画撮影を開始したりする。なお、ＣＰＵ２８は、必ずしもＣＰＵである必要はなく、ＡＳＩＣ、ＦＰＧＡ等によって構成されていてもよい。ＣＰＵ２８は、指標生成部の出力に基づいて、フォーカス制御部におけるフォーカス駆動の制御を変更する制御部として機能する。
【００３５】
ＡＦ処理部２９は、フォーカス制御用のプロセッサを含み、フォーカスレンズ１１の駆動に伴って撮像素子２１から出力される撮像信号からコントラストの評価値を算出する。また、ＡＦ処理部２９は、例えば対をなす焦点検出画素から出力される撮像信号の間の位相差から合焦位置までのずれ方向（焦点ずれ方向）とずれ量（焦点ずれ量）を算出する。ＣＰＵ２８は、ＡＦ処理部２９で得られる評価値や焦点ずれ量、焦点ずれ方向を用いてＡＦ動作を行う。
【００３６】
また、ＡＦ処理部２９は、図７を用いて後述するニューラルネットワーク（推論エンジン）２９ａを有する。このニューラルネットワーク２９ａは、被写体シーンを分類するための学習結果（推論モデル）を設定し、入力部に画像データを入力することにより、被写体シーンの分類結果を得ることができる。この被写体シーンの分類結果に応じて、苦手シーンか否かを判断することができる。また、ニューラルネットワーク２９ａは、画像のボケ状態を判断するための学習結果（推論モデル）も設定可能であり、入力部に画像データを入力することにより、画像のボケ状態（合焦、非合焦状態等）を判断することができる。さらに、ボケ状態を判断するための学習結果（推論モデル）は、個々の被写体シーンに応じて、それぞれ最適の学習結果を設定することもできる。
【００３７】
ＡＦ処理部２９は、画像データに基づいて焦点検出を行い、焦点検出結果に基づきフォーカス動作を制御するフォーカス制御部として機能する（例えば、図１２のＳ２３参照）。またニューラルネットワーク２９ａは、画像データを入力し、画像データが所定の複数の画像分類のいずれに近いかを示す第１の指標と、上記画像データに対応する画像のボケ状態を示す第２の指標を生成する指標生成部として機能する（例えば、図１２のＳ３、Ｓ１７、図１３のＳ３１参照）。
【００３８】
上述の指標生成部は、画像データが複数の画像分類のいずれであるかを示す指標を生成する第１のニューラルネットワーク（例えば、図９のシーン判断用ＮＮ参照）と、画像データに対応する画像のボケ状態を示す指標を生成する第２のニューラルネットワーク（例えば、図９の焦点状態判断用ＮＮ）を有する。また、指標生成部は、画像データを画像の領域に応じて複数に分割し、分割された画像データのそれぞれを第１および／または第２のニューラルネットワークに入力する（例えば、図１０参照）。また、指標生成部は、初段に畳み込み層を含むニューラルネットワークを有する（例えば、図７のＲ１〜Ｒ３参照）。また、指標生成部は、複数の画像分類として夜景シーン、または周期性被写体シーン、または遠近混在シーン、または上記以外のシーンを含む（例えば、図３〜図６参照）。
【００３９】
上述のフォーカス制御部は、指標生成部の出力する指標が、夜景シーンを示す場合、焦点検出の結果として生成される評価値を輝度に応じて補正する（例えば、図２（ｂ）参照）。なお、このフォーカス制御部の機能は、ＣＰＵ２８が行ってもよい。また、フォーカス制御部は、指標生成部の出力する指標が、遠近混在シーンを示す場合、フォーカスレンズの駆動方向を至近側に変更して焦点検出を行う（例えば、図５参照）。また、フォーカス制御部は、指標生成部の出力する指標が、夜景シーンを示し、かつ、ボケ状態を示す指標が所定量より大きいボケ量を示す場合、合焦と判断するための閾値を高くする（例えば、図３参照）。フォーカス制御部は、第１の指標が大ボケ状態を示す場合には、通常より高速でフォーカスレンズを駆動する（例えば、図１２のＳ７、Ｓ９参照）。なお、上述した各フォーカス制御部の機能は、ＡＦ制御部２９に限らず、ＣＰＵ２８が行ってもよく、またＡＦ制御部２９とＣＰＵ２８が協働して行ってもよい。
【００４０】
また、上述の指標生成部の第２のニューラルネットワークは、画像分類に応じて複数のニューラルネットワークを有し、第１の指標に基づいて、複数のニューラルネットワークを選択して第２の指標を生成する（例えば、図１１、図１２のＳ１７参照）。指標生成部は、画像データを画像の領域に応じて複数に分割し、それぞれの領域と画像全体について第１のニューラルネットワークを用いて画像分類を行い、この画像分類結果に基づいて、上記第１の指標を生成する（例えば、図１３のＳ３１参照）。
【００４１】
ＡＥ処理部３０は、被写体輝度に基づいて撮像素子２１の露出を適正にするための絞り値及びシャッタ速度の条件を算出する。被写体輝度は、例えば撮像素子２１から出力される撮像信号から算出される。被写体輝度は、専用の測光センサによって測定されるものであってもよい。
【００４２】
ストロボ装置３１は、被写体に向けて投光する発光部を有する。例えば、ストロボ装置３１は、被写体輝度が低いとき、逆光であるときにおいて被写体に対して照明光を発する。
【００４３】
次に、図２を用いて、夜景シーンを例にとり、苦手シーンごとにＡＦ制御方法を切り替えることについて説明する。図２は、被写体が夜景であり、フォーカスレンズ１１の位置を変化させ（横軸参照）、このときのＡＦ評価値（ＡＦｖａｌ、ＬＡＦ１０）および輝度評価値ＬＶＢ１０の変化を示すグラフである。図２（ａ）は補正前を示し、図２（ｂ）は補正後を示す。
【００４４】
図２（ａ）において、ＡＦ評価値（ＡＦｖａｌ）は、位置Ｐ１、Ｐ３の２か所でピーク値となり、この偽合焦位置に基づいて焦点検出することから、正確な合焦位置を検出することができない。図２（ｂ）は、図２（ａ）の状態において、補正を行った場合を示し、ＡＦ評価値は、位置Ｐ２でピーク値となり、正確な合焦位置を検出することができる。ここでの補正としては、輝度評価値を２乗もしくは３乗して補正値を算出し、この補正値を用いてＡＦ評価値を補正する。
【００４５】
しかし、夜景シーンにもかかわらず、ＡＦ評価値を加工する補正演算を実施すべきと判断できずに、そのままＡＦ評価値を使ってピント検出を行ってしまうと、大ボケとなってしまう。例えば、夜景シーンにおけるＡＦ評価値の補正は、図２（ｂ）に示すようにＡＦ評価値（ＬＡＦ１０）に対して輝度評価値（ＬＢＶ１０）を用いて、強力な補正を行う（図２（ｂ）参照）。このため、昼間の一般的なシーンにおいて、ＡＦ評価値に夜景シーン用の補正演算を実施してしまうと、過補正となってしまい、ＡＦ精度が低下して小ボケが発生してしまう。
【００４６】
そこで、本実施形態においては、ニューラルネットワークを用いて、予め苦手シーンを学習して推論モデルを生成しておき、この推論モデルを用いて、被写体シーンを的確に分類できるようにする。苦手シーンとしては、本実施形態においては、夜景シーン、周期性被写体、遠近混在被写体の３シーンである。学習にあたっては、この３シーンの他、通常シーンについても分類できるようにする。また、合焦状態についても、大ボケ状態、合焦状態、中間状態の３状態を分類できるように学習する。さらに、合焦状態の学習にあたっては、夜景シーン、周期性被写体、遠近混在被写体のそれぞれに特化した推論モデルを生成しておき、被写体シーンに応じて、推論モデルを選択する。
【００４７】
ニューラルネットワークにおける学習にあたって、夜景シーン（図３参照）の場合には、点光源のシーンを入力情報として与えて学習する。また周期性被写体シーンの学習は、周期パターンの印刷物やビルの窓（図４参照）等、周期的なパターンを入力情報として与えて学習する。また、遠近混在シーンの学習は、例えば、鳥と藪（図５参照）、顔と街中や木漏れ日等、遠方の被写体と、近距離の被写体が混在しているようなパターンを入力情報として与えて学習する。
【００４８】
図３は、被写体が夜景シーンの場合のＡＦ制御を説明する図である。図３のグラフの横軸はフォーカスレンズ位置であり、縦軸はＡＦ評価値である（横軸および縦軸は、図４ないし図６、および図８においても同じ）。画像ＩＭ１はフォーカスレンズ１１が位置Ｐ１１にある場合の画像である。この位置では、ピントがあっていないことから、大ボケ状態である。また、画像ＩＭ２は、フォーカスレンズ１１が位置Ｐ１６にある場合の画像である。この場合には、フォーカスレンズ１１が合焦近傍（但し、真の合焦位置はＰ１５）にあることから、若干ピントのずれた画像となっている。
【００４９】
被写体が夜景シーンの場合、ＡＦ評価値は、図３に示すように、フォーカスレンズ１１の位置Ｐ１２、Ｐ１３、Ｐ１６において極大値となり、位置Ｐ１３、Ｐ１５において極小値となる。夜景シーンの場合には、輝点の影響により、真の合焦位置ではＡＦ評価値が極小値となってしまう。従って、極大値となる位置Ｐ１２、Ｐ１４、Ｐ１６はいずれも偽合焦位置であり、真の合焦位置は位置Ｐ１５である。
【００５０】
このような夜景シーンに対応するＡＦ評価値の場合には、位置Ｐ１２付近でＡＦ評価値は極大値となり、合焦と誤って判断してしまうおそれがある。そこで、神の合焦位置Ｐ１５の付近に位置するＡＦ評価値の極大値（例えば、位置Ｐ１４）から離れた裾野の領域の極大値で合焦と判断し偽合焦してしまわないように、夜景シーンの場合には、合焦の判断条件を厳しくする。また、位置Ｐ１４〜位置１６付近において、特許文献１に開示されているような、補正処理を行うことにより、真の合焦位置（Ｐ１５）を検出し、この位置にピントを合わせる。
【００５１】
図４は、被写体が周期性パターンを有するシーンの場合である。画像ＩＭ４は、フォーカスレンズ１１が真の合焦位置であるＰ２３にある場合の画像であり、ピントがあった状態である。ＡＦ評価値は、図４に示すように、フォーカスレンズ１１の位置Ｐ２１、Ｐ２３において極大値となり、位置Ｐ２２において、極小値となる。図４から分かるように、ＡＦ評価値は、真の合焦位置Ｐ２３に位置するＡＦ評価値の極大値（位置Ｐ２３）から離れた裾野の位置Ｐ２１において極大となっており、誤って合焦と判断するおそれがある（偽合焦）。そこで、夜景シーンの場合と同様に、被写体が周期性パターンの場合には、合焦の判断条件を厳しくする。
【００５２】
図５は、被写体が遠近混在シーンの場合である。画像ＩＭ６は、遠方の被写体と近距離の被写体が混在しており、遠方にピントがあっているが、撮影の主対象となる被写体にはピント合っておらず、大ボケの状態である。画像ＩＭ７は、藪の中に鳥がいるシーンである。この場合には、撮影対象である鳥Ｏ７にピントがあっており、鳥Ｏ７に対して合焦状態である。
【００５３】
ＡＦ評価値は、図５に示すように、フォーカスレンズ１１の位置Ｐ３１、Ｐ３３において極大値となり、位置Ｐ３２において、極小値となる。図５から分かるように、ＡＦ評価値は、位置Ｐ３１において極大値となり、この値は位置Ｐ３３よりも大きい。しかし、撮影主対象は、位置Ｐ３３で合焦となる。そこで、遠近混在シーンの場合には、位置Ｐ３１において合焦判断したとしても所定範囲（例えば、デフォーカス量に換算して５０Ｆδ程度）は、至近側（横軸の右側）にレンズ駆動を行い、至近側に被写体がいないか否かについて確認する。この処理を行うことにより、真の合焦位置Ｐ３３にフォーカスレンズを移動させ、撮影主対象にピントを合わせることができる。なお、上述の「５０Ｆδ」のＦは絞り値であり、δは許容錯乱円径である。
【００５４】
図６は、一般的な被写体のシーンである。画像ＩＭ９は、ピントのあった状態である。フォーカスレンズ１１を遠距離側から近距離側に向けて移動させるに応じて、ＡＦ評価値は単調に増加する。そして、位置Ｐ４２において極大値となり、以後、近距離側に向けて移動させるに応じて、ＡＦ評価値は単調に減少する。このため、位置Ｐ４１において、誤って合焦と判断する（偽合焦）おそれは殆どない。そこで、被写体が一般シーンの場合には、偽合焦のリスクが少ないので、ＡＦ評価値が増加していき、ピークを越えたと判断したら、合焦位置が検出できたと判断する。このＡＦ処理によって、処理時間を最短とすることができる。
【００５５】
次に、図７を用いて、苦手シーンを学習するためのニューラルネットワークについて説明する。本実施形態においては、図３ないし図６を用いて説明したように、シーンによってＡＦ制御方法を切り替える。シーンの分類は、本実施形態においては、深層学習（ディープラーニング）によるニューラルネットワークを使用する。ニューラルネットワーク２９ａは、ＡＦ処理部２９内に設けられた推論エンジンである。
【００５６】
ニューラルネットワーク２９ａは、図７に示すように、入力部Ｉ、畳み込み層Ｒ１〜Ｒ３、中間層Ｒ４〜Ｒ６、および出力部Ｏ１〜Ｏ４を有する。本実施形態におけるニューラルネットワーク２９ａの初段から３段目（Ｒ１〜Ｒ３）は畳み込み層であり、４段目から６段目（Ｒ４〜Ｒ６）は中間層である。入力部Ｉには、画像が入力され、畳み込み層Ｒ１〜Ｒ３は、限定されたエリアのみの信号に応答する。中間層Ｒ４〜Ｒ６において、各ニューロン間の結合の強さが学習によって決定される。
【００５７】
深層学習は、入力画像とシーンの分類結果からなる多数の教師用データを用意し、入力画像を入力部Ｉに入力し、分類結果が出力されるように、畳み込み層の限定エリアおよび各ニューロン間の結合の強さを学習させる。学習結果（推論モデル）を、ＡＦ処理部２９内に設けられたニューラルネットワーク（推論エンジン）に設定し、入力部Ｉに撮像素子２１の出力に基づく画像データを入力することにより、出力部からシーンの分類結果が出力される。
【００５８】
図７において、例えば、入力画像が一般シーンの場合には出力Ｏ１から一般被写体であることが出力され、入力画像が夜景シーンの場合には、出力Ｏ２から夜景シーンであることが出力される。また、例えば、入力画像が遠近混在の場合には、出力Ｏ３から遠近混在シーンであることが出力され、入力画像が周期性パターンの場合には、出力Ｏ４から周期性パターンであることが出力される。
【００５９】
なお、教師用データを用いた深層学習は、カメラ本体２０内のＡＦ処理部２９で行ってもよいが、予め外部の深層学習装置を用いて行い、この学習結果をＡＦ処理部２９内のニューラルネットワーク（推論エンジン）に設定しておけばよい。
【００６０】
また、教師用データとしては、前述の被写体シーン分類だけに限らず、大ボケ状態・合焦・中間状態等の焦点状態判定のための教師用データを用意して、深層学習を行い、学習結果を得る。この学習結果をＡＦ処理部２９内のニューラルネットワーク（推論エンジン）に設定する。この学習結果（推論モデル）を用いて、焦点状態を判定することができる。１つのニューラルネットワークに、複数種類の学習結果（推論モデル）のいずれかを選択的に設定可能にしておけばよいが、これに限らず、ここの学習結果毎に複数のニューラルネットワークを設けるようにしてもよい。
【００６１】
次に、苦手シーン（例えば、夜景、周期性、遠近混在）の場合のＡＦ制御の切り替えについて説明する。ニューラルネットワーク２９ａによって、夜景シーン（図３参照）および木漏れ日シーンと判断された場合には、ＡＦ処理部２９は、夜景用ＡＦ評価値補正演算を行う（図３参照）。夜景用ＡＦ評価値補正演算は、特許文献１に開示されているＡＦ評価値の補正演算であり、輝度評価値を用いて、ＡＦ評価値を補正する（図２（ｂ）参照）。なお、ＡＦ評価値の補正演算は、ＡＦ処理部２９に限らず、ＣＰＵ２８において行ってもよい。
【００６２】
また、ニューラルネットワーク２９ａによって、苦手シーン（例えば、夜景、周期性、遠近混在）と判定された場合には、コントラストＡＦによる合焦判断条件を厳しくする。これにより、図３ないし図５を用いて説明したように、ＡＦ評価値の裾野において、ノイズ等によって偽合焦してしまうのを防ぐことができる。
【００６３】
この合焦判断を厳しくする方法としては、例えば、山登り法によって山を登り始める判断、すなわちＡＦ評価値が増加する方向にスキャン動作を開始させる判断を厳しくする。具体的には、時系列的に取得したＡＦ評価値が連続して増加していると判断するフレーム数の閾値とＡＦ評価値の増加の変化率の閾値、およびＡＦ評価値そのものの大きさの閾値を、通常の判定の際の閾値よりもそれぞれ大きくする。また、ＡＦ評価値の山を登った後に下ったとの判断、すなわちＡＦ評価値がピークを越えたとの判断を厳しくする。具体的には、時系列的に取得したＡＦ評価値が連続して減少していると判断するフレーム数の閾値とＡＦ評価値の減少の変化率の閾値、およびＡＦ評価値そのもの大きさの閾値を、それぞれ通常の判定の際の閾値よりも大きくする。
【００６４】
また、本実施形態においては、シーン認識により大ボケ状態と判定された場合には、スキャン駆動を高速で行う（図１２のＳ７、Ｓ９参照）。前述したように、ＡＦ処理部２９のニューラルネットワークには、焦点状態判定用の学習結果（推論モデル）も設定されるので、焦点状態が大ボケ状態か否かを判定することができる。
【００６５】
また、苦手シーンの場合には、偽合焦となり易い。そこで、レンズ駆動中に合焦近傍に近い状態、又は、合焦検出可能と判断した場合には、合焦付近の最終フレームの画像（ステップＳ１１において合焦状態検出を行った際のフレーム画像）を用いて再度焦点状態判断用ニューラルネットワークにより合焦状態か否かの判断を行う。この時、苦手シーンに基づき対応する焦点状態判断用ニューラルネットワークを選択して合焦か否かの判断を行う。非合焦状態と判断した場合は、更にレンズ駆動とＡＦ評価値検出を行い、その先に合焦位置が存在しないか、確認を行う。
【００６６】
この点について、図８を用いて説明する。図８は、遠距離側から近距離側に向けて、フォーカスレンズ１１を移動させた場合のＡＦ評価値の変化を示す。図８に示す例では、ＡＦ評価値は、位置Ｐ５１において極大値となり、位置Ｐ５２において極小値となり、位置Ｐ５３において再び極大値となる。前述したように、合焦判定用の閾値を大きくして合焦判断の条件を厳しくしても、図８に示すような場合に、偽合焦の位置Ｐ５１にフォーカスレンズを停止さえて合焦と判断してしまうことが発生する可能性がある。
【００６７】
そこで、位置Ｐ５１付近において、ニューラルネットワーク２９ａ（焦点状態判断用ＮＮ）を用いて、非合焦状態であるか否かを判定する（図１２のＳ１７参照）。この判定の結果、非合焦状態であれば、フォーカスレンズ１１の駆動を続行する（図１２のＳ１９Ｙｅｓ）。この判定は、ＡＦエリア（とその近傍のエリアを含んでもよい）のみの画像データをニューラルネットワーク２９ａ（焦点状態判断用ＮＮ）に入力して行う。前述したように、本実施形態におけるニューラルネットワーク２９ａは、畳み込み層Ｒ１〜Ｒ３が設けてあることから、ＡＦエリアとその近傍のみの画像について推論することが可能である。
【００６８】
図８において、位置Ｐ５１付近が非合焦状態であることが判明した場合には、更に、フォーカスレンズ駆動を続行する。フォーカスレンズ１１が位置Ｐ５３に達した時点で、再度、ニューラルネットワーク２９ａ（焦点状態判断用ＮＮ）によって合焦か非合焦かを判定する。図８に示す例では、位置Ｐ５３を真の合焦位置と判定し、撮影対象物にピントを合わせることができる。
【００６９】
次に、図９を用いて、撮影待機中、静止画ＡＦ合焦判断時、および動画ＡＦ動作中の３つの動作状態毎に、シーン判断用のニューラルネットワーク（ＮＮ）および焦点状態判断用ニューラルネットワーク（ＮＮ）の入力画像データについて説明する。なお、焦点状態判断用のニューラルネットワーク（ＮＮ）は、図１１に示すように、更に、細分される。
【００７０】
撮影待機中は、静止画撮影前の状態でライブビューを表示しており、この間、ユーザは構図を決め、また撮影タイミングを探している。後述する図１２、図１４においては、撮影待機中にシーン認識を行っており（図１２および図１４のＳ１参照）、このとき使用する学習結果は、シーン判断用ニューラルネットワークである。撮影待機中に使用するシーン判断用ニューラルネットワークには、ひとつは、画面全体の画像データが入力される。この画面全体の画像データとしては、本実施形態においては、ＶＧＡ画像（６４０×４８０ピクセル）を使用するが、このサイズの画像よりも大きくても小さくても構わない。また、後述するように、画面全体の画像データの他、複数の分割エリアに対応する画像データ（図１０）が、シーン判断用ニューラルネットワークに入力される。
【００７１】
シーン判断用ニューラルネットワークは、入力された画像データに基づき苦手シーンである、夜景シーン、周期性パターンシーン、遠近混在シーン、または通常シーンのいずれであるかを出力する。また、シーン判断用ニューラルネットワークは、入力された画像データに基づき大ボケ状態、合焦状態、および大ボケ状態と合焦状態以外の中間状態のいずれであるかを出力する。つまり、シーン判断用ニューラルネットワークは、入力画像に基づいて上記４シーン×３焦点状態＝１２状態のうちのいずれか１個（たとえば、夜景シーンかつ大ボケ状態）を出力する。また、シーン判断用ニューラルネットワークは４シーンのうちのいずれか１個（たとえば、遠近混在シーン）と３焦点状態のうちのいずれか１個（たとえば、合焦状態）を別々に出力する構成としてもよい。
【００７２】
また、撮影待機中に（図１２および図１４のＳ３）、焦点状態判断用のニューラルネットを使用した処理を実行する。撮影待機中には、ユーザが設定したＡＦエリアに準拠するエリアの画像データが、焦点状態判断用ＮＮに入力される。
【００７３】
静止画ＡＦ合焦判断時点は、ユーザがレリーズボタンの半押し（１ｓｔレリーズ操作）を行い、ＡＦ動作によって合焦位置が検出されたタイミングである（図１２のＳ１３Ｙｅｓ）。半押しがなされると、フォーカスレンズ１１が駆動され、撮像素子２１からの画像データに基づいてＡＦ評価値が算出される。このＡＦ評価値に基づいて、フォーカスレンズ１１が合焦位置に駆動される（図１２のＳ９〜Ｓ１３参照）。合焦位置に駆動された際に、シーン認識（Ｓ１）にて被写体が苦手シーンと判断されていた場合には、苦手シーンに対応する焦点状態判断用ニューラルネットワークに基づいて、焦点状態を判断する（図１２のＳ１７参照）。このとき、焦点状態判断用ニューラルネットワークには、合焦位置が検出された時に取得されたフレームの画像データのうち選択された１つのＡＦエリアに対応する画像データが入力される。このＡＦエリアは、ユーザによって選択されたＡＦエリアまたは自動的に選択されたＡＦエリアである。
【００７４】
動画ＡＦ動作中は、シーン判断用ニューラルネットワークには画面全体の画像データと分割エリアの画像データが入力されて、シーンが判断される（図１４のＳ１）。また、焦点状態判断用ニューラルネットワークには、ユーザが設定したＡＦエリアに準拠するＡＦエリア準拠エリアの画像データが、入力される。
【００７５】
次に、図１０を用いて、シーン判断用ニューラルネットワークに入力する画像データについて説明する。シーン判断用ニューラルネットワークは、画面全体を入力する場合、前述したように、画面全体をＶＧＡ画像にリサイズし、このリサイズされた画像データを入力とする。また、シーン判断用ニューラルネットワークは、そのほかに、複数のＡＦエリア（図１０では、複数のＡＦエリアのうちの１つに符号ａ１を付して示す）の存在範囲に対応して適当に分割した分割エリアの画像データを入力する。
【００７６】
分割エリアは、図１０に示す例では、画面全体のうち、複数のＡＦエリアが存在する範囲を５つのエリアに分割して設定されている。すなわち、画面の左上の分割エリアＡ１、右上の分割エリアＡ２、左下の分割エリアＡ３、右下の分割エリアＡ４に分け、さらに画面の中心付近にエリアＡ５を設けている。この分割エリアＡ５は、ユーザがＡＦエリアを選択している場合には、この選択されたＡＦエリアの中心座標に中心を一致させて分割エリアを設定してもよい。後述するオールターゲットモードの時も選択された複数のＡＦエリアのうちの中央のＡＦエリアの中心座標に中心を一致させて分割エリアを設定してもよい。このように、複数の分割エリアを設け、分割エリアを互いに重複させることにより、複数のシーンが混在してしまった場合でも正しくシーンを判断することができる。シーン判断用ニューラルネットワークによるシーン判断の詳しい動作については、図１３を用いて後述する。
【００７７】
なお、本実施形態においては、シーン判断用、焦点状態判断用ニューラルネットワークには、画像データ（画像情報）を入力して推論を行っていた。しかし、画像情報に限らず、焦点距離、絞り値（Ｆｎｏ）、フォーカスレンズ位置（被写体距離情報）、輝度値（ＢＶ値）、動きベクトル情報などを入力して推論を行ってもよい。このとき、入力するデータのビット数は、画像情報と同様のビット数（例えば、画像データが、０〜２５５の値であれば、他のデータも０〜２５５）にして、正規化するとよい。
【００７８】
次に、焦点状態判断用ニューラルネットワークについて説明する焦点状態判断用ニューラルネットワークに設定される学習結果（推論モデル）は、合焦画像、非合焦画像を教師データとして入力することによって取得する。図１１は、シーンに対応して、静止画ＡＦでの合焦判断時に使用する焦点状態判断用ニューラルネットワークの種類を示す表である。焦点状態判断用ニューラルネットワークは、撮影待機中に検出したシーン（図１のＳ１：シーン認識）に対応した焦点状態判断用ニューラルネットワークを選択して使用する（図１２のＳ３、Ｓ１７）。これらの焦点状態判断用ニューラルネットワークは、それぞれのシーンに対応する被写体について、合焦している画像と非合焦の画像をそれぞれ教師データとして学習装置に入力し、合焦／非合焦を学習した学習結果（推論モデル）が設定される。
【００７９】
シングルターゲットＡＦモードにおいて選択され合焦と判断されたＡＦエリアの内の画像データを５０×５０ピクセル程度にリサイズし焦点状態判断用ニューラルネットワークに入力する。また、オールターゲットモードもグループターゲットモードでも、合焦判断したＡＦエリア内の画像データを同様に、焦点状態判断用ニューラルネットワークの入力データとする。なお、オールターゲットモードは、複数あるＡＦエリアの全てを選択可能とし、全てのＡＦエリアのうちから所定の選択アルゴリズム（例えば最至近選択）に従いＡＦエリアを自動選択しＡＦ制御を実行するＡＦモードである。また、グループターゲットモードは、全てのＡＦエリアのうちから所定数の隣接する複数のＡＦエリアを選択してグループを形成し、グループ（３×３エリア、５×５エリア等）に含まれるＡＦエリアの検出結果に基づいてＡＦ制御を実行するモードである。
【００８０】
また、動画ＡＦ動作中（動画撮影待機／記録中）には、常に、焦点状態判断用ニューラルネットワークを用いて、焦点状態の判定を行う（図１４のＳ１７参照）。この場合、大ボケおよび中ボケは非合焦として扱う。焦点状態判断用ニューラルネットワークに入力する画像データは、ＡＦエリアに準拠した前述のＡＦエリア準拠エリアに対応する画像データである。ＡＦモードが、グループターゲットモードの場合、ユーザが設定したＡＦエリアを中心とする３×３のグループターゲットのＡＦエリア群に対応する画像データを入力する。いずれの場合も焦点状態判断用ニューラルネットワークに入力する画像データを、５０×５０ピクセル程度のサイズにリサイズして使用する。また、オールターゲットモードの場合は、焦点状態判断用ニューラルネットワーク（ＮＮ）は、シーン判断用ＮＮと同様に画面内を５分割した分割エリアＡ１〜Ａ５に対応する画像データを入力して合焦か否か判断してもよい。焦点状態判断用ニューラルネットワークを用いての判断の結果、ＡＦエリアＡ１〜Ａ５のいずれかのエリアにおいて、合焦近傍であれば、合焦と最終判定する。合焦近傍と判断されない場合の処理として、遠近混在シーンの場合には、至近方向に向けてスキャン駆動を開始する。また、夜景シーンの場合には、無限遠方向にスキャンを継続し、周期性パターンの場合には、同一方向スキャンを継続する。
【００８１】
次に、図１２ないし図１４に示すフローチャートを用いて、本実施形態における焦点調節動作について説明する。これらのフローチャートは、ＣＰＵ２８が記憶部に記憶されたプログラムに基づいて、カメラ本体２０内および交換レンズ１０内の各部を制御することにより、実現する。図１２に示すフローチャートは、静止画撮影の待機中および静止画撮影時の焦点調節動作を示す。
【００８２】
図１２に示す静止画撮影のフローでは、撮影待機中にライブビュー表示を行い、レリーズボタンが半押しされると、ピント合わせを行う。図１２のフローが開始すると、まず、シーン認識を行う（Ｓ１）。ここでは、シーン判断用のニューラルネットワークを用いて、被写体のシーンを判断し（図３〜図６、図９参照）、苦手シーンか否かを判断する。また、入力画像が大ボケ状態か、合焦状態か、中間状態かを判定する。シーン認識では、図３ないし図６を用いて説明した４つのシーンの、夜景、周期性、遠近混在、一般シーンに分類し、３個の焦点状態の、大ボケ状態、合焦状態、中間状態に分類し、１２状態（４シーン×３焦点状態）のうちのいずれか１状態に分類する。
【００８３】
ステップＳ１においてシーン認識を行うと、次に、ＡＦエリアフォーカス認識を行う（Ｓ３）。ここでは、選択されているＡＦエリアが、焦点状態判断用ニューラルネットワークを用いて、合焦か否かを判定する。ＡＦエリアは、ユーザが指定したＡＦエリアがあれば、そのＡＦエリアを用い、一方、ユーザが指定していない場合には、自動的にカメラが選択する。自動的な選択方法としては、例えば、顔検出結果を用いてもよく、また至近距離にある被写体が含まれるエリアでもよい。
【００８４】
ＡＦエリアフォーカス認識を行うと、次に、１ｓｔレリーズの押下げ操作がなされたか否かを判定する（Ｓ５）。ここでは、操作部２６の１ｓｔレリーズスイッチがオンとなったか否かに基づいて判定する。この判定の結果、１ｓｔレリーズが押し下げられていない場合には、ステップＳ１に戻る。
【００８５】
一方、ステップＳ５における判定の結果、１ｓｔレリーズが押し下げられていた場合には、パラメータを設定する（Ｓ７）。ここでは、ＡＦ評価値補正演算方法を決定する。例えば、ステップＳ１におけるシーン認識の結果が夜景であった場合には、特許文献１等に開示されるような補正を決定する。また、合焦判断方法を決定する。前述したように、シーン認識の結果、被写体が苦手シーンの場合には、合焦判断条件（例えば、判定基準となる閾値を通常より大きくする）を厳しくする。また、スキャン駆動速度を決定する。シーン認識の際に画面全体、または分割領域Ａ５が大ボケ状態と判定された場合には、スキャン速度を通常よりも高速に設定する。
【００８６】
パラメータを設定すると、次に、スキャン駆動を実施する（Ｓ９）。ここでは、レンズ制御部１３によって、フォーカスレンズ１１を駆動する。駆動しながら、所定時間間隔で、撮像素子２１から画像データの読出しを行う。また、ステップＳ１のシーン認識において、画面全体、または分割領域Ａ５が大ボケ状態と判定された場合には、前述したように、スキャンを通常よりも高速で行う。
【００８７】
スキャン駆動を開始すると、次に、合焦状態の検出を行う（Ｓ１１）。ここでは、ステップＳ９のスキャン駆動中において取得した画像データを用いてＡＦ評価値を算出する。この算出されたＡＦ評価値が連続的に増加しているか、増加から減少に転じたか、連続的に減少しているかを判断し山登りＡＦを実行する。
【００８８】
続いて、合焦位置を検出したか否かを判定する（Ｓ１３）。ここでは、ステップＳ１１における合焦状態検出処理に基づいて、フォーカスレンズ１１が合焦位置付近にあるか否かを判定する。つまり、スキャン駆動によりフォーカスレンズ１１を移動させ、ＡＦ評価値がピークを越えたか否かを判定する。なお、ステップＳ１のシーン認識において苦手シーンと判定された場合には、前述したように合焦判定用の閾値の値を変更し、合焦判断を厳しくする。この判定の結果、合焦位置付近にない場合には、ステップＳ１１に戻り、前述の動作を繰り返し実行する。
【００８９】
なお、焦点検出方法としてコントラストＡＦに代えて、位相差ＡＦを採用する場合には、ステップＳ９、Ｓ１１において、焦点検出画素（例えば入射する光束の入射方向を制限する画素）からの画素信号に基づいて、ピントのズレ量およびズレ方向を算出する。そして、ステップＳ１３において、算出したズレ量およびズレ方向に基づいて、フォーカスレンズの移動量、移動方向を算出し合焦位置を検出したか否かを判定する。
【００９０】
ステップＳ１３における判定の結果、合焦位置付近にある場合には、次に、苦手シーンだったか否かを判定する（Ｓ１５）。ここでは、ステップＳ１におけるシーン認識の結果に基づいて判定する。
【００９１】
ステップＳ１５における判定の結果、苦手シーンだった場合には、ＡＦエリアフォーカス認識処理を行う（Ｓ１７）。ここでは、撮像素子２１からの画像データを、焦点状態判断用のニューラルネットワークを用いて、合焦か否か（非合焦）を判定する。この場合、焦点状態判断用ニューラルネットワークを用いた推論の結果が、小ボケの場合には、合焦とは判定しない。
【００９２】
ステップＳ１７においてＡＦエリアフォーカス認識処理を行うと、次に、焦点状態判断用ニューラルネットワークでの判断結果が非合焦か否かを判定する（Ｓ１９）。
【００９３】
ステップＳ１９における判定の結果、非合焦であった場合には、パラメータを設定する（Ｓ２１）。ここでは、ステップＳ７において設定したパラメータを、焦点状態判断用ニューラルネットワークで判断した結果に基づいて、再設定する。例えば、夜景、周期性パターンの場合には、ＡＦ評価値の裾野で偽合焦とならないように、合焦判断を厳しくするようにパラメータを再設定する。また、遠近混合被写体の場合には、至近側に更にレンズ駆動を行い、至近側に被写体があるか否かを判断できるようにパラメータを再設定する。パラメータを設定すると、ステップＳ９に戻り、前述の焦点調節動作を実行する。
【００９４】
一方、ステップＳ１９における判定の結果、非合焦でなかった場合（すなわち合焦の場合）、またはステップＳ１５における判定の結果、苦手シーンでなかった場合には、合焦駆動を実施する（Ｓ２３）。ここでは、ステップＳ１１、Ｓ１３において検出した合焦位置に基づいてコントラストＡＦならば評価値ピーク位置近傍から近似式演算を行うことで補間合焦位置を算出する。そして、この補間合焦位置に向けて、レンズ制御部１３によって、フォーカスレンズ１１を駆動する。また、算出した補間合焦位置と現在位置の差の絶対値が所定値より小さい場合は、合焦駆動を省略してもよい。
【００９５】
合焦駆動を実施すると、次に本露光の実施を行う（Ｓ２５）。ここでは、レリーズボタンの全押しがなされ、２ｎｄレリーズスイッチがオンとなると、本露光を実施する。本露光は、機械式シャッタが設けてある場合には、この機械式シャッタによって露光時間が制御される。機械式シャッタが設けられていない場合には、撮像素子２１の電子シャッタによって露光時間が制御される。露光時間が経過すると、撮像制御部２３は撮像素子２１から画像データを読み出す。読み出された画像データは撮像信号処理部２２等において画像処理された後、画像データが記録部２４に記録される。
【００９６】
本露光が終了すると、初期位置駆動を実施する（Ｓ２７）。ここでは、次回のスキャン開始時にフォーカスレンズ１１の位置が最適となるように、フォーカスレンズ１１を駆動する。初期位置駆動を実施すると、このフローを終了する。
【００９７】
次に、図１３に示すフローチャートを用いて、図１２のステップＳ１におけるシーン認識の動作について説明する。
【００９８】
シーン認識のフローが開始すると、まず、画面全体＋５領域でシーン判断用ニューラルネットワークを用いてシーン判断を行う（Ｓ３１）。前述のように、ＡＦ処理部２９内のニューラルネットワーク２９ａのシーン判断用ニューラルネットワークにシーン判断用の学習結果が予め設定されており、撮像素子２１からの画像データを入力して、被写体のシーン判断を行う。シーンとしては、図３ないし図６を用いて説明した４つのシーン、すなわち、夜景、周期性、遠近混在、一般に分類し、３個の焦点状態、すなわち、大ボケ状態、合焦状態、中間状態に分類し、１２状態（４シーン×３焦点状態）のうちのいずれか１状態に分類する。ニューラルネットワーク２９ａの入力部に撮像素子２１からの画像データを入力する際に、画面全体の画像データを入力し、画面全体のシーン判断を行う。また、図１０を用いて説明したように分割エリアＡ１〜Ａ５の５つのエリア毎の画像データを入力し、エリア毎にシーンを判断する。したがって、このステップでは、画面全体のシーンと、分割エリアごとにシーンを判断する。シーン判断用ニューラルネットワークの出力は、画面全体、分割エリアＡ１〜Ａ５について、１２状態（４シーン×３焦点状態）のうちのいずれか１個をそれぞれシーン判断の結果（６出力）として出力する。
【００９９】
画面全体＋５領域でシーンを判断すると、次に、５領域目は苦手シーンか否かを判定する（Ｓ３３）。ここでは、ステップＳ３１におけるシーン判断の結果に基づいて、５領域目、すなわち図１０の分割エリアＡ５におけるシーン判断の結果が、夜景、周期性、遠近混在等の苦手シーンであるか否かを判定する。
【０１００】
ステップＳ３３における判定の結果、分割エリアＡ５が苦手シーンであった場合には、分割エリアＡ５の判断結果を採用する（Ｓ３５）。分割エリアＡ５は、選択されたＡＦエリアを含む領域であるので、他の分割エリアＡ１〜Ａ４のシーン判断結果に係わらず、分割エリアＡ５のシーン判断結果（夜景、周期性、遠近混在等のいずれか）を、被写体のシーン認識の結果として採用してシーン認識と出力する。
【０１０１】
一方、ステップＳ３３における判定の結果、分割エリアＡ５が苦手シーンでなかった場合には、次に、画面全体のシーン判断の結果が苦手シーンか否かを判定する（Ｓ３７）。ステップＳ３１において画面全体のシーンを判断しているので、この判断結果に基づいて判定する。従って、画面全体が、夜景、周期性、遠近混在等の苦手シーンであるか否かを判定する。
【０１０２】
ステップＳ３７における判定の結果、画面全体のシーン判断の結果が苦手シーンであった場合には、画面全体のシーン判断の結果を採用し、シーン認識の出力とする（Ｓ３９）。
【０１０３】
一方、ステップＳ３７における判定の結果、画面全体のシーン判断の結果が苦手シーンでなかった場合には、次に、オールターゲットモードか否かを判定する（Ｓ４１）。
【０１０４】
ステップＳ４１における判定の結果、オールターゲットモードでない場合には、一般シーンと判断しシーン認識の出力とする（Ｓ４３）。この場合には、選択されたＡＦエリアを含む分割エリアＡ５と画面全体が苦手シーンではなく、かつ、オールターゲットモードではないので、さらなる分割エリアＡ１〜Ａ４のシーン判断は不要とし、一般シーンと確定する。
【０１０５】
ステップＳ４１における判定の結果、オールターゲットモードの場合には、４領域（分割エリアＡ１〜Ａ４）のどれが苦手シーンか否かを判定する（Ｓ４５）。これは、オールターゲットモードの場合は、主被写体の移動等により現在選択されているＡＦエリアから変更され、他のＡＦエリアが選択されることが想定されるためである。ここでは、ステップＳ３１におけるシーン判断結果に基づいて、分割エリアＡ１〜Ａ４のいずれかが苦手シーン（夜景、周期性、遠近混在等）であるか否かを判定する。
【０１０６】
ステップＳ４５における判定の結果、４領域のいずれかが苦手シーンの場合には、最も信頼性の高い苦手シーンの結果を採用する（Ｓ４７）。ここでは、苦手シーンと判定された領域（分割エリアＡ１〜Ａ４）の中で、シーン認識の信頼性の結果が最も高いと判定された結果を採用する。一方、ステップＳ４５における判定の結果、４領域のいずれも苦手シーンでない場合には、一般シーンと判断しシーン認識の出力とする（Ｓ４９）。
【０１０７】
ステップＳ３５、Ｓ３９、Ｓ４３、Ｓ４７、Ｓ４９において、シーン認識の出力を決定すると、シーン認識のフローを終了し、元のフローに戻る。
【０１０８】
次に、図１４に示すフローチャートを用いて、動画待機および動画記録中の動作について説明する。このフローは、図１２に示した静止画撮影待機のフローと比較し、ステップＳ５を、Ｓ６の「合焦？」に置き換え、ステップＳ２５、Ｓ２７を、Ｓ２９の「動画継続中？」に置き換えた以外は、同じである。そこで、この相違点を中心に説明する。動画待機／記録中の処理は、動画記録ボタン等により動画記録の指示がなされている場合は動画記録を実行し、指示がなされていない場合は動画記録せずに待機状態となる。
【０１０９】
動画待機／記録中のフローが開始すると、シーン認識を実行する（Ｓ１）。図９の動画ＡＦ動作中のシーン判断用ニューラルネットワークによる処理を行う。次に、ＡＦエリアフォーカス認識を実行し、選択されているＡＦエリアについて、シーン認識の結果に基づき選択される焦点状態判断用ニューラルネットワークで合焦か否かを判断する（Ｓ３）。シーン認識の結果、苦手シーンと判断されていれば、その結果に基づき図１１に示す焦点状態判断用ニューラルネットワークを選択して処理する。続いて、ＡＦエリアフォーカス認識の結果に基づいて合焦か否かを判定する（Ｓ６）。この判定の結果、合焦である場合には、ステップＳ１に戻る。
【０１１０】
ステップＳ６における判定の結果、合焦ではない場合には、ステップＳ７以下において、フォーカスレンズ１１を合焦位置に駆動するための処理を実行する。まず、パラメータを設定し（Ｓ７）、スキャン駆動を実施し（Ｓ９）、合焦状態の検出処理を行う（Ｓ１１）。この検出処理の結果に基づいて、合焦位置を検出したか否かを判定し（Ｓ１３）、合焦位置を検出した場合には、ステップＳ１のシーン認識の結果に基づき、苦手シーンか否かを判定する（Ｓ１５）。この結果、苦手シーンの場合には、ＡＦエリアフォーカス認識を実行し、判定された苦手シーンに対応する焦点状態判断用ニューラルネットワークを用いて、合焦か否かを判断する（Ｓ１７）。
【０１１１】
続いて、ステップＳ１７における苦手シーンに対応する焦点状態判断用ニューラルネットワークでの判断結果が、非合焦か否かを判定する（Ｓ１９）。この判定の結果、非合焦であれば、判定されている苦手シーンに基づいてパラメータを設定し（Ｓ２１）、ステップＳ９に戻り、再度、焦点調節を実行する。一方、ステップＳ１９における判定結果が非合焦でない場合、つまり合焦の場合、またはステップＳ１５にて苦手シーンではない場合には、ステップＳ１１にて検出された合焦位置に基づき算出される補間合焦位置へ合焦駆動を実施する（Ｓ２３）。次に、動画撮影待機または動画記録を継続中であるか否かを判定する（Ｓ２９）。この判定結果、継続中であれば、ステップＳ１に戻る。一方、ステップＳ２９における判定の結果、継続中でないと判定されると、動画待機／記録中のフローを終了する。
【０１１２】
以上説明したように、本発明の一実施形態においては、被写体光を撮像素子によって受光して画像データを生成し、画像データを入力し、画像データが所定の複数の画像分類のいずれに近いかを示す第１の指標（例えば、シーン判別）と、画像データに対応する画像のボケ状態を示す第２の指標（例えば、焦点状態判断）を生成し、画像データに基づいて焦点検出を行い、焦点検出結果に基づきフォーカス動作を制御するにあたって、第１の指標および第２の指標に基づいて、フォーカス駆動制御を変更する（例えば、図１２参照）。
【０１１３】
また、本発明の一実施形態においては、画像データを入力し、所定の複数の画像分類のいずれに近いかを示す第１の指標を生成し（例えば、図１２のＳ１、図１３のＳ３１）、フォーカスレンズが合焦位置付近にあるか否かを判定し（例えば、図１２のＳ１３参照）、この判定の結果、フォーカスレンズが合焦位置付近にある場合には、第１の指標に基づいて特定の画像分類と判断された場合には（例えば、図１２のＳ１５Ｙｅｓ参照）、画像データに対応する画像のボケ状態を示す第２の指標を生成し（例えば、図１２のＳ１７参照）、第２の指標に基づいて、真の合焦位置にあるか否かを判定し（例えば、図１２のＳ１９参照）、この判定の結果、真の合焦位置にある場合には、真の合焦位置にフォーカスレンズを駆動する（例えば、図１２のＳ２３参照）。このため、被写体が種々の苦手シーンであっても、偽合焦や非合焦とならず、無駄なＡＦ動作を防止することができる。
【０１１４】
また、本発明の一実施形態においては、ライブビュー表示中に、ニューラルネットワーク２９ａによって苦手シーンか否かを判断し（例えば、図１２のＳ１参照）、苦手シーンの場合にはシーンに応じてＡＦ制御の切り替えを行う（例えば、図１２のＳ１７、Ｓ１９、Ｓ２１参照）。このため、被写体シーンに応じたＡＦ制御を行うことができ、偽合焦を防止し、無駄なＡＦ動作を防止することができる。
【０１１５】
また、本発明の一実施形態においては、苦手シーンの判断は、ディープラーニングによるニューラルネットワークによって行っている。このため、被写体シーンを効率よく、また正確に分類することができる。また、ニューラルネットワークの初段には、畳み込み層を設けている。このため、画面内の複数の領域について、それぞれシーンを判断することができる。
【０１１６】
また、本発明の一実施形態においては、被写体シーンを夜景と判断した場合は、コントラストＡＦの場合は、輝度評価値を２乗もしくは３乗した値を補正値とし、これを用いてＡＦ評価値を補正する（例えば、図２（ｂ）、図１２のＳ１１、Ｓ１３参照）。また、夜景と判断した場合は、合焦判断の判定基準を通常より厳しくしている（例えば、図１２のＳ７、Ｓ１１、Ｓ１３参照）。このため、被写体が夜景シーンであっても、偽合焦を防止でき、また的確に合焦位置にピントを合わせることができる。
【０１１７】
また、本発明の一実施形態においては、被写体シーンを夜景・大ボケと判断した場合は、フォーカスレンズを通常より高速に駆動し、且つ、合焦判断の判定基準を通常より厳しくしている（例えば、図３、図１２のＳ７、Ｓ９、Ｓ１１、Ｓ１３参照）。このため、被写体シーンが夜景または大ボケであっても、偽合焦を防止でき、また高速に合焦位置にすることができる。
【０１１８】
また、本発明の一実施形態においては、被写体シーンを周期性被写体と判断した場合は、コントラストＡＦにおける合焦判断の判定基準を通常より厳しくする（例えば、図４、図１２のＳ７、Ｓ１１、Ｓ１３参照）。このため、被写体が周期性被写体であっても、偽合焦を防止でき、的確に合焦位置にピントを合わせることができる。
【０１１９】
また、本発明の一実施形態においては、被写体シーンを遠近混在と判断した場合は、至近側に大きくレンズ駆動を行い、手前に被写体がいないかの確認を行う（例えば、図５、図１２のＳ７、Ｓ１１、Ｓ１３参照）。このため、被写体が遠近混在していても、遠方にピント合ってしまうような偽合焦を防止でき、的確に合焦位置にピントを合わせることができる。
【０１２０】
また、本発明の一実施形態においては、被写体を苦手シーン（例えば、夜景、周期性、遠近混在）と判断した場合、ＡＦ制御を行うことによって合焦位置に近づいた場合には（例えば、図１２のＳ１３、Ｓ１５参照）、合焦判断した際のフレームの画像を用いて、再度、シーン判断を行い、合焦に近い状態か否かの判断を行う（例えば、図１２のＳ１７、Ｓ１９参照）。
【０１２１】
また、本発明の一実施形態においては、撮影待機中と、１ｓｔレリーズ押下中において、ニューラルネットワークを切り替えている（例えば、図９、図１１、図１２のＳ３、Ｓ５、Ｓ１７参照）。このため、撮影待機中の処理と、１ｓｔレリーズ押し下げ中の処理において、それぞれ最適の推論を行うことができ、それぞれの状況に応じて最適なＡＦ制御を行うことができる。
【０１２２】
また、本発明の一実施形態においては、シーン判断ニューラルネットワーク（ＮＮ）は、画面全体を複数に分割して、それぞれの領域で判断結果を出力する（例えば、図１０参照）。このため、画面内に複数の被写体が存在する場合であっても、最適なＡＦ制御を行うことができる。
【０１２３】
また、本発明の一実施形態においては、被写体のシーンの判断結果に応じて、合焦状態判断用のニューラルネットワーク（ＮＮ）を切り替えている（例えば、図１１、図１２のＳ１７参照）。このため、被写体のシーンに応じたＡＦ制御を行うことができる。
【０１２４】
なお、本発明の一実施形態においては、学習は深層学習により行っている。しかし、深層学習に限らず、機械学習等の人工知能を利用した学習でもよい。また、学習結果（推論モデル）は、外部の装置が予め生成したものを入力し、ニューラルネットワーク２９ａに設定していた。しかし、カメラ等において、学習用のニューラルネットワークを内蔵し、外部のデータベース等と連携しながら、学習結果（推論モデル）を生成するようにしてもよい。更に、カメラにニューラルネットワーク２９ａを設け、推論を行っていた。しかし、これに限らず、外部のクラウド内に設けたニューラルネットワークを配置し、インターネット等によって常時接続し、クラウド内のニューラルネットワークによる推論結果に基づいて、焦点調節等を行ってもよい。
【０１２５】
また、本発明の一実施形態においては、苦手シーンとして、夜景、周期性、遠近混在の３種類のシーンを取り上げて説明した。しかし、この３種類のシーンに限らず、他のシーンを追加してもよい。また、夜景シーンとして、夜空の星や夜景の中のイルミネーション等の電飾光が存在するような、点光源の存在するシーンについて説明した。この他に、点光源の存在するシーンとして、蛍光顕微鏡等で輝点を有する試料を観察する場合もある。このような輝点を有する試料を観察する場合に、この試料を撮像して焦点調節を行う時にも本発明の手法を適用することが可能である。
【０１２６】
また、本発明の一実施形態においては、撮像信号処理部２２、撮像制御部２３、ＡＦ処理部２９、ＡＥ処理部３０等を、ＣＰＵ２９と別体の構成としたが、これらの各部の一部または全部を、ＣＰＵ２９と一体に構成しても勿論かまわない。また、これらの各部は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウェア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウェア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
【０１２７】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、レンズの焦点調節を行うための機器であれば、本発明を適用することができる。
【０１２８】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１２９】
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【０１３０】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１３１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１３２】
１０・・・交換レンズ、１０ａ・・・レンズ部、１１・・・フォーカスレンズ、１２・・・絞り、１３・・・レンズ制御部、１４・・・レンズＣＰＵ、２０・・・カメラ本体、２１・・・撮像素子、２２・・・撮像信号処理部、２３・・・撮像制御部、２４・・・記録部、２５・・・表示部、２６・・・操作部、２７・・・メモリ、２８・・・ＣＰＵ、２９・・・ＡＦ処理部、２９ａ・・・ニューラルネットワーク、３０・・・ＡＥ処理部、３１・・・ストロボ装置、３２・・・バス
【図１】
2019215489.tif 000003
【図２】
2019215489.tif 000004
【図３】
2019215489.tif 000005
【図４】
2019215489.tif 000006
【図５】
2019215489.tif 000007
【図６】
2019215489.tif 000008
【図７】
2019215489.tif 000009
【図８】
2019215489.tif 000010
【図９】
2019215489.tif 000011
【図１０】
2019215489.tif 000012
【図１１】
2019215489.tif 000013
【図１２】
2019215489.tif 000014
【図１３】
2019215489.tif 000015
【図１４】
2019215489.tif 000016