(57)【要約】【課題】中間ボケ領域であることを簡単に知ることができるようにした撮像システム、撮像装置、および表示方法を提供し、中間ボケ領域の表示を行うための推論モデルを生成するための学習装置およびアノテーション用プログラムを提供することを目的とする。【解決手段】光学系によって結像された被写体の光学像を画像信号に変換し、 被写体の画像の中に、光学系のピントが大きく外れている大ボケ状態とピントが合っている合焦状態の中間にある、中間ボケ状態である領域を検出し、画像信号に基づく被写体画像上で、中間ボケ領域を被写体画像とは識別可能なように、マーカー６６を付してファインダに表示する。【選択図】  図３
2020120189.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの外光を結像する光学系と、
上記光学系によって結像された上記被写体の光学像を画像信号に変換し、この画像信号を出力する撮像素子と、 
上記被写体画像の中に、（１）焦点の合っている第１深度に配置された第１被写体の少なくとも一部が写っている合焦領域、（２）焦点の合っていない第２深度に配置された第２被写体の少なくとも一部が写っている完全ボケ領域、（３）上記第１深度と上記第２深度の間の第３深度に配置された第３被写体の少なくとも一部が写っている中間ボケ領域、を設定するプロセッサと、
上記画像信号に基づく被写体画像上に、上記プロセッサによって設定された中間ボケ領域を示したファインダ画像を表示するファインダと、
を有することを特徴とする撮像システム。
【請求項２】
上記撮像システムは、カメラと、このカメラと通信が可能な情報処理装置とから構成され、
上記カメラは、上記光学系、上記撮像素子、および上記ファインダと、を有し、
さらに、上記カメラと上記情報処理装置の各々は、上記被写体画像と設定された上記中間ボケ領域に関する情報を通信するための通信素子を有し、
上記プロセッサは、上記情報処理装置に配置され上記中間ボケ領域を設定するユーザプロセッサと、上記カメラに配置され上記ファインダ画像を生成するカメラプロセッサと、から構成され、
上記ファインダは、上記画像信号に基づく被写体画像上に、上記通信素子を介して受信した上記中間ボケ領域に関する情報に基づく画像を重畳して表示する、
ことを特徴とする請求項１に記載の撮像システム。
【請求項３】
上記カメラまたは上記情報処理装置の通信素子と通信し、上記プロセッサに上記中間ボケ領域を設定する機能を実行させるアプリを提供するサーバを更に有することを特徴とする請求項１に記載の撮像システム。
【請求項４】
上記プロセッサは、上記被写体画像に基づくデプスマップを作成し、上記デプスマップに基づいて上記第１深度、上記第２深度、上記第３深度を設定し、上記第３被写体が写る領域のすべてを上記中間ボケ領域に設定することを特徴とする請求項１に記載の撮像システム。
【請求項５】
上記プロセッサは、機械学習によって得られた推論モデルを用いた推論部によって、上記第３被写体が写る領域に基づいて上記中間ボケ領域を設定することを特徴とする請求項１に記載の撮像システム。
【請求項６】
上記推論部は、熟練者により上記中間ボケ領域をアノテーションされた学習画像を用いて学習した、深層ニューラルネットワークであることを特徴とする請求項５に記載の撮像システム。
【請求項７】
上記推論部は、上記中間ボケ領域をアノテーションされた学習画像を用いて学習した、深層ニューラルネットワークであり、
上記プロセッサは、ユーザが上記学習画像を作成するために、上記中間ボケ領域をアノテーションするためのプログラムを実行する、
ことを特徴とする請求項５に記載の撮像システム。
【請求項８】
被写体からの外光を結像する光学系から得られる結像光に基づく被写体画像の中に、（１）焦点の合っている第１深度に配置された第１被写体の少なくとも一部が写っている合焦領域、（２）焦点の合っていない第２深度に配置された第２被写体の少なくとも一部が写っている完全ボケ領域、（３）前記第１深度と前記第２深度の間の第３深度に配置された第３被写体の少なくとも一部が写っている中間ボケ領域、を設定し、前記被写体画像の前記中間ボケ領域を強調表示して、カメラファインダーに表示されるファインダ画像を作成するプロセッサを有することを特徴とする撮像支援装置。
【請求項９】
被写体からの外光を結像する光学系と、
上記光学系によって結像された上記被写体の光学像を画像信号に変換し、この画像信号を出力する撮像素子と、 
上記被写体画像の中に、上記光学系のピントが第１合焦評価値よりも低くなる大ボケ状態とピントが第２合焦評価値よりも高くなる合焦状態の中間にある、中間ボケ状態である領域を検出する中間ボケ領域検出部と、
上記画像信号に基づく被写体画像上で、上記中間ボケ領域を上記被写体画像とは識別可能に表示するファインダと、
を有することを特徴とする撮像装置。
【請求項１０】
上記撮像素子からの画像信号に基づいて、上記光学像のピント状態を検出する焦点検出部を有し、
上記中間ボケ領域検出部は、上記焦点検出部によって検出された上記ピント状態に基づいて、上記中間ボケ状態である領域を検出する、
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
上記中間ボケ領域検出部は、上記撮像素子からの画像信号を入力し、中間ボケ領域検出用の推論モデルを用いて、上記中間ボケ状態である領域を推論によって検出することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
上記推論モデルを生成する学習装置と通信するための通信部を有し、
上記中間ボケ領域検出部は、上記通信部を介して受信した上記推論モデルを用いて、上記中間ボケ状態である領域を推論によって検出する、
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
上記ファインダは、上記中間ボケ領域を示すマークを上記被写体画像に重畳して表示する、または上記中間ボケ領域に対応する上記被写体画像の部分に画像処理を施した画像を表示することを特徴とする請求項９に記載の撮像装置。
【請求項１４】
画像データに、中間ボケ領域を示す情報が関連付けられたデータを教師データとして記憶するデータベースと、
上記画像データを入力し、上記中間ボケ領域を示す情報と一致するように、推論モデルを生成する学習部と、
上記推論モデルを外部の装置に送信するための通信部と、
を有することを特徴とする学習装置。
【請求項１５】
上記通信部は、上記中間ボケ領域を示す情報が関連付けられた画像を、外部からの要求に応じて表示するために送信し、
さらに、上記通信部は、上記中間ボケ領域の情報に対する上記外部による評価を受信し、
上記データベースは、受信した上記評価を上記データに関連付けて記憶し、
上記学習部は、上記データベースに記憶された上記評価を用いて上記推論モデルを生成する、
ことを特徴とする請求項１４に記載の学習装置。
【請求項１６】
光学系によって結像された被写体の光学像を画像信号に変換し、 
上記被写体の画像の中に、上記光学系のピントが大きく外れている大ボケ状態とピントが合っている合焦状態の中間にある、中間ボケ状態である領域を検出し、
上記画像信号に基づく被写体画像上で、上記中間ボケ領域を上記被写体画像とは識別可能にしてファインダに表示する、
ことを特徴とする表示方法。
【請求項１７】
上記ファインダに上記中間ボケ領域を表示するにあたって、上記中間ボケ領域を示すマークを上記被写体画像に重畳して表示する、または上記中間ボケ領域に対応する上記被写体画像の部分に画像処理を施して表示することを特徴とする請求項１６に記載の表示方法。
【請求項１８】
画像データに、中間ボケ領域を示す情報が関連付けられたデータを教師データとしてデータベースに記憶し、
上記画像データを入力し、上記中間ボケ領域を示す情報と一致するように、機械学習によって推論モデルを生成し、
上記推論モデルを外部の装置に送信する、
ことを特徴とする学習方法。
【請求項１９】
中間ボケ領域を付与する対象画像を表示部に表示し、
中間ボケ領域が指定されると、指定された領域を表示し、
指定された中間ボケ領域と、上記対象画像を関連付けて記録する、
ことをコンピュータに実行させるためのアノテーション用プログラム。
【請求項２０】
上記記録された中間ボケ領域の削除が選択された場合には、上記中間ボケ領域の記録を削除することを特徴とする請求項１９に記載のアノテーション用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、中間ボケ領域を簡単に確認することができる撮像システム、撮像装置、表示方法、および中間ボケ領域の表示を行うための推論モデルを生成するための学習装置およびアノテーション用プログラムに関する。
【背景技術】
【０００２】
写真撮影にあたって、いずれの被写体にピントが合っているかを、ファインダに表示された画像を目視で確認するのが困難な場合がある。そこで、ファインダ画面の表示画像に、合焦位置を示す合焦点マークを付するようにしたカメラが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０９１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
写真の印象は、焦点の合っていない部分のボケ方に大きく影響を受けることがある。しかし、カメラに搭載できる小さな画面サイズのファインダにおいては、撮像画像をそのまま表示しても、画像中の各領域のボケ方をユーザが確認するのは難しい。前述の特許文献１に開示のカメラでは、合焦点マークの無い領域では、少なくともボケが発生することがわかるものの、領域ごとののボケの程度の違い、ボケの質の違い、撮像条件を変えたときのボケの変化について、ユーザは知ることができなかった。すなわち、大きくボケた大ボケ状態と、合焦状態の中間にある、中間ボケ状態である領域（この領域を「中間ボケ領域」と称す）をユーザは簡単に知ることができなかった。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、中間ボケ領域であることを簡単に知ることができるようにした撮像システム、撮像装置、および表示方法を提供することを目的とする。また、中間ボケ領域の表示を行うための推論モデルを生成するための学習装置およびアノテーション用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係る撮像ステムは、被写体からの外光を結像する光学系と、上記光学系によって結像された上記被写体の光学像を画像信号に変換し、この画像信号を出力する撮像素子と、 上記被写体画像の中に、（１）焦点の合っている第１深度に配置された第１被写体の少なくとも一部が写っている合焦領域、（２）焦点の合っていない第２深度に配置された第２被写体の少なくとも一部が写っている完全ボケ領域、（３）上記第１深度と上記第２深度の間の第３深度に配置された第３被写体の少なくとも一部が写っている中間ボケ領域、を設定するプロセッサと、上記画像信号に基づく被写体画像上に、上記プロセッサによって設定された中間ボケ領域を示したファインダ画像を表示するファインダと、を有する。
【０００７】
第２の発明に係る撮像システムは、上記第１の発明において、上記撮像システムは、カメラと、このカメラと通信が可能な情報処理装置とから構成され、上記カメラは、上記光学系、上記撮像素子、および上記ファインダと、を有し、さらに、上記カメラと上記情報処理装置の各々は、上記被写体画像と設定された上記中間ボケ領域に関する情報を通信するための通信素子を有し、上記プロセッサは、上記情報処理装置に配置され上記中間ボケ領域を設定するユーザプロセッサと、上記カメラに配置され上記ファインダ画像を生成するカメラプロセッサと、から構成され、上記ファインダは、上記画像信号に基づく被写体画像上に、上記通信素子を介して受信した上記中間ボケ領域に関する情報に基づく画像を重畳して表示する。
【０００８】
第３の発明に係る撮像システムは、上記第１の発明において、上記カメラまたは上記情報処理装置の通信素子と通信し、上記プロセッサに上記中間ボケ領域を設定する機能を実行させるアプリを提供するサーバを更に有する。
第４の発明に係る撮像システムは、上記第１の発明において、上記プロセッサは、上記被写体画像に基づくデプスマップを作成し、上記デプスマップに基づいて上記第１深度、上記第２深度、上記第３深度を設定し、上記第３被写体が写る領域のすべてを上記中間ボケ領域に設定する。
【０００９】
第５の発明に係る撮像システムは、上記第１の発明において、上記プロセッサは、機械学習によって得られた推論モデルを用いた推論部によって、上記第３被写体が写る領域に基づいて上記中間ボケ領域を設定する。
第６の発明に係る撮像システムは、上記第５の発明において、上記推論部は、熟練者により上記中間ボケ領域をアノテーションされた学習画像を用いて学習した、深層ニューラルネットワークである。
第７の発明に係る撮像システムは、上記第５の発明において、上記推論部は、上記中間ボケ領域をアノテーションされた学習画像を用いて学習した、深層ニューラルネットワークであり、上記プロセッサは、ユーザが上記学習画像を作成するために、上記中間ボケ領域をアノテーションするためのプログラムを実行する。
【００１０】
第８の発明に係る撮像支援装置は、被写体からの外光を結像する光学系から得られる結像光に基づく被写体画像の中に、（１）焦点の合っている第１深度に配置された第１被写体の少なくとも一部が写っている合焦領域、（２）焦点の合っていない第２深度に配置された第２被写体の少なくとも一部が写っている完全ボケ領域、（３）前記第１深度と前記第２深度の間の第３深度に配置された第３被写体の少なくとも一部が写っている中間ボケ領域、を設定し、前記被写体画像の前記中間ボケ領域を強調表示して、カメラファインダーに表示されるファインダ画像を作成するプロセッサを有する。
【００１１】
第９の発明に係る撮像装置は、被写体からの外光を結像する光学系と、上記光学系によって結像された上記被写体の光学像を画像信号に変換し、この画像信号を出力する撮像素子と、 上記被写体画像の中に、上記光学系のピントが第１合焦評価値よりも低くなる大ボケ状態とピントが第２合焦評価値よりも高くなる合焦状態の中間にある、中間ボケ状態である領域を検出する中間ボケ領域検出部と、上記画像信号に基づく被写体画像上で、上記中間ボケ領域を上記被写体画像とは識別可能に表示するファインダと、を有する。
【００１２】
第１０の発明に係る撮像装置は、上記第９の発明において、上記撮像素子からの画像信号に基づいて、上記光学像のピント状態を検出する焦点検出部を有し、上記中間ボケ領域検出部は、上記焦点検出部によって検出された上記ピント状態に基づいて、上記中間ボケ状態である領域を検出する。
第１１の発明に係る撮像装置は、上記第９の発明において、上記中間ボケ領域検出部は、上記撮像素子からの画像信号を入力し、中間ボケ領域検出用の推論モデルを用いて、上記中間ボケ状態である領域を推論によって検出する。
第１２の発明に係る撮像装置は、上記第１１の発明において、上記推論モデルを生成する学習装置と通信するための通信部を有し、上記中間ボケ領域検出部は、上記通信部を介して受信した上記推論モデルを用いて、上記中間ボケ状態である領域を推論によって検出する。
第１３の発明に係る撮像装置は、上記第９の発明において、上記ファインダは、上記中間ボケ領域を示すマークを上記被写体画像に重畳して表示する、または上記中間ボケ領域に対応する上記被写体画像の部分に画像処理を施した画像を表示する。
【００１３】
第１４の発明に係る学習装置は、画像データに、中間ボケ領域を示す情報が関連付けられたデータを教師データとして記憶するデータベースと、上記画像データを入力し、上記中間ボケ領域を示す情報と一致するように、推論モデルを生成する学習部と、上記推論モデルを外部の装置に送信するための通信部と、を有する。
【００１４】
第１５の発明に係る学習装置は、上記第１４の発明において、上記通信部は、上記中間ボケ領域を示す情報が関連付けられた画像を、外部からの要求に応じて表示するために送信し、さらに、上記通信部は、上記中間ボケ領域の情報に対する上記外部による評価を受信し、上記データベースは、受信した上記評価を上記データに関連付けて記憶し、上記学習部は、上記データベースに記憶された上記評価を用いて上記推論モデルを生成する。
【００１５】
第１６の発明に係る表示方法は、光学系によって結像された被写体の光学像を画像信号に変換し、 上記被写体の画像の中に、上記光学系のピントが大きく外れている大ボケ状態とピントが合っている合焦状態の中間にある、中間ボケ状態である領域を検出し、上記画像信号に基づく被写体画像上で、上記中間ボケ領域を上記被写体画像とは識別可能にしてファインダに表示する。
第１７の発明に係る表示方法は、上記第１６の発明において、上記ファインダに上記中間ボケ領域を表示するにあたって、上記中間ボケ領域を示すマークを上記被写体画像に重畳して表示する、または上記中間ボケ領域に対応する上記被写体画像の部分に画像処理を施して表示する。
【００１６】
第１８の発明に係る学習方法は、画像データに、中間ボケ領域を示す情報が関連付けられたデータを教師データとしてデータベースに記憶し、上記画像データを入力し、上記中間ボケ領域を示す情報と一致するように、機械学習によって推論モデルを生成し、上記推論モデルを外部の装置に送信する。
【００１７】
第１９の発明に係るアノテーション用プログラムは、中間ボケ領域を付与する対象画像を表示部に表示し、中間ボケ領域が指定されると、指定された領域を表示し、指定された中間ボケ領域と、上記対象画像を関連付けて記録する、ことをコンピュータに実行させる。
第２０の発明に係るアノテーション用プログラムは、上記第１９の発明において、上記記録された中間ボケ領域の削除が選択された場合には、上記中間ボケ領域の記録を削除する。  
【発明の効果】
【００１８】
本発明によれば、中間ボケ領域であることを簡単に知ることができるようにした撮像システム、撮像装置、および表示方法を提供することができる。また、中間ボケ領域の表示を行うための推論モデルを生成するための学習装置およびアノテーション用プログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施形態に係る撮像システムの主として電気的構成を示すブロック図である。
【図２】本発明の第１実施形態に係るカメラの動作を示すフローチャートである。
【図３】本発明の第１実施形態に係るカメラの表示部において、中間ボケ領域の表示の仕方の一例を示す図である。
【図４】本発明の第１実施形態に係るカメラにおいて、中間ボケ領域を説明するグラフである。
【図５】本発明の第２実施形態に係る撮像システムの主として電気的構成を示すブロック図である。
【図６】本発明の第２実施形態に係る撮像システムにおけるカメラの動作を示すフローチャートである。
【図７】本発明の第２実施形態に係るカメラの表示部において、中間ボケ領域の表示の仕方の一例を示す図である。
【図８】本発明の第２実施形態に係る撮像システムにおいて、深層学習を行うためのアノテーション作成用ユーザーインターフェース（ＵＩ）を示す図である。
【図９】本発明の第２実施形態に係る撮像システムにおいて、深層学習を行うためのアノテーション作成の動作を示すフローチャートである。
【図１０】本発明の第２実施形態に係る撮像システムにおける学習装置の構成の一例を示すブロック図である。
【図１１】本発明の第２実施形態に係る撮像システムにおける学習装置の構成の他の例を示すブロック図である。
【図１２】本発明の第３実施形態に係る撮像システムにおける画像管理サーバにおける動作を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の好ましい実施形態として撮像システムに本発明を適用した例について説明する。この撮像システムは、カメラ、パーソナルコンピュータ（ＰＣ）、サーバ等を有する。このカメラ１は、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像をファインダ等に表示する（この画像をライブビュー画像という）。撮影者はライブビュー画像を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、ファインダ等に再生表示することができる。
【００２１】
また、撮像システムは、撮像部によって取得した画像データに基づいて合焦と非合焦の中間にあるボケ領域（中間ボケ領域）を検出し、検出された中間ボケ領域を、ライブビュー画像に重畳して表示する（第１実施形態、図２のＳ１１、図３（ｂ）参照）。また、サーバ内の学習装置は、多数の中間ボケ領域を示すアノテーション付きの画像を用いた深層学習等の機械学習によって、中間ボケ領域検出用の推論モデルを生成する（第２実施形態、図１０〜図１１、第３実施形態参照）。撮像システムは、生成された推論モデルを搭載した推論エンジンによって、中間ボケ領域を検出し、この検出した中間ボケ領域をライブビュー画像に重畳して表示する（第２実施形態、図６のＳ８、Ｓ１２参照）。
【００２２】
図１ないし図４を用いて、本発明の第１実施形態について説明する。本実施形態は、カメラ１において、画像データから中間ボケ領域を検出し、ライブビュー画像に中間ボケ領域を示すマークを重畳して表示する。本実施形態の構成および動作を説明するに先立って、中間ボケ領域について説明する。
【００２３】
撮像画像の中には、「完全な合焦領域」と「完全なボケ領域」の間に「中間ボケ領域」が存在することがある。「中間ボケ領域」のボケ方（ボケの程度、ボケの質）や「完全な合焦領域」との位置関係は、写真の印象に影響していることがわかった。例えば、図３（ａ）において、撮像画像６０が人物６１のポートレートである場合、人物の２つの目のうち撮影者に近い側の目６１ａに焦点を合わせることがある。このとき、各領域には以下のような被写体が写ることになる。
・完全な合焦領域：  撮影者に近い側の目６１ａ
・完全なボケ領域：  背景６２
・中間ボケ領域：  撮影者から遠い側の目６１ｂ、頬、口
【００２４】
このように、撮影画像には、完全な合焦領域と完全なボケ領域以外に、中間ボケ領域が存在する。本実施形態に係る撮像装置（カメラ）は、ファインダで被写体像を表示する際に、完全な合焦領域のみならず、「中間ボケ領域」を表示するようにしている。例えば、図３（ｂ）に示すように、「完全な合焦領域」を示すマーカー６５の他に、「中間ボケ領域」を示すマーカー６６を表示する。このマーカー６５、６６は、撮影条件を変更するたびにリアルタイムに更新するようにすればよい。このようなマーカー等による表示を行うことによって、接眼窓を介してファインダを覗く形式の電子ビューファインダ（ＥＶＦ）のように、ファインダ画像が小さい場合であっても、中間ボケ領域を認識するのが容易になる。
【００２５】
図１は、本発明の第１実施形態に係る撮像システムの概略を示すブロック図である。この撮像システムは、カメラ１、ＰＣ１０、ＰＣ２０、ネット３０、サーバ４０を有する。カメラ１は、撮像部２、第１ＣＰＵ３、第１通信部４、操作部５、ファインダ６、記録部８を備えている。
【００２６】
撮像部２は、被写体像を形成するための光学系と、被写体像を画像信号に変換するための撮像素子と、撮像素子を制御する撮像制御回路と、画像信号を処理する撮像信号処理回路等を有する。撮像部２によって取得された画像データは、第１ＣＰＵ３に出力される。撮像部２は、被写体からの外光を結像する光学系と、光学系によって結像された被写体の光学像を画像信号に変換し、この画像信号を出力する撮像素子として機能する。
【００２７】
第１ＣＰＵ３は、ＣＰＵ（Central Processing Unit）等のプロセッサを有し、メモリに記憶されたプログラムに従って、カメラ１の全体を制御する。また、第１ＣＰＵ３は、ＣＰＵ等の制御回路以外にも、画像処理回路、焦点検出回路等の種々の周辺回路を有する。これらの周辺回路の機能は、第１ＣＰＵ３で実行されるプログラムとして実装されてもよい。
【００２８】
第１ＣＰＵ３内の画像処理回路は、撮像部２によって取得された画像データに対して、種々の画像処理を施す。例えば、画像処理回路は、画像データに対してライブビュー表示用の画像処理を施し、また本撮影時に取得された画像データに対して記録用の画像処理を施す。なお、本撮影は、ユーザがレリーズ釦等を操作して写真撮影を指示するときになされる撮影をいう。また、画像処理回路は、後述する中間ボケマークや合焦マークを、ライブビュー画像に重畳表示させるための処理を施す。
【００２９】
第１ＣＰＵ３内の焦点検出回路は、画像データを用いて、ＡＦエリア毎に焦点評価値（高周波成分）を算出する。光学系の内のフォーカスレンズを移動させ、各フォーカスレンズ位置において、ＡＦエリア毎に焦点評価値を算出する。焦点評価値がピークとなるフォーカスレンズ位置が合焦位置である。また、焦点評価値が合焦点に対応する値と、大ボケに対応する値の間が中間ボケ領域である。ＡＦエリアを狭くすればするほど、撮影画面内において、合焦領域、中間ボケ領域、大ボケ領域を密に検出することができる。中間ボケ領域の詳細については、図４を用いて後述する。なお、中間ボケ領域については、焦点評価値以外にも、位相差ＡＦによるデフォーカス量を用いて検出するようにしてもよい。すなわち、合焦領域に対応するデフォーカス量よりも大きく、所定のデフォーカス量までの範囲を中間ボケ領域としてもよい。第１ＣＰＵ３内の焦点検出回路は、撮像素子からの画像信号に基づいて、光学像のピント状態を検出する焦点検出部として機能する。
【００３０】
第１ＣＰＵ３は、被写体画像の中に、（１）焦点の合っている第１深度に配置された第１被写体の少なくとも一部が写っている合焦領域、（２）焦点の合っていない第２深度に配置された第２被写体の少なくとも一部が写っている完全ボケ領域、（３）上記第１深度と上記第２深度の間の第３深度に配置された第３被写体の少なくとも一部が写っている中間ボケ領域、を設定するプロセッサとして機能する。なお、このプロセッサは、第１ＣＰＵ３ではなく、後述する第２ＣＰＵ１２が担ってもよい。また、第１ＣＰＵ３と第２ＣＰＵ１２が協働してプロセッサの機能を担ってもよい。
【００３１】
また、第１ＣＰＵ３は、被写体画像の中に、光学系のピントが第１合焦評価値より低くなる大ボケ状態とピントが第２合焦評価値よりも高くなる合焦状態の中間にある、中間ボケ状態である領域を検出する中間ボケ領域検出部として機能する。この中間ボケ領域検出部は、第２ＣＰＵ１２が担ってもよい。中間ボケ領域検出部は、焦点検出部によって検出されたピント状態に基づいて、中間ボケ状態である領域を検出する（例えば、図２のＳ７、Ｓ９参照）。
【００３２】
また、プロセッサ（例えば、第１ＣＰＵ３）は、被写体画像に基づくデプスマップを作成し、デプスマップに基づいて第１深度、第２深度、第３深度を設定し、第３被写体が写る領域のすべてを中間ボケ領域に設定している（例えば、図４参照）。
【００３３】
第１通信部４は、通信回路を有し、カメラ１とＰＣ１０、さらにＰＣ１０を介してサーバ４０との通信を行う。例えば、カメラ１は、撮影した画像を第１通信部、第２通信部１３を介して、サーバ４０に送信することができる。サーバ４０内のデータベースに画像データを保存するためである。
【００３４】
操作部５は、ユーザがカメラに対して指示するための入力インターフェースである。操作部５は、電源スイッチ、レリーズ釦、モード設定釦、タッチパネル等の操作部材を有し、この操作部材の操作状態は、第１ＣＰＵ３に出力される。ユーザがレリーズ釦を操作することにより、撮影指示がなされ、カメラ１は本撮影を行う。
【００３５】
ファインダ６は、ＬＣＤモニタ、有機ＥＬ等のディスプレイを有する。ファインダ６は、本実施形態においては、接眼窓を通してファインダ画面を観察する電子ビューファインダ（ＥＶＦ）であるが、これ以外にも、例えば、カメラ１の外装に配置されたＬＣＤモニタでもよい。ファインダ６は、撮像部２によって取得された画像データに基づいて、ライブビュー画像を表示する。また、ファインダ６は、記録部８に記録された画像データに基づいて、画像を再生表示し、その他、撮影モード等の設定画面を表示する。ファインダ６は、画像信号に基づく被写体画像上に、プロセッサによって設定された中間ボケ領域を示したファインダ画像を表示するファインダとして機能する。また、ファインダ６は、画像信号に基づく被写体画像上で、中間ボケ領域を被写体画像とは識別可能に表示するファインダとして機能する。
【００３６】
記録部８は、電気的に書き換え可能な不揮発性のメモリである。記録部８は、ユーザがレリーズ釦によって、本撮影を指示した際に取得し、画像処理回路によって記録用に処理された画像データを記録する。
【００３７】
ＰＣ１０は、カメラ１のユーザが使用する情報処理装置であり、例えば、パーソナルコンピュータ（ＰＣ）や、スマートフォン等である。ＰＣ１０は、ディスプレイ１１、第２ＣＰＵ１２、第２通信部１３を有する。
【００３８】
ディスプレイ１１は、ＬＣＤモニタ、有機ＥＬ等のディスプレイであり、種々の表示を行う。カメラ１から送信されてきた画像データに基づく画像を表示することができる。また、キーボード等の入力装置も有し、入力結果に応じた表示を行うことができる。第２ＣＰＵは、ＣＰＵ（Central Processing Unit）等のプロセッサを有し、メモリに記憶されたプログラムに従って、ＰＣ１０の全体を制御する。第２通信部１３は、通信回路を有し、カメラ１内の第１通信部４、およびインターネット３０を介してサーバ４０内の通信部と通信を行う。
【００３９】
ＰＣ２０は、他のユーザが使用するパーソナルコンピュータ（ＰＣ）である。なお、ＰＣ２０は、パーソナルコンピュータに限らず、スマートフォン等の情報処理装置であってもよい。ＰＣ２０は、第３ＣＰＵ２２を有するが、これ以外にもディスプレイや通信部等を有する。ＰＣ２０は、インターネット３０を介してサーバ４０と通信が可能であり、ＰＣ２０から画像データ等をサーバ４０に送信し、またサーバ４０から画像データ等を受信することができる。
【００４０】
インターネット３０は、世界中のコンピュータなどの情報機器を接続するネットワークである。このインターネットを介して、ＰＣ１０、ＰＣ２０、サーバ４０等の情報機器との間で、データ交換を行うことができる。
【００４１】
サーバ４０は、インターネット３０を介して、他のＰＣ等の情報機器とデータ交換を行うことができる。また、サーバ４０はデータベースを有し、カメラ１やスマートフォン等の撮像装置において取得した画像データを蓄積することができる。
【００４２】
次に、図２に示すフローチャートを用いて、本実施形態における中間ボケ領域の表示方法について説明する。図２に示すフローチャートは、第１ＣＰＵ３がメモリに記憶されたプログラムに基づいて実行する。このフローは、カメラ１において、主として、ライブビュー画像に中間ボケ領域を重畳して表示する動作を示し、他の動作については簡略化してある。
【００４３】
図２に示すフローは、電源スイッチがオンになると開始する。開始すると、まず、画像データを取得する（Ｓ１）。ここでは、撮像部２が被写体像を画像データに変換し、ＳＤＲＡＭ等のメモリに一時記憶する。なお、画像データは、所定のフレームレートで決まる時間間隔で、周期的に取得される。
【００４４】
続いて、中間ボケ領域表示モードが否かを判定する（Ｓ３）。中間ボケ領域表示モードは、、中間ボケ領域をファインダ６に表示するモードである（図３（ｂ）参照）。ユーザは、中間領域表示を行いたい場合には、操作部５によってこのモードを選択する。このステップでは、中間ボケ領域表示モードが設定されたか否かを判定する。
【００４５】
ステップＳ３における判定の結果、中間ボケ領域表示モードが設定されていない場合には、ライブビュー画像を表示する（Ｓ５）。この場合には、画像処理回路が、ステップＳ１において取得した画像データに対して、ライブビュー表示用の画像処理を施す。ファインダ６は、画像処理の施された画像データに基づいて、ライブビュー画像を表示する（例えば、図３（ａ）参照）。
【００４６】
一方、ステップＳ３における判定の結果、中間ボケ領域表示モードが設定されている場合には、焦点評価値を算出する（Ｓ７）。焦点評価値はボケ評価値でもあり、焦点状態に応じた値である。この焦点評価値は、種々の算出方法があり、ＡＦエリア（ＡＦ測距点）毎に、画像データの高周波成分を抽出してもよく、またフレーム毎の画像データの差分から算出してもよい。その他、位相差ＡＦによる焦点検出を行う場合には、各ＡＦエリアのデフォーカス量を算出してもよい。
【００４７】
焦点評価値を算出すると、次に、合焦領域と中間ボケ領域を抽出する（Ｓ９）。ここでは、ステップＳ７において算出された焦点評価値に基づいて、ＡＦエリア（ＡＦ測距点）毎に合焦領域と、中間ボケ領域を区別して、抽出する。すなわち、ＡＦエリア（ＡＦ測距点）毎に、合焦領域であるか、中間ボケ領域であるかを判断する。中間ボケ領域については、図４を用いて後述する。
【００４８】
続いて、ライブビュー画像に、合焦領域と中間ボケ領域を重畳表示する（Ｓ１１）。ここでは、第１ＣＰＵ３は、ステップＳ１において取得した画像データに基づくライブビュー画像に、ステップＳ９において抽出した合焦領域に対応する位置と、中間ボケ領域に対応する位置に、マークを重畳させ、ファインダ６に表示する（図３（ｂ）参照）。
【００４９】
ステップＳ１１において中間ボケ領域をライブビュー画像に重畳して表示すると、またはステップＳ５においてライブビュー画像を表示すると、次に、撮影指示があるか否かを判定する（Ｓ１３）。ユーザは、中間ボケ領域表示モードが設定されている場合に、中間ボケ領域を確認して、撮影の意図に沿ったピント状態になると、レリーズ釦を操作して、本撮影を行う。このステップでは、第１ＣＰＵ３は、操作部５のレリーズ釦が操作されたか否かに基づいて判定する。この判定の結果、撮影指示がない場合には、ステップＳ１に戻る。
【００５０】
ステップ１３における判定の結果、撮影指示があった場合には、露光および画像データの取得を行う（Ｓ１５）。ここでは、第１ＣＰＵ３は、適正露光となるように、撮像部２のシャッタ、絞り等を制御し、露光時間が経過後、撮像素子から画像データを取得する。画像データを取得すると、画像処理回路は画像データに対して記録用の画像処理を施す。この処理された画像データは、記録部８に記録される。記録が終了すると、ステップＳ１に戻る。
【００５１】
このように、本実施形態に係るフローチャートにおいては、焦点評価値を算出し（Ｓ７）、この算出された焦点評価値を用いて中間ボケ領域を検出し（Ｓ９）、この検出された中間ボケ領域をライブビュー画像に重畳してファインダ６に表示している（Ｓ１１）。このため、ユーザは、中間ボケ領域が撮影画像の中でどこの部分にあるかを確認することができる。
【００５２】
「中間ボケ領域」がファインダ６において強調表示されることによって、ユーザは写真のどの部分が印象に大きく影響を与えるか、写真を撮像する前に知ることができる。さらに、撮像条件を変えながら、撮影意図に合う被写体を中間ボケ領域に納めることで、得られる写真の印象をコントロールすることが可能になる。また、撮影された写真の「中間ボケ領域」のボケ具合を確認すれば、ユーザはレンズの特性を感覚的に把握することができる。特に、ファインダ６の表示画素が荒い場合には、中間ボケ領域を確認し難いが、本フローによれば容易に中間ボケ領域を視認することができる（図３（ｂ）参照）。
【００５３】
「完全な合焦領域」、「完全なボケ領域」、「中間ボケ領域」は、撮影者からの被写体までの距離を用いて、定義することができる。または、撮影レンズのフォーカス位置を、深度を用いて定義することができる。深度は、絞りをＦ、許容錯乱円形をδとすると、深度＝Ｆδである。写真の印象に大きな影響を与える「中間ボケ領域」の深度は、シーンによって異なることが多いので、判別されるシーンごとに「中間ボケ領域」を与える深度を設定してもよい。
【００５４】
図４にボケ評価値（焦点評価値）と、深度の関係の一例を示す。図４（ａ）において、横軸は深度であり、縦軸はボケ評価値（焦点評価値）である。図において、領域Ａ１はボケ評価値が所定値以上であり、前側の中間ボケ領域を与える深度である。また、領域Ａ２も、ボケ評価値が所定値以上であり、後側中間ボケ領域を与える深度である。なお、Ｆは完全な合焦となる深度領域である。実際には、許容錯乱円形δの範囲内については、合焦範囲とみなせるため、合焦となる深度領域Ｆは一定の幅をもっているが、図４では説明のために深度範囲の中の１点として示してある。
【００５５】
また、前側中間ボケ領域Ａ１と後側中間ボケ領域Ａ２の外側は、ピント状態が大ボケである非合焦領域Ｃ１、Ｃ２である。第１ＣＰＵ３は、ボケ評価値に基づいて、（１）焦点の合っている第１深度に配置された第１被写体の少なくとも一部が写っている合焦領域（Ｆ）と、（２）焦点の合っていない第２深度に配置された第２被写体の少なくとも一部が写っている完全ボケ領域（Ｃ１、Ｃ２）と、（３）第１深度と第２深度の間の第３深度に配置された第３被写体の少なくとも一部が写っている中間ボケ領域（Ａ１、Ａ２）と、深度に応じて、３つの領域を設定することができる。
【００５６】
また、「完全な合焦領域」前後のボケ方、中間ボケ領域を与える深度は、レンズにより異なる。したがって、レンズごとに「中間ボケ領域」を設定してもよい。同じレンズでも、ズームした場合は中間領域を与える深度は変化する。例えば、図４（ｂ）に示すように、焦点距離が長くなるにつれ、後側中間ボケ領域を与える深度の幅が広くなる場合もある。図４（ｂ）のグラフＧ１、Ｇ２、Ｇ３の順に焦点距離が長くなる。この場合には、前側中間ボケ領域Ｂ１ａ、Ｂ１ｂ、Ｂ１ｃは、大きな変動はないが、後側中間ボケ領域Ｂ２ａ、Ｂ２ｂ、Ｂ２ｃは、焦点距離が長くなるにつれて、幅が広くなっている。
【００５７】
このように、本発明の第１実施形態においては、撮像部２は、被写体からの外光を結像する光学系と、この光学系によって結像された被写体の光学像を画像信号に変換し、この画像信号を出力する撮像素子を有している。また、第１ＣＰＵ３は、被写体画像の中に、光学系のピントが大きく外れている大ボケ状態とピントが合っている合焦状態の中間にある中間ボケ状態である領域を検出している（図２のＳ９、図４（ａ）の中間ボケ領域Ａ１、Ｓ２参照）。さらに、ファインダ６は、画像信号に基づく被写体画像に、中間ボケ領域を上記被写体画像とは識別可能に表示している（図２のＳ１１、図３（ｂ）のマーク６６参照）。このため、ユーザは、ライブビュー画像の中で中間ボケ領域を容易に認識することができ、中間ボケ領域が写真に与える印象を考慮しながら、構図や絞り等の撮影条件を決めることができる。
【００５８】
なお、本実施形態においては、カメラ１内において、中間ボケ領域を検出し、ライブビュー画像の中に中間ボケ領域が識別可能となる画像を生成し、ファインダ６に表示していた。しかし、これに限らず、カメラ１内で行う中間ボケ領域の検出等をＰＣ１０において行うようにしてもよい。この場合には、カメラ１で取得した画像データを第１通信部４および第２通信部１３を介して、ＰＣ１０に送信する。第２ＣＰＵ１２は、中間ボケ領域の検出を行うことができ、第２ＣＰＵ１２で検出した中間ボケ領域を、第２通信部１３および第１通信部４を介してカメラ１に送信する。カメラ１の第１ＣＰＵ３は、撮像部２において取得した被写体像に、ＰＣ１０から送信されてきた中間ボケ領域を重畳して、ファインダ６に表示する。
【００５９】
上述のように、第２ＣＰＵにおいて、中間ボケ領域をＰＣ１０側で検出する場合には、本実施形態に係る撮像システムは、カメラ１と、このカメラと通信が可能な情報処理装置（ＰＣ１０）とから構成され、カメラは、光学系、撮像素子、およびファインダを有し、さらに、カメラと情報処理装置の各々は、被写体画像と設定された中間ボケ領域に関する情報を通信するための通信素子（第１通信部４、第２通信部１３）を有している。また、第２ＣＰＵ１２は、情報処理装置に配置され中間ボケ領域を設定するユーザプロセッサとして機能する。また第１ＣＰＵ３は、カメラに配置されファインダ画像を生成するカメラプロセッサとして機能する。ファインダ６は、画像信号に基づく被写体画像上に、通信素子を介して受信した中間ボケ領域に関する情報に基づく画像を重畳して表示する。
【００６０】
また、本実施形態においては、中間ボケ領域を示すための十字形状のマーカー６６をライブビュー画像に重畳して表示することにより、中間ボケ領域を被写体画像に対して識別可能に表示していた。しかし、マーカー６６の形状は十字形状以外にも、バツ印や丸印等の形状であってもよく、さらに、マーカー６６を点滅表示させてもよい。また、中間ボケ領域に相当する画像を、グレースケールで表示してもよく、彩度を低下して表示してもよく、また他の色を着色して表示してもよい。さらに、中間ボケ領域のみに対して、特定の画像処理を施すようにしてもよい。したがって、ファインダは、中間ボケ領域を示すマークを被写体画像に重畳して表示する、または中間ボケ領域に対応する被写体画像の部分に画像処理を施した画像を表示する。
【００６１】
また、本実施形態においては、ライブビュー画像の表示の際に、第１ＣＰＵ３は、中間ボケ領域を検出し、この領域がライブビュー画像上で分かるように表示していた。しかし、第１ＣＰＵ３は、記録部８に記録された画像に対しても、中間ボケ領域を表示するようにしてもよい。
【００６２】
次に、図５ないし図１１を用いて、本発明の第２実施形態について説明する。第１実施形態においては、画像データに基づくボケ評価値（焦点評価値）を算出し、この評価値に基づいて、中間ボケ領域を検出していた。これに対して、第２実施形態においては、中間ボケ領域検出用の推論モデルを生成し、この推論モデルを用いて、中間ボケ領域を検出する。このため、プロ写真家に、中間ボケ領域を指示したアノテーション付きの画像データ（教師用データ）を作成してもらい、この教師用データを用いて深層学習等の機械学習によって推論モデルを生成する。
【００６３】
第１実施形態においては、ボケ評価値が所定の値の範囲に入る場合に、一律に中間ボケ領域としていた。しかし、シーンや撮像条件によっては、「中間ボケ領域」と定義されるべき深度に配置された被写体であっても、写真の影響に大きな印象を与えないこともある。つまり、同じ深度にあり同じボケ方をしているはずの領域の中にも、ボケ方が写真の印象に与える影響が大きい「有効中間ボケ領域」と、写真の印象にあまり貢献しない「無効中間ボケ領域」がある。本実施形態においては、ユーザに、「無効中間ボケ領域」を無視して、「有効中間ボケ領域」を表示するようにしている。特に、接眼窓からファインダを覗く場合には、被写体像が小さいことから、効果が大きい。
【００６４】
本実施形態における表示方法として、図３に示したような人物６１のポートレートの例に挙げて、図７を用いて説明する。「撮影者から遠い側の目６１ｂ」のボケ方（ボケの程度、ボケの質）は写真の印象に大きく影響する。しかし、これと同じ深度にある「人物と関係のない被写体」のボケ方（ボケの程度、ボケの質）の良し悪しで写真の印象はあまり変わらない。例えば、図７（ａ）において、完全な合焦領域は目６１ｂであり、完全なボケ領域は背景６２である。中間ボケ領域としては、撮影者から遠い目６１ｂ、頬、口等があり、さらに蝶々６３も中間ボケ領域である。この場合、目６１ｂ、頬、口等は写真の印象に大きく影響を与えることから、有効な中間ボケ領域である。しかし、蝶々６３は、主被写体からも遠く、このボケ方が写真の印象には大きな影響を与えないことから、無効な中間ボケ領域である。
【００６５】
しかし、このような「有効中間ボケ領域」と「無効中間ボケ領域」の区別（≒「有効中間ボケ領域」の設定の仕方）は、シーンや撮像条件ごとに有識者の間では感覚的な共通認識があるものの、明確に定義することはできないことが多い。さらに、一部の上級者は固有の「有効中間ボケ領域」の設定方法を感覚的なノウハウとして持っており、それを自分の作風の一部としていることもある。
【００６６】
そこで、本実施形態においては、プロ写真家に「有効中間ボケ領域」を指示してもらい、この指示して貰った画像を教師データとして、推論モデルを生成する。この教師データ作成のためのアノテーションについては、図８および図９を用いて後述する。また、教師データを用いて深層学習によって推論モデルを生成することについては、図１０および図１１を用いて後述する。
【００６７】
まず、図５を用いて、本実施形態における撮像システムの構成について説明する。図５は、第１実施形態に係る図１と比較し、カメラ１が推論エンジン７を有する点、およびサーバ４０が学習装置４１を有する点で相違する。他の構成については同様であることから、相違点を中心に説明する。
【００６８】
本実施形態における撮像システムのカメラ１は、推論エンジン７を有している点で相違する。この推論エンジン７は、後述する学習装置４１によって生成された中間ボケ領域検出用の推論モデルを記憶する。そして、推論エンジン７は、撮像部２によって取得された画像データを入力すると、中間ボケ領域に対応する位置を出力する。ファインダ６は、推論エンジン７によって推論された中間ボケ領域に対応する位置に、中間ボケ領域を示すマークを表示する。なお、第１実施形態においては、焦点検出回路によってボケ評価値を算出していたが、このボケ評価値は中間ボケ領域の検出には使用しない。
【００６９】
推論エンジン７は、機械学習によって得られた推論モデルを用いた推論部によって、第３被写体が写る領域に基づいて中間ボケ領域を設定するプロセッサとして機能する。推論部は、熟練者により中間ボケ領域をアノテーションされた学習画像を用いて学習した、深層ニューラル・ネットワークである（図１０、図１１参照）。推論エンジン７は、中間ボケ領域検出部は、撮像素子からの画像信号を入力し、中間ボケ領域検出用の推論モデルを用いて、中間ボケ状態である領域を推論によって検出する中間ボケ領域検出部として機能する（例えば、図６のＳ８参照）。中間ボケ領域検出部は、通信部を介して受信した推論モデルを用いて、中間ボケ状態である領域を推論によって検出する。本実施形態におけるファインダ６は、中間ボケ領域を示すマークを被写体画像に重畳して表示する、または中間ボケ領域に対応する被写体画像の部分に画像処理を施した画像を表示するファインダとして機能する。
【００７０】
また、サーバ４０は、中間ボケ領域を推論するための学習装置４１を有する。この学習装置４１は、ユーザのＰＣ１０や他社のＰＣ２０等によって、プロ写真家が中間ボケ領域の検出用にアノテーションを付した画像データ（教師データ）を、入力し、中間ボケ領域検出用の推論モデルを、深層学習等の機械学習によって生成する。この生成された推論モデルは、第２通信部１３および第１通信部４を介してカメラ１に送信され、推論エンジン７の記憶部に記憶される。学習装置４１における深層学習のための構成については、図１０および図１１を用いて後述する。なお、本実施形態においては、推論エンジン７は、推論を実行するに適したハードウエア構成を想定している。しかし、これに限らず、ＣＰＵ等のプロセッサとソフトウエアによって推論を行うようにしてもよい。
【００７１】
学習装置４１は、画像データを入力し、中間ボケ領域を示す情報と一致するように、推論モデルを生成する学習部として機能する。学習部は、データベースに記憶された中間ボケ領域の情報に対する外部による評価を用いて推論モデルを生成する（例えば、図１２のＳ６５、Ｓ６７参照）。
【００７２】
また、サーバ４０は、画像データに、中間ボケ領域を示す情報が関連付けられたデータを教師データとして記憶するデータベース（メモリ）と、推論モデルを外部の装置に送信するための通信部を有する。通信部は、中間ボケ領域を示す情報が関連付けられた画像を、外部からの要求に応じて表示するために送信し、また、通信部は、中間ボケ領域の情報に対する外部による評価を受信する。データベースは、受信した評価をデータに関連付けて記憶する（例えば、図１２のＳ６１参照）。
【００７３】
次に、図６に示すフローチャートを用いて、第２実施形態に係るカメラの中間ボケ領域の表示について説明する。このフローは、図２に示すフローチャートと同様、第１のＣＰＵ３によって実行される。図６に示すフローチャートは、図２に示すフローチャートと比較し、ステップＳ５、Ｓ７、およびＳ９を、ステップＳ８、Ｓ１２に置き換えた以外は同様である。そこで、相違点を中心に説明する。
【００７４】
ステップＳ３における判定の結果、中間ボケ領域表示モードの場合には、合焦領域と、中間ボケ領域を推論する（Ｓ８）。ここでは、学習装置４１から受信した推論モデルを用いて、推論エンジン７が、撮像部２によって出力された画像データを入力し、合焦領域と中間ボケ領域の推論を行う。中間ボケ領域については、前述したように、無効中間ボケ領域と有効中間ボケ領域がある。この推論においては、有効中間ボケ領域のみが、中間ボケ領域として認識される。なお、推論モデルが中間ボケ領域の推論専用の場合には、中間ボケ領域の推論のみを行う。合焦領域については、焦点検出回路によって算出された焦点評価値に基づいて検出してもよい。
【００７５】
続いて、ライブビュー画像に、合焦領域と中間ボケ領域を重畳して表示する（Ｓ１２）。ここでは、ステップＳ８において推論された合焦領域と、中間ボケ領域に対応する位置に中間ボケ領域マーカーと合焦点マーカーを、ライブビュー画像に重畳して、ファインダ６に表示する。
【００７６】
ステップＳ１２における中間ボケ領域等の表示について、図７を用いて説明する。図７（ａ）は、前述したように、マーカーが表示されていないライブビュー画像である。目６１ａは、合焦領域であることから、「完全な合焦領域」を示すマーカー６５が表示される。目６１ｂ、頬、口等は、有効中間ボケ領域である。そこで、これらの領域には、「中間ボケ領域」を示すマーカー６６が表示される。蝶々６３は、中間ボケ領域であるが、無効中間ボケ領域であるため、マーカー６６は表示されない。なお、第１実施形態において説明したように、マーカーに代えて、有効中間ボケ領域を被写体画像とは識別可能な表示を行うようにしてもよい。
【００７７】
ライブビュー画像に、中間ボケ領域等を重畳表示すると、前述の図２に示すフローチャートと同様に、ステップＳ１３以下を実行する。
【００７８】
次に、図８および図９を用いて、有効中間ボケ領域を検出するための推論モデルを生成する際に使用する学習データ（教師データ）の作成について説明する。本実施形態においては、複数のシーン・撮影条件で撮像された必要数の画像に対して、有識者（プロ写真家など）が、写真の印象に大きく影響する中間ボケ領域（有効中間ボケ領域）をアノテーションする。図８は、教師データを作成するためのアノテーション付与用のユーザインターフェースである。すなわち、本実施形態においては、プロ写真家等の有識者（専門家）が、ＰＣ１０、ＰＣ２０等のディスプレイに表示された写真を目視し、中間ボケ領域にマーカーを付与する。ＰＣ１０、ＰＣ２０のディスプレイは、カメラ１のファイン６よりは高精細表示されるので、有識者は有効中間ボケ領域であるか否かを判定しやすい。このマーカーが付与された画像データが、学習データ（教師データ）となる。
【００７９】
図８に示す例では、ＰＣ１０やＰＣ２０等の画面に対象画像７０と、中間ボケ領域マーカー７１、合焦点マーカー７２が表示され、さらに、マーカーの追加用のアイコン７１ａ、削除用アイコン７１ｂ、非表示用のアイコン７２ａが表示される。プロ写真家等の有識者は、カーソルを操作して、中間ボケ領域等に必要なマーカーを付与していく。
【００８０】
図９は、アノテーションを行うためのフローチャートである。このフローを実行するために、アプリケーションソフトが、プロ写真家等の有識者が使用するＰＣに配布される。このアプリケーションソフトがインストールされたＰＣ内のコントロール用のプロセッサ（ＣＰＵ）が、メモリに記憶されたプログラム（アプリケーションソフト）に従って実行する。
【００８１】
図９に示すアノテーションのフローが開始すると、まず、画像を表示する（Ｓ２１）。ここでは、ＣＰＵが、ＰＣ内のディスプレイに、対象画像７０を表示する。
【００８２】
画像が表示されると、次に、ＣＰＵが中間ボケ領域の追加アイコンが選択されたか否かを判定する（Ｓ２３）。ここでは、プロ写真家等がカーソルを操作して、中間ボケ領域マーカーの追加用アイコン７１ａを選択したか否かを、ＣＰＵが判定する。この判定の結果、追加アイコン７１ａが選択されていた場合には、次に、プロ写真家等が中間ボケ領域を選択したか否かを判定する（Ｓ２５）。ここでは、プロ写真家等が、カーソルを移動させ、中間ボケ領域に追加アイコン７１ａを移動させ、その領域を中間ボケ領域として指定したか否かを判定する。この指定を実行するまで、待機状態となる。なお、所定時間が経過しても、中間ボケ領域が指定されない場合には、ステップＳ３１に進んでもよい。
【００８３】
ステップＳ２５における判定の結果、中間ボケ領域が指定されると、次に、指定領域にマーカーを重畳して表示する（Ｓ２７）。ここでは、ＣＰＵが、ステップＳ２５において指定された中間ボケ領域に、中間ボケ領域を示すマーカーを、ライブビュー画像に重畳して、表示する。また、指定された領域の座標を画像データに関連付けて記録部に記録する（Ｓ２９）。
【００８４】
ステップＳ２９において指定領域の座標を記録すると、またはステップＳ２３における判定の結果、中間ボケ領域の追加アイコンが選択されていない場合には、次に、ＣＰＵが中間ボケ領域の削除アイコンを選択したか否かを判定する（Ｓ３１）。ここでは、プロ写真家等がカーソルを操作して、中間ボケ領域マーカーの削除アイコン７１ｂを選択したか否かを、ＣＰＵが判定する。この判定の結果、削除アイコン７１ｂを選択していた場合には、次に、ＣＰＵが削除マーカーを選択したか否かを判定する（Ｓ３３）。ここでは、プロ写真家等が、カーソルを移動させ、既に指定されている中間ボケ領域マーカーに移動させ、その領域を削除すると指定したか否かを、ＣＰＵが判定する。この指定が終了するまで、待機状態となる。なお、所定時間が経過しても、中間ボケ領域が削除されない場合には、ステップＳ３９に進んでもよい。
【００８５】
ステップＳ３３における判定の結果、削除する中間ボケ領域が指定されると、次に、指定された中間ボケ領域のマーカーを削除する（Ｓ３５）。ここでは、ステップＳ３３において指定された中間ボケ領域のマーカーを削除し、削除後のライブビュー画像を表示する。また、指定された領域の座標を画像データに関連付けて記録部に記録する（Ｓ３７）。
【００８６】
ステップＳ３７において削除したマーカーの座標を記録すると、またはステップＳ３１における判定の結果、中間ボケ領域の削除アイコンを選択していない場合には、次に、合焦マーカーを非表示するか否かを判定する（Ｓ３９）。ここでは、プロ写真家等がカーソルを操作して、合焦点マーカーの非表示アイコン７２ａを選択したか否かを判定する。この判定の結果、非表示アイコン７２ａを選択していた場合には、次に、合焦点マーカーを非表示にする（Ｓ４１）。プロ写真家等は、中間ボケ領域のみに注意してピント合わせを行いたい場合等には、合焦点マーカーを非表示する。
【００８７】
ステップＳ４１において合焦点マーカーを非表示にすると、またはステップＳ３９における判定の結果、合焦点マーカー非表示が選択されていない場合には、次に、アノテーションを終了するか否かを判定する（Ｓ４１）。プロ写真家等は、アノテーション作業を終了する場合には、ＰＣ等の操作部を操作して、その旨を指示する。ここでは、この指示があったか否かを判定する。この判定の結果、アノテーションを終了する場合には、このアノテーションのフローを終了する。
【００８８】
一方、ステップＳ４３における判定の結果、アノテーションが終了でない場合には、次に、次の画像に対してアノテーションを行うか否かを判定する（Ｓ４３）。プロ写真家等がステップＳ２１において表示した画像に対して、中間ボケ領域の全てを指定した場合には、次の画像に移る。このステップにおける判定の結果、次の画像に移らない場合には、ステップＳ２３に進み、ステップＳ２１において表示された画像について、中間ボケ領域のアノテーションを続行する。一方、ステップＳ４３における判定の結果、次の画像に移る場合には、ステップＳ２１に進み、新しい画像を表示し、この画像に対してアノテーションを行う。
【００８９】
次に、学習装置４１における深層学習について説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。
【００９０】
ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることにより、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。
【００９１】
これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【００９２】
その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
【００９３】
次に、図１０および図１１を用いて、本実施形態において、推論モデルを生成するための学習装置４１の具体例について説明する。図１０は、深層学習によって推論モデルを生成する学習装置４１の一例である。図１０において、ニューラル・ネットワーク層（ＮＮ層）８２ａと活性化層８３ａ、ＮＮ層８２ｂ、活性化層８３ｂ、ＮＮ層８２ｃが、多数、配置されている。なお、図１０では、ＮＮ層と活性化層の数は、例示的に示しているだけであって、適宜設計事項として設定すればよい。
【００９４】
ＮＮ層と活性化層の入力側には、学習画像８１が入力される。この学習画像８１は、図８および図９を用いて説明したアノテーション画像、すなわち、中間ボケ領域に関する情報が関連付けて記録されている学習データ（教師データ）の内の画像データのみである。学習装置の入力側には画像データのみが入力される。一方、ＮＮ層と活性化層の出力側には、中間ボケ領域結果８４が与えられる。この中間ボケ領域結果８３は、前述の学習データ（教師データ）として画像に関連付けられて記録されている中間ボケ領域である。
【００９５】
学習装置４１に、学習画像８１が入力された際に、中間ボケ領域結果８４が出力されるように、ＮＮ層のパラメータを調整する。この調整にあたっては、評価関数８５の評価値が高くなるようにパラメータを調整する。
【００９６】
図１１は、深層学習によって推論モデルを生成する学習装置４１の他の例である。図１１（ａ）は、中間ボケ領域を推論するための深層学習を行う学習装置４１を示す。学習装置４１は、入力部９１、教師データ９２、出力部９３、ネットワークデザイン９４を有する。教師データ９２は、図８および図９を用いて説明した、プロ写真家によってアノテーションされた画像データである。この画像データは、前述したように、中間ボケ領域の位置を示す中間ボケ領域データ９２ｂが画像データ９２ａに関連付けられている。
【００９７】
学習装置４１内のネットワークデザイン９４の構成については、図１１（ｂ）を用いて後述する。入力部９１は、ネットワークデザイン９４の入力であり、出力部９３はネットワークデザインの出力である。教師データ９２の内、画像データ９２ａは入力部９１からネットワークデザイン９４に与えられ、有効中間ボケ領域データ９２ｂは出力部９３に与えられる。ネットワークデザイン９４は、画像データ９２ａが入力された際に、出力部９３から有効中間ボケ領域データ９２ｂが出力されるように、内部のパラメータを調整する。推論モデルは、この調整されたパラメータに相当する。なお、図１１（ａ）に示す教師データ９２は、２組のデータしか描かれていないが、実際には多数のデータ（母集合データ）が用いられる。
【００９８】
ネットワークデザイン９４によって、推論モデルが生成されると、推論モデルがカメラ１内の推論エンジン７に送信される。推論エンジンの構成は、図１１（ｂ）を用いて後述する。この推論エンジン７の入力部９５に撮像部２からの画像データが入力されると、出力部９６から中間ボケ領域が出力される。
【００９９】
次に、図１１（ｂ）を用いて、深層学習を行うネットワークデザイン９４と、推論モデルを用いて推論を行う推論エンジン７の構成について説明する。ネットワークデザイン９４と推論エンジン７は、入力層Ｉと出力層Ｏの間に中間層（ニューロン）が配置されている。この中間層としては、何層かのニューロンＮ１１〜Ｎ１ｎ、Ｎ２１〜Ｎ２ｎ、・・・が配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。
【０１００】
学習装置としての入力層Ｉには、ステップＳ３７において、教師データの内の画像データ９２ａが入力され、出力層Ｏには、教師データの内の有効中間ボケ領域データ９２ｂが与えられる。入力層Ｉに画像データ９２ａが入力された際に、出力層Ｏから有効中間ボケ領域データ９２ｂが出力されるように、各ニューロンと各ニューロンの結合の強さ（重み付け）が、それぞれ学習によって決定される。推論モデルとして、学習によって得られた各ニューロンと各ニューロンの結合の強さ（重み付け）が出力される。
【０１０１】
次に、図１１（ｂ）を用いて、カメラ等において使用される推論エンジン７について説明する。推論エンジン７も、ネットワークデザイン９４と同様に、入力層Ｉと出力層Ｏの間に中間層（ニューロン）が配置されている。入力層Ｉには撮像部２によって取得された画像が入力される。中間層Ｎ１１〜Ｎ１ｎ、Ｎ２１〜Ｎ２ｎ、・・・には、ネットワークデザイン９４によって生成された推論モデルに基づいて、重み付けがなされる。出力層Ｏには、入力層Ｉに入力された画像に応じて、有効中間ボケ領域が出力される。この中間ボケ領域は、図７、図８を説明したように、プロ写真家が有効中間ボケ領域と感じるような領域である。
【０１０２】
このように、プロ写真家が有効中間ボケ領域と感じる領域を深層学習することによって生成された推論モデルを推論エンジン７に記憶している。そして、撮像部２によって取得された画像に対して、推論エンジン７によって中間ボケ領域を推論し、この推論結果をファインダ６に表示することができる。
【０１０３】
ユーザは、ボケ方が写真の印象に大きく影響するような「中間ボケ領域」のみ、すなわち、「無効中間ボケ領域」とは区別された「有効中間ボケ領域」のみを、ファインダ内の強調表示によって知ることができる。また、ここでの「有効中間ボケ領域」の表示は、学習画像を作成した有識者（プロ写真家）の見識が反映されており、ユーザは、参考にしたい有識者がどこのボケ方に着眼して写真の印象をコントロールしているのか知ることができる。前述した本発明の第１実施形態では、デプスマップ（図４参照）を取得し、ピント位置から一定の深度にある領域を一律に「中間ボケ領域」と設定していた。この方法では、シーンに応じた細やかな「有効中間ボケ領域」の設定は容易ではない。しかし、ＡＩ（人工知能）を搭載しなくてもよく、また学習画像のアノテーションを行う必要が無くなり、廉価にサービスを提供することができる。
【０１０４】
なお、合焦点深度から深度がずれた場合のボケ方の特徴はレンズごとに異なる。そのため、「有効中間ボケ領域」の定義の仕方はレンズごと異なる。そこで、中化ボケ領域の深層学習はレンズごとに行われるのが望ましい。交換レンズのメーカーは、交換レンズとセットで、学習済みの「有効中間ボケ領域」検出アプリを提供してもよい。
【０１０５】
また、本実施形態においても、第１実施形態と同様に、カメラ１内において、有効中間ボケ領域を検出し、ライブビュー画像の中に中間ボケ領域が識別可能となる画像を生成し、ファインダ６に表示していた。しかし、これに限らず、カメラ１内で行う中間ボケ領域の検出等をＰＣ１０において行うようにしてもよい。この場合には、ＰＣ１０内に推論エンジン等、推論モデルに基づいて推論をできる推論部を設けておく。また、学習装置４１において生成した有効中間ボケ領域検出用の推論モデルを、ＰＣ１０内の推論部に記憶しておく。そして、カメラ１で取得した画像データを第１通信部４および第２通信部１３を介して、ＰＣ１０に送信する。第２ＣＰＵ１２内の推論部は、有効中間ボケ領域の検出を行い、第２ＣＰＵ１２で検出した有効中間ボケ領域を、第２通信部１３および第１通信部４を介してカメラ１に送信する。カメラ１の第１ＣＰＵ３は、撮像部２において取得した被写体像に、ＰＣ１０から送信されてきた有効中間ボケ領域を重畳して、ファインダ６に表示する。なお、この構成は、後述する第３実施形態においても応用できる。
【０１０６】
次に、図１２を用いて、本発明の第３実施形態について説明する。第２実施形態においては、有効中間ボケ領域の推論モデルを、プロ写真家がアノテーションした画像を用いて生成した。これに対して、第３実施形態においては、有効中間ボケ領域の推論モデルを、一般のユーザが画像を評価した結果を用いて行うようにしている。
【０１０７】
本実施形態では、第２実施形態の図８および図９を用いて説明した「有効中間ボケ領域」のアノテーションを、ユーザ自身がＰＣ等を用いて行う。このアノテーションの結果を、第３者が評価し、評価の高かった画像を用いて、有効中間ボケ領域の検出用の推論モデルを生成する。
【０１０８】
本実施形態における構成は、第２実施形態に係る図５と同様であることから、詳しい説明を省略する。本実施形態においては、図９に示したフローチャートを実行するためのアプリケーションをユーザに配布する。このアプリケーションをＰＣ１０、２０等にインストールすれば、図８に示したようなＵＩ（ユーザインターフェース）が表示され、ユーザが撮影した画像に対して、簡単に有効中間ボケ領域を指定することができる。なお、図９に示したフローチャートにおいて、ステップＳ４３における判定の結果、アノテーションが終了の場合には、アノテーション付きの画像データをサーバ４０に送信するようにする。
【０１０９】
本実施形態においては、ユーザが作成した学習画像（＝種々のパターンの中間ボケ領域アノテーションがなされた画像）をネット上で公開する。この学習画像を閲覧した第三者によって、評価した画像（「いいね」がつけられた画像）が多数、付与された画像に重みがつくように学習させる構成としてもよい。これにより、「いいね」のつきやすいように中間ボケ領域を設定することができる。なお、第２ＣＰＵ１２は、ユーザが学習画像を作成するために、中間ボケ領域をアノテーションするためのプログラムを実行するプロセッサとして機能する。
【０１１０】
画像サーバ４０による推論モデルの生成について、図１２に示すフローチャートを用いて説明する。この画像管理サーバのフローチャートは、サーバ４０内のＣＰＵ等の制御用プロセッサが、メモリに記憶されたプログラムに従って実行する。
【０１１１】
画像管理サーバのフローが開始すると、まず、画像がアップロードされたか否かを判定する（Ｓ５１）。ここでは、図９に示したフローチャート（アプリケーションソフト）を用いて、有効中間ボケ領域が付与された画像データがアップロードされたか否かを判定する。この判定の結果、アップロードの場合には、受信した画像をデータベースに格納する（Ｓ５３）。画像を格納するとステップＳ５１に戻る。
【０１１２】
ステップＳ５１における判定の結果、画像のアップロードでない場合には、画像鑑賞か否かを判定する（Ｓ５５）。ここでは、第三者が、サーバ４０のデータベースに格納されている画像の閲覧を要求しているか否かを判定する。この判定の結果、画像の閲覧を要求していた場合には、データベースに記録されている画像を要求のあった第三者のＰＣ等に送信し、画像を表示する。この場合、有効中間ボケ領域がマーク等によって表示されるようにする。
【０１１３】
続いて、中間ボケ領域にイイネ表示がなされたか否かを判定する（Ｓ５９）。画像を閲覧した第三者は、画像に付与されている有効中間ボケ領域が気に入った場合に、画面に表示された「イイネ」をクリックする場合がある。このステップでは、第三者が「イイネ」をクリックしたか否かを判定する。この判定の結果、「イイネ」をクリックしていた場合には、その画像に「イイネ」が付されたことを記録する。ステップＳ５９における判定の結果、イイネ表示がなされなかった場合、またはステップＳ６１においてイイネの記録を行うと、ステップＳ５５に戻る。
【０１１４】
ステップＳ５５における判定の結果、画像鑑賞でない場合には、有効中間ボケ領域の検出用の推論モデルの作成依頼か否かを判定する（Ｓ６３）。サーバ４０に対して、カメラユーザや第三者から、有効中間ボケ領域の検出用の推論モデルの作成を依頼される場合がある。ここでは、この判定を行う。
【０１１５】
ステップＳ６３における判定の結果、中間ボケ領域の検出用の推論モデルの作成依頼がない場合には、その他の処理を実行する（Ｓ７１）。一方、中間ボケ領域の検出用の推論モデルの作成依頼があった場合には、母集合を作成する（Ｓ６５）。ここでは、推論モデルを作成するための教師データの母集合を作成する。このため、ステップＳ６１において、イイネが記録された画像からなる集合を作成する。この場合、画像に付与されている他の情報を用いて更に母集合の絞り込みをおこなってもよい。
【０１１６】
母集合を作成すると、推論モデルを生成する（Ｓ６７）。ここでは、図１０、図１１を用いて説明したような深層学習を行って推論モデルを生成する。推論モデルが生成されると、推論モデルを送信する（Ｓ６９）。ここでは、ステップＳ６３において、推論モデルの作成を依頼した依頼元に送信する。また、推論モデルをデータベースに記録しておき、同様の依頼があった場合には、この推論モデルを送信するようにしても良い。
【０１１７】
このように、画像管理サーバのフローにおいては、ユーザ等が付与した有効中間ボケ領域について、第三者が評価し（Ｓ５５〜Ｓ６１）、評価の高かった画像を用いて、中間ボケ領域検出用の推論モデルを生成するようにしている。また、第３実施形態においては、カメラ１または情報処理装置（例えば、ＰＣ１０）の通信素子（例えば、第２通信部１３）と通信し、プロセッサに中間ボケ領域を設定する機能を実行させるアプリケーションソフトを提供するサーバを有している。このため、カメラまたは情報処理装置が、推論モデルを使用して推論することにより、一般人による中間ボケ領域に対する評価を踏まえた撮影を行うことが可能となる。
【０１１８】
なお、本実施形態においては、ユーザ以外の者が撮影した画像を用いて、推論モデルを作成するようにしている。しかし、ユーザ自身が撮影した写真にアノテーションを付与した画像が十分あれば、この画像を用いて、推論モデルを生成してもよい。この場合には、自分の好みにより学習された推論モデルを用いて、「有効中間ボケ領域」がどこにあるかが表示されるため、ユーザーはファインダを覗きながらどの領域のボケ方が自分の作風に影響が大きいのかを知ることができる。
【０１１９】
本発明の各実施形態においては、中間ボケ領域に注目し、この中間ボケ領域を容易に確認できるようにしている。このボケ味の美しさは、画像のボケ味に着目する領域において、ボケ量に相当するある空間周波数ｆ０ 近辺のコントラスト特性によって依存することが分かっている。つまり、ピントが合ってボケていない部分は元の画像の空間周波数特性を忠実に再現される方が良い。このピントが合っている部分から、ピントが合っていない領域に対して自然にぼけていくようにするために、画像のコントラスト特性が滑らかに減少する場合であっても、ある程度の周波数まで含まれている方が好ましい。この着目すべき空間周波数ｆ０ の基準としては、ボケとして認識される画像の観察倍率だけでなく、撮像素子の画素数や画素サイズにも依存する。
【０１２０】
即ち、対象物の空間的な構造と、結像させる光学系の特性によって、ぼけた画像の中に本来ない構造が形成されたりする。また、対象物の構造が画像の数ピクセルの相当の画像処理に影響を及ぼす範囲でコントラスト変化があると、本来綺麗にボケて滑らかに再現されるべき画像部分が、ピントの合ったところのような処理と重なり不自然な描写となる。このボケ領域の画像におけるコントラストの周波数特性がボケに相当する周波成分ｆ近辺で滑らかに減少しない状態になると、「２線ボケ」といった、本来被写体にない構造が現れ、いわゆる「汚いボケ」と呼ばれる状態となり望ましくない。一方、いわゆるアポタイゼーションフィルターや、画像処理等でボケに相当する空間周波数ｆ０ 近辺のコントラストや明るさの応答特性をカットした場合、いわゆる「汚いボケ」にはならないが、不自然に画像が消失しているように見えることがある。
【０１２１】
従って、空間周波数ｆ近辺での画像のコントラスト（輝度振幅、あるいはパワースペクトル成分）が、周波数が高くなる方向に対して滑らかに減少しつつもある程度の周波数領域まではコントラストが残存するように、中央部付近は良好に球面収差が補正され、絞り開放付近で球面収差が急速にアンダーコレクションとなるレンズ設計になっていることが好ましい。
【０１２２】
以上を考慮すると、美しく滲むボケを実現するには、ボケ領域の画像のコントラスト特性が、空間周波数ｆがｆ０ より高周波領域において急激に減少させるより、その逆数１／ｆに従って滑らかに減少する特性である事が好ましい。あるいは、単純にｆの逆数ではなく、それを強調する形で、１／ｆ（〇）といった関係にしたがってもよい。これは、空間周波数ｆが高くなる、すなわち画像の構造１／ｆだけ細かくなるとともにコントラストも同時に低下する特性である。このような考え方から、空間周波数ｆの逆数「１／ｆ」（あるいは、１／ｆ（〇））に合わせて、コントラストや明るさの変化（輝度振幅、あるいはパワースペクトル）が増減し、その再現性が比例するような特性になるようなボケ特性が好ましい。
【０１２３】
したがって、このようなボケ変化をする特性を「１／ｆぼけ」という呼び方で表現してもよい。このような条件にある場合、「１／ｆぼけ状態」にある、と書き換えてもよく、上述したような美しくにじむボケ味が実現できる部分を「１／ｆぼけ領域」と書くこともできる。このように空間周波数が低い即ち粗い構造から、空間周波数が高い、即ち細かな構造に遷移するのに従い、コントラストが１／ｆに近い特性で抑えられることは、フラクタル構造をはじめ、自然界の多くの被写体にみられる現象である。また、滑らかなボケといわれる画像には、１／ｆ特性からの乖離が少なくなる傾向があることから、この乖離量が、「１／ｆゆらぎ」と呼ばれる心地よさを表す指標と同様の自然なボケ効果を表せると考えられる。したがって、ライブビュー表示などで、このような「１／ｆゆらぎ」のボケが知覚されたり、静止画においても、画面の各所で空間的に「１／ｆゆらぎ」のボケが知覚されると画像表現にすることが出来る。このような特徴を持つように設計されたレンズを「１／ｆゆらぎ」設計レンズと表現することも可能である。このように、対象物の空間周波数ｆの逆数である１／ｆに合わせて、コントラスト再現が増減する１／ｆぼけ領域を、ボケ味が連続的に変化しながら連なる値となる領域と表現してもよい。
【０１２４】
以上説明したように、本発明の各実施形態においては、光学系によって結像された被写体の光学像を画像信号に変換し（例えば、図２のＳ１参照）、 被写体の画像の中に、光学系のピントが大きく外れている大ボケ状態とピントが合っている合焦状態の中間にある、中間ボケ状態である領域を検出し（例えば、図２のＳ７、Ｓ９参照）、画像信号に基づく被写体画像上で、中間ボケ領域を被写体画像とは識別可能にしてファインダに表示している（例えば、図２のＳ１１）。このため、ユーザは、被写体画像の中で、どこが中間ボケ領域であることを簡単に知ることができる。中間ボケ領域は写真の印象に影響を与えることから、ユーザは構図や撮影条件を変更等することにより、ユーザの意図に即した写真を撮影することができる。
【０１２５】
また、本発明の第２、第３実施形態においては、サーバ４０は、画像データに、中間ボケ領域を示す情報が関連付けられたデータを教師データとして記憶するデータベースと、画像データを入力し、中間ボケ領域を示す情報と一致するように、推論モデルを生成する学習部（学習装置４１）と、推論モデルを外部の装置に送信するための通信部を有している。このため、中間ボケ領域を示す推論モデルを生成することができ、外部のカメラ等の機器は、この推論モデルを用いて中間ボケ領域を簡単に識別することができる。また、教師データとして、有効ボケ領域を示す情報を利用すれば、プロ写真家のようなボケ味のある写真を撮影することが容易になる。
【０１２６】
また、本発明の第２、第３実施形態においては、中間ボケ領域を付与する対象画像を表示部に表示し（例えば、図９のＳ２１参照）、中間ボケ領域が指定されると、指定された領域を表示し（例えば、図９のＳ２５、Ｓ２７参照）、指定された中間ボケ領域と、対象画像を関連付けて記録する（例えば、図９のＳ２９参照）。これにより、中間ボケ領域が指示された画像を作成することができ、この画像を教師データとして深層学習等の機械学習を行うことができる。また、記録された中間ボケ領域の削除が選択された場合には、中間ボケ領域の記録を削除している（例えば、図９のＳ３１〜Ｓ３７参照）。
【０１２７】
なお、本発明の各実施形態において、「（有効）中間ボケ領域」をカメラのファインダ６に表示させる機能は、第１ＣＰＵ３、第２ＣＰＵ１２、第３ＣＰＵ２２、サーバ４０に実装される。この機能のすべてが１つの主体に実装されてもよいし、一部が異なる主体に実装されてもよい。また、第１ＣＰＵ３、第２ＣＰＵ１２、第３ＣＰＵ２２、サーバ４０の全て、または一部を指して「プロセッサ」と称してもよい。また、各実施形態において、通信は有線通信で表示しているが、無線通信であってもよい。
【０１２８】
また、以下の機能も中間ボケ領域の表示と共に、カメラ、ＰＣ、サーバ等に実装される。第１実施形態において示されたデプスマップの作成機能、中間ボケ領域を与える深度の設定機能。第２実施形態および第３実施形態において示された、中間ボケ領域の検出用の学習機能、学習済みの推論モデルを用いた中間ボケ領域を判別する機能。
【０１２９】
また、第２実施形態において、示された有識者（プロ写真家等）がアノテーションを行う機能は、サーバ４０または第３ＣＰＵ２２に実装されるのが望ましい。また、第３実施形態に示された、ユーザにアノテーションＵＩを提供する機能は、サーバ４０に実装され、有識者（プロ写真家等）がアノテーションを行う機能は、第１ＣＰＵ３、第２ＣＰＵ２２に実装されるのが望ましい。
【０１３０】
また、本発明の各実施形態においては、ボケ評価のために、コントラストＡＦで用いる焦点評価値を使用していたが、位相差ＡＦよるデフォーカス量を用いてもよい。この場合には、位相差ＡＦ検出のために、撮像素子に位相差ＡＦ検出用画素を配置した所謂、像面位相差ＡＦを採用してもよい。また、これに限らず、撮像素子とは別に位相差検出部を設けるようにしても勿論かまわない。
【０１３１】
また、第１ＣＰＵ３内の各部は、ＣＰＵとプログラムによってソフトウエア的に構成する以外にも、各部の一部または全部をハードウエア回路で構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。画像処理、焦点評価値の演算、位相差の演算等は、画一的な演算処理を繰り返し行うことがハードウエア回路で構成することが望ましい。また、ＣＰＵに限らず、コントローラとしての機能を果たす素子であればよく、上述した各部の処理は、ハードウエアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。
【０１３２】
また、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、ボケが生ずるような光学系で撮影を行うような機器であれば、本発明を適用することができる。
【０１３３】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１３４】
また、本発明の各実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【０１３５】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１３６】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１３７】
１・・・カメラ、２・・・撮像部、３・・・第１ＣＰＵ、４・・・第１通信部、５・・・操作部、６・・・ファインダ、７・・・推論エンジン、８・・・記録部、１０・・・ＰＣ、１１・・・ディスプレイ、１２・・・第２ＣＰＵ、１３・・・第２通信部、２０・・・ＰＣ、２２・・・第３ＣＰＵ、３０・・・インターネット、４０・・・サーバ、４１・・・学習装置、６０・・・撮像画像、６１・・・人物、６１ａ・・・目、６１ｂ・・・目、６２・・・背景、６３・・・蝶々、６５・・・マーカー、６６・・・マーカー、７０・・・対象画像、７１・・・中間ボケ領域マーカー、７１ａ・・・追加用アイコン、７１ｂ・・・削除用アイコン、７２・・・合焦点マーカー、７２ａ・・・非表示用アイコン、８１・・・学習画像、８２・・・ＮＮ層、８３・・・活性化層、８４・・・中間ボケ領域結果、８５・・・評価関数、９１・・・入力部、９２・・・教師データ、９３・・・出力部、９４・・・ネットワークデザイン
【図１】
2020120189.tif 000003
【図２】
2020120189.tif 000004
【図３】
2020120189.tif 000005
【図４】
2020120189.tif 000006
【図５】
2020120189.tif 000007
【図６】
2020120189.tif 000008
【図７】
2020120189.tif 000009
【図８】
2020120189.tif 000010
【図９】
2020120189.tif 000011
【図１０】
2020120189.tif 000012
【図１１】
2020120189.tif 000013
【図１２】
2020120189.tif 000014