(57)【要約】【課題】入力した画像に対する解答を如何にして撮像することができるのかを把握させることができる撮像装置、学習装置、撮像方法、学習方法およびプログラムを提供する。【解決手段】撮像装置２は、複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第１の学習結果に基づいて、シーン判定部１２２によって判定されたシーンにおいて最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定する分類器１２３と、分類器１２３が推定した基本設定種別に変更を促す第１の情報を表示部１１０に表示させる表示制御部１２１ｃと、を備える。【選択図】図２
2019213130.tif 000002
【特許請求の範囲】
【請求項１】
画像データを生成することができる撮像部と、
前記画像データに基づいて、前記撮像部の撮影時におけるシーンを判定するシーン判定部と、
複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第１の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定する分類器と、
前記分類器が推定した前記基本設定種別に変更を促す第１の情報を表示部に表示させる表示制御部と、
を備える撮像装置。
【請求項２】
前記分類器は、複数の特殊画像データを用いて少なくとも特殊画像処理を含む応用機能をシーン毎に学習した第２の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて最適な前記応用機能をさらに推定し、
前記表示制御部は、前記分類器が推定した前記応用機能を適用することを促す第２の情報を前記表示部に表示させる
請求項１に記載の撮像装置。
【請求項３】
前記分類器は、前記第１の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて前記基本設定種別の変更を推奨する際に最適な前記基本設定種別の設定順をさらに推定し、
前記表示制御部は、前記分類器が推定した前記設定順によって前記第１の情報を切り替えながら前記表示部に順次表示させる
請求項１または２に記載の撮像装置。
【請求項４】
前記撮像部に設定された現在の撮影パラメータを含む設定値を検出する検出部と、
を備え、
前記表示制御部は、前記基本設定範囲に前記設定値を重畳して前記表示部に表示させる
請求項１〜３のいずれか一つに記載の撮像装置。
【請求項５】
撮影を指示する指示信号の入力を受け付ける第１の操作部と、
少なくとも前記撮像部の撮影パラメータの変更を指示する変更信号の入力を受け付ける第２の操作部と、
前記第２の操作部から入力された前記変更信号に基づいて、前記撮像部を制御する撮像制御部と、
前記第２の操作部の操作によって前記設定値から遷移した遷移結果および前記基本設定種別の変更順を含む操作履歴と、前記画像データと、を対応付けた画像ファイルを記録する記録部と、
前記記録部を制御する記録制御部と、
をさらに備え、
前記撮像制御部は、前記第１の操作部から前記指示信号が入力された場合、前記撮像部に撮影を実行させ、
前記記録制御部は、前記シーン判定部が判定した前記シーンと、前記撮像部が撮影した前記画像データと、前記指示信号が入力された時刻から所定時間遡った時刻までの期間の前記操作履歴と、を対応付けて前記画像ファイルを前記記録部に記録する
請求項４に記載の撮像装置。
【請求項６】
画像データを生成することができる撮像部と、
所定の通信規格に従って外部機器またはサーバへ前記画像データを送信し、かつ、前記外部機器または前記サーバが前記画像データに基づく前記撮像部の撮影時におけるシーンを判定した判定結果に応じて前記外部機器または前記サーバが備える分類器が推定した前記撮像部に最適な基本設定種別であって、少なくとも撮影パラメータを含む基本設定種別と、前記基本設定種別において変更を推奨する基本設定範囲と、を受信する通信部と、
前記基本設定種別に変更を促す第１の情報を表示部に表示させる表示制御部と、
を備える撮像装置。
【請求項７】
外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を教師データとして受け付けて学習することによって第１の学習結果を生成する学習部と、
前記学習部によって生成された前記第１の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる制御部と、
を備える学習装置。
【請求項８】
前記操作履歴は、
撮影を指示する指示信号が入力された時刻から所定時間遡った時刻までの期間において撮影パラメータの基本設定種別の変更順と、
撮影パラメータの設定値から遷移した遷移結果と、
を含む請求項７に記載の学習装置。
【請求項９】
画像データを生成する撮像ステップと、
前記画像データに基づいて、撮像部の撮影時におけるシーンを判定するシーン判定ステップと、
複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第１の学習結果に基づいて、前記シーン判定ステップにおいて判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定する推定ステップと、
前記基本設定種別に変更を促す第１の情報を表示部に表示させる表示制御ステップと、
を含む撮像方法。
【請求項１０】
外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を受け付けて学習することによって第１の学習結果を生成する学習ステップと、
前記第１の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる制御ステップと、
を含む学習方法。
【請求項１１】
画像データを生成する撮像装置が実行する画像データ作成方法であって、
特定シーンの撮像時に前記画像データに影響するパラメータに対するユーザの操作を検出することによって操作履歴情報を生成する生成ステップと、
当該撮像装置の操作後に撮影後に撮影された画像データと前記操作履歴情報とをファイル化するファイル化ステップと、
前記画像データを入力した場合、前記操作履歴情報が出力されるシーン別推論モデルを作成するための教師画像データと該教師画像データの撮影時の操作履歴とを対応付けられた教師データ用画像ファイルを生成するファイル生成ステップと、
を含む画像データ作成方法。
【請求項１２】
撮像装置が実行するプログラムであって、
画像データを生成し、
前記画像データに基づいて、撮像部の撮影時におけるシーンを判定し、
複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第１の学習結果に基づいて、判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定し、
前記基本設定種別に変更を促す第１の情報を表示部に表示させる
プログラム。
【請求項１３】
学習装置が実行するプログラムであって、
外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を受け付けて学習することによって第１の学習結果を生成し、
前記第１の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被写体を撮像して該被写体の画像データを生成する撮像装置、画像データを用いて学習する学習装置、撮像方法、学習方法、画像データ作成方法およびプログラムに関する。
【背景技術】
【０００２】
近年、静止画像や動画に関連する質問に対する解答を自動的に生成する技術が知られている（特許文献１参照）。この技術では、画像と、この画像に関連する問題との入力を受け付け、受け付けた問題と画像を注目に基づく畳み込みニューラルネットワークフレームワークに入力することによって解答を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−９１５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の畳み込みニューラルネットワークフレームワークを用いた深層学習では、質問に対して、入力で受け付けた画像に何か写っているかを自動的に最適な画像で解答するのみである。しかしながら、ユーザによっては、解答で得られた画像が最適でない場合があるうえ、解答で得られた画像に対してさらに自身の味付けを行いたい場合があり、入力した画像に対してユーザが所望する画像を如何にして撮像することができるのかを把握したいという要望がある。
【０００５】
本開示は、上記に鑑みてなされたものであって、入力した画像に対してユーザが所望する画像を如何にして撮像することができるのかを把握させることができる撮像装置、学習装置、撮像方法、学習方法、画像データ作成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、画像データを生成することができる撮像部と、前記画像データに基づいて、前記撮像部の撮影時におけるシーンを判定するシーン判定部と、複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第１の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定する分類器と、前記分類器が推定した前記基本設定種別に変更を促す第１の情報を表示部に表示させる表示制御部と、を備える。
【０００７】
また、本開示に係る撮像装置は、上記開示において、前記分類器は、複数の特殊画像データを用いて少なくとも特殊画像処理を含む応用機能をシーン毎に学習した第２の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて最適な前記応用機能をさらに推定し、前記表示制御部は、前記分類器が推定した前記応用機能を適用することを促す第２の情報を前記表示部に表示させる。
【０００８】
また、本開示に係る撮像装置は、上記開示において、前記分類器は、前記第１の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて前記基本設定種別の変更を推奨する際に最適な前記基本設定種別の設定順をさらに推定し、前記表示制御部は、前記分類器が推定した前記設定順によって前記第１の情報を切り替えながら前記表示部に順次表示させる。
【０００９】
また、本開示に係る撮像装置は、上記開示において、前記撮像部に設定された現在の撮影パラメータを含む設定値を検出する検出部と、を備え、前記表示制御部は、前記基本設定範囲に前記設定値を重畳して前記表示部に表示させる。
【００１０】
また、本開示に係る撮像装置は、上記開示において、撮影を指示する指示信号の入力を受け付ける第１の操作部と、少なくとも前記撮像部の撮影パラメータの変更を指示する変更信号の入力を受け付ける第２の操作部と、前記第２の操作部から入力された前記変更信号に基づいて、前記撮像部を制御する撮像制御部と、前記第２の操作部の操作によって前記設定値から遷移した遷移結果および前記基本設定種別の変更順を含む操作履歴と、前記画像データと、を対応付けた画像ファイルを記録する記録部と、前記記録部を制御する記録制御部と、をさらに備え、前記撮像制御部は、前記第１の操作部から前記指示信号が入力された場合、前記撮像部に撮影を実行させ、前記記録制御部は、前記シーン判定部が判定した前記シーンと、前記撮像部が撮影した前記画像データと、前記指示信号が入力された時刻から所定時間遡った時刻までの期間の前記操作履歴と、を対応付けて前記画像ファイルを前記記録部に記録する。
【００１１】
また、本開示に係る撮像装置は、上記開示において、画像データを生成することができる撮像部と、所定の通信規格に従って外部機器またはサーバへ前記画像データを送信し、かつ、前記外部機器または前記サーバが前記画像データに基づく前記撮像部の撮影時におけるシーンを判定した判定結果に応じて前記外部機器または前記サーバが備える分類器が推定した前記撮像部に最適な基本設定種別であって、少なくとも撮影パラメータを含む基本設定種別と、前記基本設定種別において変更を推奨する基本設定範囲と、を受信する通信部と、前記基本設定種別に変更を促す第１の情報を表示部に表示させる表示制御部と、を備える。
【００１２】
また、本開示に係る学習装置は、外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を教師データとして受け付けて学習することによって第１の学習結果を生成する学習部と、前記学習部によって生成された前記第１の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる制御部と、を備える。
【００１３】
また、本開示に係る学習装置は、前記操作履歴は、撮影を指示する指示信号が入力された時刻から所定時間遡った時刻までの期間において撮影パラメータの基本設定種別の変更順と、撮影パラメータの設定値から遷移した遷移結果と、を含む。
【００１４】
また、本開示に係る撮像方法は、画像データを生成する撮像ステップと、前記画像データに基づいて、撮像部の撮影時におけるシーンを判定するシーン判定ステップと、複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第１の学習結果に基づいて、前記シーン判定ステップにおいて判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定する推定ステップと、前記基本設定種別に変更を促す第１の情報を表示部に表示させる表示制御ステップと、を含む。
【００１５】
また、本開示に係る学習方法は、外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を受け付けて学習することによって第１の学習結果を生成する学習ステップと、前記第１の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる制御ステップと、を含む。
【００１６】
また、本開示に係る画像データ作成方法は、画像データを生成する撮像装置が実行する画像データ作成方法であって、特定シーンの撮像時に前記画像データに影響するパラメータに対するユーザの操作を検出することによって操作履歴情報を生成する生成ステップと、当該撮像装置の操作後に撮影後に撮影された画像データと前記操作履歴情報とをファイル化するファイル化ステップと、前記画像データを入力した場合、前記操作履歴情報が出力されるシーン別推論モデルを作成するための教師画像データと該教師画像データの撮影時の操作履歴とを対応付けられた教師データ用画像ファイルを生成するファイル生成ステップと、を含む。
【００１７】
また、本開示に係るプログラムは、撮像装置が実行するプログラムであって、画像データを生成し、前記画像データに基づいて、撮像部の撮影時におけるシーンを判定し、複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第１の学習結果に基づいて、判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定し、前記基本設定種別に変更を促す第１の情報を表示部に表示させる。
【００１８】
また、本開示に係るプログラムは、学習装置が実行するプログラムであって、外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を受け付けて学習することによって第１の学習結果を生成し、前記第１の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる。
【発明の効果】
【００１９】
本開示によれば、入力した画像に対する解答を如何にして撮像することができるのかを把握させることができるという効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】図１は、本開示の実施の形態１に係る撮像システムの概要を示す模式図である。
【図２】図２は、本開示の実施の形態１に係る撮像装置の機能構成を示すブロック図である。
【図３】図３は、本開示の実施の形態１に係るサーバの機能構成を示すブロック図である。
【図４】図４は、本開示の実施の形態１に係る撮像システムが実行する処理の概要を説明するフローチャートである。
【図５】図５は、本開示の実施の形態１に係る撮像装置が備える表示部が表示する画像の一例を模式的に示す図である。
【図６】図６は、本開示の実施の形態１に係るサーバが備える分類器による基本設定種別および設定範囲の推定方法を模式的に説明する図である。
【図７】図７は、基本設定種別の一例を示す図である。
【図８】図８は、基本設定範囲の一例を示す図である。
【図９】図９は、操作履歴の一例を模式的に示す図である。
【図１０】図１０は、本開示の実施の形態１に係る撮像装置が備える表示部が表示する画像の別の一例を模式的に示す図である。
【図１１】図１１は、本開示の実施の形態１に係る撮像装置が備える表示部が表示する画像の別の一例を模式的に示す図である。
【図１２】図１２は、本開示の実施の形態１に係る撮像装置が備える表示部が表示する画像の別の一例を模式的に示す図である。
【図１３】図１３は、本開示の実施の形態１に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図１４】図１４は、本開示の実施の形態１に係るサーバが実行する処理の概要を示すフローチャートである。
【図１５】図１５は、本開示の実施の形態１に係るサーバの学習部が実行する学習処理の概要を示すフローチャートである。
【図１６】図１６は、本開示の実施の形態２に係る撮像システムが実行する処理の概要を説明するフローチャートである。
【図１７】図１７は、本開示の実施の形態２に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
【図１８】図１８は、本開示の実施の形態２に係るサーバが備える分類器による基本設定種別および設定範囲の推定方法を模式的に説明する図である。
【図１９】図１９は、応用機能の一例を示す図である。
【図２０】図２０は、本開示の実施の形態２に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
【図２１】図２１は、本開示の実施の形態２に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
【図２２】図２２は、本開示の実施の形態２に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図２３】図２３は、本開示の実施の形態２に係るサーバが実行する処理の概要を示すフローチャートである。
【図２４】図２４は、本開示の実施の形態３に係る撮像装置が実行する処理の概要を示すフローチャートである。
【図２５】図２５は、撮影時の状況を模式的に示す図である。
【図２６】図２６は、本開示の実施の形態３に係る撮像装置が備える表示部の画像の一例を示す図である。
【図２７】図２７は、本開示の実施の形態３に係る撮像装置に対する撮影パラメータの操作履歴の概要を示すタイミングチャートである。
【図２８】図２８は、本開示の実施の形態３に係る撮像装置に装着された記録媒体に記録される静止画画像ファイルの一例を模式的に示す図である。
【図２９】図２９は、サーバ４が実行する処理の概要を示すフローチャートである。
【図３０】図３０は、本開示のその他の実施の形態に係る顕微鏡の概略構成を模式的に示す図である。
【図３１】図３１は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
【図３２】図３２は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
【図３３】図３３は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
【図３４】図３４は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
【図３５】図３５は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、以下の説明では、撮像装置を例に説明するが、撮像装置以外にも、タブレット型端末装置、カムコーダ、撮影機能付きＩＣレコーダ、ビデオマイクロスコープや生物顕微鏡等の顕微鏡、工業用または医療用の内視鏡、超音波スコープおよび電気メス等処置具の撮像機能または表示機能を有する機器であっても適用することができる。
【００２２】
（実施の形態１）
〔撮像システムの概略〕
図１は、本開示の実施の形態１に係る撮像システムの概要を示す模式図である。図１に示す撮像システム１は、撮像装置２と、ネットワークＮ１００を経由して撮像装置２が接続することができるサーバ４と、を備える。なお、以下の説明では、撮像装置２をデジタルスチルカメラとして説明するが、デジタルスチルカメラ以外にも、携帯電話、ドローン、タブレット型端末装置、カムコーダ、撮影機能付きＩＣレコーダ、ビデオマイクロスコープや生物顕微鏡等の顕微鏡、工業用または医療用の内視鏡、超音波スコープおよび電気メス等処置具の撮像機能または表示機能を有する機器であっても適用することができる。さらに、撮像装置２は、ネットワークＮ１００を経由してサーバ４と所定の通信規格に従って双方向に通信を行っているが、これに限定されることなく、例えば携帯電話や携帯型のルータを経由することによってサーバ４と通信を行ってもよい。
【００２３】
図１に示す状況下において、撮像装置２は、撮影した画像データと、撮影時のシーンと、撮影時の各種情報を含むＥｘｉｆと、を対応付けた画像ファイルをサーバ４へ送信する。また、撮像装置２は、サーバ４から各種プログラムをアップデータするためのデータや新規なプログラムのデータ等を受信する。サーバ４は、撮像装置２から送信された画像ファイルを記録するとともに、画像ファイルに格納されたＥｘｉｆの各種パラメータ、撮影時のシーンおよび画像データを用いて周知の機械学習を行うことによって学習結果を生成し、この学習結果を用いた分類器または識別器を生成するとともに、撮像装置２へ学習結果を送信する。
【００２４】
また、撮像装置２は、撮像する状況に応じて、顔の特徴を有する画像が得られているか、対象物の画像の動きやカメラの姿勢、加速度や、対象物の距離やシーンの明るさや色成分に応じて、例えばポートレート、風景、マクロ、夜景、夕景、スポーツなどのシーン判定した後に、そのシーンに相応しい操作の方法を機械学習しておき、学習結果を生成してもよい。このシーンは、ＧＰＳなどの位置情報やカレンダーや日時、時刻の情報で、さらにシーンを細かく分類してもよい。このあたりのシーン判定そのものを機械学習の結果で行ってもよい。また、特定のプログラムの分岐等でシーンを検出してもよい。したがって、シーン検出した結果ごとに、対応するシーンの画像データが得られる。この時に、ユーザが、さらに手動操作をして、細かい撮影パラメータなどの調整、設定をする場合があるが、このユーザ操作も各操作部等が撮影前にどのように操作されたかを履歴として記録しておくことができる（生成ステップ）。これによって、特定シーンの撮像時に画像に影響するパラメータに対するユーザの操作を検出して操作履歴情報とすることができ、上記操作後に撮影された画像データとを対応付けてファイル化を行うことができる（ファイル生成ステップ）。この画像データと上記操作履歴情報をファイル化する制御ができるように構成すれば、上記画像データを入力したときに上記操作履歴情報が出力されるようなシーン別の推論モデルを作成することができる。したがって、撮影画像データと当該画像データ撮像時の操作履歴とが対応付けられた教師データ用画像ファイルを作成する（ファイル生成ステップ）。この結果、機械学習によって使いやすくした撮像装置２を提供することができる。これをシーンごとに推論モデルを用意することによって、特定のシーン特有の設定などを専門的に解析、学習するので推論に誤差要因がなくなり精度が向上する。
【００２５】
〔撮像装置の構成〕
まず、撮像装置２の構成について説明する。
図２は、撮像装置２の機能構成を示すブロック図である。
図２に示す撮像装置２は、本体部１０と、本体部１０に対して着脱自在なレンズ装置２０と、を備える。
【００２６】
〔レンズ装置の構成〕
まず、レンズ装置２０の構成について説明する。
レンズ装置２０は、光学系２０１と、絞り２０２と、ドライバ２０３と、レンズ制御部２０４と、レンズ通信部２０５と、を備える。
【００２７】
光学系２０１は、単数または複数のレンズを用いて構成され、所定の視野領域から光を集光して被写体像を結像する。光学系２０１は、後述するレンズ制御部２０４の制御のもと、ドライバ２０３によって光軸方向に移動することで、焦点距離や焦点位置を変更する。
【００２８】
絞り２０２は、光学系２０１が集光した光の入射量を制御することで露出の調整を行う。絞り２０２は、ドライバ２０３によって絞り値を変更する。
【００２９】
ドライバ２０３は、レンズ制御部２０４の制御のもと、光学系２０１を光軸方向に沿って移動させることによって光学系２０１の焦点位置や焦点距離を変更する。また、ドライバ２０３は、レンズ制御部２０４の制御のもと、絞り２０２を駆動させて絞り値を変更する。ドライバ２０３は、駆動回路等を用いて構成される。
【００３０】
レンズ制御部２０４は、レンズ通信部２０５を介して本体部１０から入力された指示信号に基づいて、ドライバ２０３の駆動を制御することによって光学系２０１および絞り２０２を制御する。レンズ制御部２０４は、ＣＰＵ（Central  Processing  Unit）等を用いて構成される。
【００３１】
レンズ通信部２０５は、所定の通信規格に従って本体部１０から入力された指示信号をレンズ制御部２０４へ送信するとともに、レンズ制御部２０４から入力された信号を本体部１０へ送信する。
【００３２】
〔本体部の構成〕
次に、本体部１０の構成について説明する。
本体部１０は、シャッタ１００と、撮像素子１０１と、通信部１０２と、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）１０３と、メモリＩ／Ｆ１０４と、Ｆｌａｓｈメモリ１０５と、画像処理部１０６と、操作部１０７と、電池１０８と、表示駆動部１０９と、表示部１１０と、タッチパネル１１１と、ＧＰＳ１１２と、ジャイロセンサ１１３と、加速度センサ１１４と、地磁気センサ１１５と、第１通信部１１６と、第２通信部１１７と、第３通信部１１８と、バス１１９と、時計１２０と、制御部１２１と、シーン判定部１２２と、分類器１２３と、学習部１２４と、を備える。この分類機１２３や学習部１２４は、外部に用意して、ネットワークＮ１００を経由してこれを通信で使えるようにしてもよい。
【００３３】
シャッタ１００は、後述する制御部１２１の制御のもと、撮像素子１０１の状態を露光状態または遮光状態に設定する。シャッタ１００は、例えばフォーカルプレーンシャッタ等を用いて構成される。なお、シャッタ１００を用いずに、後述する撮像素子１０１における電子シャッタを用いてもよい。
【００３４】
撮像素子１０１は、後述する制御部１２１の制御のもと、光学系２０１が集光した被写体像を受光して光電変換を行うことによって画像データ（ＲＡＷデータ）を生成して出力する。撮像素子１０１は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等のイメージセンサを用いて構成される。なお、実施の形態１では、撮像素子１０１をベイヤー配列のイメージセンサを例に説明するが、例えばＦｏｖｉｏｎのような積層型のイメージセンサであってもよいし、赤外光に感度を持つ画素を有するイメージセンサであってもよい。また、撮像素子１０１は、後述する制御部１２１の制御のもと、受光量を電子的に制御することができる電子シャッタ機能を有する。なお、実施の形態１では、撮像素子１０１、光学系２０１、絞り２０２およびシャッタ１００が撮像部として機能する。
【００３５】
通信部１０２は、所定の通信規格に従って制御部１２１から入力された指示信号をレンズ装置２０へ送信するとともに、レンズ装置２０から入力された信号を制御部１２１へ送信する。
【００３６】
ＳＤＲＡＭ１０３は、バス１１９を介して撮像素子１０１から入力された画像データ（ＲＡＷデータ）や撮像装置２が処理中の各種情報を一時的に記録する。
【００３７】
メモリＩ／Ｆ１０４は、後述する制御部１２１の制御のもと、本体部１０の外部から装着されるメモリカード等の記録媒体Ｗ１に対して画像データを書き込むとともに、記録媒体Ｗ１に記録された画像データを読み出し、この画像データをＳＤＲＡＭ１０３へ出力する。
【００３８】
Ｆｌａｓｈメモリ１０５は、撮像装置２を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。Ｆｌａｓｈメモリ１０５は、撮像装置２が実行する各種プログラムおよび各種プログラムの実行中に使用されるデータを記録するプログラム記録部１０５ａを有する。
【００３９】
画像処理部１０６は、ＤＳＰ（Digital  Signal  Processing）、ＧＰＵ（Graphics  Processing  Unit）およびＦＰＧＡ（Field  Programmable  Gate  Array）等を用いて構成され、撮像素子１０１が生成した画像データ（ＲＡＷデータ）に対して、所定の画像処理を行う。ここで、所定の画像処理として、ノイズ低減処理、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子１０１がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、画像処理部１０６は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。さらに、画像処理部１０６は、複数の画像処理を組み合わせて視覚的な効果を与える特殊効果処理を実行する。ここで、特殊効果処理としては、例えばトーンカーブ処理、彩度アップ処理、ソフトフォーカス効果処理、ホワイトアウト効果処理、シェーディング効果処理またはスターライト効果処理等である。
【００４０】
操作部１０７は、撮像装置２の各種の指示を与える指示信号の入力を受け付ける。操作部１０７は、撮像装置２の電源状態をオン状態またはオフ状態に切り換える電源スイッチ１０７ａ、撮影の指示を与えるレリーズスイッチ１０７ｂ、撮像装置２の各種設定を切り換える操作スイッチ１０７ｃ、動作撮影の指示を与える動作スイッチ、撮像装置２のピント位置を変更するフォーカススイッチ、撮像装置２の露出値を補正する露出補正スイッチおよび撮像装置２のＩＳＯ感度を変更するＩＳＯ変更スイッチ等を用いて構成される。なお、操作部１０７は、ブッシュスイッチ、ボタン、ジョグダイヤルおよび回転レバー等を用いて構成される。
【００４１】
電池１０８は、撮像装置２に対して着脱自在であり、撮像装置２を構成する各部に所定の電圧を供給する。電池１０８は、リチウムイオン充電池やニッケル水素充電池等を用いて構成される。
【００４２】
表示駆動部１０９は、制御部１２１の制御のもと、表示部１１０を駆動する。具体的には、表示駆動部１０９は、制御部１２１の制御のもと、画像処理部１０６が画像処理を施した画像データに対応するライブビュー画像を表示部１１０に表示させる。また、表示駆動部１０９は、制御部１２１の制御のもと、撮像装置２の現在の状態を示す状態情報を表示部１１０に表示させる。ここで、状態情報には、撮像装置２の電池残量、撮像装置２に装着された記録媒体Ｗ１のメモリ残量、撮像装置２の撮影パラメータ（例えばシャッタ速度、絞り値、所定距離、ピント位置、ＡＦモードの種別、ＩＳＯ感度、顔検出の有無、特殊効果処理の設定状態および画質モードの種別）が含まれる。
【００４３】
表示部１１０は、液晶または有機ＥＬ（Electro  Luminescence）等の表示パネルを用いて構成される。表示部１１０は、表示駆動部１０９の駆動によって撮像装置２に関する各種情報、ライブビュー画像、撮影画像および動画を表示する。
【００４４】
タッチパネル１１１は、表示部１１０の表示領域に重畳して設けられ、外部からタッチされた位置を検出し、この検出した位置に応じた信号を制御部１２１へ出力する。
【００４５】
ＧＰＳ１１２は、地上の物体の位置を測位する測定手段であるＧＰＳ（Global  Positioning  System）を構成する複数のＧＰＳ衛星から送信されてくる衛星の軌道情報を受信し、この受信した軌道情報に基づいて、撮影時や画像再生時における撮像装置２の位置情報を取得し、この位置情報を制御部１２１へ出力する。ここで、位置情報は、経度、緯度および時刻情報である。
【００４６】
ジャイロセンサ１１３は、撮像装置２の姿勢を検出し、この検出結果を制御部１２１へ出力する。具体的には、ジャイロセンサ１１３は、撮像装置２のヨー方向、ロー方向およびピッチ方向それぞれの角速度（傾き）を検出し、この角速度を制御部１２１へ出力する。
【００４７】
加速度センサ１１４は、撮像装置２に生じる加速度を検出し、この検出結果を制御部１２１へ出力する。
【００４８】
地磁気センサ１１５は、レンズ装置２０の光軸が略水平になる場合において、レンズ装置２０の光軸が視野領域を向いた方向を基準方位としたときの撮像装置２の方位を検出する。具体的には、地磁気センサ１１５は、地磁気の垂直方向と水平方向の成分を検出し、北を基準とする基準方位と撮像装置２におけるレンズ装置２０の光軸とがなす角度を方位角として検出することによって撮像装置２の方位を検出する。
【００４９】
第１通信部１１６は、制御部１２１の制御のもと、外部機器との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第１通信部１１６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信を採用している。なお、第１通信部１１６は、Ｂｌｕｅｔｏｏｔｈ通信の他、赤外線通信（IrDA（Infrared  Data  Association））等、他の通信を採用しても構わない。例えば、Ｂｌｕｅｔｏｏｔｈの場合、機器の役割としては、近距離の一対一関係のマスター、スレーブの関係となり、概略接続処理としては、マスターが、所望のスレーブを検索し接続を行うため、問い合わせと応答の関係だけで通信が成り立ち、簡便である。つまり、大まかな接続シーケンスとしては、まず、マスターは、スレーブ機器が存在するかの問い合わせ（Ｉｎｑｕｉｒｙ）を行う。続いて、スレーブは、マスターからの問い合わせ（Ｉｎｑｕｉｒｙ）に対し、応答を返す。その後、マスターは、応答があったスレーブのうち、所望のスレーブと接続する。ただし、データ通信は、マスターからのデータ送受信指示により、データ送受信を行い、マスターが許可しないとデータ送受信できない。
【００５０】
第２通信部１１７は、制御部１２１の制御のもと、外部機器との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第２通信部１１７は、Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ（登録商標）通信（以下、単に「ＢＬＥ通信」という）を採用している。
【００５１】
第３通信部１１８は、制御部１２１の制御のもと、ネットワークＮ１００を介して外部のサーバ４との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第３通信部１１８は、Ｗｉ-Ｆｉ（Wireless  Fidelity）（登録商標）通信を採用している。例えば、Ｗｉ-Ｆｉの場合、ローカルネットワークを想定し、機器の役割として、アクセスポイント、ステーションの関係があり、概略の接続処理としては、アクセスポイントが構築している無線ネットワークに、ステーションが接続する関係となる。大まかな接続シーケンスとしては、まず、アクセスポイントは、無線ネットワークを構築し、自分のネットワーク識別子(ＳＳＩＤ)を報知する。続いて、ステーションは、報知されているネットワーク識別子(ＳＳＩＤ)を検索し、所望のネットワーク(アクセスポイント)に接続する。多くの機器とのネットワークを想定するので、カバー範囲も広く、干渉の問題を考慮しながら厳密な識別ステップを踏むことになる。このため、接続確立に時間が係ることがある。ただし、データ通信は、アクセスポイント、ステーションそれぞれのタイミングでデータの送受信がすることができる。なお、第３通信部１１８は、Ｗｉ-Ｆｉ（Wireless  Fidelity）以外に、４Ｇ無線を利用した通信を採用してもよい。もちろん、第３通信部１１８は、３Ｇ無線を利用した通信、５Ｇ無線を利用した通信およびＷｉＭＡＸ（Worldwide  Interoperability  for  Microwave  Access）通信等、他の通信を採用しても構わない。
【００５２】
バス１１９は、撮像装置２の各部を接続する伝送路をなし、撮像装置２の内部で発生した各種データを撮像装置２の各部に転送する。
【００５３】
時計１２０は、時間を計時し、この計時結果を制御部１２１へ出力する。時計１２０は、計時機能の他、撮像素子１０１によって生成された画像データの日時に関する日時情報を生成し、この日時情報を制御部１２１へ出力する。
【００５４】
制御部１２１は、ＣＰＵやＡＳＩＣ（Application  Specific  Integrated  Circuit）を用いて構成され、撮像装置２を構成する各部を統括的に制御する。制御部１２１は、検出部１２１ａと、撮像制御部１２１ｂと、表示制御部１２１ｃと、記録制御部１２１ｄと、通信制御部１２１ｅと、を有する。
【００５５】
検出部１２１ａは、撮像装置２の現在の撮影パラメータを含む設定値を検出する。ここで、撮影パラメータには、少なくとも、ＩＳＯ、露出補正、絞り（Ｆ値）、シャッタ（シャッタスピード）、ＷＢ（ホワイトバランス）、コントラスト、シャープネス、連写（連写モード）および画質（ＲＡＷやＪＰＥＧ等）が含まれる。
【００５６】
撮像制御部１２１ｂは、撮像素子１０１を制御する。撮像制御部１２１ｂは、レリーズスイッチ１０７ｂから撮影を指示する指示信号が入力された場合、撮像素子１０１に撮影を実行させる。撮像制御部１２１ｂは、操作スイッチ１０７ｃまたはタッチパネル１１１から入力された操作信号に応じて、例えば撮像装置２の撮影パラメータ、例えば撮像素子１０１のＩＳＯ感度を制御する。
【００５７】
表示制御部１２１ｃは、表示駆動部１０９の駆動を制御することによって、表示部１１０の表示態様を制御する。例えば、表示制御部１２１ｃは、表示駆動部１０９を駆動することによって撮像装置２に関する各種情報を表示部１１０に表示させる。
【００５８】
記録制御部１２１ｄは、記録媒体Ｗ１を制御する。具体的には、記録制御部１２１ｄは、後述するシーン判定部１２２が判定した判定結果と、撮像素子１０１が撮影した画像データと、レリーズスイッチ１０７ｂから撮影を指示する指示信号が入力された時刻から所定時間遡った時刻までの期間の操作部１０７によって変更された撮影パラメータの操作履歴と、を対応付けて画像ファイルを、記録媒体Ｗ１に記録する。
【００５９】
通信制御部１２１ｅは、第１通信部１１６、第２通信部１１７および第３通信部１１８それぞれの通信を制御する。また、通信制御部１２１ｅは、第１通信部１１６、第２通信部１１７および第３通信部１１８それぞれの通信を制御する。
【００６０】
シーン判定部１２２は、撮像素子１０１が生成した画像データに基づいて、撮像素子１０１の撮影時におけるシーンを判定し、この判定結果を分類器１２３へ出力する。具体的には、シーン判定部１２２は、複数の画像データに基づいて各シーンが学習されたシーン学習結果を用いて、入力された画像データの特徴量、被写体種別、人物の有無およびパラメータが予めシーン毎に設定された特徴量、被写体種別、人物の有無およびパラメータのいずれかと略一致するか否かを判定し、略一致するシーンを入力された画像データのシーンであると判定する。ここで、シーン判定部１２２が判定するシーンとしては、ポートレート、風景＆人物、夜景＆人物、子供（動きの活発な子供等の被写体）、夜景、手持ち夜景、花火、流し撮り（移動する被写体に対して背景を流しているシーン）、ライブコンボジット、ライブバルブ、スポーツ（動きのある被写体）、夕日、ビーチ、スノー（雪）、ＨＤＲ逆光補正、キャンドルライト、深度合成、マクロ、ペット、料理、トワイライト、キャンドルライト、紅葉、桜、水中、高感度、ネイチャーマクロ（花や昆虫に対するクローズアップ撮影）および文章のいずれかである。
【００６１】
分類器１２３は、複数の画像データを用いて撮影パラメータの基本設定種別をシーン毎に学習した第１の学習結果に基づいて、シーン判定部１２２によって判定されたシーンにおよび撮像素子１０１によって生成された画像データおいて最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定する。具体的には、分類器１２３は、学習部１２４または外部の学習装置が公知のＳＶＭ等によって複数の画像データを用いて撮影パラメータの基本設定種別をシーン毎に学習した第１の学習結果（認識基準または推論モデル）に基づいて、シーン判定部１２２によって判定されたシーンおよび画像データにおいて最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定する。より具体的には、分類器１２３は、シーン判定部１２２によって判定されたシーンが夕日の場合、最適な基本設定種別としてＷＢ、基本設定範囲を５３００ｋと推定する。
【００６２】
学習部１２４は、複数の画像データを用いて撮影パラメータの基本設定種別をシーン毎に学習した第１の学習結果を生成し、この第１の学習結果を分類器１２３または制御部１２１へ出力する。具体的には、学習部１２４は、公知のＳＶＭ等により、複数の画像データを用いて撮影パラメータを含む基本設定種別をシーン毎に学習した第１の学習結果を生成する。なお、この部分は、外部の機器（例えばサーバ４）が行ってもよい。この場合、撮像装置２が第３通信部１１８（通信部）を有して、第３通信部１１８が画像データを送信して、推論結果を受信するようにすればよい。このような撮像システム１であれば、この撮像装置２の第３通信部１１８（通信部）が重要となり、この第３通信部１１８（通信部）を介して、撮像素子１０１（撮像部）で取得した画像データを外部装置やサーバ４に送信し、外部装置またはサーバ４が、画像データに基づいて撮像装置２（撮像部）の撮影時におけるシーンを判定するシーン判定を行う。そして、外部装置またはサーバ４は、判定したシーンおよび画像データにおいて最適な基本設定種別、基本設定種別において変更を推奨する学習を行った分類器による基本設定範囲を推定した結果を受信すればよい。これにより、撮像装置２は、外部機器またはサーバ４から受信した受信結果に従って、撮像装置２側の表示制御部１２１ｃが、サーバ４の分類器４４が推定した基本設定種別に変更を促す情報を表示部１１０に表示して促せばよい。この表示制御部１２１ｃも本体部１０の外部にあってもよい。
【００６３】
〔サーバの構成〕
次に、サーバ４の構成について説明する。
図３は、サーバ４の機能構成を示すブロック図である。
【００６４】
図３に示すサーバ４は、通信部４１と、画像ファイルデータベース４２（以下、「画像ファイルＤＢ４２」という）と、学習部４３と、分類器４４と、記録部４５と、サーバ制御部４６と、を備える。
【００６５】
通信部４１は、サーバ制御部４６の制御のもと、撮像装置２との間で通信に必要な信号を含む各種データの通信を所定のプロトコルに従って行う。通信部４１は、信号を送受信可能な通信モジュールを用いて構成される。
【００６６】
画像ファイルＤＢ４２は、ネットワークＮ１００および通信部４１を経由して外部から送信された複数の画像ファイルを記録する。画像ファイルＤＢ４２は、ＨＤＤ（Hard  Disk  Drive）およびＳＳＤ（Solid  State  Drive）等を用いて構成される。
【００６７】
学習部４３は、画像ファイルＤＢ４２に記録された複数の画像ファイルを教師データとして用いて、撮影時のシーンを学習することによって、入力された画像データに対して撮影時のシーンを判定するためのシーン学習結果を生成する。また、学習部４３は、画像ファイルＤＢ４２に記録された複数の画像ファイルを用いて、撮像装置２を含む外部機器の撮影パラメータの基本設定種別をシーン毎に学習した第１の学習結果を生成する。学習部４３は、ＧＰＵやＦＰＧＡ等を用いて構成される。
【００６８】
分類器４４は、学習部４３によって生成されたシーン学習結果および第１の学習結果に基づいて、外部から入力された画像データのシーンを判定し、判定したシーンにおいて最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定する。分類器４４は、ＧＰＵやＦＰＧＡ等を用いて構成される。
【００６９】
記録部４５は、揮発性メモリや不揮発性メモリ等を用いて構成される。記録部４５は、サーバ４が実行する各種プログラムを記録するプログラム記録部４５１を有する。記録部４５は、Ｆｌａｓｈメモリ、ＨＤＤおよびＳＳＤ等を用いて構成される。
【００７０】
学習部４７は、サーバ制御部４６の制御のもと、通信部４１を経由して撮像装置２を含む外部機器から送信された画像データに対して、周知のディープラーニング等の深層学習や機械学習によるトレーニングを行って画像データに対応する画像のシーンを判定するとともに、シーンに最適な撮影パラメータの基本設定からの範囲を学習する。学習部４７は、例えばＧＰＵやＦＰＧＡ等を用いて構成される。
【００７１】
分類器４８は、サーバ制御部４６の制御のもと、学習部４７によって学習された学習結果に基づいて、通信部４１を経由して外部から入力された画像ファイルに格納された画像データを入力して、画像データの撮影時における撮影パラメータの基本設定に関する基本設定情報を出力する。分類器４８は、例えばＧＰＵやＦＰＧＡ等を用いて構成される。
【００７２】
サーバ制御部４６は、ＣＰＵ等を用いて構成される。サーバ制御部４６は、通信制御部４６１と、記録制御部４６２と、学習制御部４６３と、を有する。
【００７３】
通信制御部４６１は、通信部４１の通信を制御する。通信制御部４６１は、通信部４１に学習部４３によって生成された第１の学習結果およびシーン学習結果を送信させる。
【００７４】
記録制御部４６２は、画像ファイルＤＢ４２および記録部４５を制御する。記録制御部４６２は、通信部４１が受信した画像ファイルを画像ファイルＤＢ４２に記録する。
【００７５】
学習制御部４６３は、学習部４３を制御する。例えば、学習制御部４６３は、学習部４３が複数の画像データを用いて学習する際の重み付け係数を制御する。
【００７６】
〔撮像システムの処理〕
次に、撮像システム１が実行する処理の概要について説明する。図４は、撮像システム１が実行する処理の概要を説明するフローチャートである。
【００７７】
図４に示すように、まず、ユーザが電源スイッチ１０７ａの電源オンを行った場合（ステップＳ１：Ｙｅｓ）、電源スイッチ１０７ａは、制御部１２１へ操作信号を出力する（ステップＳ２）。
【００７８】
続いて、撮像制御部１２１ｂは、撮像素子１０１に撮像させて画像データを生成させる（ステップＳ３）。この場合、画像処理部１０６は、制御部１２１の制御のもと、バス１１９を経由して入力された画像データに対して画像処理を行うことによってライブビュー画像データを生成する。
【００７９】
その後、通信制御部１２１ｅは、画像処理部１０６が生成したライブビュー画像データに対応するライブビュー画像を第３通信部１１８に送信させる（ステップＳ４）。この場合、表示駆動部１０９は、制御部１２１の制御のもと、バス１１９を経由して画像処理部１０６によって画像処理が施されたライブビュー画像データに対応するライブビュー画像を表示部１１０に表示させる。具体的には、図５に示すように、表示駆動部１０９は、表示部１１０にライブビュー画像ＬＶ１を表示させる。
【００８０】
続いて、分類器４４は、ネットワークＮ１００を経由して撮像装置２から入力されたライブビュー画像データに基づいて、撮像装置２が撮影しているシーンを分類器１２３に判定させ（ステップＳ５）、撮像装置２が撮影しているシーンを確定する（ステップＳ６）。具体的には、分類器４４は、画像処理部１０６から入力されたライブビュー画像データに基づいて、撮像装置２が撮影している以下のシーンであるか否かを判定することによって撮像装置２が撮影しているシーンを確定する。なお、実施の形態１では、サーバ４に画像データを送信することなく、撮像装置２のシーン判定部１２２が画像データに基づいて、撮像装置２の撮影時のシーンを判定してもよい。
【００８１】
その後、検出部１２１ａは、撮像装置２の現在の撮影パラメータの設定値を検出する（ステップＳ７）。ここで、撮影パラメータの設定値とは、少なくとも、ＩＳＯ、露出補正、絞り（Ｆ値）、シャッタ（シャッタスピード）、ＷＢ（ホワイトバランス）、コントラスト、シャープネス、連写（連写モード）および画質（ＲＡＷやＪＰＥＧ等）の各々の設定である。例えば、設定値として、ＩＳＯの場合、ＩＳＯ１００、絞りの場合、Ｆ５．６等である。
【００８２】
通信制御部１２１ｅは、検出部１２１ａが検出した設定値を第３通信部１１８に送信させる（ステップＳ８）。
【００８３】
続いて、分類器４４は、撮像装置２から受信した設定値と上述したステップＳ６で確定したシーンとに基づいて、ステップＳ６で確定したシーンにおいて基本設定種別の変更を推奨する際に最適な基本設定種別および基本設定種別の設定範囲を推定し（ステップＳ９）、基本設定種別および基本設定種別の設定範囲を撮像装置２へ送信する（ステップＳ１０）。この場合、分類器４４は、基本設定種別の変更を推奨する際に最適な基本設定種別の設定順をさらに推定し、この推定した設定順を撮像装置２へ送信する。
【００８４】
ここで、分類器４４による基本設定種別および設定範囲の推定方法を詳細に説明する。図６は、分類器４４による基本設定種別および設定範囲の推定方法を模式的に説明する図である。
【００８５】
図６に示すように、分類器４４は、撮像装置２から入力された画像（ライブビュー画像）に基づいて、シーンを判定し、この判定結果のシーンにおいて基本設定種別の変更を推奨する際に最適な基本設定種別を推定する。そして、分類器４４は、基本設定種別とシーンとに基づいて、基本設定種別において変更を推奨する範囲を示す基本設定範囲を推定する。図７は、基本設定種別の一例を示す図である。図７に示すように、基本設定種別Ｑ１は、少なくとも、ＩＳＯ、露出補正、絞り（Ｆ値）、シャッタ（シャッタスピード）、ＷＢ（ホワイトバランス）、コントラスト、シャープネス、連写（ドライブモード）および画質（ＲＡＷやＪＰＥＧ等）を含む。さらに、分類器４４は、図８に示すように、基本設定種別がＷＢである場合、ＷＢの設定可能範囲Ｔ１から推奨する範囲を示す基本設定範囲Ｔ２を推定する。さらに、図９に示すように、分類器４４は、基本設定種別の設定順をさらに推定する。例えば、図９に示すように、分類器４４は、シーンがマクロを推定した場合において、基本設定種別が露出補正、ＷＢ、Ｆ値およびドライブを推定したとき、ＷＢ、露出星絵およびＦ値の設定順となるように推定する。これにより、ユーザは、撮像装置２の表示部１１０に表示に従って、操作部１０７を操作することで、ＷＢをＡＵＴＯから電球に変更し、露出補正を±０から＋０．７に変更した後、レンズ装置２０のＦ値をＦ１．８からＦ４．０に変更することができる。この結果、ユーザの趣向を凝らすととともに、最適な画像を撮影することができる。
【００８６】
図４に戻り、ステップＳ１１以降の説明を続ける。
表示制御部１２１ｃは、バス１１９を経由して第３通信部１１８から入力された基本設定種別を表示駆動部１０９へ出力することによって、表示駆動部１０９を駆動することによって基本設定情報の変更を促す第１の情報を表示部１１０に表示させる（ステップＳ１１）。具体的には、図１０に示すように、表示駆動部１０９は、基本設定種別の変更を促す第１の情報アイコンＡ１をライブビュー画像ＬＶ１上に重畳して表示部１１０に表示させる。これにより、ユーザは、現在の撮影しているシーンに対して基本設定種別を変更することができる旨を直感的に把握することができる。
【００８７】
その後、操作部１０７の操作またはタッチパネル１１１から第１の情報アイコンＡ１をタッチした操作信号が入力された場合（ステップＳ１２）、表示制御部１２１ｃは、表示駆動部１０９を駆動することによって基本設定種別および基本設定範囲を表示部１１０に表示させる（ステップＳ１３）。具体的には、図１１に示すように、表示制御部１２１ｃ基本設定種別に関するアイコンＡ２を表示部１１０に表示させる。その後、図１２に示すように、表示制御部１２１ｃは、基本設定範囲Ｔ２を表示部１２に表示させる。この場合、表示制御部１２１ｃは、基本設定種別で設定可能範囲Ｔ１上に推奨する基本設定範囲Ｔ２を重畳して表示部１１０に表示させるとともに、検出部１２１ａが検出した撮像装置２の現在の設定情報Ｂ１１を基本設定範囲Ｔ２上に重畳して表示部１１０に表示させる。これにより、ユーザは、最適な撮影パラメータが反映しつつ、現在の設定値と推奨される基本設定範囲とを比較しながら自分好みの味付けを行いながら撮影を行うことができる。さらに、表示制御部１２１ｃは、アイコンＡ２が操作される毎（タッチされる毎）に、分類器４４が推定した基本設定種別の設定順にアイコンＡ２の表示態様を変更して表示部１１０に表示させてもよい。これにより、ユーザは、次に変更すべき撮影パラメータを直感的に把握することができる。
【００８８】
〔撮像装置の処理〕
次に、撮像装置２が実行する処理について説明する。図１３は、撮像装置２が実行する処理の概要を示すフローチャートである。
【００８９】
図１３に示すように、まず、電源スイッチ１０７ａが操作されて電源がオンした場合（ステップＳ１０１：Ｙｅｓ）、撮像装置２は、後述するステップＳ１０２へ移行する。これに対して、電源スイッチ１０７ａが操作されず、電源がオンしていない場合（ステップＳ１０１：Ｎｏ）、撮像装置２は、この判断を続ける。
【００９０】
ステップＳ１０２において、撮像装置２が撮影モードである場合（ステップＳ１０２：Ｙｅｓ）、撮像装置２は、後述するステップＳ１０４へ移行する。これに対して、撮像装置２が撮影モードでない場合（ステップＳ１０２：Ｎｏ）、撮像装置２は、後述するステップＳ１０３へ移行する。
【００９１】
ステップＳ１０３において、撮像装置２は、画像再生を行う。具体的には、表示制御部１２１ｃは、操作部１０７から入力された操作信号に基づいて、記録媒体Ｗ１が記録する画像データに対応する画像を表示部１１０に再生させる。ステップＳ１０３の後、撮像装置２は、ステップＳ１０２へ戻る。
【００９２】
ステップＳ１０４において、撮像制御部１２１ｂは、撮像素子１０１に撮像させて画像データを生成させる。
【００９３】
続いて、画像処理部１０６は、撮像素子１０１が生成した画像データに対して画像処理を行う（ステップＳ１０５）。
【００９４】
その後、第１通信部１１６は、画像処理部１０６が画像処理を施した画像データをサーバ４へ送信する（ステップＳ１０６）。
【００９５】
続いて、第３通信部１１８がサーバ４から解析結果を受信した場合（ステップＳ１０７：Ｙｅｓ）、撮像装置２は、後述するステップＳ１０８へ移行する。これに対して、第３通信部１１８がサーバ４から解析結果を受信していない場合（ステップＳ１０７：Ｎｏ）、撮像装置２は、後述するステップＳ１１６へ移行する。
【００９６】
ステップＳ１０８において、サーバ４から受信した解析結果が撮像装置２の撮影時におけるシーンに変化がありと判断している場合（ステップＳ１０８：Ｙｅｓ）、撮像装置２は、後述するステップＳ１０９へ移行する。これに対して、サーバ４から受信した解析結果が撮像装置２の撮影時におけるシーンに変化がないと判断している場合（ステップＳ１０８：Ｎｏ）、撮像装置２は、後述するステップＳ１１２へ移行する。
【００９７】
ステップＳ１０９において、表示制御部１２１ｃは、撮像装置２のシーンが変化したことを示すシーン変化通知を表示部１１０に表示させる。
【００９８】
続いて、操作部１０７に対してシーン変化に応じてＵＩを更新するＵＩ更新操作があった場合（ステップＳ１１０：Ｙｅｓ）、制御部１２１は、新規解析結果を取得する（ステップＳ１１１）。ステップＳ１１１の後、撮像装置２は、後述するステップＳ１１２へ移行する。これに対して、操作部１０７に対してシーン変化に応じてＵＩを更新するＵＩ更新操作がなかった場合（ステップＳ１１０：Ｎｏ）、撮像装置２は、後述するステップＳ１１２へ移行する。
【００９９】
ステップＳ１１２において、制御部１２１は、サーバ４から受信した解析情報から基本機能ＵＩを生成する。例えば、上述した図１２に示すように、制御部１２１は、基本設定種別、基本設定種別で設定可能範囲Ｔ１、基本設定範囲Ｔ２を含む基本機能ＵＩを生成する。
【０１００】
続いて、表示制御部１２１ｃは、表示駆動部１０９を駆動することによって、基本機能ＵＩを表示部１１０に表示させる（ステップＳ１１３）。
【０１０１】
その後、操作部１０７またはタッチパネル１１１が操作されることによって表示部１１０が表示する基本機能ＵＩに対して基本設定操作があった場合（ステップＳ１１４：Ｙｅｓ）、撮像制御部１２１ｂは、操作部１０７またはタッチパネル１１１から入力された操作信号に応じて撮影パラメータの設定を反映する（ステップＳ１１５）。この場合、表示制御部１２１ｃは、基本機能ＵＩに対応するアイコンＡ２が操作される毎（タッチされる毎）に、分類器４４が推定した基本設定種別の設定順にアイコンＡ２の表示態様を変更して表示部１１０に表示させてもよい。ステップＳ１１５の後、撮像装置２は、後述するステップＳ１１６へ移行する。これに対して、操作部１０７またはタッチパネル１１１が操作されることによって表示部１１０が表示する基本機能ＵＩに対して基本設定操作がなかった場合（ステップＳ１１４：Ｎｏ）、撮像装置２は、後述するステップＳ１１６へ移行する。
【０１０２】
ステップＳ１１６において、レリーズスイッチ１０７ｂに対して撮影操作があった場合（ステップＳ１１６：Ｙｅｓ）において、シーン判定があるとき（ステップＳ１１７：Ｙｅｓ）、記録制御部１２１ｄは、基本設定変更情報を生成する（ステップＳ１１８）。ここで、基本設定変更情報とは、検出部１２１ａが検出した設定値から遷移した遷移結果および基本設定種別の変更順を含む操作履歴である。ステップＳ１１８の後、撮像装置２は、後述するステップＳ１１９へ移行する。
【０１０３】
ステップＳ１１６において、レリーズスイッチ１０７ｂに対して撮影操作があった場合（ステップＳ１１６：Ｙｅｓ）において、シーン判定がないとき（ステップＳ１１７：Ｎｏ）、制御部１２１は、撮像素子１０１に撮影を実行させる（ステップＳ１１９）。この場合、記録制御部１２１ｄは、撮影時のシーンと、撮像素子１０１が生成した画像データと、設定値から遷移した撮影パラメータの操作履歴を含む基本設定変更情報と、を対応付けた画像ファイルを生成し、この画像ファイルを記録媒体Ｗ１に記録する。ステップＳ１１９の後、撮像装置２は、後述するステップＳ１２０へ移行する。
【０１０４】
ステップＳ１１６において、レリーズスイッチ１０７ｂに対して撮影操作がなかった場合（ステップＳ１１６：Ｎｏ）、撮像装置２は、後述するステップＳ１２０へ移行する。
【０１０５】
ステップＳ１２０において、電源スイッチ１０７ａが操作されることによって終了する場合（ステップＳ１２０：Ｙｅｓ）、撮像装置２は、本処理を終了する。これに対して、電源スイッチ１０７ａが操作されることなく終了しない場合（ステップＳ１２０：Ｎｏ）、撮像装置２は、上述したステップＳ１０２へ戻る。
【０１０６】
〔サーバの処理〕
次に、サーバ４の処理について説明する。図１４は、サーバ４が実行する処理の概要を示すフローチャートである。
【０１０７】
図１４に示すように、まず、ネットワークＮ１００を経由して撮像装置２から画像（データを含む画像ファイル）を受信した場合（ステップＳ２０１：Ｙｅｓ）、サーバ４は、後述するステップＳ２０２へ移行する。これに対して、ネットワークＮ１００を経由して撮像装置２から画像（画像データを含む画像ファイル）を受信していない場合（ステップＳ２０１：Ｎｏ）、サーバ４は、本処理を終了する。
【０１０８】
ステップＳ２０２において、分類器４８は、撮像装置２から受信した画像データに基づいて、撮像装置２の撮影時におけるシーンを判定する。
【０１０９】
続いて、分類器４８は、ステップＳ２０２において判定したシーンと複数の画像データを用いて少なくとも撮影パラメータの基本設定種別をシーン毎に学習した第１の学習結果とに基づいて、変更を推奨する際に最適な前記基本設定種別を推定し（ステップＳ２０３）、基本設定種別において変更を推奨する範囲を示す基本設定範囲を推定する（ステップＳ２０４）。
【０１１０】
その後、通信制御部４６１は、分類器４８が推定した解析結果を通信部４１に送信させる（ステップＳ２０５）。ステップＳ２０５の後、サーバ４は、本処理を終了する。
【０１１１】
〔サーバによる学習処理〕
次に、サーバ４の学習部４７が実行する学習処理について説明する。図１５は、サーバ４の学習部４７が実行する学習処理の概要を示すフローチャートである。
【０１１２】
図１５に示すように、学習部４７は、画像ファイルＤＢ４２から複数の画像ファイルを入力し、入力した複数の画像ファイルのＥｘｉｆを分析する（ステップＳ３０１）。
【０１１３】
続いて、学習部４７は、複数の画像データを用いてシーン毎に予め設定された基本設定種別の設定値が撮影時に変更されているか否かを判定し（ステップＳ３０２）、予め設定された基本設定種別の設定値が撮影時に変更されていると判定した場合（ステップＳ３０２：Ｙｅｓ）、学習部４７は、後述するステップＳ３０３へ移行し、予め設定された基本設定種別の設定値が撮影時に変更されていないと判定した場合（ステップＳ３０２：Ｎｏ）、学習部４７は、本処理を終了する。
【０１１４】
ステップＳ３０４において、学習部４７は、周知のＳＶＭ等を用いて、画像ファイルＤＢ４２から入力した複数の画像ファイルのＥｘｉｆと操作履歴とに基づいて、複数の撮影パラメータを含む基本設定種別の設定順および設定値をシーン毎に学習した第１の学習結果を生成する。
【０１１５】
続いて、学習部４７は、ステップＳ３０４で学習した第１の学習結果を分類器４８に入力することによって分類器４８の第１の学習結果を更新する（ステップＳ３０４）。ステップＳ３０４の後、学習部４７は、本処理を終了する。
【０１１６】
以上説明した実施の形態１によれば、表示制御部１２１ｃがサーバ４の分類器４４が推定したシーンにおいて最適な基本設定種別に変更を促す第１の情報を表示部１１０に表示させるので、ユーザが所望する画像に対して如何にして撮像することができるのかを把握させることができる。
【０１１７】
また、実施の形態１によれば、表示制御部１２１ｃがサーバ４の分類器４４によって推定された基本設定種別の設定順によって第１の情報を切り替えながら表示部１１０に順次表示させるので、ユーザが所望する画像の撮影手順を直感的に把握することができる。
【０１１８】
また、実施の形態１によれば、表示制御部１２１ｃが基本設定範囲に検出部１２１ａによって検出された撮像装置２の現在の撮影パラメータの設定値を重畳して表示部１１０に表示させるので、現在の設定値を把握しながら、趣向を懲らしつつ最適な撮影を行うことができる。
【０１１９】
また、実施の形態１によれば、記録制御部１２１ｄがシーン判定部１２２によって判定されたシーンと、撮像素子１０１が撮影した画像データと、レリーズスイッチ１０７ｂによって指示信号が入力された時刻から所定時間遡った時刻までの期間の操作履歴と、を対応付けて画像ファイルを記録媒体Ｗ１に記録するので、ディープラーニング等の機械学習に用いるデータを容易に収集することができる。
【０１２０】
また、実施の形態１によれば、通信制御部４６１が学習部４３によって生成された第１の学習結果を撮像装置２の分類器１２３に送信することによって分類器１２３が記録する第１の学習結果を更新させるので、常に最新の学習結果を反映した状態で撮影することができる。
【０１２１】
なお、実施の形態１では、撮像装置２から画像データをサーバ４に送信することによってサーバ４が撮影時のシーンを判定し、このシーンにおける最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定していたが、これに限定されることなく、撮像装置２のシーン判定部１２２が判定するとともに、分類器１２３が推定するようにしてもよい。具体的には、シーン判定部１２２が撮像素子１０１によって生成された画像データに基づいて、撮像装置２の撮影時におけるシーンを判定する。そして、分類器１２３は、シーン判定部１２２によって判定されたシーンにおける最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定するようにしてもよい。
【０１２２】
（実施の形態２）
次に、本開示の実施の形態２について説明する。実施の形態２に係る撮像システムは、上述した実施の形態１に係る撮像システムと同一の構成を有し、撮像システム、撮像装置およびサーバの各々が実行する処理が異なる。具体的には、上述した実施の形態１では、撮影時におけるシーンにおいて最適な基本設定種別および基本設定範囲を推定していたが、実施の形態２では、撮像時におけるシーンにおいて最適な基本設定種別および基本設定範囲に加えて、最適な応用機能をさらに推奨して提示する。以下においては、実施の形態２に係る撮像システム、撮像装置およびサーバの各々が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【０１２３】
〔撮像システムの処理〕
まず、実施の形態２に係る撮像システム１が実行する処理の概要について説明する。図１６は、実施の形態２に係る撮像システム１が実行する処理の概要を説明するフローチャートである。図１６において、ステップＳ１〜ステップＳ８は、上述した図４と同様の処理であり、ステップＳ９ａ〜ステップＳ１３ａが異なるため、ステップＳ１〜ステップＳ８の詳細な説明は省略する。
【０１２４】
ステップＳ９ａにおいて、分類器１２３は、バス１１９を経由して制御部１２１から入力された設定情報と上述したステップＳ６で確定したシーンとに基づいて、ステップＳ６で確定したシーンにおいて基本設定種別の変更を推奨する際に最適な基本設定種別、基本設定種別の設定範囲および応用設定情報を推定する。
【０１２５】
続いて、通信制御部４６１は、基本設定種別、基本設定種別の設定範囲および応用機能情報を通信部４１に送信させる（ステップＳ１０ａ）。
【０１２６】
ここで、分類器４４による基本設定種別、設定範囲および応用設定情報の推定方法を詳細に説明する。図１８は、分類器４４による基本設定種別および設定範囲の推定方法を模式的に説明する図である。
【０１２７】
図１８に示すように、分類器４４は、撮像装置２から入力された画像（ライブビュー画像）に基づいて、シーンを判定し、この判定結果のシーンにおいて基本設定種別の変更を推奨する際に最適な基本設定種別を推定する。そして、分類器４４は、基本設定種別とシーンとに基づいて、基本設定種別において変更を推奨する範囲を示す基本設定範囲を推定する。さらに、分類器４４は、撮像装置２から入力された画像（ライブビュー画像）に基づいて、シーンを判定し、この判定結果のシーンに応じて最適な応用機能を示す応用機能情報を推定する。図１９は、応用機能の一例を示す図である。図１８に示すように、応用機能Ｑ２は、ＨＤＲ、コンポジット、多重露光、深度合成および特殊効果処理であるアートフィルタ（登録商標）を含む。
【０１２８】
図１６に戻り、ステップＳ１１ａ以降の説明を続ける。
ステップＳ１１ａにおいて、表示制御部１２１ｃは、基本設定情報の変更を促す第１の情報および応用機能の適用を促す第２の情報を表示部１１０に表示させる。具体的には、図１７に示すように、表示制御部１２１ｃは、基本設定情報の変更を促す第１の情報アイコンＡ１および応用機能情報の適用を促す第２の情報アイコンＡ１０をライブビュー画像ＬＶ１上に重畳して表示部１１０に表示させる。これにより、ユーザは、現在の撮影しているシーンに対して基本設定情報を変更することができる旨を直感的に把握することができる。さらに、ユーザは、現在の撮影しているシーンに対して応用機能が可能であることを直感的に把握することができる。
【０１２９】
その後、タッチパネル１１１から第１の情報アイコンＡ１または第２の情報アイコンＡ１０をタッチした操作信号が入力された場合（ステップＳ１２ａ）、表示制御部１２１ｃは、表示駆動部１０９に基本設定種別および基本設定範囲、または応用機能を表示部１１０に表示させる（ステップＳ１３ａ）。具体的には、図２０に示すように、表示制御部１２１ｃ、応用機能に関するアイコンＡ１１を表示部１１０に表示させる。その後、図２２１に示すように、表示制御部１２１ｃは、応用機能が設定されたことを示すアイコンＡ１２を表示部１２に表示させる。これにより、ユーザは、最適な撮影パラメータが反映しつつ、現在の設定値と推奨される基本設定範囲とを比較しながら自分好みの味付けを行いながら、さらに応用機能、例えば特殊効果処理を施した撮影を行うことができる。
【０１３０】
〔撮像装置の処理〕
次に、撮像装置２が実行する処理について説明する。図２２は、撮像装置２が実行する処理の概要を示すフローチャートである。
【０１３１】
図２２において、ステップＳ４０１〜ステップＳ４１５は、上述した図１３のステップＳ１０１〜ステップＳ３１５それぞれに対応する。
【０１３２】
ステップＳ４１６において、操作部１０７の操作またはタッチパネル１１１に対してタッチされることによって応用機能が操作された場合（ステップＳ４１６：Ｙｅｓ）、撮像制御部１２１ｂは、撮像素子１０１が生成した画像データに対して応用機能の適用を開始する（ステップＳ４１７）。具体的には、撮像制御部１２１ｂは、タッチパネル１１１によって選択された応用機能が特殊効果処理である場合、撮像素子１０１が生成した画像データに対して画像処理部１０６に特殊画像処理を実行させる。ステップＳ４１７の後、撮像装置２は、後述するステップＳ４１８へ移行する。
【０１３３】
ステップＳ４１６において、操作部１０７の操作またはタッチパネル１１１に対してタッチされることなく応用機能が操作されていない場合（ステップＳ４１６：Ｎｏ）、撮像装置２は、後述するステップＳ４１８へ移行する。
【０１３４】
ステップＳ４１８〜ステップＳ４２０は、上述した図１３のステップＳ１１６〜ステップＳ１１８それぞれに対応する。
【０１３５】
ステップＳ４２１において、記録制御部１２１ｄは、応用機能の履歴に関する応用機能変更情報を生成する。
【０１３６】
ステップＳ４２２およびステップＳ４２３は、上述した図１３のステップＳ１１９およびステップＳ１２０それぞれに対応する。なお、ステップＳ４２２において、記録制御部１２１ｄは、撮影時のシーンと、撮像素子１０１が生成した画像データと、設定情報から遷移した撮影パラメータの操作履歴を含む基本設定変更情報と、応用機能変更情報と、を対応付けた画像ファイルを生成し、この画像ファイルを記録媒体Ｗ１に記録する。
【０１３７】
〔サーバの処理〕
次に、サーバ４が実行する処理について説明する。図２３は、サーバ４が実行する処理の概要を示すフローチャートである。
【０１３８】
図２３において、ステップＳ５０１〜ステップＳ５０４およびステップＳ５０５は、上述した図１４のステップＳ２０１〜ステップＳ２０４およびステップＳ２０５それぞれに対応し、ステップＳ５０５のみが異なる。
【０１３９】
ステップＳ５０５において、分類器４４は、撮像装置２から入力された画像（ライブビュー画像）に基づいて、シーンを判定し、この判定結果のシーンに応じて最適な応用機能を示す応用機能を推定する。ステップＳ５０５の後、サーバ４は、ステップＳ５０６へ移行する。
【０１４０】
以上説明した実施の形態２によれば、表示制御部１２１ｃがサーバ４の分類器４４によって推定された撮影時のシーンに応じて最適な応用機能を示す応用機能を適用することを促す第２の情報を表示部１１０に表示させるので、ユーザが所望する画像に対して如何にして応用機能を適用した状態で撮像することができるのかを把握させることができる。
【０１４１】
（実施の形態３）
次に、本開示の実施の形態３について説明する。実施の形態３に係る撮像システムは、上述した実施の形態１に係る撮像システムと同一の構成を有し、撮像装置およびサーバの各々が実行する処理が異なる。以下においては、実施の形態３に係る撮像装置およびサーバが実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【０１４２】
〔撮像装置の処理〕
まず、実施の形態３に係る撮像装置２が実行する処理について説明する。図２４は、実施の形態３に係る撮像装置２が実行する処理の概要を示すフローチャートである。
【０１４３】
図２４に示すように、まず、撮像装置２が撮影モードに設定されている場合（ステップＳ７０１：Ｙｅｓ）について説明する。この場合、撮像制御部１２１ｂは、撮像素子１０１に撮影を実行させる（ステップＳ７０２）。この場合、図２５に示すように、撮像装置２は、ユーザに把持された状態で、ユーザが所望する被写体を撮像する。
【０１４４】
続いて、シーン判定部１２２は、撮像素子１０１が生成した画像データに基づいて、撮像装置２の撮影時におけるシーンを推定する（ステップＳ７０３）。この場合、分類器１２３は、シーン判定部１２２が推定したシーンにおいて変更を推奨する際に最適な基本設定種別、基本設定種別において変更を推奨する範囲を示す基本設定範囲を推定する。
【０１４５】
その後、撮像制御部１２１ｂは、撮像素子１０１が生成した画像データに基づいて、撮像装置２の露出およびピント位置の自動制御を行う（ステップＳ７０４）。具体的には、撮像制御部１２１ｂは、撮像素子１０１が生成した画像データに基づいて、例えばコントラストＡＦ処理を行うことによって、レンズ装置２０のピントを調整する。さらに、撮像制御部１２１ｂは、撮像素子１０１が生成する画像データが適正露出となるように、シャッタ１００、絞り２０２および撮像素子１０１のＩＳＯ感度を調整する。
【０１４６】
続いて、表示制御部１２１ｃは、分類器１２３が推定した基本設定種別および基本設定範囲に関する情報を表示部１１０に表示させる（ステップＳ７０５）。具体的には、図２６に示すように、表示制御部１２１ｃは、分類器１２３が推定した基本設定種別および基本設定範囲に関する情報Ａ１００をライブビュー画像ＬＶ１００に重畳して表示部１１０に表示させる。この場合、図２６に示すように、表示制御部１２１ｃは、シーン判定部１２２が判定したシーンに関するシーンアイコンＡ１０１をライブビュー画像ＬＶ１００に重畳して表示部１１０に表示させてもよい。
【０１４７】
その後、操作部１０７またはタッチパネル１１１が操作された場合（ステップＳ１０６：Ｙｅｓ）、撮像制御部１２１ｂは、操作部１０７またはタッチパネル１１１の操作に応じて、撮像装置２の撮影パラメータを制御する（ステップＳ７０７）。ステップＳ７０７の後、撮像装置２は、後述するステップＳ７０８へ移行する。これに対して、操作部１０７またはタッチパネル１１１が操作されていない場合（ステップＳ１０６：Ｎｏ）、撮像装置２は、後述するステップＳ７０８へ移行する。
【０１４８】
ステップＳ７０８において、操作部１０７から撮影を指示する指示信号が入力された場合（ステップＳ７０８：Ｙｅｓ）、撮像制御部１２１ｂは、撮像素子１０１に撮影を実行させる（ステップＳ７０９）。この場合、記録制御部１２１ｄは、操作スイッチ１０７ｃの操作によって設定情報から遷移した撮影パラメータの操作履歴と、撮像素子１０１が生成した画像データとを対応付けて画像ファイルを記録媒体Ｗ１に記録する。ステップＳ７０９の後、撮像装置２は、上述したステップＳ７０１へ戻る。
【０１４９】
図２７は、撮影パラメータの操作履歴の概要を示すタイミングチャートである。図２７に示すように、記録制御部１２１ｄは、レリーズスイッチ１０７ｂから撮影を指示する指示信号が入力された時刻から所定時間遡った時刻までの遡及時間Ｄ１の操作履歴（例えば時刻ｔ１〜時刻ｔ５までの撮影パラメータに対する各操作の内容）と、画像データと、シーン情報と、を対応付けた画像ファイルを生成して記録媒体Ｗ１に記録する。図２８は、記録媒体Ｗ１に記録される静止画画像ファイルの一例を模式的に示す図である。図２８に示すように、記録制御部１２１ｄは、静止画ファイルＦ１を記録媒体Ｗ１に記録する。静止画ファイルＦ１には、画像データＦ１０、画像データのサムネイルＦ１１、シーン判定部１２２によるシーン情報Ｆ１２、基本設定種別が操作される前に検出部１２１ａが検出した設定値Ｆ１３、操作履歴Ｆ１４および撮像装置２を識別する機器情報Ｆ１５が含まれる。
【０１５０】
ステップＳ７０８において、操作部１０７から撮影を指示する指示信号が入力されていない場合（ステップＳ７０８：Ｎｏ）、撮像装置２は、上述したステップＳ７０１へ戻る。
【０１５１】
ステップＳ７０１において、撮像装置２が撮影モードに設定されていない場合（ステップＳ７０１：Ｎｏ）について説明する。この場合において、撮像装置２がネットワークＮ１００を経由してサーバ４から分類器１２３の学習結果（推論モデル）を更新するために新たな学習結果を取得する更新モードであるとき（ステップＳ７１０：Ｙｅｓ）、撮像装置２は、後述するステップＳ７１１へ移行する。これに対して、撮像装置２がネットワークＮ１００を経由してサーバ４から分類器１２３の学習結果を更新するために新たな学習結果を取得する更新モードでないとき（ステップＳ７１０：Ｎｏ）、撮像装置２は、上述したステップＳ７０１へ戻る。
【０１５２】
ステップＳ７１１において、通信制御部１２１ｅは、ネットワークＮ１００を経由して分類器１２３の学習結果を更新するための学習依頼をサーバ４へ送信する。
【０１５３】
続いて、通信制御部１２１ｅは、ネットワークＮ１００を経由して記録媒体Ｗ１に記録された複数の画像ファイルをサーバ４へ送信する（ステップＳ７１２）。
【０１５４】
その後、ネットワークＮ１００を経由してサーバ４から学習結果を受信した場合（ステップＳ７１３：Ｙｅｓ）、制御部１２１は、サーバ４から受信した学習結果を分類器１２３に入力することによって分類器１２３を更新する（ステップＳ７１４）。ステップＳ７１４の後、撮像装置２は、上述したステップＳ７０１へ戻る。
【０１５５】
ステップＳ７１３において、ネットワークＮ１００を経由してサーバ４から学習結果を受信していない場合（ステップＳ７１３：Ｎｏ）、撮像装置２は、上述したステップＳ７１２へ戻る。
【０１５６】
〔サーバの処理〕
次に、サーバ４が実行する処理について説明する。図２９は、サーバ４が実行する処理の概要を示すフローチャートである。
【０１５７】
図２５に示すように、まず、ネットワークＮ１００を経由して撮像装置２から学習結果を更新するための学習依頼があった場合（ステップＳ８０１：Ｙｅｓ）、サーバ４は、後述するステップＳ８０２へ移行する。これに対して、ネットワークＮ１００を経由して撮像装置２から学習結果を更新するための学習依頼がなかった場合（ステップＳ８０１：Ｎｏ）、サーバ４は、本処理を終了する。
【０１５８】
ステップＳ８０２において、ネットワークＮ１００を経由して複数の画像ファイルを撮像装置２から受信した場合（ステップＳ８０２：Ｙｅｓ）、サーバ４は、後述するステップＳ４０３へ移行する。これに対して、ネットワークＮ１００を経由して複数の画像ファイルを撮像装置２から受信していない場合（ステップＳ８０２：Ｎｏ）、サーバ４は、複数の画像ファイルを受信するまで、この判定を続ける。
【０１５９】
ステップＳ８０３において、学習部４７は、ネットワークＮ１００を経由して撮像装置２から受信した複数の画像ファイルを用いて周知の機械学習を行う。
【０１６０】
続いて、通信制御部４６１は、学習部４７が学習した学習結果を通信部４１に送信させる（ステップＳ８０４）。ステップＳ８０４の後、サーバ４は、本処理を終了する。
【０１６１】
以上説明した実施の形態３によれば、表示制御部１２１ｃが分類器１２３によって推定された基本設定種別および基本設定範囲に関する情報を表示部１１０に表示させるので、ユーザが所望する画像に対して如何にして撮像することができるのかを把握させることができる。
【０１６２】
（その他の実施の形態）
なお、上述した実施の形態１〜３では、撮像装置２を例に説明していたが、これに限定されることなく、例え表示装置を備える顕微鏡５であっても適用することができる。この場合、図３１に示すように、顕微鏡５が撮影した画像データに対応するライブビュー画像ＬＶ１上にシーン判定部１２２が判定したシーンに関する情報のアイコンＡ２００および基本設定種別に関するアイコンＡ２０１を重畳して表示させてもよい。これにより、図３２〜図３５に示すように、ユーザは、アイコンＡ２０１の表示に応じて、顕微鏡５の絞りを操作することによって、通常のライブビュー画像ＬＶ２００から、互いに分解能およびコントラストが異なるライブビュー画像ＬＶ２０１（開口が開き過ぎの画像）、ライブビュー画像ＬＶ２０２（開口絞り８０％）およびライブビュー画像ＬＶ２０３（開口絞り過ぎ）を観察することができる。この結果、ユーザ好みの観察を行うことができる。
【０１６３】
上述した本開示の実施の形態１〜３に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態１〜３に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１〜３で説明した構成要素を適宜組み合わせてもよい。
【０１６４】
また、本開示の実施の形態１〜３では、撮像システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、内視鏡システム、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
【０１６５】
また、本開示の実施の形態１〜３では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【０１６６】
また、本開示の実施の形態１〜３に係る撮像装置またはサーバに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１６７】
また、本開示の実施の形態１〜３に係る撮像装置またはサーバに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本開示の実施の形態１〜３に係る撮像装置またはサーバに実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１６８】
また、本開示の実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ＢｌｕｅｔｏｏｔｈやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。機構などが移動する制御を伴う制御部分などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。
【０１６９】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
【０１７０】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【０１７１】
１・・・撮像システム；２・・・撮像装置；４・・・サーバ；５・・・顕微鏡；１０・・・本体部；１２・・・表示部；２０・・・レンズ装置；４１・・・通信部；４２・・・画像ファイルデータベース；４３・・・学習部；４４・・・分類器；４５・・・記録部；４６・・・サーバ制御部；４７・・・学習部；４８・・・分類器；１００・・・シャッタ；１０１・・・撮像素子；１０２・・・通信部；１０４・・・メモリＩ／Ｆ；１０５・・・Ｆｌａｓｈメモリ；１０６・・・画像処理部；１０７・・・操作部；１０７ａ・・・電源スイッチ；１０７ｂ・・・レリーズスイッチ；１０７ｃ・・・操作スイッチ；１０８・・・電池；１０９・・・表示駆動部；１１０・・・表示部；１１１・・・タッチパネル；１１２・・・ＧＰＳ；１１３・・・ジャイロセンサ；１１４・・・加速度センサ；１１５・・・地磁気センサ；１１６・・・第１通信部；１１７・・・第２通信部；１１８・・・第３通信部；１１９・・・バス；１２０・・・時計；１２１・・・制御部；１２１ａ・・・検出部；１２１ｂ・・・撮像制御部；１２１ｃ・・・表示制御部；１２１ｄ・・・記録制御部；１２１ｅ・・・通信制御部；１２２・・・シーン判定部；１２３・・・分類器；１２４・・・学習部；２０１・・・光学系；２０２・・・絞り；２０３・・・ドライバ；２０４・・・レンズ制御部；２０５・・・レンズ通信部；４５１・・・プログラム記録部；４６１・・・通信制御部；４６２・・・記録制御部；４６３・・・学習制御部；４９１・・・通信制御部；Ｗ１・・・記録媒体
【図１】
2019213130.tif 000003
【図２】
2019213130.tif 000004
【図３】
2019213130.tif 000005
【図４】
2019213130.tif 000006
【図５】
2019213130.tif 000007
【図６】
2019213130.tif 000008
【図７】
2019213130.tif 000009
【図８】
2019213130.tif 000010
【図９】
2019213130.tif 000011
【図１０】
2019213130.tif 000012
【図１１】
2019213130.tif 000013
【図１２】
2019213130.tif 000014
【図１３】
2019213130.tif 000015
【図１４】
2019213130.tif 000016
【図１５】
2019213130.tif 000017
【図１６】
2019213130.tif 000018
【図１７】
2019213130.tif 000019
【図１８】
2019213130.tif 000020
【図１９】
2019213130.tif 000021
【図２０】
2019213130.tif 000022
【図２１】
2019213130.tif 000023
【図２２】
2019213130.tif 000024
【図２３】
2019213130.tif 000025
【図２４】
2019213130.tif 000026
【図２５】
2019213130.tif 000027
【図２６】
2019213130.tif 000028
【図２７】
2019213130.tif 000029
【図２８】
2019213130.tif 000030
【図２９】
2019213130.tif 000031
【図３０】
2019213130.tif 000032
【図３１】
2019213130.tif 000033
【図３２】
2019213130.tif 000034
【図３３】
2019213130.tif 000035
【図３４】
2019213130.tif 000036
【図３５】
2019213130.tif 000037