(57)【要約】【課題】データベース等に蓄積された画像データを用いて最適な機械学習を行い、この学習結果を用いて、撮影に役立つような情報を提供できる画像表示装置、学習装置、撮像システム、画像表示方法、および学習方法を提供する。【解決手段】ユーザの意図する画像評価情報を表すリクエストを外部装置から受信し（Ｓ３１、Ｓ３３）、リクエストに応じた画像評価情報が得られる画像を画像データベースの中から抽出し、この抽出した画像用いて、深層学習を行い、推論モデルを作成し（Ｓ３５〜Ｓ３９）、作成された推論モデルを外部装置に送信する（Ｓ４３）。【選択図】  図４
2020086716.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの意図する画像評価情報を表すリクエストを外部装置から受信する受信部と、
上記リクエストに応じた画像評価情報が得られる画像を画像データベースの中から抽出し、この抽出した画像用いて、深層学習を行い、推論モデルを作成する学習部と、
上記学習部によって作成された推論モデルを上記外部装置に送信する送信部と、
を有することを特徴とする学習装置。
【請求項２】
上記リクエストは、画像から読み取れるはずの情報を指定し、かつその情報を読み取るために画像から得られる情報のうち、必要な情報を選択できることが可能であることを特徴とする請求項１に記載の学習装置。
【請求項３】
深層学習時に視認性向上化処理をしていない画像をネガティブサンプルとすることを特徴とする請求項１に記載の学習装置。
【請求項４】
ユーザの意図する画像評価情報を表すリクエストを外部の学習装置に送信する送信部と、
上記学習装置によって作成された、上記リクエストに応じた画像評価情報が出力されるような推論モデルを受信する受信部と、
上記推論モデルを用いて行った推論結果を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項５】
上記画像評価情報は、ユーザの主観に関わらず、撮像装置によって評価できる項目であることを特徴とする請求項４に記載の画像表示装置。
【請求項６】
上記画像評価情報は、取得画像から読み取ることを特徴とする請求項４に記載の画像表示装置。
【請求項７】
取得画像を評価して得られる画像評価情報をユーザが設定する設定部と、
上記設定部によって設定された上記画像評価情報を、学習装置に送信する送信部と、
上記画像評価情報に基づいて画像データベースから画像を抽出し、この抽出した画像を用いて上記画像評価情報が出力されるような機械学習を行い、推論モデルを作成する上記学習装置と、
上記学習装置によって作成された推論モデルを受信する受信部と、
上記推論モデルを用いて行った推論結果を表示する表示部と、
を有することを特徴とする撮像システム。
【請求項８】
上記学習装置は、視認性を向上させた画像と、視認性を向上させていない画像を用いて、上記機械学習を行い、上記推論モデルを出力することを特徴とする請求項７に記載の撮像システム。
【請求項９】
上記画像評価情報は、ユーザの主観に関わらず、撮像装置によって評価できる項目であることを特徴とする請求項７に記載の撮像システム。
【請求項１０】
上記画像評価情報は、上記取得画像から読み取ることを特徴とする請求項９に記載の撮像システム。
【請求項１１】
上記撮像装置は、上記取得画像に上記画像評価情報を添付して、上記画像データベースに送信することを特徴とする請求項９に記載の撮像システム。
【請求項１２】
画像を評価して得られる画像評価情報をユーザが設定する設定部と、
上記設定部によって設定された上記画像評価情報を、学習装置に送信する送信部と、
上記学習装置において、作成された上記画像評価情報が出力されるような推論モデルを受信する受信部と、
取得画像に対して、上記推論モデルを用いて行った推論結果を表示する表示部と、
を有することを特徴とする画像表示装置。
【請求項１３】
ユーザが設定した、画像評価情報を受信する受信部と、
上記画像評価情報に基づいて画像データベースから画像を抽出し、この抽出した画像を用いて上記画像評価情報が出力されるような機械学習を行い、推論モデルを作成する学習部と、
上記学習部において、作成された上記推論モデルを、外部の撮像装置に出力する送信部と、
を有することを特徴とする学習装置。
【請求項１４】
上記画像評価情報は、ユーザの主観に関わらず、撮像装置によって評価できる項目であることを特徴とする請求項１３に記載の学習装置。
【請求項１５】
ユーザの意図する画像評価情報を表すリクエストを外部装置から受信し、
上記リクエストに応じた画像評価情報が得られる画像を画像データベースの中から抽出し、この抽出した画像用いて、深層学習を行い、推論モデルを作成し、
作成された推論モデルを上記外部装置に送信する、
ことを特徴とする学習方法。  
【請求項１６】
ユーザの意図する画像評価情報を表すリクエストを外部の学習装置に送信し、
上記学習装置によって作成された、上記リクエストに応じた画像評価情報が出力されるような推論モデルを受信し、
上記推論モデルを用いて行った推論結果を表示する、
ことを特徴とする画像表示方法。
【請求項１７】
画像を評価して得られる画像評価情報をユーザが設定し、  
設定された上記画像評価情報を、学習装置に送信し、
上記学習装置において、作成された上記画像評価が出力されるような推論モデルを受信し、
取得画像に対して、上記推論モデルを用いて行った推論結果を表示する、
ことを特徴とする画像表示方法。
【請求項１８】
ユーザが設定した、画像評価情報を受信し、
上記画像評価情報に基づいて画像データベースから画像を抽出し、この抽出した画像を用いて上記画像評価情報が出力されるような機械学習を行い、推論モデルを作成し、
作成された上記推論モデルを、外部の撮像装置に出力する、
ことを特徴とする学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置、カメラ等に適用できる画像表示装置、学習装置、撮像システム、画像表示方法、および学習方法に関する、この画像表示装置、学習装置、撮像システム、画像表示方法、および学習方法は、データベース等に記録されている画像を用いて、撮像または観察の際に、画像情報を参考にした表示を行うことができる。
【背景技術】
【０００２】
データベースに画像データを蓄積し、端末同士で秘匿性を保ちながら、情報交換を行うことが提案されている（例えば、特許文献１参照）。この特許文献１に開示の情報処理システムは、災害が発生した際に、安否確認情報として用いる人物の撮像画像の特徴情報と、位置情報と、時刻情報を関連付けて、データベースを構築する。探したい人物の撮像画像と類似する画像を容易に検索できるようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１７３３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように、画像データベースを検索する提案は既になされている。しかし、撮影に役立つように、画像データベースから有効な情報を引き出すことについては、何ら提案がなされていない。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、データベース等に蓄積された画像データを用いて最適な機械学習を行い、この学習結果を用いて、撮影に役立つような情報を提供できる画像表示装置、学習装置、撮像システム、画像表示方法、および学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係る学習装置は、ユーザの意図する画像評価情報を表すリクエストを外部装置から受信する受信部と、上記リクエストに応じた画像評価情報が得られる画像を画像データベースの中から抽出し、この抽出した画像用いて、深層学習を行い、推論モデルを作成する学習部と、上記学習部によって作成された推論モデルを上記外部装置に送信する送信部と、を有することを特徴とする学習装置。
【０００７】
第２の発明に係る学習装置は、上記第１の発明において、上記リクエストは、画像から読み取れるはずの情報を指定し、かつその情報を読み取るために画像から得られる情報のうち、必要な情報を選択できることが可能である。
第３の発明に係る学習装置は、上記第１の発明において、深層学習時に視認性向上化処理をしていない画像をネガティブサンプルとする。
【０００８】
第４の発明に係る画像表示装置は、ユーザの意図する画像評価情報を表すリクエストを外部の学習装置に送信する送信部と、上記学習装置によって作成された、上記リクエストに応じた画像評価情報が出力されるような推論モデルを受信する受信部と、上記推論モデルを用いて行った推論結果を表示する表示部と、を有する。
【０００９】
第５の発明に係る画像表示装置は、上記第４の発明において、上記画像評価情報は、ユーザの主観に関わらず、撮像装置によって評価できる項目である。
第６の発明に係る画像表示装置は、上記第４の発明において、上記画像評価情報は、上記取得画像から読み取る。
【００１０】
第７の発明に係る撮像システムは、取得画像を評価して得られる画像評価情報をユーザが設定する設定部と、 上記設定部によって設定された上記画像評価情報を、学習装置に送信する送信部と、上記画像評価情報に基づいて画像データベースから画像を抽出し、この抽出した画像を用いて上記画像評価情報が出力されるような機械学習を行い、推論モデルを作成する上記学習装置と、 上記学習装置によって作成された推論モデルを受信する受信部と、
上記推論モデルを用いて行った推論結果を表示する表示部と、を有する。
【００１１】
第８の発明に係る撮像システムは、上記第７の発明において、上記学習装置は、視認性を向上させた画像と、視認性を向上させていない画像を用いて、上記機械学習を行い、上記推論モデルを出力する。
第９の発明に係る撮像システムは、上記第７の発明において、上記画像評価情報は、ユーザの主観に関わらず、撮像装置によって評価できる項目である。
第１０の発明に係る撮像システムは、上記第９の発明において、上記画像評価情報は、上記取得画像から読み取る。
第１１の発明に係る撮像システムは、上記第９の発明において、上記撮像装置は、上記取得画像に上記画像評価情報を添付して、上記画像データベースに送信する。
【００１２】
第１２の発明に係る画像表示装置は、画像を評価して得られる画像評価情報をユーザが設定する設定部と、 上記設定部によって設定された上記画像評価情報を、学習装置に送信する送信部と、上記学習装置において、作成された上記画像評価情報が出力されるような推論モデルを受信する受信部と、  取得画像に対して、上記推論モデルを用いて行った推論結果を表示する表示部と、を有する。
第１３の発明に係る学習装置は、ユーザが設定した、画像評価情報を受信する受信部と、上記画像評価情報に基づいて画像データベースから画像を抽出し、この抽出した画像を用いて上記画像評価情報が出力されるような機械学習を行い、推論モデルを作成する学習部と、上記学習部において、作成された上記推論モデルを、外部の撮像装置に出力する送信部と、を有する。（
第１４の発明に係る学習装置は、上記第１３の発明において、上記画像評価情報は、ユーザの主観に関わらず、撮像装置によって評価できる項目である。
【００１３】
第１５の発明に係る学習方法は、ユーザの意図する画像評価情報を表すリクエストを外部装置から受信し、上記リクエストに応じた画像評価情報が得られる画像を画像データベースの中から抽出し、この抽出した画像用いて、深層学習を行い、推論モデルを作成し、作成された推論モデルを上記外部装置に送信する。
第１６の発明に係る画像表示方法は、ユーザの意図する画像評価情報を表すリクエストを外部の学習装置に送信し、上記学習装置によって作成された、上記リクエストに応じた画像評価情報が出力されるような推論モデルを受信し、上記推論モデルを用いて行った推論結果を表示する。
【００１４】
第１７の発明に係る学習方法は、画像を評価して得られる画像評価情報をユーザが設定し、設定された上記画像評価情報を、学習装置に送信し、上記学習装置において、作成された上記画像評価が出力されるような推論モデルを受信し、取得画像に対して、上記推論モデルを用いて行った推論結果を表示する。
第１８の発明に係る画像表示方法は、ユーザが設定した、画像評価情報を受信し、上記画像評価情報に基づいて画像データベースから画像を抽出し、この抽出した画像を用いて上記画像評価情報が出力されるような機械学習を行い、推論モデルを作成し、作成された上記推論モデルを、外部の撮像装置に出力する。
【発明の効果】
【００１５】
本発明によれば、データベース等に蓄積された画像データを用いて最適な機械学習を行い、この学習結果を用いて、画像評価情報を提供できる画像表示装置、学習装置、撮像システム、画像表示方法、および学習方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る撮像システムの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係る撮像システムにおいて、推論モデル形成のための構成を示すブロック図である。
【図３】本発明の一実施形態に係る撮像システムにおけるカメラの動作を示すフローチャートである。
【図４】本発明の一実施形態に係る撮像システムにおける外部機器の動作を示すフローチャートである。
【図５】本発明の一実施形態に係る撮像システムにおいて、教師用データを説明する図である。
【図６】本発明の一実施形態に係る撮像システムにおいて、教師用データを用いずに、機械学習による推論モデルの生成を説明する図である。
【図７】本発明の一実施形態に係る撮像システムにおいて、撮像装置が顕微鏡装置の場合の構成を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の好ましい実施形態として、本発明をカメラ（撮像装置）と外部機器とからなる撮像システムに適用した例について説明する。この撮像システムの概略は以下の通りである。カメラは、外部機器とネットを通じて接続することができる。この外部機器には、画像が蓄積され、多くの人が画像にアクセスして投稿することができ、画像を鑑賞、観察することができる。また外部機器は、画像データの母集合を作成し、機械学習（深層学習（教師あり学習、教師なし学習）を含む）を行う。この深層学習は、母集合の中の画像データを使用し、推論モデルを生成する。なお、後述するように、カメラ内に蓄積した画像データを使用して推論モデルを生成するようにしてもよい。
【００１８】
また、カメラは、ユーザによって画像評価情報（リクエスト（条件）、ユーザのニーズ、ウォンツ）が設定され、設定された画像評価情報を外部機器に送信する（例えば、図１（ｂ）、図３のＳ２３等参照）。この画像評価情報は、画像を入力情報としたときに、そこから得られるべき情報を出力として設定するものである。外部装置は、この入出力関係が適切になるような推論モデルを作成する。画像評価情報は、詳しくは後述するが（例えば、図１（ｂ）、図５等参照）、概略、、例えば、「所定対象物検出・評価」、「出現予測」、「画像変換」等、ユーザ等の主観に関わらず、撮像装置等の装置によって、電気・機械的に評価できる項目である。また、画像評価情報は、カメラ等の装置によって、画像データが取得される際に、評価が行われ画像データと共に記録される（例えば、図３のＳ１１参照）。
【００１９】
外部機器（または学習装置）は、外部機器内またはアクセス可能な他の外部機器に蓄積された画像データの中から、設定された画像評価が得られる画像データを抽出し、機械学習用の母集合を作成する（例えば、図４のＳ３５）。外部機器内の学習装置（図１（ａ）の入出力モデル化部参照）は、教師用データを設定し、またはルールを設定し、母集合を用いて深層学習を行うことにより、推論モデルを生成する（例えば、図４のＳ３７、Ｓ３９参照）。この推論モデルは、画像評価情報の設定を行ったカメラに送信される（例えば、図４のＳ４３、図３のＳ２７参照）。
【００２０】
推論モデルを受信したカメラは、画像データを入力した際に、推論モデルを使用して推論を行い、推論により得られた画像を表示する（例えば、図５（ａ）（ｂ）（ｃ）、図３のＳ５、Ｓ７参照）。推論としては、例えば、画像変換したのと同等の画像を推論したり、将来を予測した画像を推論する等がある。
【００２１】
図１ないし図４を用いて、本発明の一実施形態について説明する。図１は、一実施形態に係る撮像システムの主として電気的構成を示すブロック図を示す。この撮像システムは、カメラ１０と外部機器２０を有する。
【００２２】
カメラ１０は、画像入力部１１、推論エンジン１２、通信部１４、表示部１５、設定部１６、制御部１７を有する。このカメラ１０は、推論モデルを受信する撮像装置として機能する。画像入力部１１は、撮影レンズ、撮像素子、撮像制御回路、画像データ処理回路等を有し、被写体の画像データを生成する。なお、画像入力部は、撮像部を有さなくても、撮像部によって取得された画像データを入力するようにしてもよい。画像入力部１１は、画像データを入力する画像入力部として機能する。画像入力部１１は、被写体を画像データに変換する機能を有する。
【００２３】
推論エンジン１２は、後述する外部機器２０内の入出力モデル化部２８によって生成された推論モデルを入力し、これを学習成果物１３ａとして記憶部１３に記憶する。推論エンジン１２は、記憶部１３に記憶された推論モデル（学習成果物１３ａ）を用いて、画像入力部１１によって入力された画像データが、設定部１６によって設定された画像評価情報（リクエスト）に合致した画像であるか否かを推論する。推論エンジン１２は、入力層、中間層、出力層を有し、これらの間のニューロンの結合の強さや重み付けは、記憶部１３に記憶された学習成果物（推論モデル）に従って設定される。推論エンジン１２の詳細は、図２を用いて説明する。
【００２４】
通信部１４は、通信回路を有しインターネット等を通じて、外部機器２０の通信部２６と、無線通信または有線通信を行う。この通信部１４は、設定部１６において設定された画像評価情報（リクエスト）を学習部２５に送信し、また学習部２５内の入出力モデル化部２８で生成された推論モデルを入力する。
【００２５】
通信部１４は、ユーザの意図する画像評価を表すリクエストを外部の学習装置に送信する送信部として機能する（例えば、図３のＳ２５参照）。通信部１４は、学習装置によって作成された、リクエストに応じた画像評価が出力されるような推論モデルを受信する受信部として機能する（例えば、図３のＳ２７参照）。通信部１４は、設定部によって設定された画像評価情報を、学習装置に送信する送信部として機能する（例えば、図３のＳ２５参照）。通信部１４は、学習装置から出力された推論モデルを受信する受信部として機能する（例えば、図３のＳ２７参照）。通信部１４は、学習装置において、作成された画像評価が出力されるような推論モデルを受信する受信部として機能する（例えば、図３のＳ２７参照）。
【００２６】
なお、カメラ１０が直接、外部機器２０にアクセスできない場合に、スマートフォン等の携帯型通信装置等を通じて、外部機器２０と通信するようにしてもよい。また、カメラ１０自体がスマートフォン等の携帯型通信装置に内蔵されている場合には、この携帯型通信装置を通じて、外部機器２０に通信するようにすればよい。
【００２７】
表示部１５は、表示パネル等を有し、画像入力部１１において取得した画像データに基づいて、スルー画（「ライブビュー画像」ともいう）等の表示を行う（例えば、図３のＳ３参照）。また、表示部１５は、推論エンジン１２における推論結果の表示を行う（例えば、図３のＳ７）。また、表示部１５は、設定部１６において設定する画像評価情報の項目を図１（ｂ）に示すように表示する。表示部１５は、推論モデルを用いて行った推論結果を表示する表示部として機能する（例えば、図３のＳ７参照）。また、表示部１５は、取得画像に対して、推論モデルを用いて行った推論結果を表示する表示部として機能する（例えば、図３のＳ７参照）。また、表示部は、スルー画表示を行う際に、推論結果を表示する。なお、表示部１５は、画像入力部によって入力した画像データと、推論結果に基づいて、アドバイス表示を行うようにしてもよい。
【００２８】
設定部１６は、画像評価情報（リクエスト）の設定を行う。画像評価情報は、カメラ（撮像装置）によって取得された画像を評価する際に評価する項目であり、カメラ（撮像装置）等によってユーザの手動操作を行うことなく、機械的に分析が可能な項目である。画像評価情報（リクエスト）は、画像から読み取れる情報である。このリクエストは、画像から読み取れるはずの情報を指定し、かつその情報を読み取るために画像から得られる情報のうち、必要な情報を選択できることが可能である。
【００２９】
画像は二次元上に分布した色の濃淡情報であるので、画像を取得する場合であっても記録する場合であっても情報量が大きくなる傾向にあり、画像から読みとれる情報量も多いということである。この情報量の多さゆえに、何をどう判定すればよいかわからない場合も多い。情報量の多さが、写真のように、その場の状況を証拠として残したり、多様な表現の可能性から芸術性が期待される分野にも活用されうる理由となっている。つまり、この大きな情報の塊は、そこから読みとれる事も多く、何を読み取るかによって、同じ画像でも目的ごとの異なる価値を持つ。
【００３０】
卑近な例では、肖像写真からは、美術的な構図やポーズ、背景とのバランスといった審美的な面の他、被写体の年齢、性別、容姿、人種、その人が置かれたシチュエーションを読み解くことができる。さらに、肖像写真の人物の基本情報に関する事柄の他、表情から喜怒哀楽に代表される感情分析が可能であり、この分析から自信や不満といった、さらに複雑な心理を読み解くことも可能である。肌の色や姿勢などの分析による健康状態、疲労状態なども分析が可能である。その他、衣装や髪型、背景や小物といった映り込んだものなど風俗に関する情報のみならず、各対象物の色（分布）や形状、大きさといった物理的な情報も得られる。さらには、主被写体とその他の対象物の関係性（例えば、その人物の好みや、所有の関係や、生活環境、撮影時の状況、人間関係の類推）や、持っているもの、身に付けているもの、あるいは居る場所からその人の職業や社会的地位のようなものも読み取れる。
【００３１】
また、近年、タグ付けが可能となった撮影時の付随情報に基づいて、撮影の日時や場所、温湿度、照明光の色温度、感度や波長、距離分布、画角、焦点距離、絞りやシャッタースピードなどの撮影パラメータなども読み取りが可能となっている。タイトルや撮影者なども付随情報に記録されている場合もある。
【００３２】
さらに、専門家や機械がさらに分析していくと、その粒子やノイズなど画質の情報より、タグ情報がなくとも、撮影の時期や場所が特定可能であったりする。例えば、作曲家の自筆楽譜の画像などは、使われた紙の質や、ペンさばきなどによって作曲された時期や、他の作品との関係性などまでが特定可能であることが良く知られている。未完成と考えられていた作品が、他の楽譜の中に、その完成されていないと考えられていた部分が見いだされ、通説を覆すような研究成果があるのは、この画像の詳細な分析を専門家が慎重に行った成果である。同様のことを人工知能に学習させれば、さらに簡単に広範囲な調査が可能になることなどが期待される。
【００３３】
これと同様に、細胞や組織の画像や、構造物の画像なども、専門家が見れば、普通の人が見いだせなかった情報を導き出すことが可能となる。こうした例もまた、本実施形態における「画像から読み取れる情報」を表すものであり、画像評価情報（リクエスト）に従って、ユーザの目的にかなう情報が得られる。
【００３４】
本実施形態は、こうした様々な可能性を有する巨大な情報から、ユーザの目的（これはリクエストとして入力される）を達するように、リクエストに準じて重要な情報を、リクエストにかなうように分析し、適切に取り出すものである。リクエストによって、その画像において分析する内容が異なるのは言うまでもなく、先の楽譜の例であれば、そこに書かれた音符の内容よりも、使われた紙やペンや筆の進みの特徴を検出する必要があり、人物の画像から髪型を分類わけしたい場合には、姿勢や表情は関係ない場合が多い。ただし、流行の髪型を分析する場合は、さらに背景の情報から場所や時代やシチュエーションを分析して意味がある場合もあり得る。つまり、リクエストは、画像から読み取れるはずの情報を指定し、かつ、その情報を読み取るために画像から得られる情報のうち、必要な情報をえり分けることが可能である。また、リクエストは、読み取られる情報のために分析が必要な項目をえり分けることが可能である。
【００３５】
画像評価情報としては、例えば、図１（ｂ）に示すように、「所定対象物検出・評価」、「出現予測」、「画像変換」等があり、ユーザ等の主観に関わらず、撮像装置等の装置によって、電気・機械的に評価できる項目である。画像評価情報は、ユーザの知見を活かしたものであってもよいが、機械学習によって取得される未知の法則を期待してもよい。したがって、状況に応じて、このリクエストの具体性は異なってもよく、図１（ｂ）の例のみならず、例えばキーボードやタッチ画面によってテキストで書き込むようにしてもよく、キーワードで入力してもよく、音声認識機能搭載によって対話形式で入力してもよく、特定のメニューから選んでもよい。
【００３６】
このようなリクエストに基づいて結果が得られるように、必要な推論エンジンの仕様を判定する。ユーザの行動を機器の利用状態やその他の情報などから分析し、この分析に基づいてユーザに必要な推論エンジンを特定し、この推論エンジンによってリクエストを行ってもよい。このリクエストをもとに、学習部２５が効果的な学習を行うかを如何にするかを判断する。例えば、人物の写真を撮影しないユーザが、最近、花の写真ばかり撮影していることがわかる場合がある。例えば、そのユーザの撮影の頻度や内容やパターンや投稿の頻度や内容やパターンなどによって、分かる場合がある。この場合には、花の辞書がリクエストされ、また、花が撮影された画像でネット上にアップされている記事などを参考に、花の撮影時の構図のガイドや撮影パラメータや、花の名前などがガイドされるカメラが提供可能となる。
【００３７】
上述の例は、ユーザニーズあるいは、ユーザのウォンツ（この場合は、ユーザ自身はまだ自覚していない事もあり得る）の非常にわかりやすい例である。また、専門的な分野においても本実施形態はその優れた効果を奏することが出来る。その例として、撮影されたものを人間が専門的な知見なく見てもわからないもの、想像しないとわからないものなどを、より明確に客観的に判定することが可能となる分野などに、期待できる。この優れた効果が得られる具体的な例として、身近な課題に適用させたいくつかの例について説明する。少子高齢化対策（例えば、赤ちゃんの見守り時の、特定状況リクエストや、視力が弱った人への視覚の補助リクエスト）や労働人口減少（例えば、経験値の少ない人材への特定作業のスキル伝授リクエスト）など、より壮大な社会課題の解決、並びに、すでに説明したような、過去に散逸した手稿を探してまとめて直したり、特定の時代の風俗を分析するなどの学術分野等、さらに広い範囲の問題解決が可能になることは、上述のとおりである。
【００３８】
「所定対象物検出・評価」は、ユーザが頻繁に撮影対象とする対象物であり、「出現予測」は、現在画像から将来を予測する予測画像であり、「画像変換」は、現在画像に対して特殊な処理を施した変換画像である。設定部１６は、（取得）画像を評価して得られる画像評価情報をユーザが設定する設定部として機能する（図１（ｂ）、図３のＳ２３参照）。
【００３９】
設定部１６に、「対象物検出・評価」が設定されると、カメラ１０を使用するユーザが頻繁に撮影する撮影対象に関する画像評価情報を得ることができる。例えば、ユーザがしばしば、鳥、犬、猫、料理、山岳、建物、観光地、人物、ユーザの子供等を撮影する傾向がある場合に、画像入力部１１によって取得された画像に基づいて推論を行い、上述したような被写体が撮影されるような状況にあれば、対象物を示す画像評価情報を出力する。設定部１６によって「対象物検出・評価」が設定されると、この推論に適した推論モデルの作成を外部装置２０に依頼する（図３のＳ２３、Ｓ２５参照）。その他、前述のようなリクエスト入力があり得るが、それには、ユーザが見つけられないものを探すとか、予測困難なものを先取りするとか、知識不足や人間の反応遅れなど時間的制約を補うリクエストでもよい。また、特定の画像を他の色や形状などに変換して表示したり記録したりする画像変換ニーズもあり、これは、以下に説明する。コンシューマの例では、図６のような、巨匠画伯調絵画への変換などがある。
【００４０】
設定部１６に、リクエストとして「怪しい人物を検出したら、その人数も含めて表示・報告せよ」が設定されると、画像入力部１１によって取得された画像に基づいて、画像変換したのと同等の推論画像から、画像評価情報を得る。上述のリクエストが設定された場合の推論について、図５（ａ）を用いて説明する。図５（ａ）は、夜間、不審な行動を行う不審者２名を撮影した２枚の画像である。２枚の画像の内の画像Ｐ３１は、通常の昼光で画像を認識できる撮像部によって撮像された画像であり、夜間に撮影されたことから、２名の不審者を肉眼で認識することが困難である。他の画像Ｐ３２は、赤外光を投射し、赤外光を認識できる撮像部によって撮像された画像である。この画像Ｐ３２を解析することによって、不審な行動を行う２名を認識することができる。
【００４１】
画像Ｐ３１と、画像評価情報として「不審行動２人」をセットにし、これらを教師用データとし、学習部２５が、画像中の人物が不審者であるか否かを推論するための推論モデルを作成することができる。すなわち、画像Ｐ３１は暗闇での撮影であることから、不審行動の人がいるかどうかを分析するのが困難である。しかし、暗闇で撮影された画像Ｐ３１であっても、肉眼で識別できないような特徴があることから、画像Ｐ３２と、その画像評価情報を、組み合わせて学習して推論モデルを作成する。この推論モデルを用いて、画像Ｐ３１を推論することによって、「不審者」がいるという画像評価情報を得ることが可能となる。
【００４２】
設定部１６に、リクエストとして「免疫抗体の有無を表示せよ」が設定されると、画像入力部１１によって取得された画像に基づいて、画像変換したのと同等の推論画像から、画像評価情報を得る。上述のリクエストが設定された場合の推論について、図５（ｂ）を用いて説明する。図５（ｂ）は、カメラ１０が顕微鏡等の機器に取り付けられた際に取得された、細胞の顕微鏡写真を示す。画像Ｐ３３は、細胞を染色する前の画像である。一方、画像Ｐ３４は、染色後の画像であり、この画像Ｐ３４から免疫抗体の有無を判定することができる。この判定結果を踏まえ、染色前の画像Ｐ３３と、画像評価情報「免疫抗体有無」をセットにし、これらを教師用データとすることによって、学習部２５が、染色前の細胞の画像が、免疫抗体を有しているか無いかを推論するための推論モデルを作成することができる。すなわち、画像Ｐ３３は染色前であることから、免疫抗体の有無を判断することは困難である。しかし、染色前の画像Ｐ３３であっても、肉眼で識別できないような特徴があることから、画像Ｐ３４と、画像評価情報を、組み合わせて学習して推論モデルを作成する。この推論モデルを用いて、画像Ｐ３３を推論することにより、免疫抗体の有無が分かる。つまり、染色前に撮影した画像Ｐ３３を推論することによって、「免疫抗体の有無」という画像評価情報を得ることが可能となる。
【００４３】
なお、画像Ｐ３５は、染色後の細胞を脱色（漂白）した画像である。画像Ｐ３３に代えて、画像Ｐ３４を用いて、画像評価情報を得るための推論を行うようにしてもよい。漂白サンプルは再度、他の染色をする過程で使われるので、これを有効活用する。このサンプル画像は、必ずしもペアで撮影されているとは限らないので、様々な有効情報を活用する。特に染色して観察したり鑑賞したりするものは。、染色後の画像しか発表したり記録したりしない場合が多く、染色後に漂白するという工夫によって、教師データを増やすことができる。教師データには、検証用のデータを含んでもよい。
【００４４】
設定部１６に、リクエストとして、「画像に出現するものを予測せよ」が設定されると、画像入力部１１によって取得された画像に基づいて、将来の推論画像から、画像評価情報を得る。上述のリクエストが設定された場合の推論について、図５（ｃ）を用いて説明する。画像Ｐ３６、Ｐ３７、Ｐ３８は、いずれも動画像である。画像Ｐ３６は木が揺れている様子を示しており、画像Ｐ３７は木の右端から鳥が飛び立つ様子を示しており、画像Ｐ３８は鳥が木から飛び立ったところを示している。画像入力部１１によって取得した一連の動画と、画像のＰ３６の分析結果である「鳥が飛び出しそう」を、教師用データとすることによって、学習部２６は鳥が飛び出しそうな状況であることを推論することができる。すなわち、画像Ｐ３６は鳥が飛び出す前であり、将来の予測は困難である。しかし、鳥が飛び出す前の画像Ｐ３６と、飛び出した後の画像Ｐ３８と、画像評価情報「鳥が飛び出しそう」を、組み合わせて学習して推論モデルを作成する。この推論モデルを用いて、画像Ｐ３６を推論することによって、「鳥が飛び出しそう」という画像評価結果を得ることが可能となる。
【００４５】
「鳥が飛び出しそう」はテキストで学習させる必要はなく、この画像群が表す時間推移の中で生じたこと、あるいは分かった事を分析した結果をテキスト化してもよい。鳥でなく、何かが飛び出るとかでも良く、飛び出る以外にも、「隠れている」、「隠れ場に最適」（飛び出すことでわかった事）などを教師データとしてもよい。これは、ユーザが何を求めるかによって変わってくる教師データの良い例で、例えば、鳥の飛び立ちを狙って狩りをする人には、「隠れている」が重要な推論で、それを追い出して撃つ用途がある。また、都会で逃げ出したペットが隠れていそうな場所を探す自治体や警察には、「隠れそうな場所」が重要な推論であるし、この場合は、動画を入力とする必要はない。学習部２５は、こうしたニーズから母集合や入出力の仕様を決定して学習を行う。
【００４６】
制御部１７は、ＣＰＵ（Central Processing Unit）、周辺回路、メモリ等を有し、ＣＰＵはメモリに記憶されたプログラムに従って、カメラ１０内の各部を制御する。
【００４７】
外部機器２０は、外部画像データベース（ＤＢ）２１と、学習部２５を有する。外部画像ＤＢ２１と学習部２５は、同一の機器内に配置されてもよく、同一の機器内に配置されていなくてもよい。両者が同一の機器内に配置されていない場合には、外部画像ＤＢ２１および学習部２５は通信によって情報の送受信ができればよい。また、外部画像ＤＢ２１は複数設けられていてもよく、さらに学習部２５から複数の外部画像ＤＢに通信部２５および通信部２６を通じて、画像データにアクセスし、画像データに関する情報を取得することができればよい。
【００４８】
外部画像ＤＢ２１は、通信部２２と画像分類部２３を有する。外部画像ＤＢ２１は、画像データが外部から送信され、蓄積されている。外部画像ＤＢ２１は、前述したように、第三者がアクセスでき、また画像データのみならず、画像データに関連する情報（例えば、タグ情報等）が添付されている場合がある。通信部２２は、通信回路を有し、学習部２５の通信部２６と、データの送受信を行う。
【００４９】
画像分類部２３は、外部画像ＤＢ２１内に蓄積され、または外部画像ＤＢ２１の外部にある画像ＤＢに蓄積された画像データの画像分類を行う。画像分類部２３には、取得情報２３ａとテーマ２３ｂが記憶されている。取得情報２３ａは、画像データに添付された関連情報等に基づく情報である。例えば、図５を用いて前述したように、所定対象物の検出・評価に関連する情報、出現予測に関連する情報、画像変換に関連する情報等がある。テーマ２３ｂは、画像のテーマ、例えば、撮影対象（例えば、風景、人物、料理等）等の情報が画像に関連付けられた情報であり、この情報も記録される。
【００５０】
学習部２５は、通信部２６、母集合作成部２７、入出力モデル化部２８、制御部２９を有する。学習部２５は、機械学習（深層学習を含む）用プロセッサを有する。学習部２５は、カメラ１０から送信されてきた画像評価情報（リクエスト）に基づいて、画像の評価を行うに適した画像を画像データベースの中から抽出し、この抽出した画像用いて、機械学習（深層学習を含む）を行い、推論モデルを出力する。
【００５１】
学習部２５は、リクエストに応じた画像評価が得られる画像を画像データベースの中から抽出し、この抽出した画像用いて、深層学習を行い、推論モデルを出力する学習部として機能する（例えば、図４のＳ３１〜Ｓ３９参照）。学習部２５は、画像評価情報に基づいて画像データベースから画像を抽出し、この抽出した画像を用いて画像評価情報が出力されるような機械学習を行い、推論モデルを出力する学習装置として機能する（例えば、図４のＳ３１〜Ｓ３９参照）。学習部２５は、視認性を向上させた画像と、視認性を向上させていない画像を用いて、機械学習を行い、推論モデルを出力する学習装置として機能する（例えば、図４のＳ３１〜Ｓ３９、図５参照）。学習部２５は、画像評価情報に基づいて画像データベースから画像を抽出し、この抽出した画像を用いて画像評価情報が出力されるような機械学習を行い、推論モデルを出力する学習部として機能する（例えば、図４のＳ３１〜Ｓ３９参照）。
【００５２】
通信部２６は、通信回路（受信回路および／または送信回路を有する）を有し、外部画像ＤＢ２１の通信部２２とデータの送受信を行う。また通信部２６は、カメラ１０の通信部１４ともデータの送受信を行う。通信部２６は、ユーザの意図する画像評価を表すリクエストを外部装置から受信する受信部として機能する（例えば、図４のＳ３１参照）。通信部２６は、学習部から出力された推論モデルを上記外部装置に送信する送信部として機能する（例えば、図４のＳ４３参照）。通信部２６は、ユーザが設定した、画像評価情報を受信する受信部として機能する（例えば、図４のＳ３３参照）。通信部２６は、学習部において、作成された推論モデルを、外部の撮像装置に出力する送信部として機能する（例えば、図４のＳ４３参照）。
【００５３】
母集合作成部２７は、カメラの設定部１６によって設定された画像評価情報（リクエスト）に基づいて、最適な母集合を作成する。最適な母集合としては、全ての画像データをそのまま全部使用してもよい。しかし、母集合が大きすぎると、処理に時間が掛かってしまう。また母集合が大きすぎると、過学習となり信頼性が低下してしまう場合がある。そこで、画像の付随情報として送信されてきた関連情報を用いて、全画像データから適当なサイズの母集合を抽出することが好ましい。
【００５４】
母集合作成部２７は、例えば、カメラ１０から、画像評価情報（リクエスト）として、「所定対象物検出・評価」が送信されてきた場合には、ユーザ毎に好みの被写体を検出できるように、ユーザ毎の画像を抽出してもよい。また、ユーザの年代、性別、職業等に応じて、母集合を抽出してもよい。さらに、観光地等においては、一般的なユーザの好む被写体があることから、撮影地に応じて母集合を抽出するようにしてもよい。
【００５５】
また、母集合作成部２７は、例えば、カメラ１０から、画像評価情報（リクエスト）として、「出現予測」が送信されたきた場合には、動画や連射画像の画像データを抽出する。また、出現予測に更に、「鳥」等の条件が付加されていた場合には、この条件で、さらに画像データを絞り込むようにしてもよい。
【００５６】
また、母集合作成部２７は、例えば、カメラ１０から、画像評価情報（リクエスト）として、「画像変換」が送信されてきた場合には、図５（ａ）に示すような、昼光と赤外光で撮影したような画像、図５（ｂ）に示すような、染色前と染色後の画像等、異なる条件で撮影した画像を抽出する。
【００５７】
入出力モデル化部２８は、所謂人工知能（ＡＩ）を用いて深層学習（機械学習）を行う。具体的には、入出力モデル化部２８は、母集合作成部２７によって作成された画像データの母集合を用い、設定部１６によって設定された画像評価情報（リクエスト）を満たす画像の推論モデルを、深層学習によって生成する。入出力モデル化部２８は、図２に示すような構成を有している。入力層Ｉに母集合作成部２７に作成された画像データを入力する。また、出力層Ｏに、画像の評価結果、「不審行動者２名」、「免疫抗体有無」、「鳥が飛び出しそう」等の教師データ（正解）を与える。入力と出力が一致するように、各ニューロンＮ１１〜Ｎ２ｎの結合の強さ（重み付け）を算出することによって推論モデルを生成する。
【００５８】
また、深層学習を行う際に、視認性の向上処理を行っていない画像をネガティブサンプルとしてもよい。視認性の向上処理は、例えば、図５の画像Ｐ３２、Ｐ３４のように、ユーザが画像評価情報を視認できるような処理である。ネガティブサンプルは、図５の画像Ｐ３１、Ｐ３３のように、ユーザが画像評価情報を認識することができない画像をいう。
【００５９】
なお、画像データの母集合が大きいと、深層学習によって推論モデルが完成するまでに相当の時間（母集合の大きさおよび設定部１６によって設定された画像評価情報（リクエスト（条件））によっては、何カ月、何年という長期間）がかかる。そこで、母集合の画像データの全てについて推論が終了しない場合であっても、一定レベルの信頼性が期待できる場合には、このとき生成された推論モデルを学習途中モデルとしてカメラに出力するようにしてもよい。深層学習の詳細は、図２を用いて後述する。
【００６０】
制御部２９は、ＣＰＵ（Central Processing Unit）、周辺回路、メモリ等を有し、ＣＰＵはメモリに記憶されたプログラムに従って、学習部２５内の各部を制御する。
【００６１】
なお、制御部１７、２９内のＣＰＵの周辺回路の全部または一部をＣＰＵ（Central Processing Unit）とプログラムコードによって実現するようにしてもよく、ＤＳＰ（Digital Signal Processor）等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実行するようにしても勿論かまわない。また、ＣＰＵの機能の一部をＤＳＰ等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログによって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実現するようにしてもよい。
【００６２】
また、図１に示すカメラ１０は、一般的なカメラを例に挙げて説明したが、カメラ１０は、例えば、図７に示すような顕微鏡５０に取り付けれたカメラでもよい。この場合には、ネット７０等を介して、外部機器としての学習用サーバ６０と接続し、学習用サーバ６０によって推論用モデルを生成すればよい。顕微鏡５０に取り付けた撮影装置は、前述した図５（ｂ）に示すような染色前や染色後の細胞の写真を撮影することができる。
【００６３】
次に、図２を用いて、深層学習を行う入出力モデル化部２８と、推論モデルを用いて推論を行う推論エンジン１２の構成について説明する。まず、入出力モデル化部２８について説明する。この入出力モデル化部２８は、入力層Ｉと出力層Ｏの間に中間層（ニューロン）が配置されている。この中間層としては、何層かのニューロンＮ１１〜Ｎ１ｎ、Ｎ２１〜Ｎ２ｎ、・・・が配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。
【００６４】
学習装置としての入力層Ｉには、ステップＳ３７において、母集合作成部２７において抽出された画像データが入力され、出力層Ｏには、教師データ（画像評価情報（正解））が与えられる。入力層Ｉに画像データが入力された際に、出力層Ｏから教師データ（画像評価情報（正解））が出力されるように、各ニューロンと各ニューロンの結合の強さ（重み付け）が、それぞれ学習によって決定される。推論モデルとしては、学習によって得られた各ニューロンと各ニューロンの結合の強さ（重み付け）が出力される。
【００６５】
次に、カメラ等において使用される推論エンジン１２について説明する。推論エンジン１２も、入出力モデル化部２８の場合と同様に、入力層Ｉと出力層Ｏの間に中間層（ニューロン）が配置されている。入力層Ｉには画像入力部１１によって取得された画像が入力される。中間層Ｎ１１〜Ｎ１ｎ、Ｎ２１〜Ｎ２ｎ、・・・には、入出力モデル化部２８によって生成された推論モデルに基づいて、重み付けがなされる。出力層Ｏには、入力層Ｉに入力された画像に応じて、画像評価情報が出力される。例えば、図５（ａ）に示す画像Ｐ３１が入力されると、画像評価情報「不審行動２人」が推論結果として出力され、図５（ｂ）に示す画像Ｐ３３が入力されると、画像評価情報「免疫抗体有無」が推論結果として出力され、図５（ｃ）に示す画像Ｐ３６が入力されると、画像情報評価情報「鳥が飛び出しそう」が推論結果として出力される。
【００６６】
ここで、深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。
【００６７】
ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることにより、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。
【００６８】
これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【００６９】
その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
【００７０】
次に、図３および図４に示すフローチャートを用いて、本実施形態における動作を説明
する。
【００７１】
図３はカメラ１０における動作を示し、制御部１７がメモリに記憶されたプログラムに従って、図３に示すフローチャートを実行する。カメラ制御のフローが開始すると、まず、撮影モードか否かを判定する（Ｓ１）。本フローにおいては、カメラ１０は、撮影モードと学習モードの２種類のみを記載する。しかし、これらのモード以外にも、再生モード等、他のモードを実行できるようにしてもよい。操作部材（不図示）によって学習モードが設定されていなければ、撮影モードと判定される。なお、学習モードは、ユーザが設定部１６によって、学習部２５に推論モデルの生成を依頼するモードである。
【００７２】
ステップＳ１における判定の結果、撮影モードであった場合には、画像入力を行う（Ｓ３）。このステップでは、画像入力部１１が画像データを取得する。すなわち、レンズによって形成された被写体像を撮像素子によって光電変換し、撮像回路等によって画像データを取得する。この取得された画像データに基づいて、表示部１５にスルー画像が表示される。
【００７３】
画像を入力すると、次に、推論を行う（Ｓ５）。ここでは、推論エンジン１２が、入力した画像データに対して、入出力モデル化部２８が生成した推論モデル（後述するＳ２７で取得）を用いて、推論を行う。推論エンジン１２は、前述した図２に示すような構成をしている。この推論エンジンの入力層Ｉは画像入力部１１が取得した画像データを入力し、各ニューロンＮ１１〜Ｎ２ｎ間の結合の強さ（重み付け）として、記憶部１３に記憶されている推論モデルを設定する。この推論エンジン１５の出力層Ｏからの出力が、推論結果となる。
【００７４】
推論を行うと、次に、評価結果の表示や、画像処理の追加等を行う（Ｓ７）。ここでは、制御部１７は、ステップＳ５で行った推論結果に基づいて、評価結果を表示部１５に表示する。例えば、学習部２５に対する画像評価情報（リクエスト）が、「怪しい人物を検出したら、その人数も含めて表示、報告せよ」であれば、「不審行動２人」、「免疫抗体有無」等、評価結果が表示される。また、評価結果に基づいて、表示部の画面を見て分かるような、いわば「見える化」、「可視化」のための画像処理を追加してもよい。この表示は、強調表示でもよく、また情報を補ってもよい。例えば、画像評価の結果、不審行動者がいる場合に、その不審者が目立つように画像処理を施してもよい。また、画像評価の結果、鳥が飛び出しそうの場合には、予測画像を表示してもよい。
【００７５】
また、「画家の作風」をまねて写真を撮影したい場合には、「画像変換」で、「ピカソ風」、「ゴッホ風」と入力してもよいし、これまで存在しなかった画家の作風を作り上げて表示してもよい。これには、「誰にも似ないように」と「それも、元の画像の少なくとも一部が識別可能」というようなルールでの学習が有効である。ここでは、リクエスト次第で、様々な情報が画像から読みとられ、それにふさわしい、見える化された表示がなされる。このため、分析や補助、ユーザの審美的なニーズ、興味に即したニーズなどに対応が可能であり、テキスト表示が可能な場合には、音声やそのほかの方法で通知が可能となる。「目の不自由な人が駅で注意すべきこと」といったニーズがあれば、ホームの端や白線、柱や通行人や列車や階段などを分析して通知する例がある。これは、聴覚や触覚に変換して通知してもよいし、この通知方法を含めて学習する方法もある。
【００７６】
なお、入出力モデル化部２８において、最初に学習用母集合として設定した画像データについて深層学習が終了せず、再設定した画像データの母集合について学習途中モデルが生成されてカメラ１０に送信され、推論エンジン１２が学習途中モデルを用いて推論する場合がある（図４のＳ４５〜Ｓ４９参照）。この場合には、学習途中モデルを用いたことが分かるように表示してもよい。また、推論モデルが現在のスルー画表示されている画像に適していない場合には、推論ができないこと等の警告表示を行うようにしてもよい。また、推論の結果、画像評価することができない場合には、画像評価ができるような撮影を行うためのアドバイス表示を行うようにしてもよい。
【００７７】
評価結果の表示等を行うと、次に、撮影するか否かを判定する（Ｓ９）。ここでは、制御部１７が、カメラ１０の撮影指示部材が操作（例えば、レリーズ釦の全押し）されたか否かに基づいて判定する。ユーザは、撮影を行うか否かあたって、ステップＳ７における評価結果の表示を参考にしてもよい。このステップでの判定の結果、撮影でない場合には、ステップＳ１に戻り、前述の動作を実行する。
【００７８】
ステップＳ９における判定の結果、撮影であった場合には、撮影を実行し、評価情報を記録する（Ｓ１１）。ここでは、制御部１７が、適正露出となるように露出制御を行い、画像入力部１１で入力した画像データに、記録用の画像処理を施し、画像処理された画像データを記録媒体に記録する。また、ステップＳ５で推論し、ステップＳ７において表示した評価情報を記録する。ここで記録する評価情報は、撮影された画像データに関連する情報である。記録された画像データおよび評価情報は、通信部１４を介して外部画像ＤＢ２１に適当なタイミングで送信される。また、評価情報を記録する際に、取得画像に画像評価情報を添付して、外部ＤＢ３１の画像データベースに送信してもよい。この送信タイミングは、ステップＳ１１以外にもステップＳ２７において行ってもよい。撮影を行い、評価情報を記録すると、ステップＳ１に戻り、前述の動作を実行する。
【００７９】
ステップＳ１に戻り、このステップにおける判定の結果、撮影モードでない場合には、推論モデル等を取得か否かについて判定する（Ｓ２１）。ユーザは、入力画像に対して推論を行い、画像評価を知りたい場合には、外部機器２０内の学習部２５に、設定部１６で設定した画像評価情報（リクエスト）を送信する。そして、学習部２５から推論モデルをカメラ１０に返信してもらい、カメラ１０はこの推論モデルを用いて、画像評価情報を得て、表示部１５に表示する（Ｓ７参照）。ステップＳ２１では、ユーザがこの推論モデルを取得したいか否かについて判定する。ユーザはタッチパネルや操作部材等によって学習モードを設定するので、制御部１７は、これらの操作状態に基づいて判定する。この判定の結果、推論モデル等の取得ではない場合には、ステップＳ１に戻り、前述の動作を行う。
【００８０】
ステップＳ２１における判定の結果、推論モデル等を取得する場合には、次に、画像評価情報（リクエスト）を設定する（Ｓ２３）。ユーザは、学習部２５に、深層学習を依頼し、推論モデルを取得する場合には、ユーザの意図する画像評価情報を設定する（図１（ｂ）参照）。このステップでは、これらの画像評価情報の設定を行う。画像評価情報（リクエスト）は、前述したように、「所定対象物検出・評価」、「出現予測」、「画像変換」等、ユーザ等の主観に関わらず、撮像装置等の装置によって、電気・機械的に評価できる項目である。
【００８１】
続いて、学習を依頼する（Ｓ２５）。このステップでは、ステップＳ２３においてユーザが設定した画像評価情報（リクエスト）を、通信部１４を通じて、外部機器２０内の学習部２５に送信する。画像評価情報（リクエスト）を受信した学習部２５は推論モデルの作成を行う。具体的な推論モデルの作成は、図４に示すフローチャート用いて後述する。概略すると、まず、受信した画像評価情報に基づいて、母集合作成部２７が母集合となる画像データを抽出する（図４のＳ３３、Ｓ３５等参照）。続いて、入出力モデル化部２８が深層学習によって推論モデルを作成する（図４のＳ３７、Ｓ３９等参照）。また、学習依頼する際に、取得画像に画像評価情報を添付して、外部ＤＢ３１の画像データベースに送信してもよい。この送信タイミングは、ステップＳ２７以外にもステップＳ１１において行ってもよい。
【００８２】
また、ステップＳ２５において、前述したように、深層学習が全ての画像データについて終了しなくても信頼度のある推論モデルが生成できた場合には、この途中の推論モデル（学習途中モデル）を送信するように要求してもよい。
【００８３】
学習を依頼すると、次に、推論モデル、または学習途中モデルを取得し、記録する（Ｓ２７）。前述したように、ステップＳ２５において、カメラ側から学習を依頼すると、学習部２５は深層学習によって推論モデルを作成する。推論モデルが生成されると、この推論モデルを外部機器２０はカメラ１０に送信してくるので（図４のＳ４３）、このステップでは受信した推論モデルを学習成果物１３ａとして記憶部１３に記録する。
【００８４】
このように、カメラ制御のフローにおいては、ユーザが画像評価情報（リクエスト）等を設定し（Ｓ２３）、これを外部機器２０の学習部２５に送信し（Ｓ２５）、学習部２５から推論モデルを取得する（Ｓ２７）。そして、この推論モデルを用いて、撮影の準備動作中に（スルー画表示中）、取得した推論モデルを用いて、画像を評価し、評価結果を表示することができる（Ｓ５、Ｓ７）。深層学習を利用した推論モデルを用いていることから、膨大なデータに基づいた画像評価を行うことができ、ユーザは撮影等の際に参考にすることができる。
【００８５】
また、推論モデルは深層学習が全ての画像データについて終了していなくても、所定数の画像データを用いて深層学習を行うことにより所定の信頼度の高い推論モデルができれば、この推論モデルを学習途中モデルとして取得し（Ｓ２７）、使用している（Ｓ５、Ｓ７）。このため、ターゲットプロフィール等を設定してから、短時間で学習途中モデルを取得し、推論エンジン１２によって推論することができる。
【００８６】
次に、図４に示すフローチャートは外部機器２０における動作を示す。制御部２９がメモリに記憶されたプログラムに従って、図３に示すフローチャートを実行する。外部機器の制御フローが開始すると、まず、学習依頼か否かについて判定する（Ｓ３１）。前述したように、ステップＳ２５において、カメラ１０は通信部１４を通じて、外部機器２０の学習部２５に学習を依頼する。この判定の結果、学習依頼がない場合には、待機状態となる。
【００８７】
ステップＳ３１における判定の結果、学習の依頼があった場合には、評価情報の取得を行う（Ｓ３３）。ユーザは、評価画像情報として、画像から分析してほしい情報や、画像を評価して得たい情報に関するリクエストや、推論モデルのスペックを要求してくる。すなわち、ユーザは、図１（ｂ）に示したように、機器を介して評価情報を入力する。入力方法としては、例えばキーボードやタッチ画面においてテキストで書き込んでもよく、キーワード入力してもよく、音声認識機能搭載によって対話形式で入力してもよく、また特定のメニューから選択してもよい。これらの方法によって入力した結果が学習部２５に送られてくるので、これを受信する。
【００８８】
受信したリクエストからその結果が得られるように、必要な推論エンジンの仕様を判定してそれが得られるようにする。この時、前述のように機器が搭載した電子回路の性能などを考慮して推論モデル（回路的に作動し、機能した場合は推論エンジンとなる）の仕様を作ることが好ましいことから、このための性能情報（総数や消費電力や必要とするメモリ容量など）を取得する。また、リクエストは、記述されたものであったり、また選択されたものであったりする以外に、ユーザの行動を機器の利用状態やその他の情報などから分析された結果であってもよい。
【００８９】
また、前述したように、画像データＤＢ２１の画像分類部２３には、画像データに関連付けて取得情報２３ａが蓄積されている。そこで、ステップＳ３３において、蓄積されている取得情報２３ａを用いて、評価情報の取得を行う。
【００９０】
評価情報（画像から分析して欲しい情報や、画像を評価して得たい情報のリクエスト、推論モデルのスペック）を取得すると、次に、目的に応じた分析によって必要とされる評価（欲しい情報）が画像から得られるように、ユーザが想定する対象物画像を想定し、その画像から得られる情報が、期待されるスペックを満たすように学習母体の絞り込みを行う（Ｓ３５）。ここでは、母集合作成部２７は、カメラ１０においてユーザが設定した画像評価情報（リクエスト）を推論できるように、ステップＳ３３において取得した評価情報を用いて、学習母体の絞り込みを行う。この場合、ユーザの思惑を満たすような画像群であって、目的とする情報を取得可能なアノテーション情報が付与された画像を選択するようにする。
【００９１】
学習母体の絞り込みを行うと、次に、教師データの設定、またはルールの設定等を行う（Ｓ３７）。ここでは、入出力モデル化部２８が推論モデルを生成する際に使用する教師データを設定する。例えば、図５（ａ）の画像Ｐ３１と画像評価結果（上述のアノテーション情報）の組合わせが教師データとなる。これは、特定の画像から、所定の情報（複数の情報でもよい）が得られるように正しく入出力関係を規定し、深層学習をすることを想定している。例えば、顔の画像（入力）から目の位置（出力）を見つけるといったように、よく知られる学習では顔画像に対して目の座標がアノテーションされている教師データを使うことによって可能となる。この方法を応用し、図５に示したような考え方や論理で、状況に応じた入出力モデル化を行う。図５では、特に、人間が見ても識別しにくい画像の微細な特徴から、機械学習ならではの高速の推論を行うことによって、ユーザの期待に応えるようなエンジンが得られることを説明している。
【００９２】
すなわち、図２における入力層Ｉと出力層Ｏの組み合わせを教師データとする。また、教師データに代えて、推論のためのルールを設定してもよい。機械学習は、教師データを用いなくても、ルールを設定することにより、可能である。また、取得したい推論モデルによっては、教師データは必ずしも必要ではない。例えば、入出力が適性になるようなルールを機械学習で見つけ出し、その評価情報（画像から分析して欲しい情報や画像を評価して得たい情報のリクエスト、推論モデルのスペック）に従った情報を整備するような方法を取ってもよい。このルール設定による機械学習については、図６を用いて後述する。
【００９３】
次に、深層学習を行い、推論モデルを生成する（Ｓ３９）。ここでは、入出力モデル化部２８が、設定された母集合に対して、深層学習を行い、推論モデルを生成する。
【００９４】
推論モデルの生成を開始すると、次に、推論が特定規模の演算で可能か否かを判定する（Ｓ４１）。ここでは、画像から、目的の情報、画像変換等の結果が得られる推論が、特定規模の演算で可能か否かを判定する。母集合の大きさや、深層学習を行うための回路規模によっては、深層学習を行うための時間が相当長くなる場合がある。ここでは、制御部２９が、ユーザが推論モデルの生成時間として通常、許容できる時間内に演算が終了するか否かを判定する。
【００９５】
ステップＳ４１における判定の結果、特定規模の回路で演算ができるのであれば、推論モデルを送信する（Ｓ４３）。ここでは、入出力モデル化部２８が深層学習によって推論モデルの生成を完了すると、この生成された推論モデルをカメラ１０に送信する（図３のＳ２７参照）。なお、ステップＳ３７において、ルールを設定した場合には、ランダム処理によって推論モデルを生成するので、試行錯誤によって類似画像に達するか否かを判定する。
【００９６】
一方、ステップＳ４１における判定の結果、特定規模の回路で演算ができない場合には、学習母体の再設定を行う（Ｓ４５）。母集合作成部２７は、学習母体となる画像データが多すぎることから、再度、設定された画像評価情報（リクエスト）を用いて、深層学習の対象となる母集合を変更し、再設定する。
【００９７】
学習母体を再設定すると、次に、学習途中でも送信可の要求があるか否かを判定する（Ｓ４７）。前述したように、深層学習には時間がかかることが多い。そこで、前述したように、ユーザは、ある程度の高い信頼度で推論モデルが生成されれば、この学習途中モデルを送信することを要求している場合がある（図３のＳ２５）。このステップでは、制御部２９は、この要求がなされているか否かを判定する。このステップでの判定の結果、送信要求がない場合には、ステップＳ３９に戻る。
【００９８】
なお、ある程度の高い信頼度での推論モデルであるか否かは、ＬＯＳＳ値が閾値より低いか否かで判定してもよい。ＬＯＳＳ値は、予め正解が分かっている練習問題で深層学習を行った場合に、深層学習で生成された推論モデルでの推論結果と、予め分かっている正解との差異である。深層学習による推論モデルをどのような評価方法を採用するかは、学習装置の信頼性に影響を与える。本実施形態においては、ＬＯＳＳ値を用いて、学習装置を評価する。
【００９９】
一方、ステップＳ４７における判定の結果、送信要求が有る場合には、学習途中モデルをカメラ１０に送信する（Ｓ４９）。ここでは、学習母体を再設定し、この範囲である程度の高い信頼度での推論モデルが生成されたことから、この学習途中モデルをカメラ１０に送信する。学習途中モデルを送信した後も推論モデル生成のための深層学習を行い、推論モデルが生成されると、カメラ１０に送信する（Ｓ４３）。なお、学習途中モデルを送信した場合には、推論モデルの生成を終了しても構わない。この場合には、ステップＳ４３をスキップして、ステップＳ３１に戻る。
【０１００】
このように、外部機器の制御フローにおいては、学習依頼を受けると、まず画像データベースに格納されている画像データから、母集合を設定する（Ｓ３３）。そして、画像評価情報（リクエスト）を用いて深層学習を行うための教師データ等を設定し（Ｓ３７）、深層学習を開始し推論モデルの生成を行う（Ｓ３９）。膨大な数の画像データの中から、ユーザが設定した画像評価情報（リクエスト）を用いて、推論モデルを生成している。このため、撮影に役立つ画像評価情報を容易に取得することができる。
【０１０１】
また、ユーザが設定する画像評価情報は、カメラ等の撮影装置において、撮影された際に撮影装置において取得され、画像に関連付けて記録された情報を使用することができる。なお、カメラ等の撮影装置は、所謂一般的なカメラに限らず、スマートフォンに組み込まれたカメラ、監視用のカメラ、顕微鏡写真撮影用のカメラ、内視鏡で得られた画像撮影用のカメラ等、広い意味の撮影装置であればよい。
【０１０２】
また、深層学習は、母集合の画像データの数、入力用の画像の数や特徴、また深層学習用の入出力モデル化部２８の回路規模によって、相当の時間がかかる場合にある。しかし、母集合として設定した全ての画像データについて深層学習ができなくても、再設定した画像データの母集合について深層学習を行えば、ユーザが満足する程度の信頼度の推論モデルを、学習途中モデルとして生成することができる。本実施形態においては、この学習途中モデルが生成できれば、その時点で学習途中モデルを送信することができる。
【０１０３】
次に、図６を用いて、ルール設定による機械学習について説明する（図４のＳ３７、Ｓ３９参照）。図２を用いて説明した深層学習は、入力に対する、正解としての出力の組み合わせを教師用データとし、この教師用データを用いて、中間層にあるニューラル・ネットワークの結合の重み付けを行っていた。これに対して、ルール設定による機械学習は、前述の教師用データを用いずに、単に、類似させたい画像を、ルールとして設定する。
【０１０４】
例えば、図６（ａ）は、ルールとして用いる画像Ｐ４１であり、図６（ｂ）は、入力される画像Ｐ４２である。機械学習としては、画像Ｐ４２を入力した際に、画像Ｐ４１が出力されるように、試行錯誤を繰り返しながら、中間層のニューラル・ネットワークの結合の重み付けを変化させる。試行錯誤を何回も繰り返すことにより、画像Ｐ４２が目標とする画像Ｐ４１に次第に類似する。類似画像を得ることができれば、その時のューラル・ネットワークの結合の重み付けを推論モデルとして出力する。
【０１０５】
上述の図３および図４に示したフローチャートにおいて、教師データと同じ条件にするための工夫を行うようにしてもよい。推論する時には学習した結果を最大限生かすような補助があれば推論の精度が上がる。場違いな推論を避けるために、学習時の教師データが最も有効に使える工夫があった方がよく、ここでは、姿勢を揃える例について説明する。例えば、一般の撮影画像によって取得した水平・垂直が揃った画像だけを用いて学習して生成された推論モデルによって推論を行う場合、上下左右の差異がある画像に対しては、正しい推論が出来ない可能性がある。そこで、推論情報から上述の情報を読み出し、撮像時に、姿勢センサからの水平または垂直の情報を加味して取得画像に対して、推論を行うことにより、正しい測定部位判定が可能となる。推論モデルを用いて推論を行う前に水平垂直の情報を入れて画像を判定させるような工夫は有効であり、この条件の情報や、画像を補正するためのセンサを有するようにすることが好ましい。学習時にこのような制約を入れるかどうかで、推論エンジンの仕様や性能が変わるので、アノテーション作業を進めながら、このような試行錯誤ができてもよいし、その試行錯誤を表示させてもよい。なお、アノテーション作業は、生の画像データから深層学習用の画像データを作成する作業をいう。
【０１０６】
次に、距離や撮影パラメータの例について説明する。姿勢を揃える場合と同様に、対象物に対して特定の距離や画角など特定構図から得た画像、あるいは露出やピントなどが正しく整った画像のみを用いて学習を行うと、それ以外の条件で撮影された画像については、正しい推論が出来ない。このような画像で生成された推論モデルを用いて推論する場合は、距離の差異を打ち消すように撮像時のパラメータを調節し、近い描写画像にして推論モデルを用いて推論する等の工夫によって精度を向上させることができる。どのような学習データを使って作られたモデルであるかを示す情報を記憶するためのメモリを備えておき、推論モデルを用いて推論するときには、上述の情報を利用して、推論モデルが正しい推論ができるように画像を補正するような工夫を行うとよい。このような補正が必要かどうかを、アノテーション作業時に気づくことがあり、アノテーション作業時に、仮の学習を検証可能にする工夫は有意義である。
【０１０７】
また、撮像装置等に、ハード、特にカメラ用の小型推論エンジンを実装する際には困難がつきまとう。すなわち、カメラや携帯機器等の情報端末製品に搭載するコンパクトタイプの推論エンジンは、少ない層で高精度判断するための学習は困難であり、また時間がかかる。このため、正確なアノテーションや学習のさせ方に工夫することが望まれる。推論モデルを生成する時、学習に使用した画像によって推論モデルの仕様が変わるので、学習時の情報と連携して効率的な学習を行ってもよい。そこで、どのような学習をさせたかを示す情報をアノテーション作業時に設定し、この情報を情報取得装置の記録部に推論情報の一部として記録しておいてもよい。
【０１０８】
こうしたハードの制約ゆえに、ハード側からリクエストを出すことが好ましく、この制約の中で活用可能な推論モデルを取得するための工夫もまた、本実施形態においても盛り込まれている。つまり、リクエスト時に、装置側の回路などの制約を含めて学習を依頼し、この制約下でも実用的な学習済モデルを取得することが可能となる。単純に推論可能かだけではなく、推論に要する時間的な制約もまたリクエストに盛り込んでもよい。
【０１０９】
また、本実施形態においては、教師用データを用いた深層学習を中心に説明した。しかし、「教師なし学習」、「強化学習」など教師なしデータによる機械学習を本実施形態においても適用することができる。「教師あり学習」が、アノテーションによって作成された教師データを使って「入力と出力の関係」を学習するもので、特定の条件下での信頼性の高い推論を行うことができる。しかし、これに限らず、「データの構造」を学習する「教師なし学習」の手法を用いることによって、より複雑な状況に対応できる推論モデルを取得してもよい。  
【０１１０】
また、「強化学習」と呼ばれる、「価値や効果を最大化するような行動」を学習する手法を用いても良い。これは、状態行動価値が増大化するような法則を見つけるように学習させるもので、現在ではなく次の状態の価値を見積もって高めたり、特定の報酬が得られたりするまで試行錯誤した結果を学習に反映させる。学習結果の検証には、教師データを使ってもよい。アノテーションによって得られた正解の出力をそのまま学習するのではなく、さらに良い回答が得られるよう学習させるもので、未知の状況に対応できるようにしたものである。
【０１１１】
これらは教師あり学習と併用してもよく、教師なし学習による推論のあと、教師あり学習による推論を行ってもよい。アノテーション用データは、こうした「教師なし学習」、「強化学習」の検証用データとしても利用が可能である。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、本実施形態においては画像の判定を、機械学習により導出する手法を採用したが、これに限らず、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
【０１１２】
以上説明したように、本発明の好ましい実施形態において、学習装置は、ユーザが画像から得たい情報（画像評価情報）を撮像装置から受信し（例えば、図４のＳ３１参照）、この受信した画像評価情報が得られるように、画像を画像データベースの中から抽出し、この抽出した画像と付随情報を用いて、機械学習を行い、推論モデルを作成している（例えば、図４のＳ３３〜Ｓ３９参照）。学習装置は、作成された推論モデルを撮像装置に送信している（例えば、図４のＳ４３参照）。このため、ユーザからの意図を尊重した情報を、入力画像から得ることが可能となる。
【０１１３】
また、本発明の好ましい実施形態において、撮像装置は、撮影を行うと、画像データを記録すると共に、撮影時の画像評価情報も画像データに関連させて記録する（図３のＳ１１参照）。そして、この画像評価情報付きの画像データを外部画像ＤＢに蓄積し、学習装置は画像評価情報付きの画像データを用いて、推論モデル作成の際に使用することができる（図４のＳ３３〜Ｓ３９参照）。このため、スルー画表示時等に、ユーザが意図する画像評価を表示させることができる。
【０１１４】
また、本発明の好ましい実施形態において、画像評価情報は、図５（ａ）に示すような画像の場合には、昼光および赤外光による撮影情報および画像分析結果「不審行動２人」であり、図５（ｂ）に示すような画像の場合には、染色前情報と染色後情報および画像分析結果「免疫抗体有無」であり、図５（ｃ）に示す画像の場合には動画画像および画像分析結果「鳥が飛び出しそう」であればよい。このように、画像評価情報の生成にあたっては、ユーザが特段、判断することはなく、装置が自動的に判断できる内容である。このため、ユーザに負荷がかかることがない。
【０１１５】
なお、本発明の好ましい実施形態においては、学習装置は、設定された画像評価情報に基づいて、画像を画像データベースの中から抽出し、この抽出した画像用いて、深層学習を行い、複数の推論モデルを生成するようにしてもよい。また学習装置は、ユーザの意図する画像評価情報および／またはユーザの撮影画像を撮像装置から受信し、画像評価情報および／または撮影画像に基づいて、複数の推論モデルの中から、ユーザに最適な推論モデルを選択するようにしてもよい。学習装置は、この選択された最適な推論モデルを撮像装置に送信するようにしてもよい。複数の推論モデルを作成し、最適な推論モデルを選択することにより、撮像装置の撮影状況や撮影画像に適合した写真を容易に撮影する情報を得ることが可能となる。
【０１１６】
また、本発明の好ましい実施形態においては、学習装置における学習は、深層学習を行っていたが、これに限らず、機械学習等の人工知能を利用した学習であれば、よい。また、設定部１６（図１）は、設定項目を選択するようにしていたが、これに限らず、テキストを入力することにより画像評価情報を設定してもよく、またユーザが気に入った画像を１つ又は複数指定することによって、深層学習の対象を設定するようにしてもよい。
【０１１７】
また、本発明の好ましい実施形態においては、説明が一般的なコンシューマ市場、さらに「写真」として撮影を行う製品カテゴリ例を主に説明した。しかし、これらに限らず、プロフェッショナル・ユースの撮像とか観察でも応用は可能である。「写真」と書いたところは、こうした言葉に置き換えても何ら問題がない。例えば、工場の作業データなどから不良品を見つける人工知能（ＡＩ）においても、作業手順が変わると検知率が低下するので、常に予測モデル（推論モデル）を見直すことが課題となっている。このような不良品検出のための推論モデルも、ユーザ（ここでは工場の品質管理者）の意図する画像を表すリクエストを使用する。また、画像評価情報は、本実施形態における画像の評価を、例えば、専門性の高い検査者が、これは良い、これは悪いと識別した画像群と置き換えるだけで応用が可能となる。この時、良い悪いに重み付けを行えば、画像評価結果（図５の右欄に記載の画像評価）によって代用できる。
【０１１８】
また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。
【０１１９】
また、本発明の好ましい実施形態において、学習装置は撮像装置から画像評価情報（リエスト）を受信していたが、撮像装置に限らず、パーソナルコンピュータ、携帯型情報機器（スマートフォンを含む）等の外部機器から、画像評価情報（リクエスト）を受信するようにしてもよい。この場合、学習装置で機械学習した結果（推論モデル等）は、画像評価情報（リクエスト）を送信した装置に必ずしも送り返す必要はなく、他の外部装置に送信するようにしてもよい。例えば、スマートフォン等の携帯型情報機器において、画像評価情報（リクエスト）を設定して学習装置に送信し、学習装置で機械学習した結果を、カメラ等の撮像装置に送信するようにしてもよい。すなわち、ユーザが携帯型情報機器で画像評価情報（リクエスト）を設定及び送信を行い、カメラが学習装置から画像評価情報（リクエスト）に基づいて生成された推論モデルを受信し、この推論モデルに基づく表示を行うようにしてもよい。
【０１２０】
また、本発明の好ましい実施形態においては、通信部２６、母集合作成部２７、入出力モデル化部２８等を、制御部２９とは別体の構成とし、また画像入力部１１、推論エンジン１２、通信部１４、表示部１５、設定部１６等を、制御部１７と別体の構成とした。しかし、これに限らず、各部の全部または一部をソフトウエアで構成し、制御部２９または制御部１７内のＣＰＵによって実行するようにしても勿論かまわない。また、制御部２９または制御部１７内の各部を、制御部の外にハードウエア回路によって設けてもよい。また、上述の各部は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
【０１２１】
また、撮像装置として、デジタルカメラを用いて例についても説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。
【０１２２】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１２３】
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【０１２４】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１２５】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１２６】
１０・・・カメラ、１１・・・画像入力部、１２・・・推論エンジン、１３・・・記憶部、１３ａ・・・学習成果物、１４・・・通信部、１５・・・表示部、１６・・・設定部、１７・・・制御部、２０・・・外部機器、２１・・・外部画像ＤＢ、２２・・・通信部、２３・・・画像分類部、２３ａ・・・取得情報、２３ｂ・・・テーマ、２５・・・学習部、２６・・・通信部、２７・・・母集合作成部、２８・・・入出力モデル化部、２９・・・制御部、３０・・・サーバ、５０・・・顕微鏡、６０・・・学習サーバ、７０・・・ネット
【図１】
2020086716.tif 000003
【図２】
2020086716.tif 000004
【図３】
2020086716.tif 000005
【図４】
2020086716.tif 000006
【図５】
2020086716.tif 000007
【図６】
2020086716.tif 000008
【図７】
2020086716.tif 000009