(57)【要約】【課題】信頼性の高い推論を行うことができるように、学習を依頼する際に使用する画像ファイルを生成するための画像ファイル生成装置および画像ファイル生成方法を提供する。【解決手段】  画像データと、メタデータと、を有する画像ファイルを生成する画像ファイル生成装置において、画像データに関連する画像を入力とした推論モデルを作成する際に、画像データを、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報と、をメタデータとして付与するファイル作成部１０１ａｂを有する。【選択図】  図１Ｂ
2020123174.tif 000002
【特許請求の範囲】
【請求項１】
画像データと、メタデータと、を有する画像ファイルを生成する装置において、
上記画像データに関連する画像を入力とした推論モデルを作成する際に、
（１）推論モデルの用途を指定するための用途情報と、
（２）上記画像データを、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報と、
を上記メタデータとして付与するメタデータ付与部と、
を具備することを特徴とする画像ファイル生成装置。
【請求項２】
上記メタデータ付与部は、上記（１）および上記（２）のメタデータ以外に、
（３）判定するものが画像か事象かの情報、
（４）判定が主観か客観かの情報、
（５）判断タイミングの情報、
（６）関連画像群情報、
（７）判定が画像全体か画像部分か対象物かの情報
の少なくとも一つを、上記メタデータとして付与する
ことを特徴とする請求項１に記載の画像ファイル生成装置。
【請求項３】
推論モデルによって、画像の特定部分を推論によって検出する推論部と、
上記推論モデルで上記特定部分を検出できなかった画像を判定する判定部と、
上記判定部によって上記特定部分を検出できなかった画像をテストデータとして記録する記録制御部と、
を有し、上記メタデータ付与部は、上記テストデータに対して、上記メタデータを生成し、付与することを特徴とする請求項１に記載の画像ファイル生成装置。
【請求項４】
上記判定部は、上記特定部分を検出できた画像の前後で取得された画像であって、上記特定部分を検出できなかった場合に、上記特定部分を検出できなかった画像と判定することを特徴とする請求項３に記載の画像ファイル生成装置。
【請求項５】
上記メタデータが付与されたテストデータを上記推論モデルの再学習時に反映させるよう外部に送信する通信部を有することを特徴とする請求項３に記載の画像ファイル生成装置。
【請求項６】
上記再学習時には、上記テストデータを教師データに反映させて上記推論モデルを再学習させることを特徴とする請求項５に記載の画像ファイル生成装置。
【請求項７】
上記画像ファイル生成装置は、さらに、
被写体像を画像データに変換する撮像部と、
上記画像を入力し、推論モデルによって推論を行う推論部と、
を有し、上記メタデータ付与部は、上記推論部による推論結果に応じて、上記メタデータを作成し、上記画像データに関連付けて、上記画像ファイルを生成することを特徴とする請求項１に記載の画像ファイル生成装置。
【請求項８】
上記メタデータ付与部は、上記推論部による推論結果が失敗した場合に、上記メタデータを作成することを特徴とする請求項７に記載の画像ファイル生成装置。
【請求項９】
上記メタデータ付与部は、生成された上記画像ファイルを外部の学習装置に送信して追加学習を依頼する際に、追加学習を施す推論モデルを表す識別情報を付与することを特徴とする請求項７に記載の画像ファイル生成装置。
【請求項１０】
上記画像ファイル生成装置は、さらに、
被写体像を画像データに変換する撮像部と、
上記画像を入力し、推論モデルによって推論を行う推論部と、
を有し、上記メタデータ付与部は、上記画像データの取得時に、上記メタデータを作成し、上記画像データに関連付けて、上記画像ファイルを生成することを特徴とする請求項１に記載の画像ファイル生成装置。
【請求項１１】
上記メタデータ付与部によって上記メタデータが付与され、生成された上記画像ファイルを、外部の学習装置に送信するための通信部を有するすることを特徴とする請求項１に記載の画像ファイル生成装置。
【請求項１２】
画像データと、メタデータと、を有する画像ファイルを生成する画像ファイル生成方法において、
上記画像データに関連する画像を入力とした推論モデルを作成する際に、
（１）推論モデルの用途を指定するための用途情報と、
（２）上記画像データを、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報と、
を上記メタデータとして付与する、
ことを特徴とする画像ファイル生成方法。
【請求項１３】
上記（１）および上記（２）のメタデータ以外に、
（３）判定するものが画像か事象か、
（４）判定が主観か客観か、
（５）判断タイミング、
（６）関連画像群情報、
（７）判定が画像全体か画像部分か対象物か
の情報の少なくとも一つを、上記メタデータとして付与する、
ことを特徴とする請求項１２１に記載の画像ファイル生成方法。
【請求項１４】
連続的な時間情報を取得する時計部と、
上記連続した時間に従って画像を取得する画像取得部と、
上記連続的な時間に従って画像以外のセンサ情報を取得するセンサ情報取得部と、
上記センサ情報が変化したイベント時点の時刻を基準にして、さかのぼる時刻に得られた上記画像に対して時刻情報をメタデータとして付与するメタデータ付与部と、
を具備する画像管理装置。
【請求項１５】
上記特定のイベント予測用の教師画像として、上記メタデータ付き画像を学習装置に送信する送信部を具備することを特徴とする請求項１４に記載の画像管理装置。
【請求項１６】
上記メタデータ付与部は、上記特定のイベントが注意を促すべきイベントか否かの情報をメタデータとして付与可能であることを特徴とする請求項１４に記載の画像管理装置。
【請求項１７】
連続的な時間情報を取得する時計部と、上記連続した時間に従って画像を取得し、
上記連続的な時間に従って画像以外のセンサ情報を取得し、
上記センサ情報が変化したイベント時点の時刻を基準にして、さかのぼる時刻に得られた上記画像に対して時刻情報をメタデータとして付与する、
ことを特徴とする画像管理方法。
【請求項１８】
上記特定のイベント予測用の教師画像として、上記メタデータ付き画像を学習装置に送信することを特徴とする請求項１７に記載の画像管理方法。
【請求項１９】
上記特定のイベントが注意を促すべきイベントか否かの情報をメタデータとして付与可能であることを特徴とする請求項１７に記載の画像管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深層学習等の機械学習装置に推論モデルの生成を依頼する際に使用される画像ファイルを生成するための画像ファイル生成装置、画像ファイル生成方法、画像管理装置、および画像管理方法に関する。
【背景技術】
【０００２】
学習部で学習を行い、この学習結果を用いて、種々の制御を行うことが知られている。例えば、特許文献１には、収集された観測データから、正常時の特徴を学習し、学習結果に基づいて、その後に入力される観測データについて、異常の発生を検知する装置が開示されている。この装置では、テスト期間において異常の検知対象から観測されたデータに基づいて異常度を算出し、この異常度を閾値と比較することで異常の発生を検知している。そして、異常の見逃し及び誤検知の有無に基づいて閾値を決定し、誤検知が発生した場合には、閾値を増加させ、見逃しが発生した場合には、閾値を減少させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１４８３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１に記載の装置では、学習した結果のレベル調整を行っているが、レベル調整の結果に基づいて、再学習を行うものではなかった。しかし、実際に学習結果に基づく推論を利用するシーンでは、その状況下に応じた様々な条件が異なっており、必ずしもテスト期間において生じた事象のみを用いて推論モデルを作成するだけでは、十分ではない。つまり、刻一刻と変化する実際のシーンにおいて教師データを生成し、学習モデルをメンテナンスすることが望まれる。
【０００５】
本発明は、このような事情を鑑みてなされたものであり、信頼性の高い推論を行うことができるように、学習を依頼する際に使用する画像ファイルを生成するための画像ファイル生成装置、画像ファイル生成方法、画像管理装置、および画像管理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため第１の発明に係る画像ファイル生成装置は、画像データと、メタデータと、を有する画像ファイルを生成する装置において、  上記画像データに関連する画像を入力とした推論モデルを作成する際に、（１）推論モデルの用途を指定するための用途情報と、（２）上記画像データを、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報と、を上記メタデータとして付与するメタデータ付与部と、を具備する。
第２の発明に係る画像ファイル生成装置は、上記第１の発明において、  上記メタデータ付与部は、上記（１）および上記（２）のメタデータ以外に、（３）判定するものが画像か事象かの情報、（４）判定が主観か客観かの情報、（５）判断タイミングの情報、（６）関連画像群情報、（７）判定が画像全体か画像部分か対象物かの情報の少なくとも一つを、上記メタデータとして付与する。
【０００７】
第３の発明に係る画像ファイル生成装置は、上記第１の発明において、  推論モデルによって、画像の特定部分を推論によって検出する推論部と、  上記推論モデルで上記特定部分を検出できなかった画像を判定する判定部と、上記判定部によって上記特定部分を検出できなかった画像をテストデータとして記録する記録制御部と、を有し、上記メタデータ付与部は、上記テストデータに対して、上記メタデータを生成し、付与する。
第４の発明に係る画像ファイル生成装置は、上記第３の発明において、  上記判定部は、上記特定部分を検出できた画像の前後で取得された画像であって、上記特定部分を検出できなかった場合に、上記特定部分を検出できなかった画像と判定する。
第５の発明に係る画像ファイル生成装置は、上記第３の発明において、  上記メタデータが付与されたテストデータを上記推論モデルの再学習時に反映させるよう外部に送信する通信部を有する。
第６の発明に係る画像ファイル生成装置は、上記第５の発明において、  上記再学習時には、上記テストデータを教師データに反映させて上記推論モデルを再学習させる。
【０００８】
第７の発明に係る画像ファイル生成装置は、上記第１の発明において、  上記画像ファイル生成装置は、さらに、被写体像を画像データに変換する撮像部と、上記画像を入力し、推論モデルによって推論を行う推論部と、を有し、上記メタデータ付与部は、上記推論部による推論結果に応じて、上記メタデータを作成し、上記画像データに関連付けて、上記画像ファイルを生成する。
第８の発明に係る画像ファイル生成装置は、上記第７の発明において、  上記メタデータ付与部は、上記推論部による推論結果が失敗した場合に、上記メタデータを作成する。
第９の発明に係る画像ファイル生成装置は、上記第１の発明において、  上記メタデータ付与部は、生成された上記画像ファイルを外部の学習装置に送信して追加学習を依頼する際に、追加学習を施す推論モデルの管理情報を付与する。
【０００９】
第１０の発明に係る画像ファイル生成装置は、上記第１の発明において、  上記画像ファイル生成装置は、さらに、被写体像を画像データに変換する撮像部と、上記画像を入力し、推論モデルによって推論を行う推論部と、を有し、上記メタデータ付与部は、上記画像データの取得時に、上記メタデータを作成し、上記画像データに関連付けて、上記画像ファイルを生成する。
第１１の発明に係る画像ファイル生成装置は、上記第１の発明において、上記メタデータ付与部によって上記メタデータが付与され、生成された上記画像ファイルを、外部の学習装置に送信するための通信部を有する。
【００１０】
第１２の発明に係る画像ファイル生成方法は、画像データと、メタデータと、を有する画像ファイルを生成する画像ファイル生成方法において、上記画像データに関連する画像を入力とした推論モデルを作成する際に、（１）推論モデルの用途を指定するための用途情報と、（２）上記画像データを、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報と、  を上記メタデータとして付与する。
第１３の発明に係る画像ファイル生成方法は、上記第１２の発明において、  上記（１）および上記（２）のメタデータ以外に、（３）判定するものが画像か事象か、（４）判定が主観か客観か、（５）判断タイミング、（６）関連画像群情報、（７）判定が画像全体か画像部分か対象物かの情報の少なくとも一つを、上記メタデータとして付与する。
【００１１】
第１４の発明に係る画像管理装置は、連続的な時間情報を取得する時計部と、上記連続した時間に従って画像を取得する画像取得部と、上記連続的な時間に従って画像以外のセンサ情報を取得するセンサ情報取得部と、上記センサ情報が変化したイベント時点の時刻を基準にして、さかのぼる時刻に得られた上記画像に対して時刻情報をメタデータとして付与するメタデータ付与部と、を具備する。
第１５の発明に係る画像管理装置は、上記第１４の発明において、上記特定のイベント予測用の教師画像として、上記メタデータ付き画像を学習装置に送信する送信部を具備する。
第１６の発明に係る画像管理装置は、上記第１４の発明において、上記メタデータ付与部は、上記特定のイベントが注意を促すべきイベントか否かの情報をメタデータとして付与可能である。
【００１２】
第１７の発明に係る画像管理方法は、連続的な時間情報を取得する時計部と、上記連続した時間に従って画像を取得し、上記連続的な時間に従って画像以外のセンサ情報を取得し、上記センサ情報が変化したイベント時点の時刻を基準にして、さかのぼる時刻に得られた上記画像に対して時刻情報をメタデータとして付与する。
第１８の発明に係る画像管理方法は、上記第１７の発明において、上記特定のイベント予測用の教師画像として、上記メタデータ付き画像を学習装置に送信する。
第１９の発明に係る画像管理方法は、第１７の発明において、上記特定のイベントが注意を促すべきイベントか否かの情報をメタデータとして付与可能である。
【発明の効果】
【００１３】
本発明によれば、想定された利用シーンにおいて、信頼性の高い推論を行うことができるように、学習を依頼する際に使用する画像ファイルを生成するための画像ファイル生成装置および画像ファイル生成方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１Ａ】本発明の一実施形態に係る学習依頼システムの主として電気的構成を示すブロック図である。
【図１Ｂ】本発明の一実施形態に係る学習依頼システムの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係る学習依頼システムにおける教師データの生成を示す図である。
【図３Ａ】本発明の一実施形態に係る学習依頼システムにおいて、学習用の教師データの候補を選択する際の仕方を説明する図である。
【図３Ｂ】本発明の一実施形態に係る学習依頼システムにおいて、学習用の教師データの候補を選択する際の仕方を説明する図である。
【図３Ｃ】本発明の一実施形態に係る学習依頼システムにおいて、学習用の教師データの候補を選択する際の仕方を説明する図である。
【図４】本発明の一実施形態に係る学習依頼システムにおいて、教師データの生成の流れを示す図である。
【図５】本発明の一実施形態に係る学習依頼システムにおいて、教師データとテストデータの関係を示す図表である。
【図６】本発明の一実施形態に係る学習依頼システムの動作を示すフローチャートである。
【図７】本発明一実施形態に係る学習依頼システムにおける教師データの再作成の動作を示すフローチャートである。
【図８Ａ】本発明の一実施形態に係る学習依頼システムの中のカメラにおける動作を示すフローチャートである。
【図８Ｂ】本発明の一実施形態に係る学習依頼システムの中のカメラにおける動作を示すフローチャートである。
【図８Ｃ】本発明の一実施形態に係る学習依頼システムの中のカメラにおける動作を示すフローチャートである。
【図９】本発明の一実施形態に係る学習依頼システムの中の学習装置における動作を示すフローチャートである。
【図１０】本発明の一実施形態に係る学習依頼システムの中の外部機器（学習依頼装置）における動作を示すフローチャートである。
【図１１】本発明の一実施形態に係る学習システムにおいて、教師データの補正処理を示す図である。
【図１２】本発明の一実施形態に係る学習システムにおいて、画像と、それから起こる事象の関係を推論する例を示す図である。
【図１３】本発明の一実施形態に係る学習システムにおいて、画像と、それから起こる事象の関係から、撮影チャンスを推論する例を示す図である。
【図１４Ａ】本発明の一実施形態に係る学習システムにおいて、撮影チャンスを推論することが可能なカメラの動作を示すフローチャートである。
【図１４Ｂ】本発明の一実施形態に係る学習システムにおいて、撮影チャンスを推論することが可能なカメラの動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
画像が豊富な情報量を持つことから、様々な領域において、画像が撮影対象の状態を確認するために使われている。家族写真や風景写真は、対象物の有様をプリントに残したりして記憶の補助として使われることが多い。この写真は、撮影する人の意図や対象物の態様などを、見る者に訴えかけるような「芸術性」や「審美性」といった側面から語られることもある。しかし、その一方で、画像は事故の状況や作業の確実さを客観的に示すためにも広く使われている。このような「証拠性」としての画像は、それが何であり、どのような状況下のもので撮影されたかという情報も同時に記録する必要があった。そのため、多くの産業で画像記録を行う時には、画像情報とこの画像に関連する他の情報がシステム上で関連付けられて、複数の情報が同時に確認できるような工夫がなされている。コンピュータ技術の発展や通信技術の発展によって、特定の情報を得ると、同時に他の情報も取得できるようになっている。デジタルカメラにおいても、撮影と同時に日時や位置の情報が得られ、画像データと関連付けられて記録される仕様の製品は多い。また、こうしたデータがメタデータによって検索されやすくもなっており、サイバー空間で複数の情報を管理し、利用しやすくする工夫を行うことをビジネスにする企業も多い。
【００１６】
さらに、画像は一般に二次元に配置された印影の情報であって、この情報を認識する人間の視覚に訴えかけ易いという特徴もある。この特徴を活かして、画像にはサムネイルといった使い方があり、縮小した画像をディスプレイに並べて表示し、ユーザがその中から取捨選択するといった使い方が可能となる。これは画像の「視認性」という特徴を利用したものである。
【００１７】
したがって、画像のデータに様々な情報を関連付けておいて、画像ファイルとしておけば、画像を見ながら、関連付けられた他の情報を確認する、といった使い方が出来る。画像の情報量は多く、このような大きなデータに、その他の比較的小さなデータをセットにしておく発想は極めて自然である。サムネイルのように一覧表示した画像をディスプレイ上から選択し、その画像に関連する情報を読み出すのは、スマートフォンのタイル表示などでもおなじみであり、直感的な選択方法として普及している。
【００１８】
今後、人工知能によって様々な問題解決がなされることが期待される。人工知能が学習すべき教師データを画像ファイルの形式で提供する技術を用意することによって、様々なシーンにおいて、ユーザや状況に応じた学習が可能となる。さらに、より細かなシーンに対応した人工知能ソリューションが得られることが期待出来る。すでに説明したように画像は非常に多くの情報量を有しており、対象物が何であるか、どうなっているかの記録が具体的である。このため、画像を使った学習の指示は非常に明解で合理的である。人間の能力や感性に即した学習は、すでにサムネイルの例で説明したように、行い易いという考え方もあれば、この学習結果が人間の役に立ちやすいという考え方もできる。つまり、人間に伝えやすく、人間が直感的、論理的に納得のしやすい情報として、画像の活用は有効である。
【００１９】
以下、本発明の一実施形態として、カメラ、学習部、および学習依頼部とからなる学習依頼システムについて説明する。このカメラは、画像データとメタデータを有する画像ファイルを生成することができる（例えば、図１Ｂのファイル作成部１０１ａｂ、図３Ｃ等参照）。この実施形態の概略は、以下の通りである。カメラは画像データを出力する撮像部１０３と、ファイル作成部１０１ａｂを有し、ファイル作成部１０１ａｂは、画像データに対して、メタデータを作成し、このメタデータを画像データに関連付けて画像ファイルを生成する（例えば、図３Ｃ、図８ＢのＳ５４、Ｓ５８、Ｓ６７参照）。このメタデータ付き画像データは、外部の学習部３００に学習を依頼するために、通信部１０７を通じて学習部３００に送信される。
【００２０】
また、学習部は、第１教師データを用いて、撮影支援用等、種々の推論モデルを生成する（例えば、図６のＳ１、Ｓ３参照）。カメラは撮像部によって画像データを取得することができる。このカメラは推論エンジンを有しており、推論エンジンによって撮影支援等の推論を行い、推論結果を表示する（例えば、図３Ｂ、図６のＳ５参照）。この推論結果の表示の際に誤検出する場合があり、この時の画像（例えば、図３Ｂの画像Ｐ２４）を、テストデータ候補として記録しておく（例えば、図６のＳ９参照）。カメラまたは学習依頼部は、テストデータ候補を用いて、学習部に再学習させる際に使用する第２教師データを作成する（例えば、図２（ｃ）、図４の第２教師データ４０２、図６のＳ１３参照）。
【００２１】
図１Ａおよび図１Ｂは、本実施形態に係る学習依頼システムの全体を示すブロック図である。この学習依頼システムは、カメラ１００、学習依頼部２００、および学習部３００を有する。
【００２２】
カメラ１００は、概略、いわゆるデジタルカメラであり、撮像部１０３を有し、この撮像部１０３によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部１０６にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。本撮影の指示操作時には、画像データが記録部１０５に記録される。記録部１０５に記録された画像データは、再生モードを選択すると、表示部１０６に再生表示することができる。
【００２３】
図１Ｂに記載のカメラ１００の詳細な構成について説明する。カメラ１００は、制御部１０１、操作部１０２、撮像部１０３、推論エンジン１０４、記録部１０５、表示部１０６、通信部１０７を有する。
【００２４】
操作部１０２は、ユーザがカメラに指示するための入力インターフェースである。操作部１０２は、レリーズ釦、電源スイッチ等の各種スイッチ、撮影モード設定用のモード設定ダイヤル等の各種ダイヤル、タッチ操作可能なタッチパネル等、種々の入力用の操作部材を有する。操作部１０２によって検出された操作部材の操作状態は、制御部１０１に出力される。
【００２５】
撮像部１０３は、光学系１０３ａと撮像素子１０３ｂを有する。光学系１０３ａは、撮影対象である被写体の光学像を形成するための光学レンズであり、フォーカスレンズやズームレンズ等を有する。撮像素子１０３ｂは光学像を光電変換し、画像信号を出力する。この他、撮像部１０３は、撮像制御回路、画像信号処理回路、絞り、シャッタ等の種々の回路や素子を有する。画像信号は、画像信号処理回路によってデジタルの画像データに変換され、制御部１０１および推論エンジン１０４等に出力される。撮像部１０３は、被写体像を画像データに変換する撮像部として機能する。撮像部１０３は、連続した時間に従って画像を取得する画像取得部として機能する（例えば、図１２（ｂ）、図１３（ｂ）参照）。
【００２６】
推論エンジン１０４は、推論モデルを記憶し、記憶された推論モデルを用いて、撮像部１０３から入力された画像データに対して推論を行う。推論モデルは、後述する学習部３００によって生成された推論モデルを、通信部１０７を介して入力し、記憶する。推論エンジン１０４は、ネットワーク・デザイン１０４ａと管理情報１０４ｂを有する。推論エンジン１０４は、推論モデルによって、画像の特定部分を推論によって検出する推論部として機能する。推論エンジン１０４は、画像を入力し、推論モデルによって推論を行う推論部として機能する（例えば、図８ＡのＳ３３、Ｓ３７等参照）。
【００２７】
推論エンジン１０４は、第１の画像群とそのアノテーション結果からなる第１の教師データによって学習された第１の推論モデルを用いて、第１の画像群とは異なる第２の画像に対して推論を行う推論部として機能する。推論部は、第２の画像としてテストデータを用いて推論を行う（例えば、図２（ｂ）のテストデータＰｔ（２０２ｃ）、図４のテストデータ２０２ｃ参照）。推論エンジン１０４は、第１の画像群には含まれない第２の画像に対して推論を行う推論部として機能する（例えば、図６のＳ５参照）。
【００２８】
ネットワーク・デザイン１０４ａは、入力層と出力層の間に中間層（ニューロン）が配置されている。入力層には撮像部１０３によって取得された画像データが入力される。中間層としては、何層かのニューロンが配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。中間層Ｎは、学習部３００によって生成された推論モデルに基づいて、重み付けがなされる。出力層には、入力層に入力された画像に応じて、画像評価情報が出力される。深層学習については、入出力モデル化部３０４を構成と一緒に説明する。
【００２９】
管理情報１０４ｂは、推論エンジン１０４内のメモリに記憶された情報である。管理情報１０４ｂは、ネットワーク構造、ウェイト、教師データ情報を含む。このうち、ネットワーク構造は、ネットワーク・デザイン１０４ａのニューロンの構造を規定するための情報である。ウェイトは、各ニューロンと各ニューロンの結合の重み付けに関する情報である。教師データ情報は、教師データの作成元、バージョン情報、教師データを作成したデータ母集合に関する情報等、教師データに関する情報である。これらの管理情報１０４ｂは、推論エンジン１０４内のメモリ以外にも、カメラ１００内の他のメモリに記憶するようにしてもよい。
【００３０】
記録部１０５は、電気的に書き換え可能な不揮発性メモリである。記録部１０５には、撮像部１０３から出力され、画像処理部１０１ｄによって記録用に画像処理が施された画像データ１０５ａを記憶する。この画像データ１０５ａは読み出され、画像処理部１０１ｄによって再生表示用の画像処理が施されたのちに、表示部１０６に再生表示される。
【００３１】
また、記録部１０５は、画像データ１０５ａの記憶領域の一部に、テストデータ候補を記録する。テストデータ候補１０５ｂは、後述するように、推論モデルが生成された後、この推論モデルを用いた推論した際に、適切な推論が行われなかった際に記録された画像データである（例えば、図３Ｂの画像Ｐ２４、図６のＳ９、Ｓ４９、Ｓ５７等参照）。
【００３２】
また、記録部１０５は、画像データ１０５ａの記憶領域の一部に、画像ファイル１０５ｃを有する。この画像ファイル１０５ｃは、教師データとなりうる画像ファイルを記録する領域である。この画像ファイルは、後述の記録制御部１０１ａによって作成され、機械学習時に教師データにするための画像情報を作り出した結果が記録される。画像データ１０５ａを記録する際に、画像データとその他の補助データを関連付けた画像ファイルが記録され、この画像ファイルは、機械学習の際に使用される教師データとして、アノテーション関係の情報が画像データに関連付けられたファイルと言える。
【００３３】
アノテーション関係の情報とは、例えば、以下のような情報である。
（ａ）その画像が、どのような用途の教師データか。
（ｂ）その学習結果による推論や判定するものがその画像に関係するものか、画像そのものではなく、それに付随した事象かといった画像か事象か情報。
（ｃ）判定が主観によるものか客観的にそうなのか。
（ｄ）その判断されたタイミングが撮影前か、撮影そのものか、撮影後かといった判断タイミング。
（ｅ）その他に同様学習に使える画像があるかを示した関連画像群情報。
（ｆ）先の判定が画像全体か画像部分か対象物かといった情報（画像内の位置指定情報）。
（ｇ）この画像をそのまま教師データとするかテストデータ（秘匿参考データ）等の情報。
【００３４】
表示部１０６は、ＬＣＤモニタ、有機ＥＬ等のディスプレイを有し、カメラ１００の外装に配置されており、または接眼部を通して観察可能な電子ビューファインダ（ＥＶＦ）である。表示部１０６には、撮像部１０３によって取得された画像に基づくライブビュー画像が表示され、また記録部１０５に記録された画像が再生表示される。また、推論エンジン１０４による推論結果が表示される。
【００３５】
通信部１０７は、送信および受信を行うための通信回路を有する。通信部１０７は、学習依頼部２００内の通信部Ｂ２０３と通信を行うことができ、また学習部３００内の通信部Ａ３０５ａとも通信を行うことができる。通信部１０７は、メタデータが付与されたテストデータを推論モデルの再学習時に反映させるよう外部に送信する通信部として機能する（例えば、図８ＣのＳ６９参照）。再学習時には、テストデータを教師データに反映させて推論モデルを再学習させる（例えば、図８ＣのＳ６９、図９参照）。通信部１０７は、メタデータ付与部によってメタデータが付与され、生成された画像ファイルを、外部の学習装置に送信するための通信部として機能する（例えば、図８ＣのＳ６９参照）。
【００３６】
通信部１０７は、第２教師データに基づいて、第２推論モデルを生成するための再学習を学習装置に依頼する通信部として機能する（例えば、図８ＣのＳ６９、図１０のＳ１０９参照）。通信部１０７は、アノテーション結果を付与可能な第１の画像群を学習装置に送信する送信部として機能する（例えば、図６のＳ１参照）。通信部Ｂ２０３は、アノテーションされた第１の画像群によって学習された第１の推論モデルを学習装置から受信する受信部として機能する（例えば、図６のＳ３、Ｓ５参照）。通信部１０７は、特定のイベント予測用の教師画像として、メタデータ付き画像を学習装置に送信する送信部として機能する（例えば、図１４のＳ１６７参照）。
【００３７】
制御部１０１は、ＣＰＵ（Central Processing Unit：中央処理装置）等を含み、種々の周辺回路を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）で構成されたプロセッサである。制御部１０１は、記録制御部１０１ａ、設定制御部１０１ｂ、通信制御部１０１ｃ、画像処理部１０１ｄ、パラメータ制御部１０１ｅ、表示制御部１０１ｆを有する。これらの各部は、ハードウエア回路によって実現され、また一部はＣＰＵと不揮発性メモリに記憶されたプログラムに従って実現する。制御部１０１は、ＣＰＵとプログラムに従って、カメラ１００の全体を制御する。また、制御部１０１内には、計時機能を有する時計部を有する。この時計部は、連続的な時間情報を取得する時計部として機能する。また、制御部１０１は、カメラ内の加速度センサ等、種々のセンサ（不図示）からの情報を入力するセンサ情報取得部を有し、これらのセンサの情報を取得する。このセンサ情報取得部は、連続的な時間に従って画像以外のセンサ情報を取得するセンサ情報取得部として機能する（図１４ＡのＳ１３３、Ｓ１３７、Ｓ１４５等参照）。
【００３８】
制御部１０１は、推論モデルで画像の特定部分を検出できなかった画像を判定する判定部として機能する（例えば、図６ＡのＳ７、図８ＡのＳ３７、Ｓ３９Ｎｏ参照）。判定部は、特定部分を検出できた画像の前後で取得された画像であって、特定部分を検出できなかった場合に、特定部分を検出できなかった画像と判定する（例えば、図３Ｂの画像Ｐ２２〜Ｐ２５参照）。
【００３９】
制御部１０１は、推論部における推論結果を判定して、第１の教師データを補正する補正情報を出力する補正部として機能する（例えば、図２の画像Ｐｃの生成、図４の補正、図６のＳ１３参照）。補正部は、推論結果に応じて、第１の教師データに含まれる画像データを増加させ、または減少させ、または画像データに対して画像処理を施す（例えば、図２（ｂ）、図４参照）。また、制御部１０１は、第１推論モデルを用いて、撮像部によって取得した撮像データに対して推論を行い、推論結果が誤検出であった場合に、撮像データをテストデータの候補とする（例えば、図３Ｂの画像Ｐ２４、図６のＳ９参照）。また、制御部１０１は、補正情報に基づいて、第２教師データを作成し、この第２教師データに基づいて、推論モデルを生成する再学習を依頼する依頼部として機能する（例えば、図６のＳ１３、図８ＣのＳ６９、図１０のＳ１０９）。
【００４０】
制御部１０１は、第１教師データに基づいて生成された第１推論モデルによって推論を行った際の誤検出データに基づいて、第２教師データを作成する教師データ作成部として機能する（例えば、図６のＳ７、Ｓ９参照）。教師データ作成部は、誤検出した際の画像に基づいて、第１の教師データに含まれる画像データを増加させ、または減少させ、または画像データに対して画像処理を施す（例えば、図２、図４、図７参照）。制御部１０１は、補正情報を送信部から学習装置に送信して再学習を依頼する再学習依頼部として機能する（例えば、図６のＳ１５、図８ＣのＳ６９参照）。また、制御部１０１は、推論部における推論結果を判定して、第１の画像、第２の画像とは異なる第３の画像を送信部から学習装置に送信して再学習を依頼して第１の推論モデルとは異なる第２の推論モデルを取得する再学習依頼部として機能する。例えば、図２において、第１の画像は第１教師データ４０１が相当し、第２の画像はテストデータ（２０２ｃ）が相当し、第３の画像は強調データＰｃが相当する。
【００４１】
記録制御部１０１ａは、記録部１０５に記録する画像データ等の記録を制御する。すなわち、撮像部１０３によって取得され、画像処理部１０１ｄによって処理された画像データの記録を制御する。また、推論エンジン１０４による推論の結果が適切でなかった場合に、テストデータ候補を記録部１０５に記録する。記録制御部１０１ａは、判定部によって特定部分を検出できなかった画像をテストデータとして記録する記録制御部として機能する。
【００４２】
記録制御部１０１ａは、ファイル作成部１０１ａｂを有する。このファイル作成部１０１ａｂは、画像記録する際に、画像データとその他の補助データを関連付けて画像ファイルを作成する。この画像ファイルは、機械学習の教師データとしての情報として画像関連情報を所定の規則に従ってデータを定義したり整理することによって作成される。このファイル作成部１０１ａｂによって作成された画像ファイルは、記録部１０５内の領域にアノテーション用メタデータ付きの画像ファイル１０５ｃとして記録される。アノテーション関係の情報は、例えば、前述した（ａ）〜（ｇ）の情報である。
【００４３】
これらの合アノテーション情報は、ユーザが手動操作によって設定してもよく、また音声入力で設定してもよく、特定の状況毎のデータベースによって判定して設定してもよい。この教師データとするかテストデータにするかを指定するようにしてもよい。すなわち、個人情報や肖像権などを配慮した切り分けを行えるようにしてもよい。つまり、個人情報などの問題がある画像はそのまま、他の機器が機械学習をする時の教師データにすると、セキュリティ上の問題が生じうる。
【００４４】
そこで、画像データとメタデータを有する画像ファイルを生成する画像ファイル生成装置において、メタデータが、画像データに関連する画像を入力とした推論モデルを作成する際に、
１．推論モデルの出力を指定した用途情報と、
２．当該画像データを学習用の教師データとするか秘匿参考データとするか、の情報を、メタデータとして付与するメタデータ付与部を具備するようにすればよい。この画像ファイル生成装置は、秘匿画像データにとして管理することが可能となる。つまり、秘匿参考データであるが、メタデータにその無縁を示す情報が付与されていることから、この情報を参考にしての学習依頼が可能となる。
【００４５】
言い換えると、記録制御部１０１ａのファイル作成部１０１ａｂは、画像データを入力とし、画像ファイルのメタデータに指定された用途に関する情報を出力とした推論モデルを作成するために、
（ａ）用途、
（ｂ）判定するものが画像か事象か、
（ｃ）判定が主観か客観か、
（ｄ）判断タイミング（撮影前か、撮影そのものか、撮影後か）、
（ｅ）関連画像群情報、
（ｆ）判定が画像全体か画像部分か対象物か、
（ｇ）教師データとするかテストデータ（秘匿参考データ）とするか、
の情報の少なくとも一つを、メタデータとして付与するメタデータ付与部として機能する。このメタデータは、アノテーション情報として、推論モデルの作成の際に使用される。すなわち、アノテーション情報をメタデータとして付与するメタデータ付与部を具備する画像ファイル生成装置が提供可能となる。
【００４６】
ファイル作成部１０１ａｂは、  画像データに関連する画像を入力とした推論モデルを作成する際に、（１）推論モデルの用途を指定するための用途情報と、（２）画像データを、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報と、をメタデータとして付与するメタデータ付与部として機能する。また、メタデータ付与部は、上記（１）および上記（２）のメタデータ以外に、（３）判定するものが画像か事象かの情報、（４）判定が主観か客観かの情報、（５）判断タイミングの情報、（６）関連画像群情報、（７）判定が画像全体か画像部分か対象物かの情報の少なくとも一つを、メタデータとして付与する。なお、メタデータ付与部において付与する上記（１）の用途情報が、専用機種間でデータをやり取りする等、予め決まっている場合には、メタデータ付与部は、上記（１）の用途情報を付与しなくてもよい。また、上記（２）の外部依頼学習用とするか秘匿参考情報にするかについても、専用機種間でデータをやり取りする等、予め決まっている場合には、メタデータ付与部は、上記（２）の情報を付与しなくてもよい。
【００４７】
メタデータ付与部は、テストデータに対して、メタデータを生成し、付与する。メタデータ付与部は、推論部による推論結果に応じて、メタデータを作成し、画像データに関連付けて、画像ファイルを生成する（例えば、図６のＳ５〜Ｓ１３参照）。メタデータ付与部は、推論部による推論結果が失敗した場合に、メタデータを作成する（例えば、図６のＳ７参照）。メタデータ付与部は、画像データの取得時に、メタデータを作成し、画像データに関連付けて、画像ファイルを生成する（例えば、図６Ｃ参照）。メタデータ付与部は、生成された上記画像ファイルを外部の学習装置に送信して追加学習を依頼する際に、追加学習を施す推論モデルを表す識別情報を付与する。メタデータ付与部は、センサ情報が変化したイベント時点の時刻を基準にして、さかのぼる時刻に得られた画像に対して時刻情報をメタデータとして付与する（例えば、図１４ＡのＳ１３７、Ｓ１４５等参照）。メタデータ付与部は、特定のイベントが注意を促すべきイベントか否かの情報をメタデータとして付与する（例えば、Ｓ１３７、Ｓ１４５等参照）。
【００４８】
設定制御部１０１ｂは、カメラ１００における各種設定を行う。各種設定としては、撮影モード等の設定や、推論エンジン１０４による推論の設定を行う。この設定された推論の内容は、仕様として、学習依頼部２００または学習部３００に送信される。仕様として、例えば、猫の写真を撮る際に、猫の目にピントを合わせ、可愛く撮れるようなアドバイスが欲しい場合に、ユーザが操作部１０２によって要望を入力すると、設定制御部１０１ｂは、このアドバイスを受けるに相応しい推論モデルを取得できるような設定を行う。
【００４９】
通信制御部１０１ｃは、通信部１０７による通信の制御を行う。学習依頼部２００や学習部３００は、インターネットを通じて接続可能である。通信制御部１０１ｃは、通信部１０７によって、学習依頼部２００および学習部３００と通信を行う際に、通信先、送信する情報、受信する情報等を設定する。
【００５０】
画像処理部１０１ｄは、画像処理回路を有し、撮像部１０３によって取得した画像データに対して、種々の画像処理を施す。例えば、画像処理回路は、画像データに対して露出補正やノイズ処理、ＷＢゲイン補正、輪郭強調、偽色補正等の様々な基本的な画像処理を施す。さらに、画像処理回路は、上述の画像処理を施した画像データに対して、ライブビュー画像表示用の画像処理を施し、また記録データ形式に変換する処理（現像処理）も行う。さらに、推論エンジン１０４による推論結果に基づく表示等も行う。
【００５１】
パラメータ制御部１０１ｅは、パラメータ制御回路を有し、撮影を行うための種々のパラメータ、例えば、絞り、シャッタ速度、ＩＳＯ感度、焦点距離等のパラメータを制御する。
【００５２】
表示制御部１０１ｆは、表示制御回路を有し、表示部１０６における表示の制御を行う。すなわち、１０１ｆは、画像処理部１０１ｄによって処理された画像データに基づく画像の表示を制御する。また、メニュー画面等の表示制御も行う。
【００５３】
次に、図１Ａに記載の学習依頼部２００について説明する。学習依頼部２００は、例えば、インターネットを介して、学習部３００やカメラ１００等に接続可能なサーバである。学習依頼部２００は、制御部２０１、画像分類記録部２０２、通信部Ｂ２０３、および仕様設定部２０４を有する。この学習依頼部２００は、カメラ１００によって取得された画像データから作成した教師データを記録するためのデータベース（画像分類記録部２０２）を有し、この記録されている画像データに基づく基準教師データ２０２ｂ、テストデータ２０２ｃを用いた推論を、学習部３００に依頼する。
【００５４】
画像分類記録部２０２は、電気的書き換え可能なメモリを有し、対象物種類Ａ画像群２０２ａを記録している。画像文分類記録部２０２は、対象物を複数の分類に分けて画像データ等を記録している。図１Ａには、分類としては、対象物Ａのみを記載しているが、学習依頼部２００において適宜分類付けを行い、複数の対象物を分類分けして記録してもよい。対象部種類Ａ画像群２０２ａには、基準教師データ２０２ｂと、テストデータ２０２ｃが記録されている。
【００５５】
基準教師データ２０２ｂは、深層学習を行い、推論モデルを作成するための教師データである。教師データは、画像データと、この画像データに対してアノテーションによって付された情報からなる。例えば、猫の画像がある場合に、この猫であることを示す情報および猫の目の位置情報がアノテーションによって付されている。これらの基準教師データを用いて、深層学習を行うことにより、画像に猫がいれば、猫の目の位置を探し出す推論モデルを生成することができる。この基準教師データ２０２ｂには、猫等の分類情報が付与されている。
【００５６】
テストデータ２０２ｃは、基準教師データを用いて生成した推論モデルの信頼性を検出するために使用する教師データである。テストデータも、例えば、猫の目の位置を探し出す推論モデルであれば、基準教師データと同様に、画像に猫がいれば、猫の目の位置を示す情報が関連付けて記録されている。すなわち、教師データは学習部３００が推論モデルを作成する際に使用するデータであり、一方、テストデータは推論モデルをテストする際に使用するデータである。後述するように、ユーザがカメラ１００で撮影する際に、テストデータを作成するようにしてもよい。また、ユーザによってカメラ１００で撮影された画像に限らず、学習依頼部２００が独自に収集したテストデータであってもよい。このテストデータ２０２ｃにも、猫等の分類情報が付与されている。教師データとテストデータの関係については、図５を用いて後述する。
【００５７】
通信部Ｂ２０３は、送信および受信を行うための通信回路を有する。通信部Ｂ２０３は、カメラ１００内の通信部１０７と通信を行うことができ、また学習部３００内の通信部Ｂ３０５ｂとも通信を行うことができる。通信部Ｂ２０３は、第２教師データに基づいて、第２推論モデルを生成するための再学習を学習装置に依頼する通信部として機能する（例えば、図８ＣのＳ６９、図１０のＳ１０９参照）。通信部１０７は、アノテーション結果を付与可能な第１の画像群を学習装置に送信する送信部として機能する（例えば、図６のＳ１参照）。通信部１０７は、アノテーションされた第１の画像群によって学習された第１の推論モデルを学習装置から受信する受信部として機能する（例えば、図６のＳ３、Ｓ５参照）。
【００５８】
仕様設定部２０４は、学習依頼部２００から学習部３００に深層学習によって推論モデルの生成を依頼する際に、その推論モデルの仕様を設定する。例えば、画像に猫がいればその猫の目の位置にピントが合い、また可愛く撮影できるような推論モデルの仕様を設定する。この設定された仕様は、通信部Ｂ２０３を介して、学習部３００に送信され、この仕様に基づいて、学習部３００は推論モデルを生成する。なお、カメラ１００において、仕様を設定し、学習依頼部２００に推論モデル生成の仲介が依頼された場合には、カメラ１００からの仕様を、学習部３００に転送する。
【００５９】
推論エンジン２０５は、推論モデルを記憶し、記憶された推論モデルを用いて、入力された画像データに対して推論を行う。推論モデルは、後述する学習部３００によって生成され推論モデルを、通信部Ｂ３０５ｂを介して入力し、記憶する。推論エンジン２０５は、推論エンジン１０４と同様に、ネットワーク・デザインを有し、管理情報１０４ｂと同様の管理情報を記憶するようにしてもよい。また、入出力モデル化部３０４内の信頼性判定部３０４ａと同様の信頼性判定部を有していてもよい。
【００６０】
推論エンジン２０５は、第１の画像群とそのアノテーション結果からなる第１の教師データによって学習された第１の推論モデルを用いて、第１の画像群とは異なる第２の画像に対して推論を行う推論部として機能する（例えば、図２（ｂ）および図４の推論エンジン参照）。推論部は、第２の画像としてテストデータを用いて推論を行う（例えば、図２（ｂ）のテストデータＰｔ（２０２ｃ）、図４のテストデータ２０２ｃ参照）。推論エンジン２０５は、第１の画像群には含まれない第２の画像に対して推論を行う推論部として機能する（例えば、図６のＳ５参照）。
【００６１】
推論エンジン２０５内のネットワーク・デザインは、ネットワーク・デザイン１０４ａと同様に、入力層と出力層の間に中間層（ニューロン）が配置されている。入力層には画像データが入力される。中間層としては、何層かのニューロンが配置されている。ニューロンの層の数は設計上適宜決められ、また各層におけるニューロンの数も設計上適宜決められる。中間層は、学習部３００によって生成された推論モデルに基づいて、重み付けがなされる。出力層には、入力層に入力された画像に応じて、画像評価情報が出力される。深層学習については、入出力モデル化部３０４を構成と一緒に説明する。
【００６２】
制御部２０１は、ＣＰＵ（Central Processing Unit：中央処理装置）等を含み、種々の周辺回路を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）で構成されたプロセッサである。制御部２０１は、ＣＰＵとプログラムに従って、学習依頼部２００の全体を制御する。なお、仕様設定部２０４は、制御部２０１内のＣＰＵとプログラムによって実現してもよく、また通信部Ｂ２０３等を制御する通信制御部等、各種の機能を有してもよい。
【００６３】
制御部２０１は、推論部における推論結果を判定して、第１の教師データを補正する補正情報を出力する補正部として機能する（図２の画像Ｐｃの生成、図４の補正、図６のＳ１３参照）。補正部は、推論結果に応じて、第１の教師データに含まれる画像データを増加させ、または減少させ、または画像データに対して画像処理を施す（例えば、図２（ｂ）、図４参照）。制御部２０１は、第１推論モデルを用いて、撮像部によって取得した撮像データに対して推論を行い、推論結果が誤検出であった場合に、撮像データをテストデータの候補とする（例えば、図３Ｂの画像Ｐ２４、図６のＳ９参照）。このテストデータの候補をそのまま、テストデータまたは教師データにしてもよい。これは、ユーザの設定した内容に従い（図６のＳ１等参照）、決めればよい。また、制御部２０１は、補正情報に基づいて、第２教師データを作成し、この第２教師データに基づいて、推論モデルを生成する再学習を依頼する依頼部として機能する（例えば、図６のＳ１３、図８ＣのＳ６９、図１０のＳ１０９）。
【００６４】
制御部２０１は、第１教師データに基づいて生成された第１推論モデルによって推論を行った際の誤検出データに基づいて、第２教師データを作成する教師データ作成部として機能する（例えば、図６のＳ７、Ｓ９参照）。教師データ作成部は、誤検出した際の画像に基づいて、第１の教師データに含まれる画像データを増加させ、または減少させ、または画像データに対して画像処理を施す（例えば、図２、図４、図７参照）。制御部２０１は、補正情報を送信部から学習装置に送信して再学習を依頼する再学習依頼部として機能する（例えば、図６のＳ１５、図１０のＳ１０９参照）。また、制御部２０１は、推論部における推論結果を判定して、第１の画像、第２の画像とは異なる第３の画像を送信部から学習装置に送信して再学習を依頼して第１の推論モデルとは異なる第２の推論モデルを取得する再学習依頼部として機能する。例えば、図２において、第１の画像は第１教師データ４０１が相当し、第２の画像はテストデータ（２０２ｃ）が相当し、第３の画像は強調データＰｃが相当する。
【００６５】
次に、学習部３００について説明する。学習部３００は、例えば、インターネットを介して、学習依頼部２００やカメラ１００等に接続可能なサーバであり、カメラ１００、学習依頼部２００等、外部から依頼を受けて、推論モデルを生成する。学習部３００は、制御部３０１、母集合作成部３０２、基準教師データ記録部３０３、入出力モデル化部３０４、通信部Ａ３０５ａ、および通信部Ｂ３０５ｂを有する。この学習部３００は、カメラ１００または学習依頼部２００から依頼された仕様に従って、教師データを用いて推論モデルを生成する。この生成した推論モデルは、通信部Ａ３０５ａ、通信部Ｂ３０５ｂを介して外部の機器（学習依頼部２００、カメラ１００）に送信される。
【００６６】
基準教師データ記録部３０３は、電気的に書き換え可能な不揮発性メモリであり、学習依頼部２００から送信されてきた基準教師データ２０２ｂを記録する。また、カメラ１００によって教師データが作成された場合には、この教師データを記録する（図８ＣのＳ６９参照）。後述するように、カメラ１００または学習依頼部２００から推論モデルの生成を依頼されている場合には、母集合作成部３０２は教師データ（学習用データ）を生成する際に、基準教師データを含めて教師データを作成し、または教師データを参考にして教師データを作成する。
【００６７】
一般には、撮影した画像そのものにアノテーションを施し、教師データにすると、無意識に肖像権や個人情報に関係する情報を出してしまうリスクがある。そこで、撮影画像を一旦テストデータ候補とし、ユーザの設定仕様に従って、アノテーションの仕様に従ったメタデータを添付して、内部で使用するテストデータとしてもよい。また、教師データとして外部に再学習を依頼（または教師データの再作成依頼）してもよい。個人情報や肖像権などの流出の危惧がない場合もあるので、テストデータでなく、教師データを送信するようにしてもよい。この時、すでに教師データとして用意されている外部の画像にアノテーションの情報を補正、修正依頼をしたりしてもよく、再学習の要求仕様を送信してもよい。
【００６８】
母集合作成部３０２は、深層学習を行う際の母集合（教師データ、学習用データ）を作成する。母集合作成部３０２は、制御部３０１内のプロセッサによって、ハードウエア的にデータベースから母集合となる教師データを作成してもよく、また制御部３０１内のプロセッサによって、ソフトウエア的にデータベースから母集合となる教師データを作成してもよい。母集合作成部３０２は、学習部３００内に深層学習に使用できる画像データや、また他のサーバ等に蓄積された画像データ等を用いて、深層学習用の教師データを作成する。前述したように、カメラ１００または学習依頼部２００から推論モデルの生成を依頼されている場合には、基準教師データ記録部３０３に記録されている基準教師データを含めて、または基準教師データを参考にして深層学習用の母集合（教師データ）を作成する。教師データは、入出力設定３０２ａの情報が付与されている。すなわち、教師データは、深層学習の際に入力するデータと、出力結果（正解）が予め設定されている。
【００６９】
入出力モデル化部３０４は、機械学習用プロセッサを有し、所謂人工知能（ＡＩ）を用いて深層学習を行い、推論モデルを生成する。具体的には、入出力モデル化部３０４は、母集合作成部３０２によって作成された画像データの母集合を用い、推論モデルを深層学習によって生成する。深層学習（ディープラーニング）は、入出力の関係を学習可能な関数近似器である。
【００７０】
入出力モデル化部３０４は、推論エンジン１０４のネットワーク・デザイン１０４ａと同様の構成を有している。入力層に母集合作成部３０２に作成された画像データを入力する。また、出力層に、画像の評価結果、例えば、教師データ（正解）を与える。入力と出力が一致するように、ネットワーク・デザイン内の各ニューロンの結合の強さ（重み付け）を算出することによって推論モデルを生成する。なお、本実施形態においては、入出力モデル化部３０４は、深層学習によって推論モデルを生成するが、深層学習に限られず、機械学習であればよい。また、推論モデル化部３０３は、ネットワーク・デザイン等のハードウエア回路でなくても、制御部３０１内のプロセッサによって、ソフトウエア的に推論モデルを生成するようにしてもよい。
【００７１】
また、入出力モデル化部３０４は、信頼性判定部３０４ａを有する。信頼性判定部３０４ａは、入出力モデル化部３０４によって生成された推論モデルの信頼性を判定する。信頼性の判定は、例えば、ＬＯＳＳ値等を算出し行う。ＬＯＳＳ値は、予め正解（例えば、挿入時ＯＫまたはＮＧ）が分かっている練習問題で深層学習を行った場合に、深層学習で生成された推論モデルでの推論結果と、予め分かっている正解との差異である。
【００７２】
ここで、深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。
【００７３】
ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることにより、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。
【００７４】
これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【００７５】
その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
【００７６】
通信部Ａ３０５ａと通信部Ｂ３０５ｂは、共に送信および受信を行うための通信回路を有する。通信部Ａ３０５ａは、カメラ１００内の通信部１０７と通信を行うことができる。通信部Ｂ３０５ｂは、学習依頼部２００内の通信部Ｂ２０３と通信を行うことができる。
【００７７】
制御部３０１は、ＣＰＵ（Central Processing Unit：中央処理装置）等を含み、種々の周辺回路を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）で構成されたプロセッサである。制御部３０１は、ＣＰＵとプログラムに従って、学習部３００の全体を制御する。なお、母集合作成部３０２および入出力モデル化部３０４は、制御部３０１内のＣＰＵとプログラムによって実現してもよく、また通信部Ａ３０５ａ、通信部Ｂ３０５ｂ等を制御する通信制御部等、各種の機能を有してもよい。
【００７８】
次に、図２を用いて、本実施形態における深層学習において使用する学習用データ（教師データ）について説明する。図２（ａ）は、第１教師データを用いて、ネットワーク・デザインにおいて推論モデルを生成する過程を示す。この推論モデルの生成は、図１Ａに示す学習部３００において行われる。推論モデルは、母集合作成部３０２において作成された第１教師データ４０１を用いて、生成する。第１教師データ４０１は、画像Ｐ１１〜Ｐ１４と、この画像に猫の目の位置を示す情報（図では丸印Ｍ１１〜Ｍ１４で示す）からなる。なお、実際には、多数の画像を使用するが、図２においては、例示的に４つの画像を示す。
【００７９】
学習部３００は、第１教師データ４０１を深層学習用の学習用データとして使用し、入出力モデル化部３０４によって推論モデルを生成する。入出力モデル化部３０４内のネットワーク・デザイン３０４ｄの入力部３０４ｂには、第１教師データ４０１の内の画像データＰ１１〜Ｐ１４（猫の目の位置を示すＭ１１〜Ｍ１４は削除されている画像データ）が入力される。また、出力部３０４ｃには、猫の目の位置を示す情報（Ｍ１１〜Ｍ１４）が与えられる。ネットワーク・デザイン３０４ｄは、第１教師データ４０１の内の画像データＰ１１〜Ｐ１４を入力した際に、猫の目の位置を示す情報（Ｍ１１〜Ｍ１４）を出力するように、ネットワーク・デザイン３０４ｄ内の各ニューロンの結合の強さ（重み付け）を算出することによって第１推論モデル４０５を生成する。
【００８０】
入出力モデル化部３０４において、第１推論モデル４０５が生成されると、図２（ｂ）に示す学習依頼部２００内の推論エンジン２０５に送信される。推論エンジン２０５は、この受信した第１推論モデル４０５をネットワーク・デザインに設定すると共に、推論エンジン２０５にテストデータ２０２ｃを入力する。受信した推論モデルは、猫の目の位置を推論できるが、図２（ｂ）に示す例では、猫の目の位置を示す情報Ｍｔは、猫の胴の位置を示しており、推論に失敗（ＮＧ）している。これは、テストデータ２０２ｃの画像が暗いためである。すなわち、第１教師データ４０１には、猫の暗い画像がなく、このような画像を用いて深層学習がなされなかった為である。
【００８１】
そこで、学習依頼装置２００内の制御部２０１は、図２（ｃ）に示すように、第１教師データの猫の画像を補正することにより、暗い状態における猫の画像（強調データ）Ｐｃを作成する。学習依頼装置２００は、補正した猫の画像データＰｃを学習装置３００に送信し、学習装置３００は受信した画像データＰｃを基準教師データ記録部３０３に記録する。学習部３００内の入出力モデル化部３０４は、第１教師データに加えて画像Ｐｃを加えた第２教師データを用いて推論し、第２推論モデル４０６を生成する。この第２推論モデルは、ネットワーク・デザイン３０３ａを微修正したものであり、暗い猫の画像であっても、目の位置を推論することができる。この第２教師データを用いて、学習部３００に推論モデルを生成するように、再学習を依頼する（例えば、図８ＣのＳ６９、図１０のＳ１０９参照）。
【００８２】
なお、画像を補正し、強調データＰｃを生成しなくても、テストデータ２０２ｃに、メタデータを加えて、そのまま第２教師データの一部としてもよい。このメタデータを加えて教師データとすることについては、図３Ｃを用いて後述する。
【００８３】
また、図２（ｂ）の説明にあたっては、学習依頼部２００において、テストデータによる推論モデルのチェックを行い、第２教師データを作成していた。しかし、カメラ１００においても、同様に、テストデータによる推論モデルのチェックを行い、第２教師データを作成するようにしてもよい。また、第１教師データの画像を、通常の画像処理によって補正する以外にも、ＧＡＮ（Generative Adversarial network）によって、第１教師データの画像と類似の画像を作成するようにしてもよい。ＧＡＮによる画像の生成については、図１１を用いて後述する。
【００８４】
次に、図３Ａないし図３Ｃを用いて、テストデータ候補の取得の一例について説明する。図３Ａないし図３Ｂに示す方法においては、テストデータ２０２ｃは、推論エンジン１０４を搭載したカメラ１００で撮影した際に、期待した推論結果を得られなかった画像をテストデータ候補とする（例えば、図６のＳ５、Ｓ７、Ｓ９参照）。
【００８５】
図３Ａは、ユーザ４１１がカメラ１００を用いて、撮影対象４１３（この場合は、猫）を撮影している様子を示す。図３Ｂは、ユーザ４１１がカメラ１００を用いて撮影した画像Ｐ２１〜Ｐ２６を時系列に沿って示す。カメラ１００の推論エンジン１０４には、猫の目の位置を推論することのできる推論モデル（図２の例では、第１推論モデル４０５）が設定されている。画像Ｐ２１〜Ｐ２６の右下隅に表示された「発動」は、推論エンジンによる推論がなされていることを示す。また、画像Ｐ２１〜Ｐ２６の右上隅に表示されている「検出」または「検出できず」は、推論によって「猫の目」を検出することができた、または検出することができなかったことを示す。また、猫の目の位置に重畳して描かれた丸印は、推論エンジン１０４によって推定された目の位置を示す。
【００８６】
画像Ｐ２１は、ユーザ４１１が最初に撮影した撮影対象（猫）４１３を撮影した画像である。この画像Ｐ２１では、推論エンジン１０４は目を検出することができない。画像Ｐ２１の次に撮影した画像Ｐ２２では、猫がカメラ１００の方向を向いたことから、目の位置を検出できている。この場合には、目の位置を丸印で表示し、「検出」できたことを表示する。
【００８７】
画像Ｐ２２の次に撮影した画像Ｐ２３では、猫が横向きになったが目は見える位置にある。しかし、推論エンジン１０４による推論では、目の位置を検出できない。さらに、次に撮影された画像Ｐ２４でも、目は見える位置にあるが、推論エンジン１０４による推論では目の位置を検出できない。しかし、画像Ｐ２４の次に撮影された画像Ｐ２５では、猫が正面向きになり、推論エンジン１０４は目の位置を検出できている。このように、画像Ｐ２３、画像Ｐ２４と、目の位置を推論できない場合、画像Ｐ２３では、たまたま推論によって検出できなかったこともあり得るが、続けて、検出できていない。そこで、目の位置を検出できた画像Ｐ２５の直前に撮影された画像Ｐ２４を、テストデータ候補として、記録部１０５に記録する。最後の画像Ｐ２６は、猫の目が画像内になく、目の位置を推論できていない。
【００８８】
このように、ユーザは、第１教師データ４０１によって生成した第１推論モデル４０５と同様の結果が期待される撮影シーンを撮影する。そして、第１推論モデルによる推論結果と異なる検出結果になった画像（図３Ｂに示す例では、画像Ｐ２４）を、テストデータ候補として記録しておく。学習依頼部２００は、この画像をテストデータとして、第１推論データをチェックすることができる（後述する図６のＳ７、Ｓ９参照）。また、カメラ１００によって撮影された画像データ（ログデータ）から、第１推論モデルを改善するための教師データ（学習データ）を増加させることもできる。
【００８９】
図３Ｂにおいては、推論に失敗した画像をテストデータ候補としていた。しかし、撮影時に検出されたテスデータ候補を、直ちに、メタデータを付与し（アノテーション化）、テストデータまたは教師データを作成するようにしてもよい。すなわち、テストデータ候補が出現した場合に、直ちに、テストデータまたは教師データを作成してもよい。図３Ｃは、図３ＢのＰ２４のように、ユーザの設定するシーンにおいて、検出して欲しい画像を撮影した際に、直ちに、メタデータを付与する例を示す。
【００９０】
図３Ｃに示す例では、画像Ｐ２４に、メタデータＭＤを関連付けて画像ファイルを生成する。このメタデータＭＤには、何の用途、ＯＫ／ＮＧフラグ、画像／事象タグ、主観／客観タグ、タイミング等が記録される。図３Ｃに示される例では、何の用途かというと「顔検出」であり、ＯＫ／ＮＧフラグは、顔検出がうまく行かなかった例なので、「ＮＧ」である。したがって、この画像Ｐ２４はユーザが満足してないので、顔検出して欲しい画像の例となる。また、図３ＣのメタデータＭＤの例では、何かの事象の学習用でなく、この画像そのものに対する学習であるので「画像」とし、主観的ではなく顔検出できなかったという「客観」的にも困る状況であることを示し、撮影時のタイミングで問題があったことから、タイミングは「０秒」としている。また、図示されていないが、メタデータＭＤとして、この画像データを、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報を生成するとよい。なお、メタデータＭＤとしては、上述の例の他に、日付け、撮影パラメータを加えてもよく、またサムネイル画像を追加してもよい。このように、撮影シーンですみやかに、推論モデルの推論結果の良し悪しや限界が判定できると、使えば使うほど、ユーザの意に沿った撮影が出来る機器が提供可能となる。このような工夫によって、設計レベルを超えて、より実際のシーンに即した推論モデルを取得できる技術、サービスが提供できる。
【００９１】
次に、図４を用いて、第１教師データから第２教師データを生成する方法の一例について説明する。図４の左上に描かれている学習部３００は、設定された仕様に従って、第１教師データ４０１を用いて第１推論モデルを生成する。仕様は、学習依頼部２００の仕様設定部２０４によって設定された推論モデルの作成のための推論目的や条件等を示す。管理情報は、第１推論モデルを生成する際の情報であり、例えば、第１推論モデルの作成者（団体、企業等）、バージョン情報、作成日、作成の際の教師データの出所等、種々の情報からなる。また、管理情報によって、取り扱いに注意を要する画像が使われたり拡散したりしないような管理を行ってもよい。さらに、管理情報は、特定の画像の削除の要請などにも対応できるようにし、個人情報などの取り扱いなどを一括して管理してもよい。
【００９２】
学習部３００によって第１推論モデルが生成されると、第１推論モデルは学習依頼部２００に送信され、推論エンジン２０５に設定される。この推論エンジン２０５には、管理情報として、ネットワーク構造、ウェイト、教師データ情報が記憶される。推論エンジン２０５の入力部には、テストデータ２０２ｃが入力される。テストデータは、図３Ｂに示したような方法で集められたテストデータ候補の中から、取捨選択してもよく、その他の方法で集めてもよい。テストデータ２０２ｃは、複数あり、テストデータ候補に対してアノテーションを行って、推論を行った際の正解が、予めテストデータ２０２ｃに関連付けて記録されている。図４において、「ＯＫ」と記載されているのは、テストデータ２０２ｃに記録されている正解と、推論の結果が、一致した場合であり、ＮＧは推論結果と正解が一致しない場合である。なお、図３Ｃを用いて説明したように、撮影時にテストデータ候補にアノテーションを行って（メタデータＭＤを付与）、テストデータを作成した場合には、このテストデータを使用してもよい。
【００９３】
学習依頼部２００において、テストデータ２０２ｃを用いて、第１推論モデルの推論結果を判定すると、次に、学習依頼部２００の制御部２０１は、正誤判定傾向を行う。ここでは、どのような場合に、第１推論モデルは推論を誤り、どのような場合に推論が正しいかを判定する。例えば、図２、図３Ｂに示したような例では、暗い環境で撮影された画像に対して誤り多いとか、また撮影対象が横向きの場合に誤りが多いといえる。また、明るい環境で撮影された画像に対して正しく推論されるとか、また撮影対象が正面向きの場合に正しく推論される。
【００９４】
正誤傾向判定がなされると、次に、画像取捨選択および画像処理等の補正がなされる。正誤傾向判定で、誤ると推論される傾向の画像は、そのような画像を増加させ、この増加させた画像を教師データに加えるとよい。一方、正誤傾向判定で、正しいと推論される傾向の画像は、そのような画像を減少させても推論できる可能性があることから、教師データから間引きを行う。また、図２に示したような補正画像Ｐｃを、教師画像から画像処理によって生成してもよい。第１教師データに対して、上述したような補正処理を行って、第２教師データ４０２を生成する。これらの正誤傾向判定および補正処理は、学習依頼部２００で行って、第２教師データを生成する。
【００９５】
つまり、学習依頼部２００は、第１の教師データ（画像にアノテーション情報を入れたもので、アノテーションは学習依頼部２００で行う場合と学習部３００で行われる場合の両方を想定）によって学習された第１の推論モデルを受信部によって学習装置から受信する。この学習結果を検証すべく、学習依頼部２００は、第１の画像群には含まれない第２の画像に対して推論を行う推論部を有している。この結果、第１の教師データだけでは定義しきれなかった推論モデルの仕様や性能が確認可能となる。この性能判定用推論部における推論結果を判定して、第１の教師データを補正したり、第１の画像や第２の画像とは異なる第３の画像を送信部から学習装置に送信して再学習を依頼する。この処理によって、最初に想定した教師データだけでは最適化しきれなかった推論モデルの仕様や性能を満たした第１の推論モデルとは異なる第２の推論モデルを取得することが出来る。つまり、一般的な教師データによる一般的な推論モデルを基準として、さらにユーザが求める再学習が可能な再学習依頼部とを有する学習依頼装置とすることで、カスタマイズやチューニングが容易に可能となる。この第１の教師データの一部を補正したものや、第３の画像を含む教師データを第２の教師データとする。
【００９６】
しかし、これに限らず、カメラ１００において、第２教師データを生成するようにしてもよい。また、教師画像をＧＡＮ（Generative Adversarial network）によって増加させてもよい。ＧＡＮによる画像の作成方法については、図１１を用いて後述する。また、図３Ｃを用いて説明したように、撮影時にテストデータ候補にアノテーションを行って（メタデータＭＤを付与）、テストデータを作成した場合に、画像に秘匿性や著作権等に問題がない場合には、このテストデータを第２教師データとして使用してもよい。
【００９７】
次に、図５を用いて、教師データとテストデータについて説明する。前述したように、教師データは推論モデルを生成する際に使用する学習用のデータである。また、テストデータは、推論モデルが生成された後、この推論モデルの性能（信頼性）を検証するためのデータである。図１Ａに示すように、画像分類記録部２０２には、対象物をＡ画像群のように、分類分けして記録している。この分類は、例えば、猫の画像、犬の画像、鳥の画像、バラの画像、菊の画像、等々、撮影対象を適宜、区分している。学習部３００の入出力モデル化部３０４によって推論モデルを生成する際には、この分類（カテゴリー）を利用して、教師データを作成する。学習依頼部２００の推論エンジン２０５は、入出力モデル化部３０４によって生成された推論モデルをテストことから、教師データとテストデータは、分類（カテゴリー）でそれぞれ関連付けておくことが望ましい。すなわち、図５に示すように、カテゴリーＡの教師データとテストデータは関連付けられ、カテゴリーＢの教師データとテストデータは関連付けられ、カテゴリーＣの教師データとテストデータは関連付けれられている。なお、テストデータは内部で推論モデルの信頼性試験に用いることが意図されている（図２（ｂ）のテストデータチェック、図４の学習依頼部２００参照）。しかし、テストデータに秘匿性の問題がなければ、図３Ｃを用いて説明したように、メタデータＭＤを画像データに関連付けることによって（アノテーション）、テストデータをそのまま教師データとしてもよい。  
【００９８】
様々なシーンに対応するには教師データは多い方が良いが、推論モデル作成を行う時、十分なデータが集まらないことがある。例えば、推論モデルの学習依頼者が、データ収集の依頼をする際、手持ちの画像だけでは足りないので、手持ち以外の画像を使って学習を行う場合がある。しかも、自分の著作権や肖像権などに敏感なユーザは、手持ち画像を使っての学習を第三者に依頼したくない場合もある。そこで、手持ち以外で流通あるいは蓄積された画像群を使って、自らのこだわりのニーズをかなえる学習を依頼するケースが多くなる。しかし、最終的には、ユーザ自らが想定した特定のシーンにおいて、手持ち画像（撮影した画像や、撮影しようとした画像など）の出来栄えを調べて、出来栄えを判断することになる。判断結果が不満であっても、守秘性や肖像権、著作権、データの希少性や改ざんなどの危険や個人情報の保護を含めたセキュリティ、あるいはノウハウ保護の観点から、手持ち画像は出さずに再度の学習、あるいはチューニングを依頼する可能性が高い。個人でなくとも、企業であっても同様の傾向の依頼形態となる。また、依頼を受ける側も、個人情報や守秘義務の問題がある画像は利用をためらう傾向がある。したがって、手元にある画像以外でも、簡単に、想定した特定のシーンにより特化した推論モデルを得るために、カスタマイズ、チューニングが容易に可能となるシステムが求められる。
【００９９】
次に、図６および図７に示すフローチャートを用いて、図１Ａおよび図１Ｂに示す学習依頼システムの全体的な動作について説明する。このフローは、制御部１０１、制御部２０１、制御部３０１が協働してシステム全体を制御することにより、実現する。しかし、これに限らず、単一の機器で行ってもよく、またいずれか２つの機器で行ってもよく、更に他の機器（第４の機器）と協働して実現してもよい。多くの場合、第１学習、第２学習、また推論エンジンを使用する者や装置は異なる。
【０１００】
図６に示す学習依頼システムのフローが開始すると、まず、仕様に基づいて、第１教師データを作成する（Ｓ１）。このステップでは、学習部３００の母集合作成部３０２が、第１教師データを作成する。この第１教師データを作成するにあたって、学習依頼部２００の仕様設定部２０４から、学習依頼部２００に生成を依頼する推論モデルの仕様について送信される。この仕様は、撮像装置を製造したメーカーが指定したものでもよく、また装置（機器）を使用するユーザが直接依頼してもよい。仕様の指定方法としては、テキストデータ等を送信する以外にも、依頼者からサンプル画像を送信する方法でもよい。この場合には、サンプル画像ファイルのメタデータに記載された内容を分析して判定してもよい。第１教師データを選択するときに画像ファイルのメタデータ情報を利用してもよい。さらに、中間業者など仲介者がいる場合には、仲介者を経由して送信する方法でもよい。こうした状況でも画像の視認性によって、正しいデータの受け渡しが可能になるというメリットがある。
【０１０１】
また、推論モデルの仕様が送信されて来る際に、学習依頼部２００内に記録されている基準教師データ２０２ｂも併せて送信されている場合には、基準教師データは学習部３００内の基準教師データ記録部３０３に記録される。母集合作成部３０２は、学習依頼部２００からの依頼（仕様）に基づく推論モデルのための母集合（第１教師データ）を作成する。このとき、基準教師データ２０２ｂを含めてもよく、また基準教師データ２０２ｂを参考に、類似のデータを集めて、第１教師データを作成してもよい。第１教師データは、深層学習に使用することから、入力部に入力される画像データ、および推論結果の正解が含まれている。すなわち、第１教師データには、画像にアノテーションによって推論の正解情報が関連付けられている。この第１教師データは、図２（ａ）および図４に示す第１教師データ４０１に相当する。なお、前述したように、テストデータ候補をそのまま教師データにしてもよい。この場合には、ステップＳ１において、ユーザがその旨を設定してもよい。
【０１０２】
第１教師データが作成されると、次に、第１教師データを用いて第１学習が実行される（Ｓ３）。このステップでは、学習装置３００の入出力モデル化部３０４が、ステップＳ１において作成された第１教師データを用いて、深層学習を行い、第１推論モデルを生成する。図２（ａ）および図４に示す例では、ネットワーク・デザイン３０２ｄが、第１教師データを用いて深層学習を行って、第１推論モデル４０５を出力することに相当する。
【０１０３】
第１教師データを用いて第１学習を行うと、次に、第１学習結果の推論エンジンで推論を行い、信頼性を実測し（Ｓ５）、判定の結果が失敗か否かを判定する（Ｓ７）。前述しように、学習装置３００内の入出力モデル化部３０４によって第１推論モデルが生成されると、この第１推論モデルはカメラ１００に送信される。カメラ１００内の推論エンジン１０４は、第１推論モデルを設定し、推論を行う。この推論の際に、推論エンジン１０４の入力部には、撮像部１０３によって取得した画像データを与える。この推論の結果が、カメラ１００の表示部１０６に表示され（図３Ｂ参照）、ユーザは推論結果が正しいか否かを判定し、推論結果が正しくない場合には、テストデータ候補とする（図３Ｂの画像Ｐ２４参照）。ステップＳ７における判定の結果、失敗でなければ、ステップＳ５に戻り、次のテストデータを使って、推論および信頼性判定を行う。また、学習依頼部２００の推論エンジン２０５にサンプルテストデータが記憶されている場合には、学習依頼部２００において、第１学習結果の推論エンジンで推論し、信頼性を実測するようにしてもよい。
【０１０４】
ステップＳ７における判定の結果、失敗であれば、テストデータを候補化する（Ｓ９）。すなわち、第１教師データを用いた生成した第１推論モデルでは、推論に失敗している。そこで、カメラ１００の制御部１０１または学習依頼部２００の制御部２０１が、第１推論モデルを修正した第２推論モデルを生成するために、この失敗した画像データをテストデータ候補とする。
【０１０５】
次に、テストデータ候補のデータの数が、所定数に達したか否かを判定する（Ｓ１１）。候補とされたテストデータの数が少ない場合には、再学習の必要性が低く、また第２教師データを作成できない。そこで、カメラ１００の制御部１０１または学習依頼部２００の制御部２０１が、再学習が必要なほど、第２教師データが多く、また第２教師データを作成するに十分なテストデータ候補が集まったかを判定する。この判定の結果、候補の数が所定数に達していない場合には、ステップＳ５に戻り、次のデータを用いて第１学習を行う。
【０１０６】
ステップＳ１１における判定の結果、テストデータの候補が所定数に達すると、次に、教師データを再作成する（Ｓ１３）。教師データの再作成は、カメラ１００または学習依頼部２００の制御部２０１が、ステップＳ９において候補としたテストデータを用いて、第２教師データを作成する。学習依頼部２００が教師データの再作成を行う場合には、カメラ１００は、テストデータの候補を学習依頼部２００に送信する。この第２教師データは、図２（ｂ）における第２教師データ４０２、または図４の第２教師データ４０２に相当とする。教師データは、単に画像データだけではなく、推論を行った際の正解に関する情報が画像データに関連付けられていなければならない。この関連付けの作業をアノテーションと呼ぶ。この教師データ再作成の詳しい動作は、図７を用いて後述する。
【０１０７】
なお、テストデータは内部で推論モデルの信頼性試験に用いることが意図されている（図２（ｂ）のテストデータチェック、図４の学習依頼部２００参照）。しかし、テストデータに秘匿性に問題なければ、図３Ｃを用いて説明したように、メタデータＭＤを画像データに関連付けることによって（アノテーション）、テストデータをそのまま教師データとしてもよい。この場合には、ステップＳ９およびＳ１１をスキップして、ステップＳ１３に進んでもよい。
【０１０８】
教師データを再作成すると、次に、第２教師データで第２学習を行う（Ｓ１５）。カメラ１００または学習依頼部２００が、教師データを第２教師データとして再作成すると、この第２教師データは、学習部３００に送信される。入出力モデル化部３０４は、この入力した第２教師データを用いて、第２学習（深層学習）を行い、第２推論モデルを生成する。なお、母集合作成部３０２は、第２教師データを用いて、第２学習用の母集合を作成し、入出力モデル化部３０４は、この母集合を用いて、第２学習を行ってもよい。なお、前述したように、テストデータをそのまま第２教師データとしてもよく、この場合には、第２教師データに関連付けて記録されているメタデータＭＤに基づいて第２推論モデルを生成する。メタデータＭＤには、用途等の学習スペックが記録されているので、この学習スペックに基づいて第２推論モデルを生成すればよい。
【０１０９】
学習部３００が、第２推論モデルを生成すると、第２学習結果の推論エンジンで推論を行う（Ｓ１７）。ここでは、学習部３００が、第２推論モデルをカメラ１００に送信する。カメラ１００は、受信した第２推論モデルを推論エンジン１０４に設定し、撮像部１０３によって取得した画像に対して推論を行う。推論を行うと、このフローを終了する。
【０１１０】
このように、学習依頼システムの動作では、まず、第１教師データを作成し、この第１教師データを用いて、深層学習を行うことにより、第１推論モデルを生成している（Ｓ１、Ｓ３）。そして、この第１推論モデルを用いて、画像を推論し、推論が失敗した場合の画像をテストデータ候補としている（Ｓ５〜Ｓ１１）。テストデータ候補が所定数に達すると、このデータを用いて教師データを再作成し、この再作成した教師データを用いて、第２推論モデルを生成している（Ｓ１３、Ｓ１５）。このように、再作成した教師データを用いて、再学習するようにしているので、信頼性の高い推論を行うことができる。
【０１１１】
また、前述したように、画像に秘匿性等がない場合には、撮影時にテストデータ候補をそのままテストデータおよび第２教師データとすることができる（図３Ｃ参照）。この場合には、ステップＳ９、Ｓ１１をスキップし、ステップＳ１３において、第２教師データに関連付けて記録されているメタデータＭＤに基づいて第２教師データを生成する。メタデータＭＤには、用途等の学習スペックが記録されているので、この学習スペックに基づいて第２推論モデルを生成する（Ｓ１５）。
【０１１２】
また、本実施形態における学習依頼システムのフローチャートは、第１リクエストに基づいて生成される正誤判断用の学習モデルを取得するステップ（Ｓ１、Ｓ３参照）を有している。すなわち、本フローチャートでは、カメラ１００または学習依頼部２００は、学習部３００に第１教師データ（第１リクエスト情報の一部である）を生成し、この第１教師データを用いて、推論モデル（学習モデル）を生成する。また、学習依頼システムのフローチャートは、学習モデルに特定のテストサンプルを入力して正誤判断を行うステップ（Ｓ５、Ｓ７参照）を有している。すなわち、本フローチャートでは、学習部３００から入力した学習モデル（推論モデル）は、正誤判断に使用される（例えば、図２（ｂ）におけるＮＧ判断、図４における推論エンジン２０５のＯＫ、ＮＧ判断、図６のＳ５、Ｓ７参照）。また、学習依頼システムのフローチャートは、正誤判断結果に従って、第２のリクエストを作成する第２リクエスト発生ステップを有する（Ｓ９、Ｓ１１、Ｓ１３参照）。すなわち、本フローチャートでは、正誤判断の結果に従って、第２教師データ（第２リクエスト情報の一部である）を作成し、学習部３００に再学習を依頼している（例えば、図２（ｃ）、図４の画像取捨選択、画像処理等、Ｓ９、Ｓ１１、Ｓ１３参照）。この第２のリクエストは、テストサンプル以外の情報を作成する。すなわち、本フローチャートでは、正誤判断はテストサンプルを用いて行い、第２リクエストはテストサンプル以外の情報（例えば、第２教師データ）を作成する。  
【０１１３】
なお、第２推論モデルは、学習依頼部２００を介して、カメラ１００に送信してもよく、また学習部３００から直接カメラ１００に送信してもよい。また、第１推論モデルをカメラ１００に送信し、カメラ１００において、ステップＳ５〜Ｓ９における失敗データを蓄積し、学習依頼部２００が、この失敗データを用いて、第２教師データを作成するようにしてもよい。
【０１１４】
次に、図７に示すフローチャートを用いて、ステップ１３の教師データ再作成の動作について説明する。この処理は、学習依頼部２００内の制御部２０１が実行する。なお、前述したように、カメラ１００内の制御部１０１が、カメラ１００内で取得した画像を用いて、実行してもよい。
【０１１５】
教師データ再作成のフローが開始すると、まず、第１教師データとテストデータ候補を取得する（Ｓ２１）。ここでは、制御部２０１は、学習部３００が第１推論モデルを生成した際に、使用した学習用のデータ、すなわち第１教師データと、ステップＳ９において記録したテストデータ候補を取得する。
【０１１６】
画像に秘匿性等がない場合、すなわち秘匿参考データでない場合は、追加教師データを取得する（Ｓ２２）。ここでは、新たに現場で得られた画像、あるいはユーザが学習用に利用する旨、依頼しで送ってきた画像をそのまま第１教師データとする。記録制御部１０１ａのファイル作成部１０１ａｂが、画像にメタデータを関連付けて画像ファイルを作成しているので、このメタデータを画像分類のための情報として使用することができる。  
【０１１７】
次に、第１教師データによるテストデータ候補の類似画像の寄与度を増加させる（Ｓ２３）。ここでは、図２（ｂ）を用いて説明したように、推論を失敗した場合には、推論を失敗した画像と類似の画像を増加させる。例えば、図２（ｂ）に示すように、暗いために推論を失敗した場合には、第１教師データの画像Ｐ１２の明暗を調整し、暗い画像に変換して作成してもよい。すなわち、失敗の原因に応じた画像処理を施して作成してもよい。また、後述するＧＡＮを用いて、推論を失敗した画像と類似の画像を生成するようにしてもよい。
【０１１８】
次に、第１教師データにおけるテストデータ候補の類似が低い画像の寄与度を減少させる（Ｓ２５）。ここでは、制御部２０１は、推論を失敗したテストデータの候補と、類似していない画像を減少させる。すなわち、このような画像は、推論を成功している可能性が高く、このような画像を減少させても、第２学習において生成される第２推論モデルの信頼性は低くならない。そこで、テストデータ候補と類似していない画像の寄与度を減少させている。この処理は、図４における教師データ４０２における画像を減らすことに相当する。
【０１１９】
続いて、ネガティブサンプルの追加を行い、テストデータ候補の類似画像の教師データにする（Ｓ２７）。ネガティブサンプルは、推論を失敗するような画像である。このような画像も、推論モデルの信頼性を向上させるために、教師データに追加する。次に、ステップＳ２３〜Ｓ２７におけるテストデータ候補の類似画像を教師データ化する。教師データは、単に画像データだけではなく、画像データに対して正解がアノテーションされている。例えば、猫の目の位置を推論する場合には、猫の目の位置を指定する情報が画像データに関連付けられている。このような、推論の正解を示すような情報を画像データに関連付ける。この作業をアノテーションと呼ぶ。テストデータ候補の類似画像を、教師データ化すると、このフローを終了し、元のフローに戻る。
【０１２０】
次に、図８Ａないし図１１を用いて、学習依頼システムの個々の装置の動作について説明する。まず、図８Ａないし図８Ｃに示すフローチャートを用いて、カメラ１００における動作について説明する。この動作は、カメラ１００内の制御部１０１がメモリに記憶されたプログラムに従って実行する。
【０１２１】
図８Ａに示すカメラ制御のフローが開始すると、まず、仕様を設定する（Ｓ３０）。ここでは、画像データに関連付けて記録されているメタデータＭＤに基づいて、推論モデル作成の際の仕様を設定する。このメタデータとしては、前述した（ａ）〜（ｇ）、（１）〜（７）の情報であり、概略、（１）用途、（２）判定するものが画像か事象か、（３）判定が主観か客観か、（４）判断タイミング（撮影前か、撮影そのものか、撮影後か）、（５）関連画像群情報、（６）判定が画像全体か画像部分か対象物か、（７）教師データとするかテストデータ（秘匿参考データ）等がある。なお、仕様については、後述するステップＳ６６においても設定可能である。
【０１２２】
仕様を設定すると、次に、撮影モードか否かを判定する（Ｓ３１）。カメラ１００には、再生モード、撮影モード、推論モデル取得モード等の種々のモードが設定可能である。このステップでは、制御部１０１内の設定制御部１０１ｂが、撮影モードが設定されているか否かを判定する。
【０１２３】
ステップＳ３１における判定の結果、撮影モードが設定されていた場合には、画像を入力する（Ｓ３３）。このステップでは、撮像部１０３によって被写体像を光電変換し、画像データを取得する。この画像データは、ライブビュー画像の生成に使用される。
【０１２４】
続いて、推論エンジンを起動するか否かを判定する（Ｓ３５）。推論エンジンの起動は、例えば、ユーザが操作部１０２を手動操作することにより、起動してもよい。また、所定の条件に一致した場合には、推論エンジンを自動で起動させるようにしてもよい。例えば、画像が所定以上の明るさになった場合とか、画像を解析し、設定されている推論モデルが得意とするカテゴリーに属する被写体であることが判明した場合等がある。
【０１２５】
ステップＳ３５における判定の結果、推論エンジンが起動した場合には、推論を行う（Ｓ３７）。この場合には、推論エンジン１０４の入力部に、撮像部１０３によって取得した画像を入力する。推論エンジン１０４の入力画像に対して、所定の推論を行う。この場合、図３Ｂの画像Ｐ２１〜Ｐ２６に示すように、「発動」の文字等によって、推論がなされていることを表示してもよい
【０１２６】
推論を行うと、次に、信頼性が所定値より高いか否かを判定する（Ｓ３９）。推論エンジン１０４は、一般に、現在行っている推論結果の信頼性（前述のＬＯＳＳ値）を算出することができる。そこで、このステップでは、ステップＳ３７において行った推論の信頼性（ＬＯＳＳ値）が、所定値より高いか否かを判定する。
【０１２７】
ステップＳ３９における判定の結果、信頼性が高くない場合には、検出すべきシーンか否かを判定する（Ｓ４５）。信頼性が低いのは、推論モデルが、元々そのシーンを検出することを想定していない場合がある。設定されている推論モデルの得意とするシーンでない（専門外のシーン）場合には、信頼性は低いことが予想される。このステップでは、ユーザが目視で検出すべきシーンか否かを判定してもよく、また画像解析により判別できれば、その結果を利用してもよい。図３Ｂにおける画像Ｐ２４は、本来検出すべきシーンであるにもかかわらず、検出できていない例である。このような画像は、本来、正しく推論して欲しいので、図３Ｃのような画像ファイルとして記録して、再学習依頼時の教師データとしてもよく、また参考候補データとしても良い。したがって、その旨を、学習用のアノテーション参考情報として、メタデータに記載する。学習依頼装置や学習装置はこのデータに基づいて、この画像を使用した学習が可能となる。画像は非常に具体的であるから、画像を使った学習の指示が合理的であることはすでに述べた通りである。
【０１２８】
ステップＳ４５における判定の結果、検出すべきシーンだった場合には、この画像を記録し、再学習依頼用の教師データやテストデータの候補とする（Ｓ４７）。この場合は、検出すべきシーンだったにもかかわらず、信頼性が低かったケースである。このような場合には、その画像を第２教師データとして、再学習させた方がよい場合かもしれない。そこで、この画像データを、再学習依頼用の教師データやテストデータ候補として記録しておく。例えば、図３Ｂに示す画像Ｐ２４は、推論で猫の目の位置を検出できなかったことから、再学習依頼用の教師データやテストデータ候補とされる。
【０１２９】
ステップＳ４７において、再学習依頼用の教師データやテストデータ候補として記録すると、またはステップＳ４５における判定の結果、検出すべきシーンでなかった場合には、またはステップＳ３５における判定の結果、推論エンジンが起動しない場合には、画面内が平均的に撮影されるように各種パラメータを制御する（Ｓ４９）。ここでは、画像に対する推論を行うことなく、一般的な露出制御を行う。
【０１３０】
ステップＳ３９に戻り、この判定の結果、信頼性が高い場合には、検出結果を表示する（Ｓ４１）。ここでは、ステップＳ３７における推論結果を、ライブビュー画像と共に表示部１０６に表示する。例えば、図３Ｂの画像Ｐ２２、Ｐ２５に示すように、推論によって得られた猫の目の位置を丸印で表示する。
【０１３１】
検出結果を表示すると、次に、検出結果に基づいて適切に撮影されるように、各種パラメータを制御する（Ｓ４３）。ここでは、パラメータ制御部１０１ｅが、カメラ１００内の各種パラメータの制御を行う。例えば、図３Ｂに示す例では、猫の目の位置を推論によって検出している。猫の目の位置を検出すると、この位置にピントが合うようにフォーカスレンズの焦点調節を行い、また適正露出となるように絞りやシャッタ等の制御値を算出する。
【０１３２】
ステップＳ４３またはＳ４９においてパラメータを制御すると、次に、動画撮影または静止画撮影か否かを判定する（Ｓ５１）。ユーザは、表示部１０６を観察し、構図やシャッタチャンス等が、ユーザの意図する状態となった際に、操作部１０２のレリーズ釦または動画釦等を操作する。このステップでは、撮影指示の操作がなされたか否かを判定する。この判定の結果、撮影指示がなされていない場合には、ステップＳ３０に戻る。なお、仕様設定が不要の場合には、ステップＳ３０をスキップし、ステップＳ３１に戻ればよい（後述するステップＳ５５の判定結果がＮｏの場合、およびＳ５８を実行するした後も同様）。
【０１３３】
一方、ステップＳ５１における判定の結果、撮影指示がなされた場合には、撮影を行い、画像データを記録する（Ｓ５３）。このステップでは、ステップＳ４３またはＳ４９において設定されたパラメータに従って、露出制御を行う。露出制御が終了し、シャッタが閉じると、撮像部１０３によって取得された画像データを、画像処理部１０１ｄによって静止画用または動画用の画像処理を施し、この画像処理された画像データを記録部１０５に記録する。
【０１３４】
画像データを記録すると、次に、メタデータの付与を行い、画像ファイルを作成する（Ｓ５４）。撮影時にテストデータ候補を取得すると、そのままテストデータもしくは教師データを作成する。ステップＳ５４においては、この処理を行うことが設定されている場合に、実行される。また、メタデータとしては、前述の（１）〜（７）（（ａ）〜（ｇ））等があり、ファイル作成部１０１ａｂが、これらのメタデータを画像データに関連付け、画像ファイルを作成する。
【０１３５】
画像ファイルを作成すると、次に、検出すべきシーンで未検出のものがあったか否かを判定する（Ｓ５５）。ライブビュー画像の表示中に検出すべきシーンであるにもかかわらず、推論結果の信頼性が低い場合には、再学習用の教師データやテストデータ候補として記録している（Ｓ４７参照）。このステップでは、ステップＳ５３における撮影の際に、検出すべきシーンであるにもかかわらず、推論によって検出されなかったか否かを判定する。この判定結果が、Ｎｏである場合には、ステップＳ３０に戻る。
【０１３６】
ステップＳ５５における判定の結果、検出すべきシーンであったにもかかわらず、推論によって検出されなかった場合には、再学習用の教師データやテストデータ候補にする（Ｓ５７）。ここでは、ステップＳ４７と同様、ステップＳ５３において撮影された画像データを再学習用の教師データやテストデータとして記録する。良い画像が撮れたかどうかの判定が画像認識技術等で出来れば、これが決定的瞬間なので、この画像の基準時間（時刻）を０とし、それに至るまでに得られた画像にはそれに先立つ時間（時刻）を割り振って、予測用の教師データやテストデータにしてもよい。
【０１３７】
テストデータ候補とすると、次に、メタデータを付与する（Ｓ５８）。図３Ｃを用いて説明したように、撮影時にテストデータ候補を取得すると、そのままテストデータもしくは教師データを作成してもよい。また、撮影しようと瞬間を応答遅れや反射神経、その他の不測の事態でずらしてしまう場合があるので、基準時間の補正を行えるようにしてもよい。こうした修正は、再生時などにも行えるようにして、先立って得られた画像には、それに即した補正時間をメタデータとして添付してもよい。ステップＳ５８において、メタデータ付与処理を行うことが設定されている場合に、このステップＳ５８が実行される。また、メタデータとしては、前述の（１）〜（７）（（ａ）〜（ｇ））等があり、ファイル作成部１０１ａｂが、これらのメタデータを画像データに関連付け、画像ファイルを作成する。この処理を行うと、ステップＳ３０に戻る。
【０１３８】
ステップＳ３１に戻り、このステップにおける判定の結果、撮影モードでない場合には、次に、推論モデルを取得するか否かを判定する（Ｓ６１）。このカメラ１００の操作部１０２を操作することにより、推論エンジン１０４に設定する推論モデルを取得するモードを設定することができる。
【０１３９】
ステップＳ６１における判定の結果、推論モデルを取得するのでなければ、再生モード等を実行する（Ｓ７１）。再生モードが設定されると、記録部１０５に記録されている画像データ１０５ａを読み出し、表示部１０６に表示する。再生モード以外にも、適宜、設定可能なモードがあれば、これらを実行することができる。再生モード等を実行すると、ステップＳ３１に戻る。
【０１４０】
一方、ステップＳ６１における判定の結果、推論モデルを取得する場合には、次に、自機で依頼するか否かを判定する（Ｓ６３）。推論モデルは、前述したように、学習部３００において生成する。このステップでは、学習部３００に、カメラ１００（自機）から直接依頼するか、または学習依頼部２００に仲介を依頼するか否かを判定する。ユーザは、操作部１０２によって、自機で依頼するか、仲介を依頼するかを、設定することができる。
【０１４１】
ステップＳ６３における判定の結果、自機で依頼しない場合には、仲介を依頼する（Ｓ７３）。この場合には、カメラ１００は、通信部１０７および学習依頼部２００内の通信部Ｂ２０３を介して、学習依頼部２００に、推論モデルの生成の仲介を依頼する。このとき、ステップＳ４７、Ｓ５７で記録したテストデータ候補も送信する。学習依頼部２００は、仲介を依頼されると、第２教師データを図７に示したフローと同様な処理を行い作成する（図１０のＳ１０１以下参照）。仲介を依頼すると、ステップＳ３１に戻る。
【０１４２】
ステップＳ６３における判定の結果、自機で依頼する場合には、テストデータ数を判定する（Ｓ６５）。前述したように、ステップＳ４７、Ｓ５７において、再学習用の教師データやテストデータの候補を記録している。このステップでは、記録されている再学習用の教師データやテストデータの候補をカウントする。なお、もっぱらフィールドでテストデータを取得する例で説明しているが、もちろん、テストではなく率先して教師データとして使いたいというユーザもいるので、再学習用の教師データをテストデータと同様に設定してもよい。
【０１４３】
テストデータ数の判定を行うと、次に、仕様を設定する（Ｓ６６）。ここでは、ステップＳ３０と同様に、仕様設定を行う。すなわち、カメラ１００から学習装置３００に推論モデル作成のための学習を依頼する際に、どのような推論モデルを生成するかの仕様を設定する。
【０１４４】
仕様を設定すると、次に、メタデータを付与する（Ｓ６７）。ここでは、ステップＳ５４、Ｓ５８において、メタデータが付与されていない画像があれば、メタデータを付与する。学習装置３００は、このメタデータに基づいて、推論モデルを生成する。
【０１４５】
続いて、再学習が必要であり、依頼するか否かを判定する（Ｓ６８）。再学習用の教師データやテストデータ候補の数が所定数よりも多い場合には、現在使用している推論モデルが、撮影環境の変化や、撮影機材の変化等により、相応しくなくなっている。また、ユーザが、現在設定されている推論モデルとは全く別の推論モデルを取得したい場合がある。このステップでは、これらの条件に基づいて、再学習が必要か否かを判定する。
【０１４６】
ステップＳ６８における判定の結果、再学習が必要であり、再学習による推論モデルの取得を依頼する場合には、教師データを再作成し、再学習を依頼する（Ｓ６９）。ここでは、図７に示したフローチャートと同様に、再学習の教師データやテストデータ候補を考慮して、第２教師データを作成する。このデータには、画像のメタデータに機械学習のスペックやアノテーション情報、あるいはアノテーション修正情報が入っておりも、要求仕様なども合わせて送信してもよい。その一部または全部が画像のメタデータに入っている。第２教師データが作成されると、通信部１０７を介して、学習部３００に第２教師データを送信し、再学習を依頼する。また、このとき、画像にアノテーションの情報の修正を行ってもよい。また、推論モデル生成の際の要求仕様を送信してもよい。
【０１４７】
一方、ステップＳ６８において、再学習が必要で依頼するのではない場合には、次に、取得か否かを判定する（Ｓ７５）。このステップでは、新規の推論モデルを取得するのか否かを判定する。この判定の結果、取得でない場合には、ステップＳ３１に戻る。
【０１４８】
ステップＳ７５における判定の結果、取得する場合には、新推論モデルの取得を行う（Ｓ７７）。この場合には、学習部３００に対して、新推論モデルの要求仕様を送信し、学習部３００において、新推論モデルを生成してもらう。学習部３００が新推論モデルを生成すると、カメラ１００に送信してくるので、この新推論モデルを推論エンジン１０４に設定する。新推論モデルを取得すると、ステップＳ３１に戻る。
【０１４９】
このように、カメラ制御のフローにおいては、推論エンジン１０４を用いて、撮像部１０３によって取得された画像に対して推論を行う（Ｓ３７）。この推論結果の信頼性が低い場合には、推論エンジン１０４が、検出すべきシーンであったか否かを判定し、検出すべきシーンの場合には、この時の画像データをテストデータ候補として記録するようにしている（Ｓ３９Ｎｏ、Ｓ４５Ｙｅｓ、Ｓ４７参照）。また、撮影を行った際にも、検出すべきシーンであったにもかかわらず、推論によって検出できなかった場合には、この時の画像データをテストデータ候補として記録するようにしている（Ｓ５５Ｙｅｓ、Ｓ５７）。テストデータ候補として記録された画像データは、再学習が必要な場合には、教師データとして再作成する際に使用される（Ｓ６８Ｙｅｓ、Ｓ６９参照）。このため、推論モデルが、撮影対象や撮影機材の変化により、最適でなくなった場合であっても、信頼性の高い推論モデルを生成することが可能となる。
【０１５０】
また、撮影した際に、画像データにアノテーションを行っている（Ｓ５４、Ｓ５８参照）。すなわち、図３Ｃを用いて説明したように、撮影時に、メタデータを画像データに付与するようにしている。このため、信頼性の高い推論を行うことができるように、教師データを作成し、再学習の依頼を行うことが簡単になる。特に、撮影時にアノテーションを行っていることから、再学習の依頼を迅速に行うことが可能となる。
【０１５１】
次に、図９に示すフローチャートを用いて、学習部３００の動作について説明する。このフローは、学習部３００内の制御部３０１がメモリに記憶されたプログラムに基づいて実現する。
【０１５２】
図９に示す学習装置のフローが開始すると、まず、学習依頼を受信したか否かを判定する（Ｓ８１）。このステップでは、制御部３０１は、カメラ１００または学習依頼部２００から、通信部を介して、深層学習による推論モデルの生成を依頼されたか否かを判定する。学習依頼を受信しない場合には、そのステップで待機状態となる。
【０１５３】
ステップＳ８１における判定の結果、学習依頼を受けると、次に、要求仕様を取得する（Ｓ８３）。深層学習による推論モデルの生成の依頼を受ける際には、送信元から推論モデルの要求仕様を送信してくる。このステップでは、送信元からの要求仕様を受信し、記録する。ここで、推論も出るの再作成時は、教師データ等として送られて来た画像ファイルのメタデータを参考に学習スペック取得してもよい。これは、前述したように、学習依頼の時に実行してもよい（図６のＳ１参照）。
【０１５４】
続いて、教師データを取得する（Ｓ８５）。学習の依頼元であるカメラ１００または学習依頼部２００は、教師データ（基準教師データの場合もある）を送信してくる場合がある。この場合には、母集合作成部３０２は、受信した教師データに基づいて、深層学習のための母集合（教師データ）を作成する。基準教師データがない場合には、母集合作成部３０２は要求仕様に基づいて、母集合（教師データ）を作成する。
【０１５５】
教師データを作成すると、次に、推論モデルを生成する（Ｓ８７）。ここでは、入出力モデル化部３０４は、ステップＳ８５において取得した教師データを用いて、推論モデルを生成する。
【０１５６】
推論モデルを生成すると、次に、推論モデルが要求仕様を満たすか否かを判定する（Ｓ８９）。ここでは、ステップＳ８７において生成した推論モデルが、ステップＳ８３において取得した要求仕様を満たしているか否かを判定する。
【０１５７】
ステップＳ８９における判定の結果、要求仕様を満たしていない場合には、教師データを再設定する（Ｓ９１）。推論モデルが、依頼元の要求を満たしていない場合は、ステップＳ８５において作成した母集合（教師データ）が適していなかったおそれがある。そこで、要求仕様等に基づいて、母集合作成部３０２は母集合（教師データ）を再設定する。
【０１５８】
教師データを再設定すると、所定回数以上か否かを判定する（Ｓ９３）。本実施形態においては、教師データを再設定するたびに、推論モデルを生成し（Ｓ８７）、要求仕様を満たしているかを判定する（Ｓ８９）。しかし、この処理を何回も繰り返しても要求仕様を満たさない場合がある。そこで、このステップでは、教師データを再設定して推論モデルを生成した回数が、所定回数以上か否かを判定している。この判定の結果、所定回数以上でない場合には、ステップＳ８７に進む。
【０１５９】
一方、ステップＳ９３における判定の結果、教師データの再設定の回数が所定回数以上となった場合には、苦手画像情報等を送信する（Ｓ９５）。教師データを所定回数、再設定しても要求仕様を満たすことができない場合は、要求仕様にある画像は推論モデルの生成は苦手といえる。そこで、要求仕様に係る画像は、苦手であることを、依頼元に送信する。
【０１６０】
ステップＳ８９における判定の結果、要求仕様を満たしていた場合、またはステップＳ９５において、苦手画像情報等を送信すると、依頼機器に推論モデルを送信する（Ｓ９７）。ここでは、ステップＳ８７において、生成した推論モデルを、依頼元に送信する。なお、ステップＳ８９において要求仕様を満たしていないと判定された場合には、所定の処理後に苦手画像情報（Ｓ９５参照）と推論モデル（Ｓ９７参照）を送信する。この場合には、依頼元は苦手画像以外には、推論モデルの利用が可能である。また、苦手画像情報を送信する場合には、推論モデルの送信を行わないようにして、教師データを見直してもらうようにしてもよい。推論モデルを送信すると、ステップＳ８１に戻る。
【０１６１】
このように、学習装置においては、学習依頼があった場合には、要求仕様に応じた推論モデルを生成し（Ｓ８３、Ｓ８７）、推論モデルを生成すると、依頼元に送信している（Ｓ９７）。また、依頼元から基準教師データが送信されてきた場合には、この基準教師データを含み、また基準教師データと類似するデータからなる母集合（教師データ）を作成して推論モデルを生成している。カメラ１００または学習依頼部２００から、第２教師データが送信されたきた場合にも、第１教師データと同様に推論モデルが生成されることはいうまでもない。
【０１６２】
次に、図１０に示すフローチャートを用いて、学習依頼装置の動作について説明する。このフローは、学習依頼部２００内の制御部２０１がメモリに記憶されたプログラムに基づいて実現する。なお、このフローは、学習依頼装置に限らず、学習部３００とカメラ１００以外の装置、例えば、ＰＣやスマートフォン等の外部機器等によっても実行することができる。
【０１６３】
図１０に示す学習依頼装置のフローが開始すると、まず、仲介依頼があったか否かを判定する（Ｓ１０１）。ここでは、カメラ１００が、直接、学習部３００に推論モデルの生成を依頼せずに、学習依頼部２００を仲介して依頼するか否かを判定する。前述したように、カメラ１００のユーザは、ステップＳ７３（図８Ｃ参照）において、学習依頼部２００に推論モデルの取得を依頼してくる。このステップでは、この依頼があったか否かに基づいて判定する。この判定がない場合には、学習依頼装置のフローは待機状態となる。
【０１６４】
ステップＳ１０１における判定の結果、仲介依頼があった場合には、テストデータ候補を取得する（Ｓ１０３）。カメラ１００から学習依頼部２００に、推論モデル取得の仲介を依頼する際に、カメラ１００において記録したテストデータ候補（ステップＳ４７、Ｓ５７参照）を送信してくるので、このテストデータ候補を取得する。
【０１６５】
続いて、新教師データの判定を行う（Ｓ１０４）。このステップでは、再学習用の教師データやテストデータが追加されたかを判定し、教師データやテストデータを取得した場合には、メタデータ等、画像データに関連付けられているデータを判定する。教師データの追加は、実使用シーンでユーザがぜひとも学習をやり直して改良された推論モデルが欲しいと考えているという意思表示と考えてもよい。これは手動選択でも良いし、あまり肖像権等について配慮のないユーザを補助するためには、自動で、著作権・肖像権や個人情報等の情報を配慮して、教師データをテストデータにして送信してもよい。その旨を知らせるようにすれば、ユーザもこれらの情報に注意するようになる。
【０１６６】
次に、テストデータ候補の数を判定する（Ｓ１０５）。このステップでは、ステップＳ１０３において受信したテストデータ候補、およびステップＳ１０４で取得した教師データやテストデータをカウントする。
【０１６７】
次に、再学習が必要で依頼するのかを判定する（Ｓ１０７）。前述したように、再学習用の教師データやテストデータの候補が所定数よりも多い場合には、現在使用している推論モデルが、撮影環境の変化や、撮影機材の変化等により、相応しくなくなっている。また、ユーザが、現在設定されている推論モデルとは全く別の推論モデルを取得したい場合がある。このステップでは、これらの条件に基づいて、再学習が必要か否かを判定する。また、教師データを取得した場合は、それが正しく推論結果を出すような再学習を行うような判断を行う。
【０１６８】
ステップＳ１０７における判定の結果、再学習が必要であり、再学習による推論モデルの取得を依頼する場合には、教師データを再作成し、再作成できたら推論モデルの生成を依頼する（Ｓ１０９）。ここでは、図７に示したフローチャートと同様に、再学習用の教師データやテストデータ候補を考慮して、第２教師データを作成する。第２教師データができたら、通信部Ｂ２０３を介して、学習部３００に推論モデルを生成するために、再学習を依頼する。また、このとき、画像にアノテーションの情報の修正を行ってもよい。また、推論モデル生成の際の要求仕様を送信してもよい。
【０１６９】
一方、ステップＳ１０７において、再学習を行うことが必要でない場合には、次に、取得か否かを判定する（Ｓ１１１）。このステップでは、全く新規の推論モデルを取得するのか否かを判定する。この判定の結果、取得でない場合には、ステップＳ１０１に戻る。
【０１７０】
ステップＳ１１１における判定の結果、取得する場合には、新推論モデルの取得を行う（Ｓ１１３）。この場合には、学習部３００に対して、新推論モデルの要求仕様を送信し、学習部３００において、新推論モデルを生成してもらう。学習部３００が新推論モデルを生成すると、学習依頼部２００に送信してくるので、この新推論モデルをカメラ１００に送信する。新推論モデルを送信すると、ステップＳ１０１に戻る。
【０１７１】
このように、学習依頼部２００が、カメラ１００から推論モデルの取得の仲介を依頼された場合には（Ｓ１０１Ｙｅｓ）、依頼元から再学習用の教師データやテストデータ候補を取得し、このデータ数に基づいて、再学習が必要か否かを判定している（Ｓ１０５、Ｓ１０７）。再学習が必要な場合には、再学習用の教師データやテストデータ候補に基づいて、教師データ（第２教師データ）を作成し、この教師データを学習部３００に送信する（Ｓ１０９）。学習部３００は、この教師データに基づいて深層学習により推論モデルを生成する（図９のＳ８５、Ｓ８７参照）。
【０１７２】
次に、図１１を用いて、ＧＡＮ（Generative Adversarial Network）によって教師データと類似の画像データを生成する方法について説明する。図１１は、ＧＡＮによって、教師データ（テストデータ）と類似の画像を生成するための構成を示す。このＧＡＮは、生成ＡＩ（Artificial Intelligence）５００と識別ＡＩ５１０の２つの部分からなる。
【０１７３】
生成ＡＩ５００は、入力部３０４ｂａ、ネットワーク・デザイン３０４ｄａ、出力部３０４ｃａを有し、これらの各部はジェネレータとして機能する。このネットワーク・デザイン３０４ｄａは、前述のネットワーク・デザイン３０４ｄと同様、入力層と出力層の間に中間層（ニューロン）が配置されている。中間層としては、何層かのニューロンが配置されており、各中間層の間は、深層学習によって重み付けがなされる。入力部３０４ｂａには、ノイズ信号Ｐ３１が入力されると、ネットワーク・デザイン３０４ｄａに設定されている推論モデルによって推論され、出力部３０４ｃａから画像Ｐ３２が出力される。ジェネレータの入力はノイズであればよく、二次元画像である必要はない。推論モデル生成の初期の段階では、画像Ｐ３２は、失敗画像のような画像である。
【０１７４】
識別ＡＩ５１０は、入力部３０４ｂｂ、ネットワーク・デザイン３０４ｄｂ、出力部３０４ｃｂを有し、これらの各部は分類機として機能する。このネットワーク・デザイン３０４ｄｂも、前述のネットワーク・デザイン３０４ｄ、３０４ｄａと同様なので、詳しい説明を省略する。入力部３０４ｄｂには、ネットワーク・デザイン３０４ｄａからの出力画像Ｐ３２、または再学習用の教師データやテストデータＰ３３を入力する。また学習用データＰ３５、Ｐ３６は、嘘の画像と本当の画像であり、正解が分かっている画像である。
【０１７５】
入力部３０４ｄｂには、画像Ｐ３２または再学習用の教師データやテストデータＰ３３を入力し、出力部３０４ｃｂからの出力結果が、嘘であるか本当であるかを、ＬＯＳＳ値に基づいて判定する。この判定の結果、嘘が多い場合には、ジェネレータ側にＬＯＳＳ値改善依頼信号を送信し、ネットワーク・デザイン３０４ｄａにおいて再学習を行う。一方、ＬＯＳＳ値に基づく判定の結果が、本当が多い場合には、分類機側のネットワーク・デザイン３０４ｄｂに再学習用の教師データやテストデータＰ３３を入力して、分類機の再学習を行う。
【０１７６】
このように、ネットワーク・デザイン３０４ｄｂからの出力結果（ＬＯＳＳ値）に応じて、分類機による再学習とジェネレータによる再学習を競させている。全体として学習のバランスをとることにより、ネットワーク・デザイン３０４ｄａにおける推論モデルが、次第に、テストデータ（第１教師データ）の画像と類似した画像を推論によって生成することができるようになる。ネットワーク・デザイン３０４ｄｃは、ネットワーク・デザイン３０４ｄａにおいて完成した推論モデルが設定されている。この状態では、ネットワーク・デザイン３０４ｄｃに、ノイズ信号Ｐ３７を入力すると、テストデータＰ３３（第１教師データ）に類似した画像を、推論により、多数作成することができる。
【０１７７】
次に、図１２を用いて、撮影時にアノテーション（メタデータの付与）を行う例について説明する。これは、図３Ｃを用いて説明した撮影時にメタデータを画像データに関連付ける例の変形例である。また、図２および図３に示した例では、画像の中の撮影対象物そのものに対する推論について述べた。図１２に示す例では、画像とそれから起こる事象の関係を推論する例を説明する。つまり、画像は観賞やそこに記録されたものの記録のためではなく、これから起こる事象の原因となる状況を表したものであるとして使用される。すなわち、実際に画像に示されたことが何に（どんな事象に）繋がるかを予測するための学習に画像を利用する。
【０１７８】
図１２に示す例は、自動車走行方向を撮像し、いわばドライブレコーダーにデジタルカメラ１００を利用している。図１２（ａ）に示すように、ドライバが車を運転しており、車の前方をモニタするカメラ１００が配置されている。カメラ１００の撮影画角内に、猫４１３が特定のタイミングで特定の大きさで特定の場所に現れた場合（また、その向きが走行方向を向いている場合）、急ブレーキをかけなければならない可能性がある。そのような可能性は猫４１３のスピードなどによっても変化する。そこで、本実施形態においては、カメラ１００によって取得した画像に、写った猫の姿勢４１３などを、ＡＩによって推論し、危険度を知らせるようにしている。
【０１７９】
特定の仕様の撮影レンズを想定すれば、猫４１３の撮影画像内の大きさが距離情報になる。画像と急ブレーキ特有の加速度をカメラ１００に内蔵されている、あるいは車に搭載されている加速度センサ（Ｇセンサ）などで検出する。図１２（ｂ）のグラフは、横軸に時間をとり、縦軸に加速度の変化を示す。また、グラフの上側には、カメラ１００によって取得された画像を時間の流れに沿って並べてある。この図において、時刻０ｓｅｃは、ドライバが危険を感じて急ブレーキをかけたタイミングであり、時刻（−Ｙｓｅｃ）は、０ｓｅｃよりもＹｓｅｃ前であり、基準となるタイミングである。
【０１８０】
このような加速度変化がある場合に、撮像された画像に加速度情報等の情報を記録する。図１２（ｃ）に、この情報をメタデータＭＤ１として画像Ｐ３１に関連付けた危険予告用の教師データ（画像ファイル）を示す。図１２（ｄ）は、（加速度変化）情報付きの画像Ｐ３１を教師データとして推論モデルを作る例を示す。このような教師データで得られた推論モデルでは、図１２（ａ）のように、事前にユーザに音声や表示などで、急ブレーキの予想を伝え、それに備える心構えなり回避行動をとることを促す車載システムを提供可能である。
【０１８１】
図１２（ｃ）は、このようなシーンで検出して欲しい画像（があらわす事象）を画像ファイルにして、メタデータに教師データにする際、あるいはテストデータにする際のメタデータ（ファイル）ＭＤ１の構成例を示す。簡略化した構成図であるが、図１２（ｃ）には、主なものとしていくつかの書き込み情報例を示す。何の用途かというと（アクシデント等の）「予測」で要注意すべき例なので、「ＮＧ」とした。したがって、また、この画像を見て、画像そのものの品質等を確認する用途ではないので、これは、何かの「事象」の学習用である、とした。また、主観的な判定ではなく急ブレーキという事象が起こりうるという客観的な考察であるゆえ、「客観」であることを示した。また、このタイミングではなく、続いて起こることを学習するゆえ、タイミングは「３秒」としている。つまり、このような画像のメタデータは、３秒の経過後に改めて画像に付与されるような工夫が必要となる。また、図示していないが、メタデータＭＤ１には、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報も作成するとよい。
【０１８２】
図１２（ｃ）に示すようなメタデータが関連付けれた画像データを教師データとして、図１２（ｄ）に示す入出力モデル化部３０４内のネットワーク・デザイン３０４ｄにおいて、深層学習することにより、推論モデルを生成することができる。この推論モデルは、時刻（−Ｙｓｅｃ）における画像に対して、危険が迫っていることの警告を行うことができる。
【０１８３】
次に、図１３を用いて、撮影時にアノテーション（メタデータの付与）を行う他の例について説明する。図１３は、図１２と同様の予測関連の学習例である。図１３は、図１２と同様の考え方でありながら、アクシデント予想ではなく、「手本」となるような画像の撮影チャンスがあるかどうかの予測を推論モデルで行う。したがって、撮影チャンスという事象を予測しているともいえる。このため、画像に写っている対象物の猫の画像が撮れるかどうかということで画像予測のメタデータが画像データに関連付けられている。
【０１８４】
猫の歩き方を見て、これは、これから座ったり寝転んだりするであろうことが、例えば、飼い主であれば予測できる場合がある。このような予測は推論が可能と考えられ、飼い主以外のユーザには貴重な情報となる。これがないと待つ価値があるかどうかわからず、結局、撮影のチャンスを失う。一般に、猫が丸くなった時の写真は、猫の写真で人気の姿勢であるため手本画像とする。必ずしも上手なものでなくとも、このような画像を撮影したいというサンプル、あるいはその種のとなってカメラメーカにとっても参考になる。
【０１８５】
図１３は、猫が丸くなった時の画像が出来るタイミングが近いかどうかをユーザに伝える例である。これによって、ユーザの待機時間の無駄を節約等できる。図１３（ａ）は、ユーザがカメラ１００で猫４１３を撮影する様子を示す。図１３（ｂ）は、時間毎に撮影画像を並べ、またそのときの画像に対する満足度の経時的変化を示す。時刻（−Ｘｓｅｃ）は基準時刻を示し、０ｓｅｃはユーザの画像に対する満足度が大きくなるタイミングを示す。
【０１８６】
図１３（ｃ）（ｄ）は、画像データに関連付けられる教師データ用メタデータの例を示す。図１３（ｃ）は、時刻（−Ｘｓｅｃ）において撮影された画像Ｐ３２であり、教師データ用メタデータＭＤ２が作成され、画像Ｐ３２のデータに関連付けられる。図１３（ｄ）は、基準時刻である時刻（０ｓｅｃ）において撮影された画像Ｐ３３であり、教師データ用メタデータＭＤ３が作成され、画像Ｐ３２のデータに関連付けられる。
【０１８７】
撮影の決定的瞬間の画像そのものも、これはユーザが良いと思って撮影した画像ですよ、という教師データとなるので、主観的にＯＫの画像としてメタデータは記載される。図１２と同様に、ある特定の状況において推論して欲しい未来が予測できるような学習が出来るように、図１２（ｂ）に示すように、時刻（−Ｘｓｅｃ）におけるタイミングで、実際の撮影に先立って得た画像を図１３（ｄ）のように画像ファイルにしている。ここでのメタデータに、この画像ファイルを教師データにする際、あるいはテストデータにする際のファイル構成例を示す。なお、ユーザが画像を外部に出すリスクや心情的な抵抗感があるかどうかを手動設定や音声入力等で教師データにするか参考データにするか決めてよい。これは、対象物が猫ならば良いが、人物だと肖像権があってまずい、といった判断を自動または手動で行うことが出来る。顔検出によって、対象物が人かそれ以外かは判定できる。対象物が人の場合には、顔がわからないような補正を施しくてもよく、また人をアバター化して教師データにしてもよい。
【０１８８】
図１３（ｃ）（ｄ）に、簡略化した構成図であるが、主なものとしていくつかの書き込み情報例を示した。何の用途かというとベストショットタイミングが来るよ、という吉兆の例なので、ＯＫとした。したがって、また、この画像を見て、画像そのものの出来栄えを確認する用途なので、これは、何か画像関連の学習用である、とした。また、主観的な良し悪しによってベストショットとしているゆえ、「主観」であることを示した。このベストショットタイミングそのもの画像は図１３（ｃ）のようにタイミング情報は０とした。これから起こるチャンスに関連する図１３（ｄ）のような画像のファイルには、この撮影タイミングにおける何かではなく、続いて起こることを図１３（ｅ）のような推論モデルを得るために学習するゆえ、タイミングは例えば３秒後としている。また、図示していないが、メタデータＭＤ１には、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報も作成するとよい。このような画像ファイルを作成するにも、このような画像のメタデータは、３秒の経過後に改めて画像に付与されるような工夫が必要となる。
【０１８９】
図１３（ｃ）（ｄ）に示すような、撮影ガイド用に画像ファイルを作成すると、このメタデータが関連付けれた画像データを教師データとして、図１３（ｅ）に示す入出力モデル化部３０４内のネットワーク・デザイン３０４ｄにおいて、深層学習することにより、推論モデルを生成することができる。この推論モデルは、時刻（−Ｘｓｅｃ）における画像に対して、ベストタイミングまで、どの位待てばよいかをアドバイスすることができる。
【０１９０】
次に、図１４Ａおよび図１４Ｂに示すフローチャートを用いて、図１２、図１３に示すようなメタデータを付与可能なカメラの制御動作について説明する。この動作はカメラ１００内の制御部１０１内のＣＰＵがメモリに記憶されたプログラムに従って実現する。
【０１９１】
図１２および図１３における動作は、撮影タイミングに起こることではなく、続いて起こることを学習するような教師データになる、画像ファイルを作成するには、画像のメタデータを、所定時間の経過後に改めて画像に付与されるような工夫が必要となる。図１４Ａおよび図１４Ｂに示すフローチャートは、このようなメタデータ付与が可能なカメラ制御（ファイル作成装置）を実現する。また、図８Ａないし図８Ｃは画像内に検出して欲しい部分の学習だったので、他の情報を利用していなかった。しかし、このフローチャートでは、図１２および図１３に示したように加速度情報など他のセンサ情報を利用したり参照したりする。これらの情報は、カメラ１００に内蔵センサでもよく、またＩｏＴを利用して他の装置内のセンサと連携するようにしてもよい。以下、図１４のフローチャートについて説明するが、図８Ａないし図８Ｃと基本的に同じ処理については簡略化して説明する。
【０１９２】
図１４Ａに示すフローが開始すると、まず、撮影モードか否かを判定し（Ｓ１２１）、この判定結果が撮影モードであれば、画像の入力等を行う（Ｓ１２３）。ここでは、撮像部１０３によって画像を取得し、また前述したように加速度情報等を他のセンサによって入力する。さらに、図１２（ｂ）、図１３（ｂ）に示したような経時変化を測定するために、計時動作を開始する。また、撮像部１０３によって取得したコマ数を記録する。なお、撮影は動画撮影であってもよく、また連写撮影であってもよい。
【０１９３】
画像入力等を行うと、次に、関連辞書があるか否かを判定する（Ｓ１２５）。関連辞書は、カメラでの撮影シーンに応じた推論モデルであり、現在の撮影対象に適した推論モデルが推論エンジン１０４に設定されているか否かを判定する。なお、図８Ａに示すフローにおいては、推論エンジンを起動するか否かの判定を行っていた。このステップＳ１２５においても同様の判定を行ってもよい。
【０１９４】
ステップＳ１２５における判定の結果、関連辞書がある場合には、推論を実行する（Ｓ１２７）。ここでは、ステップＳ１２３において取得した画像データを推論エンジン１０４に入力し、推論を実行する。次に、推論の結果の信頼性を判定する（Ｓ１２９）。この判定の結果、信頼性が高い場合には、ガイド表示を行う（Ｓ１３１）。ここでは、図１２（ａ）、図１３（ａ）に示すような警告表示や撮影ガイドを表示する。
【０１９５】
ガイド表示を行うと、次に、センサ出力に特徴があるか否かを判定する（Ｓ１３３）。ここでは、ステップＳ１２３において入力したセンサ出力を参照し、センサ出力に特徴がある場合、あるいは特徴的な変動パターンから特定のイベントを推定できるか否かを判定する。なお、センサ出力に限らず、例えば、画像に猫が入ってきた等、画像解析の結果に基づいて判定してもよい。ステップＳ１３８における判定の結果、センサ出力に特徴がある場合には、基準時間化を行う（Ｓ１３５）。ここでは、あるイベントが起こった時刻を基準時間となるように、自動的に基準時間を設定する。
【０１９６】
基準時間を設定すると、次に、記録画像の経時結果補正、用途判定、センサ情報、イベント、その他仕様等の記録を行う（Ｓ１３７）。この処理は、センサ出力をトリガとして、メタデータの記録を行う。すなわち、すでに記録されている画像のメタデータに時間情報を追記可能とする。このステップＳ１３７では、センサ出力情報そのものや、それで得られたイベント情報などをメタデータとして記録できるようにしている。記録画像の経時結果補正は、時系列的に記録されている画像について、ステップＳ１３５において基準時間が決まると、その基準時間からの経過時間に沿って画像を整理する。また、用途は仕様等から設定する。例えば、急ブレーキ特有情報が加速度センサや速度センサや位置情報センサ変化情報などから得られた場合は、どのセンサデータがどうなったから、このイベントが検出された、等を記録してもよい。このステップでの記録は、ユーザが手動で行ってもよいが、センサ出力に特徴があった場合に、自動的に行うのがよい。
【０１９７】
ステップＳ１３７において記録を行うと、またはステップＳ１３３における判定の結果、センサ出力に特徴がない場合には、次に静止画撮影か否かを判定する（Ｓ１３９）。ここで、撮影がなされる条件も必ずしも、レリーズスイッチ操作でなく、センサデータなどの結果によるものでもよい。この場合は、如何なる操作によって、ステップＳ１３９において、静止画撮影と判定したかを記録してもよい。このようなセンサデータや操作によって検出されたイベントと画像の関連付けによって、画像ファイルのメタデータが変わる。
【０１９８】
ステップＳ１３９における判定の結果、静止画撮影の場合には、撮影を行い、撮影の結果取得した画像データを記録する（Ｓ１４１）。次に、ステップＳ１３５と同様に、基準時間化を行う（Ｓ１４３）。ユーザがレリーズ釦等の操作を行った場合であり、この時間を基準にして画像の整理を行う。続いて、ステップＳ１３７と同様に、記録画像の経時結果補正、用途判定、センサ情報、イベント、その他の仕様等を記録する（Ｓ１４５）。図１３において説明した、猫が丸まった写真を撮影する場合には、基準時間はレリーズタイミングにすればよく、このステップＳ１４５で設定する。これらの処理によって、図１２に示したような急ブレーキ直前画像集などが作成でき、ビッグデータとなって教師データ化することが出来る。ここでのメタデータの記録は、ユーザが手動で行ってもよいが、カメラが自動的に記録することができる。
【０１９９】
ステップＳ１２１に戻り、このステップにおける判定の結果、撮影モードでない場合には、再生モードか否かを判定する（Ｓ１５１）。この判定の結果、再生モードであった場合には、一覧表示を行う（Ｓ１５３）。ここでは、記録部１０５に記録されている画像データを読み出し、表示部１０６に一覧表示する。続いて、選択再生を行う（Ｓ１５５）。ユーザが一覧表示の中から拡大表示を選択するので、このステップではいずれの画像が選択されたかを判定する。
【０２００】
続いて、お気に入り操作がなされたか否かを判定する（Ｓ１５７）。本実施形態においては、ユーザが再生した記録画像を見ながら、ユーザ自ら、あるいは確認した人がイベントのタイミングを記録したい場合には、操作部１０２によって、お気に入り操作を行う。このステップでは、この操作がなされたか否かを判定する。お気に入り操作がなされた場合には、基準時間が設定される（Ｓ１５９）。ここでは、再生画像に記録されている時間（タイミング）を基準時間とし、この基準をどこに設定するかをマニュアル入力する。続いて、記録されている各画像の経時結果補正、用途判定、センサ情報、イベント、その他の仕様が記録される（Ｓ１６１）。ステップＳ１３７、Ｓ１４５においても、同様のメタデータが記録されているが、このステップでは、ユーザの手動入力が主となる。もちろん、再生画像に記録されているメタデータを維持してもよく、手動入力されたメタデータのみを書き換えてもよい。
【０２０１】
ステップＳ１５１に戻り、このステップにおける判定の結果、再生モードでなかった場合には、推論モデルの依頼か否かを判定する（Ｓ１６３）。カメラ１００から学習部３００に直接、推論モデルを依頼するか否かを判定する。この判定の結果推論モデルを依頼する場合には、推論モデルの対象物を特定し（Ｓ１６５）、学習部３００に推論モデルの生成のための学習を依頼する（Ｓ１６７）。ここでは、通信部１０７から、特定のイベント予測用の教師画像として、メタデータ付き画像を学習装置に送信するようにしてもよい。この場合、ファイル作成部１０１ａｂ（メタデータ付与部）が特定のイベントが注意を促すべきイベントか否かの情報をメタデータとして付与して送信してもよい。
【０２０２】
ステップＳ１６３における判定の結果、推論モデルの依頼でない場合には、推論モデルの取得か否かを判定する（Ｓ１６９）。ステップＳ１６７において学習を依頼すると、学習部３００は推論モデルを生成し、カメラ１００に返信してくる。ここでは、返信されてくる推論モデルを取得するか否かを判定する。ステップＳ１６９における判定の結果、推論モデルの取得の場合には、推論モデルを取得し記録する（Ｓ１７１）。このように新しく得た推論モデルは、どんどん実地研修をした働き手のようなもので、実際に即したユーザの意にかなった改良版の推論モデルとなっており、この推論モデルを使用するユーザの満足度は益々向上する。十分に向上した場合は、追加学習をしないようにする設定にすればよい。これもメタデータに記載できるようにしてもよい。また、余計な追加学習を行うことによって、かえって、本来の狙いと異なる仕様の推論モデルになってしまうことも考えられる。そこで、前のバージョンに戻せるように、推論モデルをバージョン管理した方が良い。こうした追加学習の際、どのバージョンに対して追加するかという問題もあるが、それをメタデータに記載してもよい。これは、利用中の推論モデルのバージョンをメタデータとして記録しておくといった解決法を採用してもよい。メタデータを管理するために、ファイル作成部１０１ａｂ（メタデータ付与部）は、生成された画像ファイルを外部の学習装置に送信して追加学習を依頼する際に、追加学習を施す推論モデルを表す識別情報を付与するとよい。
【０２０３】
本フローの動作は、図８Ａないし図８Ｃと同様の処理が多く、詳しく説明した部分は簡略化して図示している。例えば、仕様設定の部分などは、最初に行ってもよいが（例えば、ドライブレコーダーとして使う時は急ブレーキ予測用の仕様とするなど）、このフローでは、画像ファイルを作る際に手動入力できるような部分を強調している（Ｓ１３７、Ｓ１４５、Ｓ１６１等のタイミングでユーザが設定してもよい）。また、Ｓ１２３で入力された画像に基づいて、何か推論できる場合はＳ１３１においてガイド表示を行う。この場合、関連の推論モデル（辞書）があって、信頼性が高いことを、本当に意味のある結果だけをガイド表示している。また、動画の記録に関しては説明を省略しているだけで、図８Ａないし図８Ｃと同様の考え方をすればよい。
【０２０４】
以上説明したように、本発明の一実施形態においては、画像データと、メタデータと、を有する画像ファイルを生成している。そして、画像データに関連する画像を入力とした推論モデルを作成する際に、（１）推論モデルの用途を指定するための用途情報と、（２）上記画像データを、外部依頼学習用の教師データとするか、秘匿参考データとするかの情報と、を上記メタデータとして付与している。このため、本実施形態においては、信頼性の高い推論を行うことができるように、学習を依頼する際に使用する画像ファイルを生成することができる。
【０２０５】
また、本発明の一実施形態においては、上記（１）および上記（２）のメタデータ以外に、（３）判定するものが画像か事象か、（４）判定が主観か客観か、（５）判断タイミング、（６）関連画像群情報、（７）判定が画像全体か画像部分か対象物かの情報の少なくとも一つを、上記メタデータとして付与している。このため、これらのメタデータが、画像に付与されていることから、これらの画像を用いて機械学習する際に、信頼性の高い学習を行うことができる。
【０２０６】
なお、本発明の一実施形態においては、カメラ１００と学習依頼部２００と学習部３００の組み合わせからなるシステムについて説明した。しかし、この組み合わせに限らず、カメラ１００が学習依頼部２００の機能を合わせ持っていてもよく、また学習依頼部２００が学習部３００の機能を有していてもよい。また、再学習用の教師データやテストデータ２０２は、カメラ１００からの再学習用の教師データやテストデータとはかかわりなく、学習依頼部２００が独自に生成したデータであってもよい。
【０２０７】
また、本発明の好ましい実施形態においては、学習装置における学習は、深層学習を行っていたが、これに限らず、機械学習等の人工知能を利用した学習であればよい。また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。
【０２０８】
また、本発明の一実施形態においては、学習部３００内においては、母集合作成部３０２、基準教師データ記録部３０３、入出力モデル化部３０４、通信部Ａ３０５ａ、通信部Ｂ３０５ｂ等を、制御部３０１とは別体の構成としていた。また学習依頼部２００内においては、画像分類記録部２０２、通信部Ｂ２０３、仕様性って言部２０４、推論エンジン２０５６等を、制御部２０１と別体の構成としていた。さらに、カメラ１００内において、操作部１０２、撮像部１０３、推論エンジン１０４、記録部１０５、表示部１０６等を、制御部１０１とは別体の構成としていた。しかし、これに限らず、各部の全部または一部をソフトウエアで構成し、制御部１０１、２０１、３０１内のＣＰＵによって実行するようにしても勿論かまわない。
【０２０９】
また、制御部１０１内の各部を、制御部の外にハードウエア回路によって設けてもよい。また、ＣＰＵに限らず、コントローラとしての機能を果たす素子であればよく、上述した各部の処理は、ハードウエアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。また、上述の各部は、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
【０２１０】
また、本発明の一実施形態においては、カメラ１００として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、異なる光学システムを採用する撮影のための機器であれば、本発明を適用することができる。
【０２１１】
また、近年は、様々な判断基準を一括して判定できるような人工知能が用いられる事が多く、ここで示したフローチャートの各分岐などを一括して行うような改良もまた、本発明の範疇に入るものであることは言うまでもない。そうした制御に対して、ユーザが善し悪しを入力可能であれば、ユーザの嗜好を学習して、そのユーザにふさわしい方向に、本願で示した実施形態はカスタマイズすることが可能である。ユーザは、必ずしも学習に適した教師データとなるコンテンツを豊富に持っているわけではないので、第三者が保存したコンテンツ類に加えて、自分の手持ちのコンテンツを利用した推論モデル作成を依頼するケースが増えてくる。このような状況下においても、本実施形態によれば、安心した注文等が可能となる。近年、インターネット上には動画のサンプルなどが大量に出回っているので、これらのサンプルを使いたいユーザは多い。また、動画には音声の情報も含まれているので、本明細書において、「画像」と記載した部分は、音声付きの画像で、音声に対する推論モデルであってもよい。このように、情報（画像や音声、その他）の取得シーンですみやかに、推論モデルの推論結果の良し悪しや限界が判定できると、使えば使うほど、ユーザの意に沿った推論結果が得られる機器が提供可能となる。このような工夫によって、設計レベルを超えて、より実際のシーンに即した推論モデルを取得できる技術、サービスが提供できる。予測系のガイドは、ユーザの貴重な待ち時間を削減できるというメリットがある。予測系のガイドによって、ユーザが心の準備をすることが出来る。
【０２１２】
また、画像、音声の各種機械学習以外にも、本願が留意している守秘性や肖像権、著作権、データの希少性や改ざんなどの危険や個人情報の保護を含めたセキュリティの保持、あるいはノウハウ保護を考慮して、手持ちデータは出さずに再度の学習、あるいはチューニングを依頼することが可能となる。個人でなくとも、企業であっても同様の傾向の依頼形態となる。また、依頼される側も、個人情報や守秘義務の問題がある画像や音声やその他データは利用をためらう傾向がある。したがって、手元にあるデータ以外でも、簡単に、ユーザが想定した特定の利用状況により特化した推論モデルを得るために、カスタマイズ、チューニングが容易に可能となるシステムが求められる。画像以外にアノテーションを行う場合に、例えば音声の場合であって、音声認識時に特定の音声の認識率を上げるような場合でも、本願は利用可能である。
【０２１３】
また、本明細書においては、ユーザが大量の教師データを集めることが困難という状況にかんがみ、再学習を中心にユーザからの推論モデルの仕様（スペック）を画像ファイルのメタデータとして取得する旨を説明した。しかし、再学習する際に限らず、例えば、ユーザからの画像ファイルを大本との教師データ（第１教師データ）として学習を依頼する場合も、本願に示した技術を適用することができる。ヘビーユーザであれば、このような状況もあり得る。
【０２１４】
また、上述した実施形態においては、アノテーション用の情報を画像ファイルのメタデータ形式で画像ファイルと関連付けていた。しかし、この方式に限らず、他の関連付け方法でもよい。例えば、画像ファイルを送信、そのファイル名と関係する情報を併せて送信、といったシステムにして解決する方法もある。
【０２１５】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０２１６】
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【０２１７】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０２１８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０２１９】
１００・・・カメラ、１０１・・・制御部、１０１ａ・・・記録制御部、１０１ａｂ・・・ファイル作成部、１０１ｂ・・・設定制御部、１０１ｃ・・・通信制御部、１０１ｄ・・・画像処理部、１０１ｅ・・・パラメータ制御部、１０１ｆ・・・表示制御部、１０２・・・操作部、１０３・・・撮像部、１０３ａ・・・光学系、１０３ｂ・・・撮像素子、１０４・・・推論エンジン、１０４ａ・・・ネットワーク・デザイン、１０４ｂ・・・管理情報、１０５・・・記録部、１０５ａ・・・画像データ、１０５ｂ・・・テストデータ候補、１０５ｃ・・・画像ファイル、１０６・・・表示部、１０７・・・通信部、２００・・・学習依頼部、２０１・・・制御部、２０２・・・画像分類記録部、２０２ａ・・・対象物種類Ａ画像群、２０２ｂ・・・基準教師データ、２０２ｃ・・・テストデータ、２０３・・・通信部、２０４・・・仕様設定部、３００・・・学習部、３０１・・・制御部、３０２・・・母集合作成部、３０２ａ・・・入出力設定部、３０３・・・基準教師データ記録部、３０４・・・入出力モデル化部、３０４ａ・・・信頼性判定部、３０４ｂ・・・入力部、３０４ｃ・・・出力部、３０４ｄ・・・ネットワーク・デザイン、３０５ａ・・・通信部Ａ、３０５ｂ・・・通信部Ｂ、４０１・・・第１教師データ、４０２・・・第２教師データ、４０５・・・第１推論モデル、４０６・・・第２推論モデル、４１１・・・ユーザ、４１３・・・撮影対象、５００・・・生成ＡＩ、５１０・・・識別ＡＩ
【図１Ａ】
2020123174.tif 000003
【図１Ｂ】
2020123174.tif 000004
【図２】
2020123174.tif 000005
【図３Ａ】
2020123174.tif 000006
【図３Ｂ】
2020123174.tif 000007
【図３Ｃ】
2020123174.tif 000008
【図４】
2020123174.tif 000009
【図５】
2020123174.tif 000010
【図６】
2020123174.tif 000011
【図７】
2020123174.tif 000012
【図８Ａ】
2020123174.tif 000013
【図８Ｂ】
2020123174.tif 000014
【図８Ｃ】
2020123174.tif 000015
【図９】
2020123174.tif 000016
【図１０】
2020123174.tif 000017
【図１１】
2020123174.tif 000018
【図１２】
2020123174.tif 000019
【図１３】
2020123174.tif 000020
【図１４Ａ】
2020123174.tif 000021
【図１４Ｂ】
2020123174.tif 000022