(57)【要約】【課題】所定の装置において利用可能な推論モデルをハードウェア構成が異なる他の装置において利用可能にする。【解決手段】  学習装置は、第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成する第１推論モデル作成部と、第２装置の第２推論エンジンに関する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する第２推論モデル作成部とを具備する。【選択図】図１
2020166744.tif 000002
【特許請求の範囲】
【請求項１】
第１装置により取得された画像及び、第２装置の推論エンジンに関する情報を含む学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により、上記第２装置の推論エンジンに適応した推論モデルを作成する推論モデル作成部
を具備することを特徴とする学習装置。
【請求項２】
第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成する第１推論モデル作成部と、
第２装置の第２推論エンジンに関する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する第２推論モデル作成部と
を具備することを特徴とする学習装置。
【請求項３】
上記第２推論モデル作成部は、上記第１装置により取得された画像に基づく教師データを用いた上記第２学習依頼データに応じた学習によって、上記第２推論モデルを作成する
ことを特徴とする請求項２に記載の学習装置。
【請求項４】
上記第１装置からの上記第１学習依頼データは、上記第１装置で撮像した画像に対する所定の評価情報を含む
ことを特徴とする請求項２に記載の学習装置。
【請求項５】
上記第１推論モデル作成部は、上記第１学習依頼データに含まれる上記第１推論エンジンのハードウェア構成に応じた上記第１推論モデルを作成する
ことを特徴とする請求項２に記載の学習装置。
【請求項６】
上記第２推論モデル作成部は、上記第２学習依頼データに含まれる上記第２推論エンジンのハードウェア構成に応じた上記第２推論モデルを作成する
ことを特徴とする請求項２に記載の学習装置。
【請求項７】
上記第１推論モデル作成部は、作成した上記第１推論モデルと上記第１学習依頼データとを関連付けて記録し、
上記第２推論モデル作成部は、記録された上記第１学習依頼データ及び上記第２学習依頼データに含まれる上記第２推論エンジンのハードウェア構成に応じて上記第２推論モデルを作成する
ことを特徴とする請求項２に記載の学習装置。
【請求項８】
撮像部と、
推論エンジンと、
上記推論エンジンに用いる推論モデルの作成を依頼するためのデータであって、上記撮像部により撮像された画像のうちユーザが選択した画像及び上記推論エンジンに関する情報を含む第１学習依頼データ、又は上記推論エンジンに関する情報を含む第２学習依頼データを作成する学習依頼情報生成部と、
上記第１学習依頼データ又は第２学習依頼データを送信する通信部と
を具備することを特徴とする撮像装置。
【請求項９】
上記ユーザが選択した画像を記録する記録領域を有する記録部を更に具備し、
上記学習依頼情報生成部は、上記記録領域から読み出した画像により上記第１学習依頼データを生成する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
撮像装置と学習装置とにより構成される学習システムであって、
上記撮像装置は、
撮像部と、
推論エンジンと、
上記推論エンジンに用いる推論モデルの作成を依頼するためのデータであって、上記撮像部により撮像された画像のうちユーザが選択した画像及び上記推論エンジンに関する情報を含む第１学習依頼データ、又は上記推論エンジンに関する情報を含む第２学習依頼データを作成する学習依頼情報生成部と、
上記第１学習依頼データ又は第２学習依頼データを送信する通信部と
を具備し、
上記学習装置は、
上記第１学習依頼データ又は第２学習依頼データを受信する通信部と、
上記第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１学習依頼データに基づく推論エンジンにおいて利用可能な第１推論モデルを作成する第１推論モデル作成部と、
上記第２学習依頼データが与えられ、上記第１推論モデルを上記第２学習依頼データに基づく推論エンジンに適応させた第２推論モデルを作成する第２推論モデル作成部と
を具備する
ことを特徴とする学習システム。
【請求項１１】
上記第２推論モデル作成部は、上記第１学習依頼データに含まれる画像に基づく教師データを用い上記第２学習依頼データに応じた学習によって、上記第２推論モデルを作成する
ことを特徴とする請求項１０に記載の学習システム。
【請求項１２】
第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成する第１推論モデル作成部と、
上記第１推論モデルに関する情報を展示する展示処理部と、
第２装置の第２推論エンジンに関する情報及び上記第１推論モデルの提供を要求する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する第２推論モデル作成部と、
上記第１及び第２推論モデルをそれぞれ上記第１装置又は上記第２装置に送信する通信部と
を具備することを特徴とするＡＩ情報提供装置。
【請求項１３】
第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成し、
第２装置の第２推論エンジンに関する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する
ことを特徴とする学習方法。
【請求項１４】
上記第２推論モデルが当初の要求仕様を満たしたかどうかの情報を同時に生成して、上記第２装置に送信可能とする
ことを特徴とする請求項１３に記載の学習方法。
【請求項１５】
コンピュータに、
第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成し、
第２装置の第２推論エンジンに関する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する
手順を実行させるための学習プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用条件との整合性に留意した学習依頼装置、学習装置、推論モデル利用装置、推論モデル利用方法、推論モデル利用プログラム及び撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては、撮影時の種々の設定が自動化されたものがある。例えば、デジタルカメラ等には、ピント合わせを自動化したＡＦ機能や、露出を自動化した自動露出（ＡＥ）機能を搭載したものがある。また、撮影を連続的に行う、所謂連写機能を備えた撮影機器も普及している。
【０００３】
ところで、このような撮影機器によって取得した撮像画像に対する機械学習によって所望の推論結果を得るＡＩ（人工知能）が開発されている。機械学習は、既知の入力情報についてその特徴、時系列情報、空間情報等を学習し、学習結果に基づいて推論を行うことで、未知の事柄についての推論結果を得るものである。即ち、機械学習では、先ず特定の入力情報から、判定可能な出力結果を推論可能にするための学習済みモデルを得る。
【０００４】
高い信頼性で推論結果が得られるように、学習済みモデルの生成に際して、入力と出力との関係が既知の大量の情報が学習用データとして用いられる。例えば、深層学習においては、大量の学習用データを用いて既知の入力に対して期待される出力が得られるようにネットワークのデザイン設計が行われる。このようなプロセスで得られた学習済モデル（以下、推論モデルともいう）は、学習を行ったネットワークから独立して利用可能である。
【０００５】
特許文献１においては、汎用環境の学習用データを用いて機械学習して得た推論モデルを、特定の環境下に適応させる適応化装置が提案されている。例えば、画像に含まれる人の数を推定する汎用の推定モデルを、駅の通路等を撮像した画像から通行者の数を推定する推定システムに適応させる場合、適応化装置は、駅の通路等に設置された撮像装置により撮像された画像を用いて、汎用の推定モデルを修正する。このような適応化技術は、例えば、ドメインアダプテーション、転移学習またはノウレッジトランスファー等と呼ばれる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１８−５４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、推論モデルを利用する装置においては、推論モデルに対応したハードウェア構成を備える必要がある。従って、異なるハードウェア構成を有する装置において、推論モデルを共用することは困難であり、同様の推論結果を得ることは期待できない。なお、特許文献１の装置を用いたとしても、ハードウェア構成が異なる複数の装置において利用できる推論モデルへの変換を行うことはできない。
【０００８】
本発明は、所定の装置において利用可能な推論モデルをハードウェア構成が異なる他の装置において利用可能にすることができる学習装置、撮像装置、学習システム、ＡＩ情報提供装置、学習方法及び学習プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様による学習装置は、第１装置により取得された画像及び、第２装置の推論エンジンに関する情報を含む学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により、上記第２装置の推論エンジンに適応した推論モデルを作成する推論モデル作成部を具備する。
【００１０】
本発明の一態様による学習装置は、第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成する第１推論モデル作成部と、第２装置の第２推論エンジンに関する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する第２推論モデル作成部とを具備する。
【００１１】
本発明の一態様による撮像装置は、撮像部と、推論エンジンと、上記推論エンジンに用いる推論モデルの作成を依頼するためのデータであって、上記撮像部により撮像された画像のうちユーザが選択した画像及び上記推論エンジンに関する情報を含む第１学習依頼データ、又は上記推論エンジンに関する情報を含む第２学習依頼データを作成する学習依頼情報生成部と、上記第１学習依頼データ又は第２学習依頼データを送信する通信部とを具備する。
【００１２】
本発明の一態様による学習システムは、撮像装置と学習装置とにより構成される学習システムであって、上記撮像装置は、撮像部と、推論エンジンと、上記推論エンジンに用いる推論モデルの作成を依頼するためのデータであって、上記撮像部により撮像された画像のうちユーザが選択した画像及び上記推論エンジンに関する情報を含む第１学習依頼データ、又は上記推論エンジンに関する情報を含む第２学習依頼データを作成する学習依頼情報生成部と、上記第１学習依頼データ又は第２学習依頼データを送信する通信部とを具備し、上記学習装置は、上記第１学習依頼データ又は第２学習依頼データを受信する通信部と、上記第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１学習依頼データに基づく推論エンジンにおいて利用可能な第１推論モデルを作成する第１推論モデル作成部と、上記第２学習依頼データが与えられ、上記第１推論モデルを上記第２学習依頼データに基づく推論エンジンに適応させた第２推論モデルを作成する第２推論モデル作成部とを具備する。
【００１３】
本発明の一態様によるＡＩ情報提供装置は、第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成する第１推論モデル作成部と、上記第１推論モデルに関する情報を展示する展示処理部と、第２装置の第２推論エンジンに関する情報及び上記第１推論モデルの提供を要求する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する第２推論モデル作成部と、上記第１及び第２推論モデルをそれぞれ上記第１装置又は上記第２装置に送信する通信部とを具備する。
【００１４】
本発明の一態様による学習方法は、第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成し、第２装置の第２推論エンジンに関する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する。
【００１５】
本発明の一態様による学習プログラムは、コンピュータに、第１装置により取得された画像及び上記第１装置の第１推論エンジンに関する情報を含む第１学習依頼データが与えられ、上記画像に基づく教師データを用いた学習により上記第１装置の第１推論エンジンにおいて利用可能な第１推論モデルを作成し、第２装置の第２推論エンジンに関する情報を含む第２学習依頼データが与えられ、上記第１推論モデルを上記第２装置の第２推論エンジンに適応した第２推論モデルを作成する手順を実行させる。
【発明の効果】
【００１６】
本発明によれば、所定の装置において利用可能な推論モデルをハードウェア構成が異なる他の装置において利用可能にすることができるという効果を有する。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態に係る学習システムを示すブロック図。
【図２】表示部１４の表示画面１４ａ上に表示される学習依頼作成表示ＤＭの一例を示す説明図。
【図３】学習装置２０による学習を説明するための説明図。
【図４】学習装置２０による学習の結果得られる推論モデルを説明するための説明図。
【図５】最適なタイミングの画像として鳥が飛び立つ瞬間の画像を含む一連の画像を示す説明図。
【図６】表示部１４の表示画面１４ａ上の表示例を示す説明図。
【図７】第１装置である撮像装置１０からの学習依頼データの他の例を示す説明図。
【図８】カメラ制御を説明するためのフローチャート。
【図９】学習装置２０が提供するＡＩ情報サーバの制御を説明するためのフローチャート。
【図１０】第１装置である撮像装置１０による撮影の様子を示す説明図。
【図１１】画像の選択の様子を示す説明図。
【図１２】推論モデルの利用のための操作の様子を示す説明図。
【図１３】推論モデルを利用した検出の例を示す説明図。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１９】
図１は本発明の一実施の形態に係る学習システムを示すブロック図である。本実施の形態は機械学習による推論モデルを有効に活用する一例として、推論モデルを利用する装置として、例えばネットワーク等のハードウェアの構成が異なる複数の装置を想定する。そして、そのうちの１台の装置が教師データの元となるデータを学習装置に提供することで学習装置において推論モデルを構築すると共に、この学習装置は、他の装置のハードウェア構成に適応させた推論モデルを再構築する。こうして、例えば、あるユーザが撮像装置を用いて撮像して得た画像に基づいて作成された推論モデルを、他のユーザの他の撮像装置において利用可能にすることができる。
【００２０】
また、推論モデルを機械学習によって得る場合、推論モデル利用時のハードウェア構成等の制約条件を十分に考慮した学習のステップが重要であると同時に、この学習に必要な教師データを用意する必要がある。一般ユーザの撮影によって得られた画像を教師データに利用することで、学習装置は、教師データの元となる豊富なデータの提供を受ける可能性があり、しかもユーザが利用したいと考える様々な推論モデルの構築及び提供が可能となる。本実施の形態においては、このような一般ユーザによる学習装置に対する学習の依頼を容易にするインタフェースについても提供する。
【００２１】
なお、以下の説明では、教師データの元となる画像を学習装置に提供する装置を第１装置とする。また、この提供に基づいて学習装置が作成した推論モデルの提供を受ける他の装置を第２装置とする。
【００２２】
図１の撮像装置１０は、推論を行う推論エンジン１７を備える。撮像装置１０は、被写体を撮像して得た画像を記録する。撮像装置１０としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。
【００２３】
撮像装置１０は、撮像装置１０の各部を制御する制御部１１を備えている。制御部１１は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【００２４】
撮像装置１０の撮像部１２は、撮像素子１２ａ及び光学系１２ｂを有している。光学系１２ｂは、ズームやフォーカシングのための図示しないレンズや絞り等を備えている。光学系１２ｂは、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えている。
【００２５】
撮像素子１２ａは、ＣＣＤやＣＭＯＳセンサ等によって構成されており、光学系１２ｂによって被写体光学像が撮像素子１２ａの撮像面に導かれるようになっている。撮像素子１２ａは、被写体光学像を光電変換して被写体の撮像画像（撮像信号）を取得する。
【００２６】
制御部１１の撮像制御部１１ａは、光学系１２ｂのズーム機構、ピント機構及び絞り機構を駆動制御して、ズーム、絞り及びピントを調節することができるようになっている。撮像部１２は、撮像制御部１１ａに制御されて撮像を行い、撮像画像（動画像及び静止画像）の撮像信号を制御部１１に出力する。
【００２７】
撮像装置１０には操作部１３が設けられている。操作部１３は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部１１に出力する。制御部１１は、操作部１３からの操作信号に基づいて、各部を制御するようになっている。
【００２８】
制御部１１は、撮像部１２からの撮像画像（動画像及び静止画像）を取込む。制御部１１の画像処理部１１ｂは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
【００２９】
撮像装置１０には表示部１４が設けられており、制御部１１には、表示制御部１１ｆが設けられている。表示部１４は、例えば、ＬＣＤ（液晶表示装置）等の表示画面を有する表示器であり、表示画面は撮像装置１０の例えば筐体背面等に設けられる。表示制御部１１ｆは、画像処理部１１ｂによって信号処理された撮像画像を表示部１４に表示させるようになっている。また、表示制御部１１ｆは、撮像装置１０の各種メニュー表示や警告表示等を表示部１４に表示させることもできるようになっている。
【００３０】
なお、表示部４１の表示画面上には、図示しないタッチパネルが設けられていてもよい。操作部１３の一例であるタッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１１に供給される。これにより、制御部１１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
【００３１】
撮像装置１０には通信部１５が設けられており、制御部１１には、通信制御部１１ｅが設けられている。通信部１５は、通信制御部１１ｅに制御されて、学習装置２０及びデータベース（ＤＢ）装置３０との間で情報を送受することができるようになっている。通信部１５は、例えば、ブルートゥース（登録商標）等の近距離無線による通信及び例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部１５は、ブルートゥースやＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。通信制御部１１ｅは、通信部１５を介して、学習装置２０から推論モデルの情報（ＡＩ情報）を受信することができる。この推論モデル情報は、推論エンジン１７のネットワーク１７ａにより所望の推論モデルを構築するためのものである。
【００３２】
制御部１１には記録制御部１１ｃが設けられている。記録制御部１１ｃは、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１６に与えて記録させることができる。記録部１６は、所定の記録媒体によって構成されて、制御部１１から与えられた情報を記録すると共に、記録されている情報を制御部１１に出力することができる。また、記録部１６としては、例えばカードインターフェースを採用してもよく、この場合には記録部１６はメモリカード等の記録媒体に画像データを記録可能である。
【００３３】
記録部１６は、画像データ記録領域１６ａを有しており、記録制御部１１ｃは、画像データを画像データ記録領域１６ａに記録するようになっている。また、記録制御部１１ｃは、記録部１６に記録されている情報を読み出して再生することも可能である。
【００３４】
また、記録部１６は、仕様データ記録領域１６ｂを有しており、制御部１１は、仕様設定部１１ｇを有している。仕様設定部１１ｇは、撮像装置１０の仕様に関するデータ（仕様データ）を記録部１６の仕様データ記録領域１６ｂに記録することができるようになっている。仕様データは、推論エンジン１７を構成するネットワーク１７ａの構成や、撮像装置１０の各部の仕様等のハードウェア構成に関するデータであって、推論モデルの構築に利用するデータである。
【００３５】
記録部１６の学習依頼データ記録領域１６ｃは、推論モデルの構築に用いる教師データ等の学習依頼データを記録する領域である。制御部１１には、依頼情報生成部１１ｄが設けられている。依頼情報生成部１１ｄは、画像データ記録領域１６ａに記録する画像のうち、例えば、ユーザが指定した写りの良い画像を、写りの良い画像というアノテーションを自動的に付加して教師データに設定して学習依頼データ記録領域１６ｃに記録する。また、依頼情報生成部１１ｄは、仕様データを読み出して、学習依頼データに付加する。また、依頼情報生成部１１ｄは、その他学習に必要と考えられる各種情報をユーザ操作に基づいて作成して、学習依頼データに付加する。また、依頼情報生成部１１ｄは、学習依頼データとして、教師データと同時にあるいは教師データに代えて、撮像によって得た画像に基づくテストデータを用いるようになっていてもよい。依頼情報生成部１１ｄは、生成した学習依頼データを通信部１５を介して学習装置２０に送信するようになっている。
【００３６】
推論エンジン１７は、ネットワーク１７ａを有している。ネットワーク１７ａは、通信部１５において受信された推論モデルの情報が制御部１１から供給され、この情報に基づいて推論モデルを構築する。ネットワーク１７ａは、撮像部１２からの撮像画像が入力されて、推論結果を出力する。
【００３７】
なお、図１では、撮像装置１０により構成される第１装置又は第２装置の一方のみを示したが、第１装置と第２装置とは相互に同一の構成である。第１装置と第２装置とでは、例えば推論エンジン１７のネットワーク１７ａの構成等のハードウェア構成が異なり、仕様データ記録領域１６ｂに記録される仕様データが異なる。また、第１装置の依頼情報生成部１１ｄは、学習依頼データ記録領域１６ｃに記録されている、教師データ又はテストデータの元となる画像（以下、学習元画像という）を学習依頼データに含めて送信するのに対し、第２装置の依頼情報生成部１１ｄは、学習元画像を含まない学習依頼データを送信する。
【００３８】
図２は表示部１４の表示画面１４ａ上に表示される学習依頼作成表示ＤＭの一例を示す説明図である。図２の学習依頼作成表示ＤＭは、第１装置における依頼情報生成部１１ｄが表示制御部１１ｆに依頼することで表示されたものであり、ユーザ操作に基づいて学習依頼データを作成するためのものである。
【００３９】
図２の学習依頼作成表示ＤＭは、６個の仕様項目が含まれるが、仕様項目は適宜設定可能である。図２の例は画像中から所定の検出対象である猫を検出するための推論モデルの作成を依頼するための学習依頼データの仕様項目を示している。
【００４０】
ハードウェア情報項目は、ハードウェアの仕様、即ち推論モデルを使用する機器に関する情報を示し、機器名、ＧＰＵ（Graphic Processing Unit）の有無、推論モデル専用回路の有無、ネットワークの層数、クロック周波数及びメモリ容量等を指定するものである。この項目は、依頼情報生成部１１ｄが仕様データ記録領域１６ｂに記録された仕様データを元に生成する。図２の例では、ハードウェア情報項目には、種別がタイプＡの機器で、クロック周波数及びメモリ容量の情報が含まれる。
【００４１】
本実施の形態においては、学習依頼データにはＡＩタイトル項目が含まれる。ＡＩタイトル項目は、学習依頼データに基づいて作成された推論モデルの他の装置での利用を想定して、推論モデルの識別のためにユーザが付与するタイトルである。図２の例ではＡＩタイトルとして「ファニーキャット」が指定されている。
【００４２】
教師データ項目は、教師データの元となる画像（学習元画像）の格納フォルダを指定するものであり、テストサンプル項目は、テストデータの格納フォルダを指定するものである。図２の例では、教師データの元となる画像は「フォルダ１」、テストデータは「フォルダ２」に格納されていることが分かる。
【００４３】
図２の学習依頼作成表示ＤＭでは、「フォルダ１」に格納されている画像のサムネイル画像が表示される。図２の例では、「フォルダ１」には４枚の猫の画像が含まれ、「フォルダ２」には１枚の猫の画像が含まれている。
【００４４】
本実施の形態においては、例えばユーザが撮影して取得した画像のうち、出来映えが良いと考えた画像を「フォルダ１」に格納しておくことで、教師データの元となる画像を指定することが可能である。この場合には、ユーザは、特にアノテーションを付す必要はなく、「フォルダ１」に格納された全ての画像について例えば「出来映えが良い画像」というアノテーションが自動付与される。また、ユーザは、自分で好みのアノテーションを付加してもよい。例えば、画像中の任意の部分（猫の顔の部分など）を囲む枠を付加する操作を行うことで、撮像時に猫の顔の部分に枠が表示される推論モデルを構築することが可能である。
【００４５】
また、図２の例では、教師データの元となる画像として４枚の猫の画像が登録されている例を示したが、本実施の形態においては、学習装置２０において用いる教師データの全てを第１装置である撮像装置１０から学習装置２０に提供するようにしてもよい。また、撮像装置１０からは一部の学習元画像のみを学習装置２０に出力し、学習装置２０においてこの学習元画像を元に教師データを作成するようになっていてもよい。
【００４６】
テストデータは、推論モデルのテスト用の画像である。学習装置２０にテストデータを提供しない場合もある。また、図２では、教師データの元となる「フォルダ１」の画像を学習元画像として学習装置２０に送信する例を説明したが、「フォルダ１」の画像を省略し、「フォルダ２」のテスト用のテストデータのみを学習元画像として学習装置２０に送信するようになっていてもよい。この場合においても、学習装置２０において、テストデータを元に教師データを作成することが可能である。
【００４７】
応答時間項目は、画像入力から推論出力までの時間を指定するものである。図２の例では、０．１秒が設定されていることを示している。対象の撮像装置の構成で応答時間を満たす推論モデルを構築し、例えばシャッターチャンスを逃さない目的を持つ。
【００４８】
依頼情報生成部１１ｄは、学習依頼作成表示ＤＭに対するユーザ操作に基づいて学習依頼データを作成する。依頼情報生成部１１ｄは、通信部１５を介して学習依頼データを学習装置２０に送信することができるようになっている。
【００４９】
撮像装置１０から教師データの元となる大量の画像が学習装置２０に供給される場合には、学習装置２０は、撮像装置１０からの画像のみを教師データとして用いて推論モデルを構築することも可能である。また、学習装置２０は、撮像装置１０から推論モデルの構築に必要な十分な数の画像が得られない場合には、撮像装置１０からの学習元画像に基づいてＤＢ装置３０から、教師データとなる画像を取得する。
【００５０】
ＤＢ装置３０は、通信部３２を有しており、学習装置２０は通信部２２，２６を有している。これらの通信部２２，２６，３２は、通信部１５と同様の構成を有しており、通信部１５，２６相互間、通信部１５，３２相互間及び通信部２２，３２相互間において通信が可能である。
【００５１】
ＤＢ装置３０は、ＤＢ装置３０の各部を制御する制御部３１を有しており、学習装置２０は学習装置２０の各部を制御する制御部２１を有している。制御部２１，３１は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【００５２】
なお、学習部２０全体が、ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して学習を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【００５３】
ＤＢ装置３０は、大量の学習用データを記録した画像分類記録部３３を有している。画像分類記録部３３は、ハードディスクやメモリ媒体等の図示しない記録媒体により構成されており、複数の画像を画像中に含まれる対象物の種類毎に分類して記録する。図１の例では、画像分類記録部３３は、対象物画像群３４を記憶しており、対象物画像群３４は、対象物の種類毎に教師データ３４ａ及びテストデータ３４ｂを含む。制御部３１は、学習装置２０からの要求に従い、通信部３２を制御して、教師データ３４ａ及びテストデータ３４ｂを学習装置２０に送信する。なお、テストデータ３４ｂは教師データ３４ａに類似するデータであり、学習装置２０の学習の結果得られた推論モデルのテストに用いるものである。
【００５４】
本実施の形態においては、ＤＢ装置３０には推論モデル及びユーザデータ記録部３１ａが設けられている。学習装置２０は、撮像装置１０からの画像を含む学習依頼データをＤＢ装置３０に送信して記録させる。制御部３１は、学習装置２０から学習元画像を含む学習依頼データが与えられると、これらのデータを推論モデル及びユーザデータ記録部３５に記録するようになっている。また、推論モデル及びユーザデータ記録部３５には、学習装置２０において生成された推論モデルも記録される。制御部３１は、学習装置２０からの推論モデルに、ユーザが指定したＡＩタイトルを付加すると共に、学習依頼データを関連付けて記録するようになっている。
【００５５】
学習部２０の母集合作成部２４は、撮像装置１０からの学習元画像やＤＢ装置３０から送信された教師データを教師データ記録部２３に記録する。母集合作成部２４は、入力データ設定部２４ａ及び出力項目設定部２４ｂを有している。入力データ設定部２４ａは学習に用いる入力データを設定し、出力項目設定部２４ｂは推論の結果得られるべき出力を設定する。入力データ設定部２４ａ及び出力項目設定部２４ｂの設定は、撮像装置１０から受信した学習依頼データに基づいて行われる。
【００５６】
入出力モデル化部２５は、大量の教師データにより期待される出力が得られるように、ネットワークデザインを決定し、その設定情報である推論モデル情報を生成する。入出力モデル化部２５には仕様照合部２５ａが設けられている。仕様照合部２５ａは、学習依頼データを記憶する図示しないメモリを有しており、入出力モデル化部２５により求められた推論モデルが学習依頼データに対応するものとなっているか否かを判定する。入出力モデル化部２５は、推論モデルが学習依頼データに対応するものとなるまで、ネットワークデザインの構築を行う。
【００５７】
図３は学習装置２０による学習を説明するための説明図である。図４は学習装置２０による学習の結果得られる推論モデルを説明するための説明図である。
【００５８】
図３に示すように、入出力モデル化部２５により、所定のネットワークＮ１には入力及び出力に対応する大量の画像が教師データとして与えられる。図３の例では、教師データとして、各種猫の画像が入力される。この場合の猫の画像には、例えば顔部分を破線枠で囲むようにアノテーションが設定されていてもよい。
【００５９】
大量の教師データによる学習を行うことで、ネットワークＮ１は、入力に対応する出力が得られるように、ネットワークデザインが決定される。即ち、図３の例では、猫の画像が入力されると、撮像タイミングになったことを示す「チャンス情報」を表示したり、猫の顔の画像部分を囲む位置に破線枠（強調枠表示）を表示したりするための情報が信頼度の情報と共に得られる。また、「チャンス情報」の出力をきっかけに撮影処理を行ってもよい。即ち、図３の例では、猫の画像（特に顔部）を検出する推論モデルが構築される。
【００６０】
例えば、図３の推論モデルをネットワーク１７ａに設定した場合、撮像装置１０の撮像部１２によって図４に示す画像Ｐ１が撮像されると、ネットワーク１７ａは、画像Ｐ１中に猫の画像部分を検出し、猫の顔部分に強調枠表示Ｐ２ａを付加した画像Ｐ２を出力する。この画像Ｐ２が表示部１４において表示されることで、例えば、ユーザは猫の撮影に適したタイミングがなったことを認識することが可能である。
【００６１】
なお、図３及び図４は猫の画像部分（特に顔部）の検出を行う推論モデルを構築する例を説明したが、撮像装置１０から提供される学習元画像には、撮影時に取得された各種パラメータ、例えば、撮影日時、絞り、ズーム倍率、焦点距離、明るさナンバー、アスペクト比、露出、絞り、ＩＳＯ感度、ホワイトバランス、シャッタ速度、測光及びフォーカス制御等の各パラメータや、ＨＤＲや深度合成等のモードに関するパラメータ等の情報を含んでおり、対象物の検出と同時に、これらのパラメータを撮像装置１０の各部に設定するものであってもよい。この場合には、ユーザは、猫に視野範囲に含めるだけで、猫の撮影に最適な設定を得ることができ、設定を自動化することも可能であり、更に、撮影を自動化することも可能である。
【００６２】
なお、深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。
【００６３】
機械学習に採用するネットワークＮ１としては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ−ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いてもよい。これは、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。
【００６４】
これらの技術の実現のためには、ＣＰＵやＦＰＧＡといったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵやTensor Processing Unit（TPU）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【００６５】
また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、今回の実施例では、画像の判定を、機械学習により導出する手法を採用したが、そのほか、特定の判断を人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を応用して用いてもよい。
【００６６】
本実施の形態においては、制御部２１は、入出力モデル化部２５において作成された推論モデルの情報（ＡＩ情報）を通信部１５を介して撮像装置１０に送信するようになっている。また、制御部２１は、生成した推論モデルをＤＢ装置３０に与えて記録させる。上述したように、この推論モデルは撮像装置１０からの学習依頼データが関連付けられて、推論モデル及びユーザデータ記録部３５に記録される。なお、学習装置２０が撮像装置１０から提供された学習元画像を用いて作成した推論モデルを基本推論モデルというものとする。
【００６７】
本実施の形態においては、ＡＩ情報提供装置としての学習装置２０には展示処理部２７が設けられている。展示処理部２７は、生成した推論モデルに関する情報を展示するための展示情報を生成する。展示処理部２７は、生成した展示情報を通信部２２を介して図示しないインターネット等のネットワーク上の公開サーバに送信する。これにより、ネットワーク上の公開サーバによって、生成された推論モデルに関する情報がサイト上に展示される。なお、この場合には、推論モデルはユーザが付加したＡＩタイトルによって識別される。
【００６８】
本実施の形態においては、学習装置２０は、上述した公開サーバを介して又は第２装置である撮像装置１０からの直接の要求によって、既に生成されている基本推論モデルの提供の依頼を受けることができる。例えば、第２装置である撮像装置１０は、依頼情報生成部１１ｄによって生成された学習依頼データを学習装置２０に送信することで、基本推論モデルの提供を要求する。この場合の学習依頼データとしては、図２に示す学習依頼作成表示ＤＭによって示されるデータと同様のデータであって、学習元画像を有していないデータを採用してもよい。ＡＩタイトルとしては、既存の基本推論モデルに付されたＡＩタイトルが指定される。
【００６９】
本実施の形態においては、学習装置２０の制御部２１は、第２装置からの学習依頼データを受信すると、当該学習依頼データをＤＢ装置３０に与えて推論モデル及びユーザデータ記録部３５に記憶させると共に、推論モデル及びユーザデータ記録部３５に記憶されている推論データをＡＩタイトルによって特定し、特定した推論データに関連付けて記録されている学習依頼データを読み出す。制御部２１は、第２装置からの学習依頼データと推論モデル及びユーザデータ記録部３５から読み出した第１装置による学習依頼データとを比較し、ハードウェア構成等が一致しているか否かを判定する。両者のハードウェア構成等が一致している場合には、既に作成されている第１装置用の基本推論モデルを第２装置においても有効に利用することが可能であるので、制御部２１は、学習依頼データによって指定されている基本推論モデルを推論モデル及びユーザデータ記録部３５から読み出して、通信部２６を介して第２装置の撮像装置１０に送信する。
【００７０】
なお、制御部２１は、基本推論モデルを利用可能であるか否かの判定を、ハードウェア構成のみに基づいて行ってもよく、また、ハードウェア構成と正解率、信頼性、応答時間等の情報に基づいて行ってもよい。
【００７１】
制御部２１は、両者のハードウェア構成等が不一致の場合には、既に作成されている第１装置用の基本推論モデルは第２装置において有効に利用することができないものと判定して、読み出した学習依頼データに含まれる学習元画像を用いた学習により、推論モデルを再構築する。即ち、制御部２１は、基本推論モデル作成時と同様の処理により、第２装置のハードウェア構成等に合わせて、読み出した学習依頼データの学習元画像に基づいて教師データを作成し、入力データの設定及び出力の設定を行った後、入出力モデル化部２５において学習を行う。
【００７２】
なお、この場合には、仕様照合部２５ａは、第２装置からの学習依頼データをメモリに記憶し、入出力モデル化部２５により求められた推論モデル情報が第２装置からの学習依頼データに対応するものとなっているか否かを判定する。入出力モデル化部２５は、推論モデル情報が学習依頼データに対応するものとなるまで、ネットワークデザインの構築を行う。制御部２１は、こうして生成された推論モデル（以下、適応推論モデルともいう）の情報（ＡＩ情報）を通信部２６を介して第２装置である撮像装置１０に送信する。なお、制御部２１は、必要に応じて、適応推論モデル及び対応する学習依頼データを、推論モデル及びユーザデータ記録部３５に与えて記録するようになっていてもよい。
【００７３】
（学習依頼データの他の例）
図５から図７は第１装置である撮像装置１０からの学習依頼データの他の例を示す説明図である。上記図２の例では、画像中の対象物を検出する場合の学習依頼データについて説明した。これに対し、図５から図７の例は、一連の画像中において、最適なタイミングの画像を取得することを可能にする推論モデルの学習を要求するためのものである。また、この例では、教師データの元となる画像については提供せず、テストデータのみを学習元画像として提供する例を示している。
【００７４】
図５は最適なタイミングの画像として鳥が飛び立つ瞬間の画像を含む一連の画像を示している。例えば、第１装置である撮像装置１０によって飛び立とうとしている鳥を撮影するものとする。対象物である鳥が視野範囲に入るように撮像装置１０を構える。表示部１４の表示画面１４ａには鳥の画像４１を含むライブビュー画像が表示される。操作部１３を構成するシャッタボタンを操作することで、鳥の撮影が可能である。
【００７５】
いま、撮像装置１０は、鳥が飛び立つまでの一連の様子を撮像するものとする。例えば、撮像装置１０が連写機能を有している場合には連写機能を用いて、鳥が止まっている状態から飛び立つまでの一連の様子を所定の時間間隔で撮像して一連の画像として取得することができる。また、撮像装置１０が動画の撮像機能を有している場合には、鳥が止まっている状態から飛び立つまでの一連の様子を動画撮影した動画像を取得してもよい。また、撮像装置１０のシャッタボタンを所定の時間間隔で操作することで、鳥が止まっている状態から飛び立つまでの一連の様子を所定の時間間隔で撮像して離散的に静止画像を取得してもよい。また、撮像装置１０がシャッタボタンの操作前の所定タイミング以降の画像を自動記録する機能（キャプチャ機能）を有する場合には、このキャプチャ機能を利用することで図５の一連の画像Ｐ１１〜Ｐ１５を撮像してもよい。
【００７６】
図５の例は、このキャプチャ機能を利用して得たものであってもよい。例えば、画像Ｐ１１〜Ｐ１３のタイミングにおいて撮影者は確認を行い、画像Ｐ１４のタイミングを狙って撮影しようとした結果、画像Ｐ１５において撮影が行われた場合の例である。
【００７７】
いま、ユーザが最も撮影したい画像が、鳥が正に飛び立とうとしている瞬間の画像を含む画像Ｐ１４であるものとする。キャプチャ機能を利用することで、画像Ｐ１４を撮影結果の画像として記録部１６に記録することができる。制御部１１は、キャプチャ機能によって取得した一連の画像を表示部１４の表示画面１４ａ上に表示する。
【００７８】
図６はこの場合の表示例を示す説明図であり、シャッタボタンの操作の所定時間からシャッタボタンの操作までの期間の一連の画像群４５が表示される。ユーザは所望の画像を指定することで、撮影結果としてユーザが指定した画像を記録することができる。図６の例では、太枠によって、ユーザが画像４５ａを選択したことを示している。
【００７９】
本実施の形態においては、これらの画像群４５及びユーザによる選択操作の情報を学習依頼データに含めることで、鳥が飛び立つ瞬間の画像タイミングでの撮影を可能にする推論モデルの構築が可能である。
【００８０】
図７はこの場合の学習依頼データの作成のための学習依頼作成表示ＤＭの一例を示している。
【００８１】
図７の例は一連の画像中から所望のタイミングの画像を検出するための推論モデルを作成するための学習依頼データの仕様項目を示している。図７においては、教師データは省略されており、テストデータのみが登録されている。このテストデータは、一連の画像から鳥が飛び立つ瞬間の画像を抽出するためのものであり、太枠はその抽出タイミングを示している。
【００８２】
依頼情報生成部１１ｄは、学習依頼作成表示ＤＭに対するユーザ操作に基づいて学習依頼データを作成する。図７の例では、学習依頼データには、テストデータが含まれており、依頼情報生成部１１ｄは、通信部１５を介して学習依頼データを学習装置２０に送信する。
【００８３】
第１装置のユーザは、学習元画像を、適応推論モデルの作成時に利用してもよいか否かを学習装置２０に示すことができる。利用可能とする場合には、利用の対価として課金を希望するようになっていてもよく、図７の例では、テストデータの提供に際して課金を希望することを示す表示が行われている。
【００８４】
学習装置２０は、受信した学習依頼データに含まれるテストデータに基づく教師データをＤＢ装置３０から取得する。図５に示すように、鳥は、飛び立つ前の所定時間に、曲げていた足を伸ばし、翼を広げようとする予備動作を行うことがある。例えば、種類が異なる鳥の場合、サイズが異なる鳥の場合、或いは、獲物を狙っているか否か等に応じて、予備動作の仕方は多少異なるものと考えられるが、鳥の飛び立ちに関する膨大な画像について学習を行えば、飛び立つ前の様子から飛び立つ瞬間の時間を予測することが可能であると考えられる。
【００８５】
学習装置２０は、作成した基本推論モデルを第１装置である撮像装置１０に送信する。また、第２装置から適応推論モデルの提供の依頼があった場合には、テストデータに基づく教師データを用いて、第２装置に関する情報に基づいて学習を行い、適応推論モデルを作成する。
【００８６】
次に、このように構成された実施の形態の動作について図８から図１３を参照して説明する。図８はカメラ制御を説明するためのフローチャートであり、図９は学習装置２０が提供するＡＩ情報サーバの制御を説明するためのフローチャートである。図１０は第１装置である撮像装置１０による撮影の様子を示す説明図である。図１１は画像の選択の様子を示す説明図である。図１２は推論モデルの利用のための操作の様子を示す説明図である。図１３は推論モデルを利用した検出の例を示す説明図である。
【００８７】
いま、ユーザ４１が図１０に示す撮影を行うものとする。図１０の例では、被写体はブロック塀５５の上にいる猫５６である。ユーザ５１は、右手５２の人差し指５３でレリーズスイッチ１３ａを押下することで撮影を行う。例えば、ユーザ５１は、猫５６を複数回撮影するものとする。図１１はこの場合においてユーザが写りが良いと考える画像を選択するための表示を示している。図１１の例では、猫５６を被写体とする４枚の撮像画像を含む選択表示６１が表示画面１４ａ上に表示されている。ユーザ５１は、写りが良いと考える撮像画像が存在する場合には、その撮像画像を選択する。ユーザ５１は、例えば、指６３によって選択する撮像画像の表示上をタッチする。図１１では、太枠で囲むことにより、ユーザ５１が撮像画像６２を選択したことを示している。なお、選択された撮像画像６２は、学習依頼データ記録領域１６ｃ中の図２の学習依頼作成表示ＤＭにおける教師データを格納する「フォルダ１」に移動又はコピーされる。
【００８８】
図１１の例では４枚の撮像画像から１枚の撮像画像を選択する例を説明したが、実際にはユーザ５１は、色々な場面で多くの猫の写真を撮影している。撮像画像６２のように、構図や、ピントや、色合いや、明るさ等の様々な観点から写りが良い撮像画像の撮影は比較的容易ではないと考えられる。そこで、ユーザは、猫の撮影に際して、撮像画像６２と同様に写りの良い画像の撮影を容易にするために、撮像画像６２のような撮像画像を得るための推論モデルの作成を依頼する。
【００８９】
図８のステップＳ１において、撮像装置１０の制御部１１は、撮影モードが指定されているか否かを判定する。撮影モードが指定されていない場合には、制御部１１は、ステップＳ２１において推論モデルの依頼モードであるか否かを判定する。ユーザ５１が推論モデル依頼モードを指定すると、制御部１１の学習依頼情報生成部１１ｄは、表示画面１４ａに学習依頼作成表示ＤＭを表示して、ユーザ操作を受け付ける（ステップＳ２２）。例えば、図２の学習依頼作成表示ＤＭの例では、ユーザが選択した撮像画像６２が「フォルダ１」に格納される。
【００９０】
学習依頼情報生成部１１ｄは、ステップＳ２３において設定が終了したか否かを判定する。ユーザ５１は、設定が終了すると、学習依頼作成表示ＤＭに対応する学習依頼データの送信操作を行う。これにより、学習依頼情報生成部１１ｄは、生成した学習依頼データを学習装置２０に送信する。なお、この学習依頼データには、仕様データ記録領域１６ｂに記録された仕様データに基づく撮像装置１０のハードウェア構成に関する情報及び学習元画像が含まれる。
【００９１】
なお、図８のフローチャートは第１装置及び第２装置のいずれにも適用可能であり、第２装置ついては、ステップＳ２４において送信する学習依頼データには、学習元画像は含まれない。
【００９２】
また、学習依頼データの送信は、学習装置２０が提供するＡＩ情報提供サーバを利用してもよい。図９は学習装置２０が提供するこのＡＩ情報提供サーバの制御を示しており、制御部２１が展示処理部２７と協働して処理を行うことで実現するものである。
【００９３】
展示処理部２７は、ステップＳ３１においてアクセスの待機状態である。アクセスが発生すると、展示処理部２７は、ステップＳ３２においてトップ画面を表示する。なお、このトップ画面は、撮像装置１０の表示部１４の表示画面１４ａ上において表示可能である。
【００９４】
また、撮像装置１０は、図示しないタブレット端末に接続可能であり、このタブレット端末によって撮像装置１０の操作等を含むユーザインタフェースが提供可能である。展示処理部２７によるトップ画面は、このようなタブレット端末等のディスプレイ上のブラウザ画面にも表示可能である。
【００９５】
図９の例では、トップ画面には、画像投稿モード、画像観賞モード、展示ＡＩ依頼モード及び学習依頼モードの４つのモードのいずれかを選択する選択表示が表示される。ユーザ５１は学習依頼データを送信するために、学習依頼モードを選択する。展示処理部２７は、ステップＳ３３，Ｓ３５，Ｓ３８，Ｓ５１において、それぞれ画像投稿モード、画像観賞モード、展示ＡＩ依頼モード及び学習依頼モードのいずれのモードが指定されたかを判定している。学習依頼モードが指定されると、展示処理部２７は、処理をステップＳ５２に移行して、学習依頼データを受信し、要求された仕様（ハードウェア構成）や課金条件等を取得する。
【００９６】
図７の学習依頼作成表示ＤＭに示すように、ユーザは学習元画像についての他者の利用を許可してもよく、他者の利用に際して課金する条件を指定してもよい。なお、学習装置２０に送信する学習依頼データの他者の利用を許可する場合には、学習装置２０が学習元画像についてＤＢ装置３０に記録するようになっていてもよい。また、第２装置からの学習依頼の場合には、課金条件は存在しない。第２装置のユーザは学習結果の受信について対価を支払う必要がある場合がある。
【００９７】
展示処理部２７は、ステップＳ５３において、学習依頼データに基づいて、第１装置からの依頼（教師データ付きの依頼）であるか、第２装置からの依頼であるかを判定する。第１装置からの依頼の場合には、制御部２１は、学習依頼データに含まれる学習元画像を取得する（ステップＳ５４）。制御部２１は、必要に応じてＤＢ装置３０を参照して、教師データを追加する。なお、第１装置のユーザ５１によって学習依頼データの利用が許可されている場合には、制御部２１は、学習依頼データをＤＢ装置３０に与えて推論モデル及びユーザデータ記録部３５に記録させる。また、第２装置からの依頼の場合には、制御部２１は、ＤＢ装置３０を参照して、第１装置において提供された画像を元に、第２装置の仕様及び必要性に応じて、教師データを作成する（ステップＳ５５）。
【００９８】
制御部２１は、ステップＳ５５において、母集合作成部２４及び入出力モデル化部２５により、作成した教師データを用いて推論モデルを作成する。仕様照合部２５ａは、ステップＳ５６において、作成された推論モデルが学習依頼データに応じた要求仕様を満足しているか否かの確認を行う。完全に満足する必要はかならずしもなく、要求を満たさない事を情報として添付して送るようにしてもよい。満足していない場合には、制御部２１は、ステップＳ５７において、教師データの再設定等を行って処理をステップＳ５５に戻す。仕様確認の結果が良好な場合には、制御部２１は、作成した推論モデルをＤＢ装置３０に与えて基本推論モデルとして推論モデル及びユーザデータ記録部３５に記録させる（ステップＳ５８）。なお、記録する基本推論モデルには、ＡＩタイトルが付加され、学習依頼データが関連付けられる。また、展示処理部２７は、推論モデルが作成されたことを示す表示を、ブラウザ画面上に表示する。ここで、確認用に推論モデルの性能の限界（想定する仕様シーンを教師データから推測して表示するとか、推論エンジンの差異なども含み）の情報などを表示（学習装置自身に表示してもよいし、依頼元に表示できるように制御してもよい）させるような工夫があってもよい。高速で推論が出来ないような推論モデルであれば、高速移動の対象物には使わないで欲しいというニュアンスのアドバイスができる。
【００９９】
制御部２１は、作成された推論モデルを通信部２６，１５を介して撮像装置１０の制御部１１に出力するが、ここで仕様情報や性能情報や限界情報などを一緒に送信して、ユーザが誤った使い方をしないような工夫もできる（ステップＳ５９）。撮像装置１０の制御部１１は、ステップＳ２６において推論モデルを受信したか否かを判定しており、受信された推論モデルを取得して（ステップＳ２７）、推論エンジン１７に設定する。こうして、推論エンジン１７のネットワーク１７ａによって、要求した推論モデルが構築される。
【０１００】
次に、第２装置のユーザにおいて、推論モデルの利用が検討されるものとする。第２装置の制御部１１は、ステップＳ２１〜Ｓ２３において、学習依頼データを作成する。第２装置のユーザ７１は、図１２に示すように、端末７３を指７２で操作することによって、ＡＩ情報提供サーバである外部サーバ７５にアクセスする。端末７３は、第２装置である撮像装置１０であってもよく、撮像装置１０の操作等のユーザインタフェースを提供する装置であってもよく、撮像装置１０とは独立した装置であってもよい。例えば、端末７３としては、スマートフォンやタブレット端末等を採用してもよい。外部サーバ７５は、学習装置２０により提供されるＡＩ情報提供サーバである。
【０１０１】
展示処理部２７は、図９のステップＳ３２においてトップ画面を表示する。ユーザ７１は、端末７３を操作して、展示ＡＩ依頼モードを選択する。展示処理部２７は、ステップＳ３８において、展示ＡＩ依頼モードが選択されたものを判定すると、例えば、図１２に示す展示ＡＩ依頼画面７６を、端末７３の表示画面上に表示させる。
【０１０２】
図１２の展示ＡＩ依頼画面７６は、新たに作成された新着ＡＩを表示していることを示す表示７７ａ、新たに作成された推論モデルに付されたＡＩタイトルが、「ファニーキャット」であることを示す表示７７ｂ及び「鳥の飛び立ち」であることを示す表示７７ｃ、星印の数によってユーザ評価（上位）を示す表示７７ｄを含む。ここで、ユーザ７１が、表示７７ｂを選択するものとする。この選択によって、ＡＩタイトルが「ファニーキャット」の推論モデルの要求が学習装置２０の展示処理部２７に送信される。また、この選択によって、第２装置である撮像装置１０の学習依頼情報生成部１１ｄは、作成した学習依頼データを学習装置２０に送信する。
【０１０３】
展示処理部２７は、ステップＳ３９において、受信した学習依頼データに基づいて、第２装置のハードウェア構成等の仕様設定、課金等の条件を判定する。展示処理部２７は仕様を満足する推論モデルが存在するか否かを判定する（ステップＳ４０）。例えば、第１装置の撮像装置１０と第２装置の撮像装置１０とが同一タイプの機器である場合には、ハードウェア構成、特に推論エンジン１７の構成が同一である。この場合には、第２装置において第１装置用に作成された推論モデルをそのまま利用可能であるので、制御部２１は、利用機器（第２装置）に、指定された推論モデルの情報（ＡＩ情報）を送信する。
【０１０４】
本実施の形態においては、第２装置のハードウェア構成と第１装置のハードウェア構成とが相違し、第１装置用に作成した推論モデルを第２装置においてそのまま利用することができない場合には、制御部２１は、処理をステップＳ４０からステップＳ５１に移行して、基本推論モデル作成時と同様の処理を行う。この場合には、基本推論モデル作成時に用いた学習元画像は、既に推論モデル及びユーザデータ記録部３５に記録されているので、制御部２１は、推論モデル及びユーザデータ記録部３５から読み出した画像を元に、ステップＳ５５において教師データを作成する。他の処理は基本推論モデル作成時と同様である。こうして、ステップＳ５５において、基本推論モデルを第２装置のハードウェア構成に応じて適応した推論モデル（適応推論モデル）が生成される。この適応推論モデルが、ステップＳ５９において、第２装置の撮像装置１０に送信される。
【０１０５】
なお、例えば、第１装置が上位機種で、第２装置が下位機種で合った場合には、ハードウェアの制限から、適応推論モデルは、第２機種において必要な仕様を満足しない場合等が考えられる。例えば、応答時間の要求を満足しない場合も考えられる。そこで、このような場合には、推論モデルの信頼性に関する情報を付加したＡＩ情報を第２装置に送信するようになっていてもよい。これに応じて、第２装置は、推論モデルの利用時に応答性等の制限に関するコメントを表示するようにしてもよい。
【０１０６】
第２装置の撮像装置１０は、ステップＳ２７において、基本推論モデル又は適応推論モデルを取得して推論エンジン１７を設定する。こうして、ネットワーク１７ａにより基本推論モデル又は適応推論モデルが構築される。この時、要求仕様をすべて満たすモデルが得られるとは限らず、スピードや精度など性能が不十分である場合は、当初の要求が満たせなかったという情報を同時に受け取ってもよい。このように第２の装置用の第２推論モデルが当初の要求仕様を満たしたかどうかの情報を同時に生成して、上記第２装置に送信可能とすることによって、ユーザに使う時の注意点にしてもらうことが出来る。
【０１０７】
次に、適応推論モデルの利用時の動作について説明する。
【０１０８】
いま、第２装置の撮像装置１０に設定された適応推論モデルが、第１装置による図１１の撮像画像６２又はこれに類似する画像を教師データとして作成された基本推論モデルに基づいて作成されたものであるものとする。この場合において、ユーザ７１が、第２装置である撮像装置１０を用いて、被写体である猫を撮影するものとする。なお、以下の説明は、基本推論モデルが設定された第１装置の撮像装置１０における動作と同様である。
【０１０９】
図８のステップＳ１において、制御部１１は、撮影モードが指定されているものと判定すると、ステップＳ２において、撮像画像を取り込む（画像入力）。撮像部１２からの撮像画像は制御部１１に与えられると共に、推論エンジン１７にも与えられる。表示制御部１１ｆは、撮像部１２からの撮像画像を表示部１４に与えてライブビュー画像を表示させる。ユーザ７１は、撮影操作を行う前に、構図等の設定のために、撮像装置１０を把持して、表示部１４の表示画面１４ａ上のライブビュー画像を見ながら、被写体を視野範囲に捉えた状態を維持する。
【０１１０】
図１３はこの場合に表示画面１４ａ上に表示されるライブビュー画像を示している。即ち、図１３の例は、ユーザ７１がブロック塀上の猫の撮影を試みる状態において、時間の経過と共に順次撮像されてライブビュー表示される画像のうちの画像Ｐ２１〜Ｐ２５を示している。画像Ｐ２１は、比較的広い範囲を撮像して得られたものであり、ブロック塀の画像Ｐ２１ａ及びブロック塀上の猫の画像Ｐ２１ｂを含む。ユーザ７１は、視野範囲内に主に猫のみが撮影されるように、ズーム操作を行うものとする。画像Ｐ２２以降の画像はこの状態でのライブビュー画像を示している。
【０１１１】
推論エンジン１７は、ライブビュー画像中に推論対象が存在するか否か、その推論対象の推論が可能であるか否かを判定し、判定結果を制御部１１に出力する（ステップＳ３，Ｓ４）。推論が可能である場合には、ステップＳ５において、制御部１１の表示制御部１１ｆは、推論エンジン１７を動作させて猫の画像の検出を行っていることを示す「ＡＩ推論」の発動表示Ｐ２２ａを表示画面１４ａ上に表示させる。なお、画像Ｐ２２は左隅に猫の画像Ｐ２２ｂを含む。ここで、後述のＳ２７で得ることとなる推論モデルの性能の限界の情報などを表示してもよい。高速で推論が出来ないような推論モデルであれば、高速移動の対象物には使わないでおくといった工夫ができるようにする。
【０１１２】
推論エンジン１７は、推論を行い、推論結果を信頼性の情報と共に制御部１１に出力する。制御部１１は、推論エンジン１７から所定の閾値よりも高い信頼性の推論結果が与えられるか否かを判定する（ステップＳ６）。所定の閾値よりも高い信頼性の推論結果が得られない場合には、処理をステップＳ８に移行し、所定の閾値よりも高い信頼性の推論結果が得られた場合には、処理をステップＳ９に移行して推論結果を表示する。
【０１１３】
画像Ｐ２３は、猫の画像Ｐ２３ｂが画像Ｐ２３の中央に位置する。また、画像Ｐ２４も、猫の画像Ｐ２４ｂが画像Ｐ２４の中央に位置する。推論エンジン１７は、猫の画像部分のサイズや画像中の位置や、全体の構図等により、シャッタチャンスが近づいているものと判定し、そのことを示す情報を制御部１１に出力する。制御部１１は、この情報を受信すると、表示制御部１１ｆによって、シャッタチャンスが近づいていることを示す「注意」の文字による注意表示Ｐ２３ａ，Ｐ２３ｂを表示する。
【０１１４】
画像Ｐ２５は中央に猫の画像Ｐ２５ｂを含む。猫の画像Ｐ２５ｂは、猫が撮像装置１０側を向いて、猫の顔を正面から撮像したものである。推論エンジン１７は、このときの猫の画像は、図１１の撮像画像６２に類似していると判定し、信頼性の情報と共に、推論結果であるシャッタチャンスであることを示す情報を制御部１１に出力する（ステップＳ７）。これにより、制御部１１は「チャンス」の文字により、シャッタチャンスであることを示す表示Ｐ２５ａを表示画面１４ａ上に表示させる。
【０１１５】
こうして、ユーザ７１は、第１装置の撮像によって得られた基本推論モデルを第２装置用に適応した適応推論モデルを用いて、第１装置のユーザが撮影して得た写りのよい画像に類似した画像を得るシャッタチャンスを容易に認識することが可能である。なお、第１装置において、基本推論モデルを用いた撮影時においても、上記説明と同様の動作が行われる。
【０１１６】
制御部１１は、ステップＳ８において、動画撮影操作又は静止画撮影操作が行われたか否かを判定する。これらの操作が行われた場合には、撮影や記録を行う（ステップＳ９）。なお、動画撮影時には、動画撮影の終了操作によって、撮像画像がファイル化される。撮影操作が行われていない場合には、制御部１１は処理をステップＳ１に戻す。
【０１１７】
制御部１１は、ステップＳ１０において、ユーザが撮像画像を教師データに反映させる操作を行ったか否かを判定する。この操作が行われた場合には、制御部１１は、撮像画像を画像データ記録領域１６ａから学習依頼データ記録領域１６ｃ中の「フォルダ１」内に移動又はコピーする。
【０１１８】
なお、図１３では、推論結果としてシャッタチャンスになったことを示す表示を行う例を説明したが、推論結果として、撮影パラメータ等を制御部１１に与えて、撮像制御部１１ａによる推論結果に基づく撮影パラメータを与えて自動的に撮影を行うことも可能である。この場合には、ユーザは被写体を視野範囲に捉えた状態で構えるだけで、基本推論モデル又は適応推論モデルによる推論に従って、写りの良い画像を自動的に撮影して記録することが可能である。
【０１１９】
なお、ユーザ７１が操作する端末７３のブラウザ画面において、画像投稿モードが指定されると、展示処理部２７は、図９のステップＳ３３から処理をステップＳ３４に移行して、端末７３から送信された画像を受信して整理し、記録を行う。また、ブラウザ画面において、画像観賞モードが指定されると、展示処理部２７は、ステップＳ３５から処理をステップＳ３６に移行して、端末７３から送信されたキーワード等に基づく画像（関連画像）をブラウザ画面上に表示させる。また、展示処理部２７は、ステップＳ３７において、人気投票画面を表示する。この人気投票画面によって選択された画像には、選択数順に順位が与えられ、順位に応じた表示を行うこともできる。また、人気投票画面によって選択された画像が推論モデルを用いて生成された画像である場合には、使用された推論モデルについての順位が付与され、順位に応じて図１２の表示７７ｄが行われる。
【０１２０】
このように本実施の形態においては、第１装置が教師データやテストデータの元となる学習元画像を学習装置に提供することで学習装置において基本推論モデルを作成し、作成した基本推論モデルを第１装置に提供する。更に、学習装置は、ＡＩ情報提供装置として機能し、第２装置から基本推論モデルの提供を依頼されると、第１装置が提供した学習元画像を利用して、基本推論モデルを第２装置のハードウェア構成等に応じて適応した適応推論モデルを作成して第２装置に提供する。こうして、例えば、あるユーザが撮像装置を用いて撮像して得た画像に基づいて作成された推論モデルを、他のユーザの他の撮像装置において利用可能にすることができる。また、推論モデルの提供を依頼するための学習依頼データは、学習依頼作成表示を利用して容易に作成することが可能である。また、第１装置は、教師データの元となる画像に意図的にアノテーションを付加する必要はなく、写りの良いと思われる画像を所定のフォルダに記録することで、教師データの元となる画像を学習装置に送信することができ、簡単な操作により推論モデルの提供のための依頼を行うことができる。
【０１２１】
例えば、昆虫の撮影では、深度合成を行うなど、写りのよい画像を得るための撮影の設定は比較的煩雑である。しかし、第１装置からの学習装置に提供される画像には、これらの撮影の設定情報も含めることも可能であり、第２装置のユーザは、適応推論モデルを利用することで、煩雑な設定操作を行うことなく、比較的容易に写りのよい昆虫の撮像画像を取得することができる。
【０１２２】
また、上記説明では、第１装置から学習装置に提供される学習元画像についてはＤＢ装置に記録するものとして説明したが、この記録を行うことなく、適応推論モデルの作成時に第１装置から再度受信するようにしてもよい。
【０１２３】
上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
【０１２４】
更に、撮像のための機器としては、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。例えば、医療分野に適用した場合には、専門家にしか発見できない特徴ある細胞の画像等を素人によって検出することも可能である。例えば、専門家によって撮像されたＩＰＳ細胞やがん細胞等を教師データの元となる画像として学習装置に送信することで、ＩＰＳ細胞やがん細胞等を容易に検出できる基本推論モデルの構築が可能であり、更に、この基本推論モデルから適応推論モデルを作成することで、専門家以外の素人が操作する第２装置においても、ＩＰＳ細胞やがん細胞等を簡単に検出することが可能となる。
【０１２５】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１２６】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【０１２７】
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１２８】
なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。
【符号の説明】
【０１２９】
１０…撮像装置、１１…制御部、１１ａ…撮像制御部、１１ｂ…画像処理部、１１ｃ…記録制御部、１１ｄ…学習依頼情報生成部、１１ｅ…通信制御部、１１ｆ…表示制御部、１１ｇ…仕様設定部、１２…撮像部、１２ａ…撮像素子、１２ｂ…光学系、１３…操作部、１４…表示部、１４ａ…表示画面、１５，２２，２６，３２…通信部、１６…記録部、１６ａ…画像データ記録領域、１６ｂ…仕様データ記録領域、１６ｃ…学習依頼データ記録領域、１７…推論エンジン、１７ａ…ネットワーク、２０…学習装置、２１…制御部、２３…教師データ記録部、２４…母集合作成部、２４ａ…入力データ設定部、２４ｂ…出力項目設定部、２５…入出力モデル化部、２５ａ…仕様照合部、２７…展示処理部、３０…ＤＢ装置、３１…制御部、３３…画像分類記録部、３４…対象物画像群、３４ａ…教師データ、３４ｂ…テストデータ、３５…推論モデル及びユーザデータ記録部。
【図１】
2020166744.tif 000003
【図２】
2020166744.tif 000004
【図３】
2020166744.tif 000005
【図４】
2020166744.tif 000006
【図５】
2020166744.tif 000007
【図６】
2020166744.tif 000008
【図７】
2020166744.tif 000009
【図８】
2020166744.tif 000010
【図９】
2020166744.tif 000011
【図１０】
2020166744.tif 000012
【図１１】
2020166744.tif 000013
【図１２】
2020166744.tif 000014
【図１３】
2020166744.tif 000015