(57)【要約】【課題】機械学習の使用についての情報を記録することにより、機械学習の有効性を向上させる。【解決手段】  画像取得装置は、画像を取得する画像取得部と、所定の推論モデルを用いて、上記画像取得部が取得した上記画像を入力とした推論を行う推論部と、上記推論部の推論結果を提示する提示部と、上記推論結果が採用されたか否かを判定する判定部と、上記判定部の判定結果に基づいて上記推論モデルの使用に関する使用情報を作成し、作成した使用情報を上記画像取得部が取得した画像のメタデータとして記録する制御部と、を具備する。【選択図】図１
2019200536.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
所定の推論モデルを用いて、上記画像取得部が取得した上記画像を入力とした推論を行う推論部と、
上記推論部の推論結果を提示する提示部と、
上記推論結果が採用されたか否かを判定する判定部と、
上記判定部の判定結果に基づいて上記推論モデルの使用に関する使用情報を作成し、作成した使用情報を上記画像取得部が取得した画像のメタデータとして記録する制御部と、
を具備したことを特徴とする画像取得装置。
【請求項２】
上記画像取得装置は、ユーザが操作するための操作部を有し、
上記判定部は、上記操作部の操作結果と上記推論結果の提示内容に従って、上記推論結果が採用されたか否かを判定する
ことを特徴とする請求項１に記載の画像取得装置。
【請求項３】
上記判定部は、上記推論結果の提示内容に関連する項目に対して上記操作部の操作が影響するか否かに応じて、上記推論結果が採用されたか否かを判定する
ことを特徴とする請求項２に記載の画像取得装置。
【請求項４】
上記推論部は、複数の推論モデルを有し、
上記制御部は、上記使用情報に、いずれの推論モデルを用いた推論結果が採用されたかを示す情報を含めて上記メタデータとして記録する
ことを特徴とする請求項１に記載の画像取得装置。
【請求項５】
上記制御部は、上記判定部により上記推論結果が採用されなかったことを示す判定結果が得られた場合には、上記画像取得部が取得した画像を上記メタデータと共に自動的に記録する
ことを特徴とする請求項１に記載の画像取得装置。
【請求項６】
上記提示部は、上記判定部により上記推論結果が採用されなかったことを示す判定結果が得られた場合には、警告を行う
ことを特徴とする請求項１に記載の画像取得装置。
【請求項７】
上記提示部は、上記判定部により上記推論結果が採用されなかったことを示す判定結果が所定の回数以上得られた場合には、警告方法を変更して警告を行う
ことを特徴とする請求項６に記載の画像取得装置。
【請求項８】
上記提示部は、上記画像を表示する表示部を有し、上記推論結果を示す表示を上記表示部に表示する
ことを特徴とする請求項１に記載の画像取得装置。
【請求項９】
上記制御部は、上記判定部により上記推論結果が採用されなかったことを示す判定結果が得られた場合には、上記推論部が用いる新たな推論モデルの作成及び転送を外部機器に依頼する
ことを特徴とする請求項１に記載の画像取得装置。
【請求項１０】
上記制御部は、上記判定部により上記推論結果が採用されなかったことを示す判定結果が所定の閾値以上の回数得られた場合には、上記推論部が用いる推論モデルを切換える制御を行い、全ての推論モデルについて上記判定部により上記推論結果が採用されなかったことを示す判定結果が所定の閾値以上の回数得られた場合には、上記推論部が用いる新たな推論モデルの作成及び転送を外部機器に依頼する
ことを特徴とする請求項１に記載の画像取得装置。
【請求項１１】
画像を取得する画像取得ステップと、
所定の推論モデルを用いて、上記画像取得ステップにおいて取得した上記画像を入力とした推論を行う推論ステップと、
上記推論ステップにおける推論結果を提示する提示ステップと、
上記推論結果が採用されたか否かを判定する判定ステップと、
上記判定ステップにおける判定結果に基づいて上記推論モデルの使用に関する使用情報を作成し、作成した使用情報を上記画像取得ステップにおいて取得した画像のメタデータとして記録する制御ステップと、
を具備したことを特徴とする画像取得方法。
【請求項１２】
コンピュータに、
画像を取得する画像取得ステップと、
所定の推論モデルを用いて、上記画像取得ステップにおいて取得した上記画像を入力とした推論を行う推論ステップと、
上記推論ステップにおける推論結果を提示する提示ステップと、
上記推論結果が採用されたか否かを判定する判定ステップと、
上記判定ステップにおける判定結果に基づいて上記推論モデルの使用に関する使用情報を作成し、作成した使用情報を上記画像取得ステップにおいて取得した画像のメタデータとして記録する制御ステップと、
を実行させることを特徴とする画像取得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習を利用して画像を取得可能な画像取得装置、画像取得方法及び画像取得プログラムに関する。
【背景技術】
【０００２】
近年、深層学習などの機械学習が利用されるようになってきた。機械学習は、既知の入力情報についてその特徴、時系列情報、空間情報等を学習し、学習結果に基づいて推論を行うことで、未知の事柄についての推論結果を得るものである。即ち、機械学習では、先ず特定の入力情報から、判定可能な出力結果を推論可能にするための学習済みモデルを得る。機械学習は、人工知能の要素技術の１つであり、そのアルゴリズムの１つにニューラルネットワークがあるが、これは人間の脳内が、ニューロンと呼ばれる神経細胞のネットワークを用いて画像などの諸所の特徴からその対象物の認識を行っていることを模倣した認識プロセスを実現したもので、この脳内の神経回路網やそれを使ったプロセスをコンピュータ上で再現しようとしている。また、深層学習は、これをさらに多層に構築したニューラルネットワークで、画像などの様々な特徴を入力とし、それが認識に役立つかを試行錯誤的に繰り返し、最も効果的な認識モデルを探し出し、学習するものである。
【０００３】
高い信頼性で推論結果が得られるように、学習済みモデルの生成に際して、入力と出力との関係が既知の大量の情報が学習用データとして用いられる。例えば、ニューラルネットワークにより機械学習を実現する場合には、既知の入力に対して期待される出力が得られるようにネットワークのデザイン設計が行われる。このようなプロセスで得られた学習済モデル（以下、推論モデルともいう）は、学習を行ったニューラルネットワークから独立して利用可能である。
【０００４】
このような機械学習は様々な分野に利用可能であり、例えば、自然言語処理を行って情報を読出し推論を行うＷａｔｓｏｎ（商標）システム等がある。なお、特許文献１においては、Ｗａｔｓｏｎシステム等の質問応答システムにより生成された回答候補間の共通性を識別するための機構、方法、コンピュータ・プログラム、および装置を提供する技術が開示されている。
【０００５】
また、例えば、撮影機器等による画像取得時において、このような機械学習を利用することも考えられる。機械学習の利用によって、ユーザが希望する画像の取得等が容易となることも考えられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１０９０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、推論モデルを使用したとしても、学習に用いたデータと推論する入力情報との差異によっては、期待通りの出力が得られないことがある。しかしながら、従来の画像取得システムにおいては、このような制約を考慮した上で、機械学習を有効に利用する手法については考えられていない。
【０００８】
本発明は、機械学習の使用についての情報を記録することにより、有効に機械学習による推論モデルを利用することができる画像取得装置、画像取得方法及び画像取得プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様による画像取得装置は、画像を取得する画像取得部と、所定の推論モデルを用いて、上記画像取得部が取得した上記画像を入力とした推論を行う推論部と、上記推論部の推論結果を提示する提示部と、上記推論結果が採用されたか否かを判定する判定部と、上記判定部の判定結果に基づいて上記推論モデルの使用に関する使用情報を作成し、作成した使用情報を上記画像取得部が取得した画像のメタデータとして記録する制御部と、を具備する。
【００１０】
本発明の一態様による画像取得方法は、画像を取得する画像取得ステップと、所定の推論モデルを用いて、上記画像取得ステップにおいて取得した上記画像を入力とした推論を行う推論ステップと、上記推論ステップにおける推論結果を提示する提示ステップと、上記推論結果が採用されたか否かを判定する判定ステップと、上記判定ステップにおける判定結果に基づいて上記推論モデルの使用に関する使用情報を作成し、作成した使用情報を上記画像取得ステップにおいて取得した画像のメタデータとして記録する制御ステップと、を具備する。
【００１１】
本発明の一態様による画像取得プログラムは、コンピュータに、画像を取得する画像取得ステップと、所定の推論モデルを用いて、上記画像取得ステップにおいて取得した上記画像を入力とした推論を行う推論ステップと、上記推論ステップにおける推論結果を提示する提示ステップと、上記推論結果が採用されたか否かを判定する判定ステップと、上記判定ステップにおける判定結果に基づいて上記推論モデルの使用に関する使用情報を作成し、作成した使用情報を上記画像取得ステップにおいて取得した画像のメタデータとして記録する制御ステップと、を実行させる。
【発明の効果】
【００１２】
本発明によれば、機械学習の使用についての情報を記録することにより、有効に機械学習による推論モデルを利用することができるという効果を有する。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施の形態に係る画像取得装置を含む撮像装置を示すブロック図。
【図２】推論エンジン１２の記憶部１２ａに記憶されている辞書１２ａ１，１２ａ２を説明するための説明図。
【図３】画像取得装置１０の動作を示すフローチャート。
【図４】外部機器３０の動作を示すフローチャート。
【図５】第１の実施の形態の動作を説明するための説明図。
【図６】第１の実施の形態の動作を説明するための説明図。
【図７】本発明の第２の実施の形態において採用される動作フローを示すフローチャート。
【図８】本発明の第２の実施の形態において採用される動作フローを示すフローチャート。
【図９】図１の撮像装置２０により被写体を撮像する様子を示す説明図。
【図１０】表示部１５の表示画面１５ａに表示される撮像画像を示す説明図。
【図１１Ａ】辞書メニュー画面を示す説明図。
【図１１Ｂ】辞書メニュー画面を示す説明図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１５】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像取得装置を含む撮像装置を示すブロック図である。
深層学習のような機械学習は、人間の脳内が、ニューロンと呼ばれる神経細胞のネットワークを用いて画像などの諸所の特徴からその対象物の認識を行っていることを模倣し、多層に構築してあるがゆえに、得られた「推論モデル」も入出力がブラックボックスの中で行われているような問題を生じるので、どのような「推論モデル」を使ったかの識別が重要になる。
本実施の形態は、所定の情報入力に際して、所定の推論モデルを用いた推論結果を採用したか否か、採用した場合にはいずれの推論モデルを採用したかを把握することによって、推論の有効性を向上させるものである。本実施の形態においては、このような推論モデルの使用に関する情報（以下、推論モデル使用情報という）を記録するようになっており、例えば、推論モデルが利用されるタイミングに同期した画像のメタデータとして推論モデル使用情報を記録するようになっている。なお、画像に限らず各種情報のメタデータとして推論モデル使用情報を記録してもよく、また、推論モデル使用情報を利用シーンを特定する情報、例えば時間情報と共に単独で記録するようになっていてもよい。
【００１６】
推論モデルの利用をユーザが設定できる場合がある。この場合には、推論モデル使用情報をエビデンスとして記録することによって、推論モデル使用情報は、推論モデルの利用に関するユーザの判断が正しいか否かの判定材料となり、また、推論モデルの有効性の判定材料ともなる。また、推論モデル使用情報を、推論モデルの適用範囲の明確化に利用することも可能である。
【００１７】
図１の撮像装置２０は、画像取得装置１０を含んで構成される。撮像装置２０は被写体を撮像し、撮像装置２０中の画像取得装置１０は、撮像して得た画像を記録する。撮像装置２０としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。更に、撮像装置２０としては、顕微鏡、内視鏡、ＣＴスキャナ等を採用してもよく、白色光、紫外線、赤外線、Ｘ線、超音波等を用いて画像を得る種々の撮像装置を採用することができる。なお、図１では撮像装置２０内に画像取得装置１０が構成される例を示しているが、撮像装置２０と画像取得装置１０とが別体に構成されるものであってもよい。
【００１８】
画像取得装置１０は、後述するように、画像取得に際して推論モデルを利用することができるようになっているが、画像取得装置１０は予め搭載されている推論モデルを用いて画像取得を行ってもよく、また、外部機器３０から推論モデルを取得するようになっていてもよい。即ち、外部機器３０は、必要に応じて用いられるものである。
【００１９】
撮像装置２０は、制御部１１及び撮像部２２を備えている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【００２０】
撮像部２２は、撮像素子２２ａ及び光学系２２ｂを有している。光学系２２ｂは、ズームやフォーカシングのための図示しないレンズや絞り等を備えている。光学系２２ｂは、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えている。
【００２１】
撮像素子２２ａは、ＣＣＤやＣＭＯＳセンサ等によって構成されており、光学系２２ｂによって被写体光学像が撮像素子２２ａの撮像面に導かれるようになっている。撮像素子２２ａは、被写体光学像を光電変換して被写体の撮像画像（撮像信号）を取得する。
【００２２】
制御部１１の撮像制御部１１ａは、光学系２２ｂのズーム機構、ピント機構及び絞り機構を駆動制御して、ズーム、絞り及びピントを調節することができるようになっている。撮像部２２は、撮像制御部１１ａに制御されて撮像を行い、撮像画像（動画像及び静止画像）の撮像信号を画像取得部としての制御部１１に出力する。
【００２３】
撮像装置２０には操作部１３が設けられている。操作部１３は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部１１に出力する。制御部１１は、操作部１３からの操作信号に基づいて、各部を制御するようになっている。
【００２４】
制御部１１は、撮像部２２からの撮像画像（動画像及び静止画像）を取込む。制御部１１の画像処理部１１ｂは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
【００２５】
撮像装置２０には表示部１５が設けられており、制御部１１には、表示制御部１１ｆが設けられている。表示部１５は、例えば、ＬＣＤ（液晶表示装置）等の表示画面を有しており、この表示画面は撮像装置２０の筐体背面等に設けられる。表示制御部１１ｆは、画像処理部１１ｂによって信号処理された撮像画像を表示部１５に表示させるようになっている。また、表示制御部１１ｆは、撮像装置２０の各種メニュー表示や警告表示等を表示部１５に表示させることもできるようになっている。
【００２６】
撮像装置２０には通信部１４が設けられており、制御部１１には、通信制御部１１ｅが設けられている。通信部１４は、通信制御部１１ｅに制御されて、外部機器３０との間で情報を送受することができるようになっている。通信部１４は、例えば、ブルートゥース（登録商標）等の近距離無線による通信及び例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部１４は、ブルートゥースやＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。通信制御部１１ｅは、通信部１４を介して、外部機器３０から推論モデルの情報を受信することができる。
【００２７】
制御部１１には記録制御部１１ｃが設けられている。記録制御部１１ｃは、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１６に与えて記録させることができる。記録部１６は、所定の記録媒体によって構成されて、制御部１１から与えられた情報を記録すると共に、記録されている情報を制御部１１に出力することができる。記録部１６としては、例えばカードインターフェースを採用することができ、記録部１６はメモリカード等の記録媒体に画像データを記録可能である。
【００２８】
本実施の形態においては、記録部１６は、画像データ記録領域１６ａ及びメタデータ記録領域１６ｂを有しており、記録制御部１１ｃは、画像データを画像データ記録領域１６ａに記録するようになっている。また、記録制御部１１ｃは、メタデータ記録領域１６ｂに、推論モデル使用情報をメタデータとして記録するようになっている。なお、記録制御部１１ｃは、記録部１６に記録されている情報を読み出して再生することも可能である。
【００２９】
本実施の形態においては、撮像装置２０には、推論部としての推論エンジン１２が設けられている。推論エンジン１２は、記憶部１２ａを有しており、記憶部１２ａには、１つ以上の辞書（図１では２つの辞書１２ａ１，１２ａ２）が設けられている。各辞書１２ａ１，１２ａ２は、それぞれ機械学習における学習が完了することによって得られるネットワーク、即ち、推論モデルによって構成されている。なお、辞書１２ａ１，１２ａ２は割り当てられた辞書ＩＤによって識別可能であり、例えば外部機器３０から辞書を取り込む場合でも、辞書ＩＤによって必要な辞書のみを取り込むことができるようになっている。
【００３０】
図２は推論エンジン１２の記憶部１２ａに記憶されている辞書１２ａ１，１２ａ２を説明するための説明図である。図２において、所定のネットワークＮ１には入力Ａ及び出力Ｂに対応する大量のデータセットが学習用データとして与えられる。これにより、ネットワークＮ１は、入力Ａに対応する出力Ｂが得られるように、ネットワークデザインが決定される。なお、機械学習に採用するネットワークＮ１としては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ−ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いてもよい。また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。
【００３１】
大量のデータセットをネットワークＮ１に与えることにより、入力Ａと出力Ｂとの関係に類似した入力と出力との関係が高い信頼性で得られるように、ネットワークＮ１はデザインが決定される。こうして、学習済みとなったネットワークＮ１が推論モデルＩＭ１として利用可能となる。
【００３２】
推論エンジン１２の記憶部１２ａには、推論モデルＩＭ１に対応する辞書１２ａ１が記憶される。また、記憶部１２ａには、上述した入力Ａと出力Ｂとの関係とは異なる入出力関係を有する大量のデータセットが学習用データとして与えられたネットワークを用いることで得られた推論モデルに対応する辞書１２ａ２も記憶されている。
【００３３】
制御部１１には設定制御部１１ｄが設けられており、設定制御部１１ｄは、推論エンジン１２を制御して、推論エンジン１２を利用した推論を行わせることができるようになっている。制御部１１は、推論エンジン１２による推論結果によって、各部を制御するようになっていてもよい。例えば、推論エンジン１２がフォーカス制御の対象物の検出を行うものである場合には、推論エンジン１２は、撮像画像が与えられると、当該撮像画像中に対象物が存在するか否かを判定し、存在する場合にはその画像中の位置を制御部１１に出力する。この場合には、撮像制御部１１ａは、検出された対象物の位置においてピントを一致させるように、フォーカス制御を行う。
【００３４】
本実施の形態においては、設定制御部１１ｄは、提示部としての表示制御部１１ｆを制御して、推論エンジン１２による推論の結果を表示部１５の表示画面上に表示させることができるようになっている。例えば、推論エンジン１２による推論によってフォーカス制御の対象となる対象物を検出する場合には、表示制御部１１ｆは、検出結果を認識させるための表示、例えば、検出した対象物を囲む枠表示を表示させるようになっていてもよい。
【００３５】
なお、設定制御部１１ｄは、表示に限らず、推論エンジン１２による推論の結果を種々の方法でユーザに提示することができるようになっていてもよい。例えば、設定制御部１１ｄは、音声により推論結果を提示してもよく、或いは駆動部の機械的な制御によって推論結果を提示してもよい。
【００３６】
更に、本実施の形態においては、判定部としての設定制御部１１ｄは、操作部１３に対するユーザ操作に基づく判定或いは画像処理部１１ｂにより信号処理された撮像画像に対する画像解析による判定を行って、推論エンジン１２を利用した推論を採用するか否か、推論を採用する場合にはいずれの辞書を用いた推論を採用するかを判定し、設定することができるようになっている。
このように、操作部１３は、ユーザが特定の意思を反映して操作するものであるから、推論結果が、そのユーザにとって有効であったかどうかを判定する有力な情報となる。特に、パーソナルユースの機器においては、その機器を操作するユーザによる操作は、そのユーザの判断によるものと考えることができる。一方、様々な人が使う機器であっても、操作部１３に指紋認証を設ける、あるいは利用時の音声で声紋認証を行うなど、個人判定の機能を設ければ、同様の効果が期待できる。また、音声で操作する機器が増加しており、その場合、音声を取得して音声の内容を判定する機能が操作部となるが、この時は声紋認証の併用が容易になる。
また、操作部１３に対するどのような操作が、どのような推論結果を不採用とするかについては、設定制御部１１ｄは、予め登録されている情報を用いて判定してもよい。例えば、記録部１６には、推論機能、操作関係データベース１６ｃが設けられていてもよい。推論機能、操作関係データベース１６ｃは、推論結果がどのような制御に対応しているかや、その制御はどのような操作部と関連しているかのデータベースであり、設定制御部１１ｄは、推論機能、操作関係データベース１６ｃを参照することで、推論結果を採用又は不採用とする操作（以下、関連操作ともいう）を判定することができるようになっている。例えば、推論モデルがフォーカス機能を実現するためのものである場合には、フォーカス機能を達成するという推論機能の結果表示に対して、フォーカスリングを操作するという操作が行われた場合には、設定制御部１１ｄは、ユーザが推論結果を不採用にしたものと判定することができる。
【００３７】
また、設定制御部１１ｄは、この設定に関する情報（推論モデル使用情報）を記録制御部１１ｃに与えるようになっている。これにより、記録制御部１１ｃは、撮像部２２により得られた撮像画像に同期させて、推論モデル使用情報を撮像画像のメタデータとして記録部１６中のメタデータ記録領域１６ｂに記憶させるようになっている。こうして、推論モデルの利用に関するエビデンス記録が行われる。
【００３８】
撮像装置２０は、通信部１４を介して推論モデルを外部機器３０から取得することもできるようになっている。外部機器３０は、学習部３１及び外部画像データベース（ＤＢ）３２を有している。学習部３１は通信部３１ｂを有しており、外部画像ＤＢ３２は通信部３３を有している。通信部３１ｂ，３３は相互に通信が可能であると共に、通信部３１ｂは通信部１４の間でも通信が可能である。
【００３９】
学習部３１は母集合作成部３１ａ、出力設定部３１ｃ及び入出力モデル化部３１ｄを有しており、外部画像ＤＢ３２は、画像分類機能部３４を備えている。画像分類機能部３４は、複数の画像を画像中に含まれる対象物の種類毎に分類して記録する。図１の例では、画像分類機能部３４は、対象物第１種類の画像群と対象物第２種類の画像群とを記録する例を示しているが、分類する種類の数は適宜設定可能である。
【００４０】
母集合作成部３１ａは、外部画像ＤＢ３２から画像を読出して、学習データの元となる母集合を作成する。出力設定部３１ｃは、母集合の画像に対する出力を設定する。例えば、図１の装置を撮像画像のピント合わせの対象となる対象物の検出に利用することが考えられる。例えば、撮像画像中の人間の目にピントを合わせる場合には、推論によって目の画像部分を検出するのである。この場合には、母集合作成部３１ａは、母集合として目の画像を用い、出力設定部３１ｃは、当該画像が目であることを示す情報と共に当該画像の撮影時に用いるパラメータや、ピント位置を設定する。
【００４１】
入出力モデル化部３１ｄは、例えば図２に示す手法によって、母集合作成部３１ａが作成した画像の母集合と出力設定部３１ｃが設定した出力との関係を学習した学習モデル（推論モデル）を生成する。学習部３１は、画像取得装置１０の制御部１１から要求があった場合には、生成した推論モデルを通信部３１ｂ，１４を介して画像取得装置１０に送信するようになっている。制御部１１は、通信部１４を介して取得した推論モデルを推論エンジン１２の記憶部１２ａに辞書として記憶させることができるようになっている。
【００４２】
次に、このように構成された実施の形態の動作について図３から図６を参照して説明する。図３及び図４は第１の実施の形態の動作を説明するためのフローチャートであり、図３は画像取得装置１０の動作を示し、図４は外部機器３０の動作を示している。また、図５及び図６は第１の実施の形態の動作を説明するための説明図である。
【００４３】
図３から図６は図１の撮像装置２０により工業用内視鏡を構成した場合における動作を説明するためのものである。例えば、図１の撮像部２２を工業用内視鏡の挿入部の先端部２３ａに収納して撮像装置２０を構成するものとする。なお、撮像部２２は、先端部２３ａの先端側を撮像することができるものとする。図５はこのような先端部２３ａの移動の様子を所定の時間間隔毎の先端部２３ａの位置の変化により示しており、先端部２３ａより基端側の挿入部は図示していない。図５の例では、先端部２３ａは、矢印にて示すように、パイプ４１の入口側から進入し、パイプ４１の管腔の深部４３の方向に進行することを示している。図５中の画像Ｐ１，Ｐ２，…は、先端部２３ａの移動に伴って、撮像部２２によって撮像されて順次得られた画像を示している。
【００４４】
画像Ｐ１〜Ｐ３が得られるタイミングでは、先端部２３ａは略深部４３の方向を向いており、画像Ｐ１〜Ｐ３の略中央に管腔の深部４３の画像４３ａが含まれる。パイプ４１の内壁には凸部４２が形成されており、先端部２３ａがこの凸部４２に近づくことで、画像Ｐ４中に視認可能な凸部４２の画像４２ａが撮像される。先端部２３ａが凸部４２に一層近づくことで、画像Ｐ５に示すように、画像４２ａは大きなサイズで撮像される。更に、先端部２３ａが深部４３側に進行すると、画像Ｐ６には画像４２ａは含まれなくなる。
【００４５】
画像Ｐ１〜Ｐ６において、深部４３の画像４３ａは、常に画像の略中央に位置しており、先端部２３ａは、深部４３方向に向かって進行していることが分かる。推論エンジン１２の記憶部１２ａには画像Ｐ１〜Ｐ６に類似した画像及びその変化についての学習の結果得られた推論モデルが辞書として記憶されているものとする。即ち、推論エンジン１２は、挿入部が正しく挿入された場合の撮像画像の変化を推論することが可能である。
【００４６】
図３は内視鏡挿入部の挿入時において、挿入が正しく行われているか否かを推論により判定する例を示している。挿入部の挿入時には先端部２３ａに収納された撮像部２２によって、撮像を行う。撮像装置２０の制御部１１は、図３のステップＳ１において、撮像部２２が撮像して得た画像を取り込む。制御部１１の表示制御部１１ｆは撮像画像を表示部１５に与えて表示させる。また、制御部１１は、撮像画像を推論エンジン１２に与えて、正しく挿入されているか否かの推論を行わせる。
【００４７】
即ち、制御部１１の記録制御部１１ｃは、ステップＳ２において、撮像画像を記録部１６に与えて仮記録しながら、連続して撮像された２枚の撮像画像を推論エンジン１２に与える。推論エンジン１２は、連続して撮像された画像同士を比較し、変化の有無を検出する（ステップＳ３）。更に、推論エンジン１２は、２つの画像の変化を検出すると、ステップＳ３から処理をステップＳ４に移行して、変化前後の画像変化が正しく挿入された場合の変化であるか否かを推論して推論結果を制御部１１に出力する。なお、推論エンジン１２は、ステップＳ３において、画像変化が検出されない場合には、処理をステップＳ１１に移行して撮影操作があったか否かを判定する。推論エンジン１２は、図５のように挿入が正しく行われている場合には順調な変化であるもの推論する。この場合には、制御部１１は、ステップＳ５から処理をステップＳ１１に移行して、撮影操作があったか否かを判定する。
【００４８】
ここで、挿入部の挿入が図６に示すものであるものとする。図６は図５と同様の記載方法により挿入部が正しく挿入されていないと推論される場合の挿入の様子を示している。図６の例では、画像Ｐ１１〜Ｐ１４が撮像される時点までは、先端部２３ａは深部４３の方向に向かって進行している。画像Ｐ１５が撮像される時点では、先端部２３ａは、向きが深部４３の方向からずれてパイプ４１の内壁に向かう方向に進行する。この結果、深部４３の画像４３ａは画像中央からずれ、画像Ｐ１６が撮像される時点では、先端部２３ａとパイプ４１の内壁と衝突が予想される程度に大幅に深部４３の画像４３ａが画像中央からずれている。また、画像Ｐ１６中には、先端部２３ａとパイプ４１の内壁との衝突の予測位置を示す表示４４も表示されている。
【００４９】
図６に示す挿入が行われると、推論エンジン１２は、ステップＳ４において、撮像画像に順調でない変化があったことを示す推論結果を制御部１１に出力する。制御部１１は、ステップＳ５において、撮像画像の変化が順調な変化ではないものと判定して、処理をステップＳ６に移行する。ステップＳ６において、表示制御部１１ｆは、挿入が正しく行われていないことを示す警告表示を表示部１５の表示画面上に表示させる。なお、制御部１１は、警告音を発生させるようにしてもよい。次に、制御部１１は、ステップＳ７において、動作が継続されているか否かを判定する。例えば、制御部１１は撮像画像に対する画像解析によって、先端部２３ａの移動が継続されているか否かを判定することができる。制御部１１は、例えば先端部２３ａの進行が停止した場合等においては、動作が継続していないものと判定して処理をステップＳ１に戻す。
【００５０】
一方、制御部１１は、動作が継続していると判定した場合には、ステップＳ８において、警告無視であると判定して、自動的に撮影を行い、エビデンス記録する。即ち、画像処理部１１ｂによって信号処理された撮像画像は、記録制御部１１ｃによって記録部１６の画像データ記録領域１６ａに記録される。また、設定制御部１１ｄは、推論エンジン１２による推論が無視されて利用されなかったことを示す推論モデル使用情報を生成して記録制御部１１ｃに与える。これにより、記録制御部１１ｃは、画像データ記録領域１６ａに記録する撮像画像のメタデータとして、推論モデル使用情報を記録する。記録された撮像画像と推論モデル使用情報とにより、先端部２３ａが正しく挿入されていないという推論結果を無視して先端部２３ａの挿入が継続されたこと及びそのときの内視鏡画像が明らかとなる。
【００５１】
制御部１１は、次のステップＳ９において、ステップＳ８の撮影及び記録が所定回数繰り返されたか否かを判定する。制御部１１は、所定回数に到達していない場合には処理をステップＳ１１に移行する。また、制御部１１は、ステップＳ８の撮影及び記録が所定回数に到達した場合には、警告の提示方法に問題があったものと判定し、次のステップＳ１０において、警告方法の変更を行う。例えば、警告表示のサイズを大きくしたり、色を変化させたり、タイミングを変えたり、警告表示だけでなく警告音を発生する或いは音量を変える等の警告提示方法の変更が行われる。
【００５２】
制御部１１は、次のステップＳ１１において、撮影操作が行われたか否かを判定する。制御部１１は、撮影操作が行われていない場合には処理をステップＳ１に戻し、撮影操作が行われた場合にはステップＳ１２において、撮影及び記録を行う。
【００５３】
図４は上述した推論モデルの作成方法を説明するものである。外部機器３０の外部画像ＤＢ３２には、内視鏡挿入時の画像が記憶されている。学習部３１の母集合作成部３１ａは、ステップＳ２１において、挿入時画像変化を母集合とする。入出力モデル化部３１ｄは、ステップＳ２２において、挿入良好（ＯＫ）時の画像変化を教師データ化し、ステップＳ２３において、挿入不良（ＮＧ）時の画像変化を教師データ化して、推論モデルを生成する（ステップＳ２４）。学習部３１は、依頼データがある場合には、当該依頼データを用いた推論を行う（ステップＳ２５）。入出力モデル化部３１ｄは、ステップＳ２５における推論の信頼性が所定値以上であるか否かを判定する（ステップＳ２６）。
【００５４】
入出力モデル化部３１ｄは、信頼性が所定値以上でない場合には、処理をステップＳ２７に移行して、学習母体の再設定等を行った後、処理をステップＳ２４に移行して推論モデルの生成を行う。入出力モデル化部３１ｄは、信頼性が所定値以上になった場合には、処理をステップＳ２８に移行して、生成した推論モデルを通信部３１ｂを介して画像取得装置１０に送信する。こうして、画像取得装置１０の推論エンジン１２には、正しく挿入が行われたか否かを判定するための推論モデルが格納される。
【００５５】
なお、推論エンジン１２には複数の推論モデル（辞書）を記憶させることができ、推論エンジン１２は、挿入部の挿入対象物毎の推論モデルを備えている。設定制御部１１ｄは、挿入対象物毎に使用する推論モデルを変更可能である。
【００５６】
このように本実施の形態においては、推論モデルを用いた推論を行うと共に、推論結果を採用したか否か、採用した場合にはいずれの推論モデルを採用したかを示す推論モデル使用情報を記録するようになっている。推論モデルによる推論結果は、必ずしも有効であるとは限らない。推論モデル使用情報を記録することによって、推論モデルが有効か否かの境界の判定が容易となり、推論モデルの利用範囲を明確化して推論モデルの有効な理由を促進することができる。また、推論モデルによる推論結果が所定回数以上無視された場合には、推論結果に基づく警告方法が不適切であるものと判定することも可能であり、警告方法等の改善に寄与する。
この実施の形態の場合、推論機能、操作関係データベース１６ｃには、ガイド表示等の推論機能に対して、挿入操作や停止操作等の操作が、推論結果を不採用とする操作であることが登録されている。なお、こような挿入操作や停止操作等は、撮像された画面の変化から判定可能である。さらに、この推論機能に関しては、ユーザが「失敗」というボタンを押すといった操作をデータベースに含めるようにしてもよい。
【００５７】
（第２の実施の形態）
図７及び図８は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。本実施の形態のハードウェア構成は図１と同様である。本実施の形態は図１の撮像装置２０によりデジタルカメラを構成した例を示している。
【００５８】
図９は図１の撮像装置２０により被写体を撮像する様子を示す説明図である。図１の撮像装置２０の各部は、図９の筐体２０ａ内に収納されている。筐体２０ａの背面には表示部１５を構成する表示画面１５ａが配設されている。また、筐体２０ａの前面には、光学系２２ｂを構成する図示しないレンズが配設されており、筐体２０ａの上面には、操作部１３を構成するシャッタボタン１３ａが配設されている。
【００５９】
図９は被写体として、植物５５に止まった蛇目蝶（蝶々）５６を撮影する例を示しており、ユーザ５１は、例えば、筐体２０ａを右手５２で把持して、表示部１５の表示画面１５ａを見ながら、蝶々５６を視野範囲に捉えた状態で、右手の指５２ａでシャッタボタン１３ａを押下操作することで撮影を行う。なお、蝶々５６は、羽根５７に人間の目に似た模様を有する。
【００６０】
本実施の形態においては、推論モデルを用いて、フォーカス制御に用いる対象物の判定を行う。即ち、推論エンジン１２には、フォーカス制御の対象物を検出するための推論モデルが記憶されている。例えば、推論エンジン１２には、人間の目を検出するための推論モデル（以下、人間辞書という）が記憶されているものとする。
【００６１】
制御部１１は、図７のステップＳ３１において、画像の取得モードが指定されているか否かを判定する。画像の取得モードが指定されている場合には、制御部１１は、ステップＳ３２において画像入力及び表示を行う。即ち、撮像部２２は被写体を撮像し、制御部１１は、撮像部２２からの撮像画像を取り込み、撮像画像をスルー画として表示部１５に与えて表示させる。
【００６２】
本実施の形態においては、設定制御部１１ｄは、推論エンジン１２にフォーカス制御の対象物の検出のための推論を実行させる。推論エンジン１２は、記憶部１２ａに記憶されている推論モデル（人間辞書）を用いて、撮像画像中からフォーカス制御の対象物である人間の目の画像部分を検出する。推論エンジン１２は、推論の結果を制御部１１に出力する。
【００６３】
図１０は表示部１５の表示画面１５ａに表示される撮像画像を示す説明図である。上述したように、ユーザ５１は、植物５５上の蝶々５６の撮影を試みようとしている。画像Ｐ２１は、ある一瞬におけるスルー画を示している。表示画面１５ａ上に表示されたスルー画には、蝶々５６の画像６１が表示されている。この時点では、推論エンジン１２からは目の画像として信頼性が低いことを示す推論結果が制御部１１に与えられている。制御部１１は、ステップＳ３３において推論が行われたか否かを判定しており、推論結果が得られると、ステップＳ３４において信頼性が所定の閾値よりも高い推論結果が得られたか否かを判定する。この場合には、信頼性が低いので、制御部１１は、処理をステップＳ３９に移行して、撮影操作が行われたか否かを判定する。制御部１１は、撮影操作が行われていない場合には、処理をステップＳ３１に戻す。
【００６４】
次に、図１０の画像Ｐ２２がスルー画として表示画面１５ａに表示されるものとする。画像Ｐ２２には、羽根を広げた状態の蝶々５６の画像６２が含まれる。画像６２中には、人間の目に類似した画像部分が含まれており、推論エンジン１２は、この羽根の模様を人間の目の画像部分と推論する。この結果、推論エンジン１２は、信頼性が所定の閾値よりも高い推論結果を制御部１１に出力する。
【００６５】
そうすると、制御部１１は、ステップＳ３４において、推論エンジン１２の推論結果の信頼性が高いものと判定して、処理をステップＳ３５に移行する。ステップＳ３５において、設定制御部１１ｄは、表示制御部１１ｆを制御して、推論結果を表示させる。表示制御部１１ｆは、推論結果として、目の画像部分を検出した位置を示す枠画像６４を表示する（図１０の画像Ｐ２３）。枠画像６４は、フォーカス制御におけるピント位置（ＡＦポイント）を示すものである。
【００６６】
オートフォーカスが設定されている場合には、設定制御部１１ｄは、推論によって検出された目の画像部分をピント位置とする情報を撮像制御部１１ａに与える。撮像制御部１１ａは、指定されたピント位置において合焦状態となるように、光学系２２ｂを駆動制御する。これにより、推論によって検出された目の画像部分にピントが合った撮像画像が得られる。
【００６７】
図１０の画像Ｐ２３はこの場合に表示画面１５ａに表示されるスルー画を示しており、ピントが合った画像部分６３ａとピントが合っていない（破線部）画像部分６３ｂとを有する。人間の目を検出するための人間（人物判定、または顔検出）辞書を用いたことにより、画像Ｐ２３は、蛇目蝶５６の羽根の模様部分にフォーカスが合った画像となっており、ユーザが希望するフォーカス状態になっていないものと考えられる。
【００６８】
そこで、ユーザ５１が例えば、ダイヤル操作など、操作部１３によりフォーカスを変更する操作を行うものとする。制御部１１は、ステップＳ３６において、ユーザのフォーカス変更操作の有無を判定しており、フォーカス変更操作を検出すると、処理をステップＳ３９に移行する。制御部１１は、ステップＳ３９において撮影操作が行われたか否かを判定し、行われていない場合には、処理をステップＳ３１に戻し、撮影操作が行われると、ステップＳ４０に処理を移行して撮影を行う。ステップＳ４０は、推論モデル（人間（人物判定、または顔検出）辞書）による推論結果に基づくフォーカス制御を採用せず、ユーザが行ったフォーカス変更操作によるフォーカス制御が行われて撮影が行われた場合に実行される。制御部１１は、ステップＳ４０において、撮影を行い、推論の使用に関するエビデンスを記録する。即ち、画像処理部１１ｂによって信号処理された撮像画像は、記録制御部１１ｃによって記録部１６の画像データ記録領域１６ａに記録される。また、設定制御部１１ｄは、推論エンジン１２による推論が利用されなかったことを示す推論モデル使用情報を生成して記録制御部１１ｃに与える。これにより、記録制御部１１ｃは、画像データ記録領域１６ａに記録する撮像画像のメタデータとして、推論モデル使用情報を記録する。記録された撮像画像と推論モデル使用情報とにより、推論エンジン１２に記憶された推論モデルを利用した推論を採用せず、ユーザが独自に行ったフォーカス変更操作に従って撮影が行われたことが明らかとなる。
ただし、推論モデルの利用によって自動で設定された機能項目に対して、同じ、または同様の機能項目に対応する操作部の操作の判定が重要であって、推論モデルの出力と無関係の操作が行われたとしても、それは、推論結果に対する不満ではないので、推論モデル使用情報に使用しなかったという履歴を反映させない。つまり、この画像取得装置は、上記操作部の操作結果と上記推論結果の提示内容に従って、上記推論結果が採用されたか否かを判定する判定部が正しく判定するには、この判定部は、上記推論結果の提示内容に関連する項目に対して上記操作部の操作が影響するか否かに応じた判定を行うことが重要で、推論部の関与がどの範囲であるかを考慮して、上記推論結果が採用されたか否かを判定する。例えば、フォーカス結果（ピントが正しく合ったかどうかや、ピントを合わせた位置の表示がユーザの思惑通りだったとか、ピント位置や表示結果など）に対して、フォーカス操作を行っている場合には、推論結果の不採用判定と考えることができる。このような判定を行うには、その推論がどのような制御に繋がり、それがどのような操作部と関連しているかがわかる推論機能、操作関係データベースを記録部に設ければよい。例えば、顔検出は、ピント合わせに使われることから、それによって制御する機能はピント合わせとなり、フォーカスリングなどが、その機能に対応する操作部ということになる。また、後述のフォーカスする部位の表示機能については、例えばタッチパネルによるフォーカス切替なども対応操作としてもよい。
【００６９】
また、ユーザは、人間辞書を用いたフォーカス制御に満足せず、他の辞書（推論モデル）を用いたフォーカス制御を希望するものとする。この場合には、ユーザは操作部１３を操作して取得モードを終了し、辞書に関するメニューを表示させる。この操作が行われると、制御部１１は、表示制御部１１ｆを制御して辞書メニューを表示部１５の表示画面１５ａに表示させる。
【００７０】
図１１Ａ及び図１１Ｂは辞書メニュー画面７０を示す説明図である。辞書メニュー画面７０上には、推論エンジン１２に登録されている推論モデル（辞書）が表示されている。図１１Ａの例では、「人間の辞書」と表記したアイコン７１により人間辞書のみが登録されていることが示されている。ユーザ５１は蝶々５６の撮影に適した辞書を追加するために、追加ボタン７２に対する操作を行う。例えば、表示画面１５ａ上に図示しないタッチパネルが配設されている場合には、ユーザ５１は、追加ボタン７２に対するタッチ操作を行う。
【００７１】
制御部１１は、ステップＳ４１において辞書の転送が依頼されているか否かを判定しており、追加ボタン７２が操作されると、ユーザが新たな辞書の転送を希望しているものと判定して、処理をステップＳ４２に移行する。ステップＳ４２において、表示制御部１１ｆは、対象物の設定画面及び再学習物の設定画面を表示させて、ユーザによる対象物の指定及び再学習物の指定を可能にする。制御部１１は、ユーザによって指定された対象物又は再学習物に対する学習依頼又は再学習依頼を、外部機器３０に対して行う。
【００７２】
図８は外部機器３０における推論モデルの作成処理を示している。図８において図４と同一の手順については同一符号を付して説明を省略する。外部機器３０の学習部３１は、ステップＳ５１において、通信部１４，３１ｂを介して、画像取得装置１０の制御部１１から学習依頼又は再学習依頼を受けたか否かを判定する。学習依頼又は再学習依頼を受けると、学習部３１は、ステップＳ５２において依頼内容に含まれる対象物を設定する。例えば、制御部１１からユーザ５１の操作に基づいて蝶々の辞書の学習依頼があったものとする。この場合には、母集合作成部３１ａは、ステップＳ５３において、対象物画像である蝶々の画像とピント位置とを教師データ化する。また、母集合作成部３１ａは、ステップＳ５４において、対象物画像でない画像を対象物画像とは別に教師データ化する。
【００７３】
入出力モデル化部３１ｄは、ステップＳ５３，Ｓ５４において生成された教師データを用いた学習によって、推論モデルを生成する（ステップＳ２４）。学習部３１は、ステップＳ２５において依頼データを用いた推論を行い、推論の信頼性が所定値以上であるか否かを判定する（ステップＳ２６）。
【００７４】
入出力モデル化部３１ｄは、信頼性が所定値以上でない場合には、ステップＳ２６から処理をステップＳ５５に移行して、教師データの再設定等を行った後、ステップＳ５６において所定回数以上再設定を行ったか否かを判定する。所定回数以上再設定を行っていない場合には、入出力モデル化部３１ｄはステップＳ２４に処理を戻す。入出力モデル化部３１ｄは、再設定が所定回数以上行われた場合には、ステップＳ５６から処理をステップＳ５７に移行して、対象物の画像は推論には不向きな苦手画像であるものと判定して、苦手画像情報を画像取得装置１０に送信した後、処理をステップＳ２８に移行する。入出力モデル化部３１ｄは、ステップＳ２６において信頼性が所定値以上になったものと判定すると、処理をステップＳ２８に移行する。
【００７５】
こうして、学習部３１は、信頼性が所定値以上になった推論モデル、又は苦手画像情報に対応する推論モデルを通信部３１ｂを介して画像取得装置１０に送信する。画像取得装置１０の制御部１１は、ステップＳ４４において、受信した推論モデルを推論エンジン１２に格納し、苦手画像情報を記録部１６に記録する。
【００７６】
図１１Ｂはこの場合に表示画面１５ａ上に表示された辞書メニュー画面７０を示している。図１１Ｂの例では、辞書メニュー画面７０上には、「人間の辞書」と表記したアイコン７１ａにより人間辞書が登録され、「蝶の辞書」と表記したアイコン７３により蝶辞書が登録されていることが示されている。図１１Ｂのアイコン７１ａとアイコン７３とは破線と実線により、相互に異なる表示が行われていることを示し、破線は辞書が選択されていないことを示し、実線は辞書が選択されていることを示している。なお、ユーザがアイコン上をタッチ操作することで、当該アイコンに対応する辞書が選択される。
【００７７】
図１０の画像Ｐ２４は、取得モードにおいて、蝶辞書を用いてフォーカス制御が行われた場合に表示画面１５ａ上に表示されるスルー画を示している。推論エンジン１２は、蝶辞書を用いることで、画像Ｐ２４中から蝶々５６の画像部分を推論して検出すると共に、推論結果として蝶々の撮像に設定すべきピント位置の情報と蝶々の撮像に設定すべき各種撮影パラメータの情報を制御部１１に与える。撮像制御部１１ａは推論結果に従って撮像部２２を制御する。この結果、表示画面１５ａ上の画像Ｐ２４中には、蝶々５６の全体にピントが合った画像６５が表示されると共に、蝶辞書を用いた推論結果として、検出された蝶に設定されたピント位置を示す枠画像６６が表示される。
【００７８】
ここで、ユーザ５１は自分でフォーカス変更操作をすることなく、シャッタボタン１３ａを押下操作するものとする。即ち、この場合には、制御部１１は、ステップＳ３６の次のステップＳ３７において撮影操作を検出する。制御部１１は、次のステップＳ３８において、撮影を行い、推論の使用に関するエビデンスを記録する。即ち、画像処理部１１ｂによって信号処理された撮像画像は、記録制御部１１ｃによって記録部１６の画像データ記録領域１６ａに記録される。また、設定制御部１１ｄは、推論エンジン１２による推論が利用されたこと、及び利用された辞書が蝶辞書であることを示す辞書ＩＤ等の情報を含む推論モデル使用情報を生成して記録制御部１１ｃに与える。これにより、記録制御部１１ｃは、画像データ記録領域１６ａに記録する撮像画像のメタデータとして、推論モデル使用情報を記録する。記録された撮像画像と推論モデル使用情報とにより、推論エンジン１２に記憶された蝶辞書を利用した推論を採用して撮影が行われたことが明らかとなる。
【００７９】
なお、上記説明では、ユーザが明示的に辞書を追加する例を示したが、ユーザが操作を行わなくても自動的に辞書の追加が可能である。ステップＳ４１において、辞書の転送が依頼されていない場合には、制御部１１は、次のステップＳ４５において、記録されている推論モデル使用情報に基づいて、推論不要の結果が過半数であるか否かを判定する。設定されている辞書では推論結果が採用されない場合の方が推論結果が採用される場合よりも多くなると、制御部１１は、ステップＳ４６において、推論エンジン１２が保持している辞書の全てについて推論不要の結果が過半数であるか否かを判定する。
【００８０】
制御部１１は、保持辞書の全てについて推論不要の結果が過半数であるという判定を行わない場合には、処理をステップＳ４７に移行して通常辞書を他の辞書に切換えて処理をステップＳ３１に戻す。また、保持辞書の全てが推論不要の結果が過半数である場合には、制御部１１は、推論エンジン１２にはユーザが好んで撮影する被写体のフォーカス制御に適した辞書が保存されていないと判定して、処理をステップＳ４２に移行して、外部機器３０に辞書の作成及び転送を依頼する。なお、この場合には、制御部１１は、ステップＳ４２において依頼する辞書の種類、即ち、辞書により検出する対象物についての指定をユーザに促してもよく、また、ステップＳ４２を省略して、ユーザの対象物の指定操作がない場合でも自動的に対象物を指定して辞書の作成及び転送を依頼するようになっていてもよい。例えば、制御部１１は、撮像画像の画像解析によって、主被写体がいずれの対象物であるかを判定し、この判定結果に基づいて対象物を検出するための辞書の作成及び転送を依頼するようになっていてもよい。
【００８１】
また、制御部１１は、撮像画像の画像解析によって、例えば蝶々の撮影の頻度が高いことを判定した場合には、ステップＳ３６においてフォーカス変更操作が所定回数繰り返されることを判定して、蝶辞書が優先されるように設定を行ってもよい。
【００８２】
なお、画像の色合いによって、画像の見え方は著しく異なる。そこで、制御部１１は、撮像画像の画像解析によって、撮像画像の色合いを判定することで、色合いに応じて、使用する推論モデルを切換えるように制御してもよい。この場合に使用する推論モデルについての採用、非採用に関する推論モデル使用情報を蓄積することで、色合いに応じて選択すべき推論モデルの判定が容易となる。
【００８３】
このように本実施の形態においては、第１の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、ユーザ操作に基づいて使用する推論モデルを切換えることができるだけでなく、推論モデル使用情報に基づく判定によって、使用する推論モデルを自動的に切換えたり、新しい推論モデルを外部機器に要求して自動的に推論モデルを組込んで利用したりすることも可能である。このように推論モデル使用情報を記録することで、推論モデルの有効性、利用範囲を判定し、推論モデルの有効利用の促進が可能である。
今後、様々な装置にＡＩを利用したガイドや自動制御、半自動制御が利用されていくが、どのような分野の装置、機器であっても、こうした「推論機能、操作関係データベース」は重要で、推論した結果がどの機能のどのような制御に影響し、ユーザにどのような影響を与えるのかを考慮して、そのユーザがそのガイドや自動制御、半自動制御に対して満足したかどうかの入力を行うことで、その機能が有効か否かが判定できる。つまり、その推論により実施された、あるいはされつつある機能を打ち消すような操作が何であるかを決めておかないと、その推論モデルがユーザに合っているかどうかがわからない。自動運転の車用の撮像部であれば、その推論結果で車が移動している時、ユーザがブレーキを踏んだ場合なども、本願のような推論モデルの有効性検証を行うにふさわしい状況である。こうした状況が頻発する場合は、推論モデルはそのユーザのためにカスタマイズした方が良い。本願のような工夫なければ、こうしたカスタマイズの必要性の正しい判定すらできない。カメラの場合、推論モデルを使って撮影した画像が、高い確率でユーザが消去していた場合、この推論モデルは不適当だと判定ができる。そのためには、その画像が推論モデルで撮影されたものであるかどうかを判定するための仕掛けが必要であって、この場合、「推論機能、操作関係データベース」には、推論機能は自動撮影であって、関連操作は画像消去操作というレコードが登録されていればよい。なお、この例では推論モデル使用情報は、対象の画像とは独立して記録しておく必要がある。或いは、推論モデル使用情報を画像のメタデータとして記録した場合には、当該画像を消去する前に、この画像はこの推論モデルで撮影したというメタデータを、それは消去された、という情報とともに、外部の解析用サーバに出力するようにしてもよい。サーバは取り込んだ推論モデル使用情報を解析して、新しい推論モデルが必要であるかどうかを判定できる。また、撮影チャンスを指示するガイドの提示を推論モデルを用いて行うカメラの場合、その指示に対して撮影を行わない場合を判定するなら、レリーズスイッチなどの操作が関連操作となる。さらに、推論モデルがユーザにふさわしい場合も同様の工夫で判定可能で、推論モデルで撮影した画像が必ず何度も再生されているような場合は、それが気に入ったと判定することができる。また、必ず、どこかにバックアップ記録されるような場合も同様の事が言える。このように、関連する操作は一つである必要はない。また、ある推論が特定の単一機能にのみ関連するわけでもない。顔を検出したら、フォーカスだけでなく露出なども合わせる場合があり、この場合、「推論機能、操作関係データベース」には機能が二つ、関連操作も複数になる場合がある。もちろん、データベースでなく、特定のプログラムで推論エンジンの利用とユーザ操作の関係を判定してもよく、特定の計算式で重みづけして判定するような場合も本願発明の技術範囲に含まれる。
【００８４】
なお、上記実施の形態においては、画像取得装置は、外部機器に推論モデルの作成及び転送を依頼したが、推論モデルの作成はいずれの装置において実施してもよく、例えば、クラウド上のコンピュータを利用してもよい。
【００８５】
上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、撮像部が画像取得装置と別体になったものでもよく、例えば、スキャナのように、機械自体は移動しないが、撮像部だけが移動するような機械も想定の範囲である。また、微生物を観察するような用途では、顕微鏡やステージが移動する場合もある。また、内視鏡の例を説明したが、カプセル内視鏡やＣＴスキャナ等の観察装置にも適用可能である。
【００８６】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００８７】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【００８８】
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【００８９】
なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。移動部などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。また、推論モデルとか学習済モデルという言葉で人工知能が判断する学習結果で判断する実施例を説明したが、これは、単純なフローチャートや条件分岐、あるいは演算を伴う数値化判断等でも代替可能な場合がある。また、カメラの制御回路の演算能力が改善されることや、特定の状況や対象物に絞り込むことによって、機械学習の学習を撮像装置内で実施してもよい。
【符号の説明】
【００９０】
１０…画像取得装置、１１…制御部、１１ａ…撮像制御部、１１ｂ…画像処理部、１１ｃ…記録制御部、１１ｄ…設定制御部、１１ｅ…通信制御部、１１ｆ…表示制御部、１２…推論エンジン、１２ａ…記憶部、１２ａ１，１２ａ２…辞書、１３…操作部、１４…通信部、１５…表示部、１６…記録部、１６ａ…画像データ記録領域、１６ｂ…メタデータ記録領域、２０…撮像装置、２２…撮像部、２２ａ…撮像素子、２２ｂ…光学系、３０…外部機器、３１…学習部、３１ａ…母集合作成部、３１ｂ…通信部、３１ｃ…出力設定部、３１ｄ…入出力モデル化部、３２…外部画像ＤＢ、３４…画像分類機能部。
【図１】
2019200536.tif 000003
【図２】
2019200536.tif 000004
【図３】
2019200536.tif 000005
【図４】
2019200536.tif 000006
【図５】
2019200536.tif 000007
【図６】
2019200536.tif 000008
【図７】
2019200536.tif 000009
【図８】
2019200536.tif 000010
【図９】
2019200536.tif 000011
【図１０】
2019200536.tif 000012
【図１１Ａ】
2019200536.tif 000013
【図１１Ｂ】
2019200536.tif 000014