(57)【要約】【課題】特定の状況において特定の条件を満足した情報取得を可能にする。【解決手段】  移動撮像システムは、移動体に設けられた撮像部と、撮像対象を特定するための対象物特定情報が与えられて、上記対象物特定情報によって指定された対象物を、上記移動体の周囲の撮像画像に対する画像解析によって検出し、検出された上記対象物を上記撮像部によって撮像させるために上記移動体を移動させる移動制御を行うと共に、上記撮像部によって上記対象物を撮像させる制御部と、を具備した移動撮像装置と、上記対象物特定情報を撮影傾向情報に基づく推論結果に従って生成し、上記移動撮像装置に伝送する対象物特定情報生成部と、を具備した移動撮像指示装置と、を備える。【選択図】図１
2019161606.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設けられた撮像部と、撮像対象を特定するための対象物特定情報が与えられて、上記対象物特定情報によって指定された対象物を、上記移動体の周囲の撮像画像に対する画像解析によって検出し、検出された上記対象物を上記撮像部によって撮像させるために上記移動体を移動させる移動制御を行うと共に、上記撮像部によって上記対象物を撮像させる制御部と、を具備した移動撮像装置と、
上記対象物特定情報を撮影傾向情報に基づく推論結果に従って生成し、上記移動撮像装置に伝送する対象物特定情報生成部と、を具備した移動撮像指示装置と、
を備えたことを特徴とする移動撮像システム。
【請求項２】
ユーザの撮影行為に至る撮影状況を検出すると共に当該撮影行為の結果である撮影結果を検出するセンサを具備し、検出した撮影時状況及び検出した撮影結果の情報を出力する状況検出部
を更に具備したことを特徴とする請求項１に記載の移動撮像システム。
【請求項３】
上記撮影傾向情報は、上記状況検出部が検出した撮像時状況と撮像結果との関係を表す情報である
ことを特徴とする請求項２に記載の移動撮像システム。
【請求項４】
上記撮影傾向情報に基づいて推論処理によって推論モデルを得る推論部を更に具備し、
上記推論モデルは、現在の撮影状況または未来の撮影状況を入力とし、上記対象物特定情報を出力する
ことを特徴とする請求項１に記載の移動撮像システム。
【請求項５】
ユーザが撮影したいであろう画像と、前記画像に付随する情報をペアにして教師データとするステップと、
上記教師データによって、ユーザが撮影したい状況を推論するための推論モデルを学習によって得るステップと、
を具備したことを特徴とする学習方法。
【請求項６】
上記推論モデルを学習によって得るステップは、上記ユーザが撮影したいであろう画像のうち、撮影機器において撮影可能な画像を選択して推論時に用いる
ことを特徴とする請求項５に記載の学習方法。
【請求項７】
移動体に設けられた撮像部と、
外部機器との間で通信を行う通信部と、
撮影傾向情報に基づく推論結果に従って撮像対象を特定するための対象物特定情報を生成する対象物特定情報生成部を備えた移動撮像指示装置から上記対象物特定情報が与えられて、上記対象物特定情報によって指定された対象物を、上記撮像部によって撮像させるために地図情報を利用して上記移動体を移動させる移動制御を行うと共に、上記撮像部によって上記対象物を撮像させる制御部と、
を具備する移動撮像装置。
【請求項８】
上記制御部は、上記撮像部が撮像した上記撮像対象の撮像画像を上記通信部により上記移動撮像指示装置に送信する
ことを特徴とする請求項７に記載の移動撮像装置。
【請求項９】
上記制御部は、上記撮像部が撮像した上記撮像対象の撮像画像を上記通信部により上記移動撮像指示装置以外の機器に送信する
ことを特徴とする請求項７に記載の移動撮像装置。
【請求項１０】
上記制御部は、上記撮像部において取得できる撮像画像の情報を上記撮影傾向情報として上記移動撮像指示装置に送信する
ことを特徴とする請求項７に記載の移動撮像装置。
【請求項１１】
ユーザの撮影行為に至る撮影状況を検出すると共に当該撮影行為の結果である撮影結果を検出するセンサを具備し、検出した撮影時状況及び検出した撮影結果の情報を出力する状況検出部と、
上記状況検出部が検出した撮像時状況と撮像結果との関係を表す撮影傾向情報に従って推論処理により推論モデルを得る推論部と、
上記推論部の推論結果に従って撮像対象を特定するための対象物特定情報を生成して出力する対象物特定情報生成部と、
を備えたことを特徴とする情報取得制御装置。
【請求項１２】
ユーザの撮影行為に至る撮影状況を検出すると共に当該撮影行為の結果である撮影結果を検出して、検出した撮影時状況及び検出した撮影結果の情報を出力する状況検出ステップと、
上記状況検出ステップにおいて検出した撮像時状況と撮像結果との関係を表す撮影傾向情報に従って推論処理により推論モデルを得る推論ステップと、
上記推論ステップに従って撮像対象を特定するための対象物特定情報を生成して出力する対象物特定情報生成ステップと、
を備えたことを特徴とする情報取得制御方法。
【請求項１３】
コンピュータに、
ユーザの撮影行為に至る撮影状況を検出すると共に当該撮影行為の結果である撮影結果を検出して、検出した撮影時状況及び検出した撮影結果の情報を出力する状況検出ステップと、
上記状況検出ステップにおいて検出した撮像時状況と撮像結果との関係を表す撮影傾向情報に従って推論処理により推論モデルを得る推論ステップと、
上記推論ステップに従って撮像対象を特定するための対象物特定情報を生成して出力する対象物特定情報生成ステップと、
を実行させるための情報取得制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業を行うロボットによる情報取得を可能にする移動撮像システム、学習方法、移動撮像装置、情報取得制御装置、情報取得制御方法及び情報取得制御プログラムに関する。
【背景技術】
【０００２】
近年、産業用ロボットだけでなく、一般家庭においても、商品化されたロボット掃除機、ドローン、二足歩行ロボット、犬型ロボット等の自律的に作業を行う各種ロボットが利用されるようになってきた。このようなロボットは、危険な場所での活動のため、人では進入困難な場所での活動のため、或いは、人の煩雑な作業や退屈な作業等を開放する目的のため等の様々な目的のために利用されている。
【０００３】
例えば、特許文献１においては、ユーザの指示に従って動くロボットが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２６３８４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術においては目標位置をロボットに提供する必要があるが、これからの時代は、機器が連携してユーザの求める事を実行する事が求められる時代になりつつあり、細かなプログラムや細かな操縦なしに、意を汲んだロボット制御をいかに行うかが課題となる。
【０００６】
本発明は、特定の状況において特定の条件を満足した情報取得を可能にすることができる移動撮像システム、学習方法、移動撮像装置、情報取得制御装置、情報取得制御方法及び情報取得制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様による移動撮像システムは、移動体に設けられた撮像部と、撮像対象を特定するための対象物特定情報が与えられて、上記対象物特定情報によって指定された対象物を、上記移動体の周囲の撮像画像に対する画像解析によって検出し、検出された上記対象物を上記撮像部によって撮像させるために上記移動体を移動させる移動制御を行うと共に、上記撮像部によって上記対象物を撮像させる制御部と、を具備した移動撮像装置と、上記対象物特定情報を撮影傾向情報に基づく推論結果に従って生成し、上記移動撮像装置に伝送する対象物特定情報生成部と、を具備した移動撮像指示装置と、を備える。
【０００８】
本発明の一態様による学習方法は、ユーザが撮影したいであろう画像と、前記画像に付随する情報をペアにして教師データとするステップと、上記教師データによって、ユーザが撮影したい状況を推論するための推論モデルを学習によって得るステップと、を具備する。
【０００９】
本発明の一態様による移動撮像装置は、移動体に設けられた撮像部と、外部機器との間で通信を行う通信部と、撮影傾向情報に基づく推論結果に従って撮像対象を特定するための対象物特定情報を生成する対象物特定情報生成部を備えた移動撮像指示装置から上記対象物特定情報が与えられて、上記対象物特定情報によって指定された対象物を、上記撮像部によって撮像させるために地図情報を利用して上記移動体を移動させる移動制御を行うと共に、上記撮像部によって上記対象物を撮像させる制御部と、を具備する。
【００１０】
本発明の一態様による情報取得制御装置は、ユーザの撮影行為に至る撮影状況を検出すると共に当該撮影行為の結果である撮影結果を検出するセンサを具備し、検出した撮影時状況及び検出した撮影結果の情報を出力する状況検出部と、上記状況検出部が検出した撮像時状況と撮像結果との関係を表す撮影傾向情報に従って推論処理により推論モデルを得る推論部と、上記推論部の推論結果に従って撮像対象を特定するための対象物特定情報を生成して出力する対象物特定情報生成部と、を具備する。
【００１１】
本発明の一態様による情報取得制御方法は、ユーザの撮影行為に至る撮影状況を検出すると共に当該撮影行為の結果である撮影結果を検出して、検出した撮影時状況及び検出した撮影結果の情報を出力する状況検出ステップと、上記状況検出ステップにおいて検出した撮像時状況と撮像結果との関係を表す撮影傾向情報に従って推論処理により推論モデルを得る推論ステップと、上記推論ステップに従って撮像対象を特定するための対象物特定情報を生成して出力する対象物特定情報生成ステップと、を具備する。
【００１２】
本発明の一態様による情報取得制御プログラムは、コンピュータに、ユーザの撮影行為に至る撮影状況を検出すると共に当該撮影行為の結果である撮影結果を検出して、検出した撮影時状況及び検出した撮影結果の情報を出力する状況検出ステップと、上記状況検出ステップにおいて検出した撮像時状況と撮像結果との関係を表す撮影傾向情報に従って推論処理により推論モデルを得る推論ステップと、上記推論ステップに従って撮像対象を特定するための対象物特定情報を生成して出力する対象物特定情報生成ステップと、を実行させる。
【発明の効果】
【００１３】
本発明によれば、特定の状況において特定の条件を満足した情報取得を可能にすることができるという効果を有する。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態に係る情報取得制御装置１０及び情報取得装置２０を示すブロック図。
【図２】本発明の第２の実施の形態に係り、図１の情報取得装置２０を細胞観察装置２０ａに適用した例を示す説明図。
【図３】情報取得制御装置の動作フローを示すフローチャート。
【図４】外部サーバの動作フローを示すフローチャート。
【図５】推論処理の概要を説明するための説明図。
【図６】情報取得の一連の処理の動作フローを示すフローチャート。
【図７Ａ】本発明の第３の実施の形態に係る説明図。
【図７Ｂ】本発明の第３の実施の形態に係る説明図。
【図８】カメラ７０の動作フローを示すフローチャート。
【図９】学習機器６６の動作フローを示すフローチャート。
【図１０】ロボット６８の動作フローを示すフローチャート。
【図１１】画像管理装置６７の動作フローを示すフローチャート。
【図１２】本発明の第４の実施の形態に係る説明図。
【図１３】ユーザがカメラ８０により情報取得条件を指示する様子を示す説明図。
【図１４】学習サーバ１００の推論の結果得られた情報を説明するための説明図。
【図１５】カメラ８０の動作を説明するためのフローチャート。
【図１６】学習サーバ１００の動作を説明するためのフローチャート。
【図１７】カメラ８０、ロボット掃除機９０及び学習サーバ１００が連携して撮像を行う様子を説明するための説明図。
【図１８】カメラ８０、ロボット掃除機９０及び学習サーバ１００が連携して撮像を行う様子を説明するための説明図。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１６】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る情報取得制御装置１０及び情報取得装置２０を示すブロック図である。本実施の形態はユーザによる行為、例えば、撮影や収音する行為或いはこれらにより取得された画像や音声を再生する行為に至る状況（以下、検出状況という）及び当該行為そのものの（以下、検出行為という）を各種センサによって検出し、検出した検出状況及び検出行為に対する学習によってロボット等を用いた情報取得装置２０に情報を取得させる場合の条件（以下、情報取得条件という）を決定して、情報取得装置２０に指示するものである。
【００１７】
例えば、あるユーザが所定の時間に所定の場所で、所定の撮影パラメータで撮影を行うものとすると、所定の時間及び所定の場所という検出状況と、所定の撮影パラメータで撮影を行うという検出行為が検出される。そして、これらの検出状況及び検出行為の学習によって、特定の時間、特定の場所において、特定の撮影パラメータで撮影を行うという情報取得条件が設定される。そして、この情報取得条件に従うことで、情報取得装置２０は、撮像画像という情報を取得する。即ち、情報取得装置２０は、ユーザが希望する情報を、ユーザに代わって自動的に取得することができるようになる。
【００１８】
例えば、ユーザが撮像を行うことによりユーザの撮像履歴情報を得ることができる。更に、不特定多数のユーザがインターネット等の公開サーバに公開した撮像画像の情報を取得することを考慮すると、撮像履歴情報は撮影の傾向を示す撮影傾向情報と言ってもよい。この撮影傾向情報に基づく推論結果によって、撮像対象を特定する対象物特定情報を取得することもできる。情報取得条件として対象物特定情報を取得することで、ロボットなどを利用した移動撮像システムが提供できる。
ロボット等、移動体には撮像部があり、このロボットの制御部に撮像対象を特定するための対象物特定情報が、移動撮像指示装置から与えられれば、このロボットは先に指定された対象物を、上記移動体の周囲の撮像画像に対する画像解析によって検出し撮像させることができる。また、この時、ロボットの制御部は、検出された上記対象物を上記撮像部によって撮像させるためにロボットを移動走行手段で必要な（特定された）位置に移動させる移動制御を行ってもよい。また、移動撮像指示装置（別体でなく、内蔵されていてもよい）は、対象物特定情報生成部を有し、それが、ユーザの撮像履歴情報に従った推論結果に従って上記対象物特定情報を生成して装置に伝送する。
【００１９】
上述した「所定の時間」は、今、こういう状況だから撮影した方が良いという現在の検出状況であってもよいし、過去から現在の状況の分析などで将来起こるであろう推論された状況によって撮影の準備に入りたいこともあるので将来の検出状況でも良い。ただし、実際にユーザが自分自身でその行為ができない場合に、この自動取得は役立ち、ユーザがやろうとしているときに自動取得が行われるとかえってユーザのニーズに応えられなくなる。つまり、ユーザが自分で実行できない行為を補助することが重要だが、これについては依頼や禁止の命令を行ったり、ユーザが遠くにいるとか寝ているとか、ユーザの状態を検出してこれを考慮したりして発動するようにすればよい。これは、この実施の形態に限らず全ての実施の形態について言える。また、自動取得する装置などにとって仕様上、不向きなケースもあり、こうした状況に関しては、ニーズをくみ取っても実行できないので、そもそも状況判定をしなくて良い。あるいは、ほかの対応機器に依頼するといった方策もある。この実施の形態では、このような特別な状況に関しては特に詳しくは説明していない。
【００２０】
なお、ユーザが撮影の結果得た画像に応じて次の撮影という行為が決定される場合もあり、行為によって得られた画像は、検出状況を得るための情報として利用することができる。そこで、以下、行為によって得られた画像や音声についても検出状況の情報として扱うものとする。
【００２１】
なお、以下の説明では、主に、画像の取得を例に説明するが、音声についても同様に適用可能である。
【００２２】
図１において、情報取得装置２０は、制御部２１を備えている。制御部２１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【００２３】
情報取得装置２０は、情報取得部２２を備える。情報取得部２２には、撮像部２２ａが設けられている。撮像部２２ａは、ＣＣＤやＣＭＯＳセンサ等によって構成された図示しない撮像素子が設けられており、図示しない光学系によって被写体光学像が撮像素子の撮像面に導かれるようになっている。撮像部２２ａは、被写体光学像を光電変換して被写体の撮像画像（撮像信号）を取得することができるようになっている。また、情報取得部２２には、収音部２２ｂも設けられており、収音部２２ｂは情報取得部２２の周囲の音声を収音して音声信号を取得することができるようになっている。
【００２４】
また、ここでは、イメージを明確にするために、ユーザが取得したくなる画像や音声を中心に撮像部２２ａや収音部２２ｂについて説明をしているが、紫外線や赤外線を使った画像、あるいは、Ｘ線などを使って得た画像もあり、音波や超音波の反射などの特性から、画像を得る技術が知られており、こうしたものに対応するべく、必要に応じて、これらの光の波長や放射線、音の周波数などに相応するセンサを設けてもよい。
【００２５】
情報取得装置２０には移動部２３が設けられている。移動部２３は情報取得部２２の情報取得の状態を変化させる図示しない機構を備えている。例えば、移動部２３は、撮像部２２ａの位置を移動させたり、撮像部２２ａによる撮像方向を変化させたりすることができるようになっている。また、移動部２３は、情報取得装置２０自体を移動させることで、情報取得部２２による情報取得方向及び情報を取得する位置を変更することができるようになっていてもよい。
【００２６】
例えば、情報取得装置２０がロボット掃除機等を利用するものである場合には、移動部２３は移動機構としての車輪を有している。また、情報取得装置２０がドローンを利用するものである場合には、移動部２３は移動機構としてプロペラを有する。また、情報取得装置２０としては、脚移動を行うロボットを採用してもよく、キャタピラによって移動するロボットを採用してもよい。なお、移動部２３は、移動機構を駆動するモータやエンジン等の駆動機構を含むものとする。移動部２３は、制御部２１に制御されて、所望の方向に情報取得装置２０を移動させることができる。
【００２７】
制御部２１は、情報取得部２２による情報取得の状態が情報取得条件に一致するように移動部２３を制御する場合もあり、また、移動部２３により情報取得部２２による情報取得の状態が変化した結果、情報取得の状態が情報取得条件に一致することになる場合もある。いずれの場合にも、制御部２１は、情報取得部２２による情報取得の状態が情報取得条件に一致すると、情報取得部２２に情報取得条件にて情報を取得させるようになっている。
【００２８】
情報取得条件は、検出状況及び検出行為に基づいて生成されるものであって、これらの情報と同種の情報である。検出状況、検出行為及び検出条件としては、例えば、取得する情報が画像である場合には、撮影する対象、撮影する環境（温度、湿度、圧力等）、撮影する時間、撮影する位置、撮影する画角、撮影時の各種映像パラメータ等の情報が考えられる。この情報取得条件は後述する情報取得制御装置１０において、検出状況及び検出行為に基づいて生成されるようになっている。
【００２９】
情報取得装置２０には検出状況及び検出行為を検出するための状況検出部２４が設けられている。状況検出部２４は、図示しない各種センサを有しており、ユーザが各種行為に至る検出状況及び各種行為そのものである検出行為を検出する。なお、状況検出部２４が有する各種センサとしては、時間の情報を検出する装置も含まれるものとする。例えば、ユーザの行為が撮影であるものとすると状況検出部２４は、上述したように、撮影する対象、撮影する環境、撮影する時間、撮影する位置、撮影する画角、撮影時の各種映像パラメータ等を検出することができるようになっている。状況検出部２４は、検出結果を検出状況及び検出行為の情報として制御部２１に出力する。なお、上述したように、検出状況の情報としては、情報取得部２２によって取得された情報そのものも含まれる。
【００３０】
情報取得装置２０には記録部２５も設けられている。記録部２５は、メモリやハードディスク等の所定の記録媒体により構成されており、制御部２１に制御されて、情報取得部２２において取得された情報が与えられて記録するようになっている。なお、状況検出部２４は、情報取得部２２における情報取得時の検出状況及び検出行為だけでなく、記録部２５に記録された情報の再生時における検出状況及び検出行為についても取得して制御部２１に出力することができるようになっている。
【００３１】
情報取得装置２０には通信部２６が設けられている。通信部２６は、制御部２１に制御されて、外部機器との間で通信を行って情報の送受信を行うことができる。制御部２１は、状況検出部２４によって検出した検出状況及び検出行為の情報を通信部２６を介して情報取得制御装置１０に送信すると共に、情報取得制御装置１０から送信された情報取得条件の情報を通信部２６を介して受信することができる。
【００３２】
情報取得制御装置１０は、制御部１１を備えている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。情報取得制御装置１０は通信部１３を有している。通信部１３は、制御部１１に制御されて、外部機器との間で通信を行って情報の送受信を行うことができる。制御部１１は、情報取得装置２０の通信部２６から送信された検出状況及び検出行為の情報を通信部１３を介して受信すると共に、後述する推論部１１ａによって生成された情報取得条件の情報を通信部１３，２６を介して情報取得装置２０の制御部２１に送信させることができる。
【００３３】
情報取得制御装置１０は記録部１２を有している。記録部１２は、メモリやハードディスク等の所定の記録媒体により構成されており、制御部１１に制御されて、通信部１３を介して受信した検出状況及び検出行為の情報が記録されるようになっている。
【００３４】
制御部１１には推論部１１ａが設けられている。推論部１１ａは、機械学習、深層学習等を実現する人工知能を構成するものであり、この人工知能を利用して推論を行うものである。推論部１１ａは、記録部１２に記録されている大量の検出状況及び検出行為の情報を読出して、学習を行い、推論の結果として情報取得条件を求めることができるようになっている。例えば、ユーザの撮影時刻及び撮影位置の情報が検出状況の情報として与えられ、所定の撮影パラメータでの撮影という検出行為の情報が与えられた場合には、推論部１１ａは特定の撮影時刻及び特定の撮影位置及び特定の撮影パラメータで撮影を行うという情報を情報取得条件の情報として求めることができる。なお、情報取得条件には、撮像対象を特定するための対象物特定情報も含まれる。
また、例えば、ユーザが所定の被写体を撮影して得られた画像が検出状況の情報として与えられた場合には、推論部１１ａは当該画像に対する画像認識処理によって被写体を特定し、被写体を特定するための情報を情報取得条件の情報として求めることもできる。また、例えば、検出状況の情報として変化する一連の画像が与えられ、所定の画像変換のタイミングで撮影を行うという検出行為の情報が与えられると、特定の変化状態の画像が得られるタイミングで撮影を行うという情報取得条件を求めることも可能である。ここでは、「撮影」という言葉で表したが、静止画や動画を撮影するのみならず、画像を観察、鑑賞するだけの用途もあるので、「撮像」といった表現にしてもよい。また、情報としては様々なセンサ類で所得できるデータであれば何でも良い。音を検出するマイクや収音回路などはその代表例となり、五感で検出できるものをセンサに置き換えて取得してもよく、超音波とか赤外、紫外など人間が感知できないものを専用のセンサで取得したものであってもよい。
【００３５】
制御部１１は、推論部１１ａによって求めた情報取得条件の情報を通信部１３，２６を介して情報取得装置２０の制御部２１に与えることができるようになっている。
【００３６】
なお、情報取得制御装置１０には撮像部１６及び表示部１７が設けられている。撮像部１６はＣＣＤやＣＭＯＳセンサ等によって構成された図示しない撮像素子が設けられており、図示しない光学系によって被写体光学像が撮像素子の撮像面に導かれるようになっている。また、表示部１７は、ＬＣＤ等によって構成された表示画面を有しており、与えられた撮像画像を表示画面上に表示することができる。
【００３７】
また、情報取得制御装置１０には、操作入力部１４が設けられている。操作入力部１４は図示しないキーボードやタッチパネル等により構成することができ、ユーザ操作を受け付けてユーザ操作に基づく操作信号を発生する。なお、操作入力部１４として、表示部１７の表示画面上に設けられた図示しないタッチパネルを採用してもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。操作入力部１４からの操作信号は制御部１１に供給される。制御部１１は操作信号に応じて各部を制御する。
【００３８】
ここで時計などを内蔵したり参照できたりしてもよく、ユーザの操作がどのタイミングでどのような頻度で行われるかを、操作の内容と季節、昼夜、時刻、周期といった時間判定結果と関連付けてデータ取りし調べられるようにしてもよい。また、文字入力結果や検索結果などを判定することも可能で、ユーザが情報取得装置２０を用いるときの条件等をこの入力結果から判定してもよい。また、情報取得装置２０が有する状況検出部２４と同様の検出機能を持ったり、または状況検出部２４とは別のセンサ類の出力を参照可能なようにしたりして、その操作時の時間やキーボード操作、タッチ操作以外の要因についても判定可能にしてもよい。もちろん、指紋認証や顔検出その他、操作者の個人認証などを行うセンサ類や、ＩＣタグやバーコードなどを読み込む装置を設け、認証結果からカスタマイズやセキュリティを考慮した作業補助等ができるようにしてもよい。ユーザのジェスチャや言葉をユーザモニタ用のカメラ入力の画像やマイク入力の音声で解析して、その意図を類推したり読み取ったりしてもよい。なお、実施形態やシステムの設計によっては、このような機能は情報取得装置２０に持たせてもよいし、機器間で情報を共通利用してもよい。また、上述した「意図を類推」する対象のユーザは、特定の個人にこだわる必要はなく、類似のプロフィールの人も含めてユーザとしてもよいし、一般的な人として、こうするであろう、といった傾向がある場合はもっと広げた人物一般をユーザとしてもよい。これは、その「意図」をどのように反映するかによる。
【００３９】
また、図１の例では、移動撮像指示装置としての情報取得制御装置１０は、移動撮像装置としての情報取得装置２０の移動及び情報取得を制御することができるようになっている。ユーザは、操作入力部１４によって、情報取得装置２０の移動及び情報取得を制御するための操作を行うことができるようになっており、情報取得制御装置１０の制御部１１は、ユーザ操作に基づいて、情報取得制御装置１０の移動及び情報取得を制御するための制御情報を通信部１３，２６を介して制御部２１に送信することができる。この制御情報に基づいて、制御部２１は、移動部２３及び状況検出部２４を制御して、所望の条件で情報を取得することができるようになっている。
【００４０】
このように構成された実施の形態においては、ユーザは、例えば操作入力部１４を操作して、情報取得装置２０の移動及び情報取得を制御する。例えば、情報取得制御装置１０としてスマートフォンを採用し、情報取得装置２０として撮像機能を有するロボットを採用するものとする。ユーザは、スマートフォンのタッチパネル等を操作入力部１４としてロボットの撮影を制御する操作を行う。この操作により、情報取得制御装置１０を構成するロボットは、例えば所定の時間に所定の位置において、所定の撮影パラメータで被写体を撮像するものとする。
【００４１】
状況検出部２４はこのようなユーザの撮影操作に至る検出状況及び撮影時の検出行為を検出する。例えば、この場合には、状況検出部２４は、撮影時間、撮影位置及び被写体の情報を検出状況として得るとともに、所定の撮影パラメータで撮影するという検出行為の情報を得る。状況検出部２４が取得した検出状況及び検出行為の情報は制御部２１に与えられる。制御部２１は、状況検出部２４が検出した検出状況及び検出行為の情報を通信部２６，１３を介して情報取得制御装置１０の制御部１１に送信する。
【００４２】
制御部１１は、受信した検出状況及び検出行為の情報を記録部１２に逐次与えて記録する。制御部１１は記録された検出状況及び検出行為の情報に対する機械学習、深層学習等による推論を行い、ユーザが希望するであろう情報取得条件を求める。例えば、逐次記録された検出状況及び検出行為の情報に基づいて、制御部１１は、ユーザが特定の時間に特定の位置において、特定の撮影パラメータで被写体の撮像を希望するという情報取得条件を推論する。制御部１１は推論によって得た情報取得条件の情報を通信部１３，２６を介して制御部２１に出力する。
【００４３】
この学習は、記録された情報とそれが得られた条件を教師データとすることによって、特定の条件で、特定の画像が得られることを推論するモデル（学習済モデル）を得るもので、ここで説明しているシステムそのものを利用する個人をユーザ（狭義のユーザ）としても良いし、一般的な同様のニーズを持つ人たちをユーザ（広義のユーザ）と呼んでも良い。こうした広義、狭義のユーザの上記撮像行為に至るまでに検出した状況と上記撮像行為に関連する情報を検出または取得（その時々に検出してもよいし、検出されて記録してあったものを読み取るのも可）するために状況検出部２４を設けてある。こうして状況と行為の関係を上記ユーザの撮像履歴に従って機械学習してモデル化すればよい。つまり、ここで得られる推論結果は、上記状況検出部２４からの情報に基づいて学習された推論モデルによって得られるものである。例えば、上記推論モデルは、特定の日時そのもの、あるいはその時の状況を入力とし、その状況における対象物特定情報（情報取得条件）を出力するように学習されているので、その時々に応じて、そのユーザ、あるいは一般的なユーザが撮像したい対象物が決定できる。もちろん、推論の信頼性が低いかどうかも出力可能としておき、その状況での対象物特定情報の信頼性が低い場合は撮像をする必要はない。
【００４４】
制御部２１は、情報取得条件が与えられると、当該情報取得条件に従って、移動部２３及び状況検出部２４を制御して、情報を取得する。即ち、この場合には、ユーザ操作に拘わらず、移動部２３を制御して状況検出部２４を特定の位置に位置させ、状況検出部２４により特定の時刻に対応する被写体を特定の映像パラメータで撮像させる。
【００４５】
このように本実施の形態においては、ユーザが行為に至る検出状況及びその行為（検出行為）を各種センサによって検出する。情報取得制御装置の制御部は、検出した検出状況及び検出行為に対する学習によって、ユーザが希望するであろう情報取得条件を求め、当該情報取得条件の情報を情報取得装置に送信する。これにより、情報取得装置において、情報取得条件に従った情報取得が行われる。こうして、ユーザが意識することなく、ユーザが希望する情報取得条件に従って自動的に情報の取得が行われる。
【００４６】
なお、図１の例では、状況検出部２４は、情報取得装置２０に内蔵されている例を示しているが、情報取得装置２０の外部に設けてもよく、情報取得制御装置１０に設けられていてもよい。また、図１の例では、検出状況及び検出行為を検出する情報取得装置２０において、情報取得条件に従った情報取得が行われる例を示したが、検出状況及び検出行為を取得する装置と、情報取得条件に従って情報を取得する装置とは相互に異なる装置であってもよい。
【００４７】
また、図１の例では、情報取得装置２０の制御部２１は、情報取得条件に従って情報を取得するものと説明したが、情報取得制御装置１０の制御部１１において、推論の結果得た情報取得条件に基づいて、情報取得装置２０を制御するための制御情報を求め、当該制御情報を制御部２１に与えて情報取得を制御するようになっていてもよい。従って、図１の情報取得装置２０としては、情報取得機能を有し、遠隔操作可能な装置を採用することも可能である。
【００４８】
即ち、検出状況及び検出行為を取得する処理（取得処理）、取得した検出状況及び検出行為から情報取得条件を推論する処理（推論処理）及び推論した情報取得条件に基づいて情報取得を制御する処理（取得制御処理）の各処理については、情報取得制御装置及び情報取得装置のいずれで行っても、或いはこれらの装置で分担して協働して行ってもよく、或いは他の外部の機器に処理を委託してもよい。
【００４９】
ここでの推論を行う推論モデルは、ユーザが取得したいであろう画像などの情報と、その取得情報に付随する付随情報をペアにして教師データとし、この教師データによって学習された成果物を想定している。この推論モデルは、この状況ではこうした情報が欲しいはずだという推論を行う。また、ユーザが取得したいであろう情報は、情報取得装置の性能や機能や設置環境などの情報から取得できそうな情報をさらに選択して推論時に反映した方が良い。これによって不得手とする無駄な動作を行わず、無理のない情報取得が可能となる。無理であれば、ユーザに警告を送信するなどの工夫をしてもよい。
【００５０】
（第２の実施の形態）
図２は本発明の第２の実施の形態に係り、図１の情報取得装置２０を細胞観察装置２０ａに適用した例を示す説明図である。
【００５１】
図２において、細胞観察装置２０ａは観察対象の画像情報を取得する移動撮像装置（作業ロボット）である。また、筐体１０ａ内には、図１の情報取得制御装置１０を構成する各回路が収納されている。細胞観察装置２０ａの観察対象は、シャーレ等の培養容器５１中の試料である。図２では、培養容器５１は、底板が四角形状の上方が開口した箱体であるが、底板の形状は円形状のものであってもその他の形状のものであってもよい。このような容器形状によっても観察すべき場所は変わるので、操作入力部１４や状況検出部２４によって容器形状を入力、または自動判定できるようにしてもよい。これを状況検出して制御を切り替えてもよいので、容器形状は推論処理の入力情報としてもよい。培養容器５１の底板上には培地５２が形成されている。培地５２上に細胞５３が培養されている。
【００５２】
細胞観察装置２０ａは図１の収音部２２ｂ及び記録部２５を除く構成要素が収納された筐体４１を有する。筐体４１は培養が行われる高い湿度、比較的高温の環境下で装置に影響が出ることがないように、密封構造が取られ、四方が側板４１ａ〜４１ｄによって囲まれ、底面に底板４１ｅが配置され、上面は培養容器が載置される方向なので、装置から観察が可能なように透明板４１ｆが配置されて、側板４１ａ〜４１ｄ、底板４１ｅ及び透明板４１ｆによって密閉された箱形状を有する。なお、図２では図面の見やすさを考慮して、透明板４１ｆは側板４１ａ〜４１ｄから離間した状態を示しているが、実際には透明板４１ｆを側板４１ａ〜４１ｄに当接させて、筐体４１内部を密封する構造となっている。なお、この筐体４１に記録部２５の全部または一部が収められていてもよく、作業性に合わせて外部に拡張可能にしてもよい。
【００５３】
筐体４１内には、カメラ台４２に取り付けられたカメラ装置４３が収納されている。カメラ装置４３は、図１の収音部２２ｂを除く情報取得部２２、制御部２１及び通信部２６に相当する。筐体４１内には、ｘ方向にカメラ装置４３を進退させるためのｘ送りネジ４４ｘ、ｙ方向にカメラ装置４３を進退させるためのｙ送りネジ４４ｙが設けられている。ｘ送りネジ４４ｘは、一端が支持部材４５に回動自在に支持され、他端はカメラ台４２の図示しないねじ孔に螺入されている。ｘ送りネジ４４ｘが回動することで、カメラ台４２はｘ方向に進退自在である。また、ｙ送りネジ４４ｙは、一端が支持部材４７に回動自在に支持され、他端は支持部材４５が固定された移動部材４６の図示しないねじ孔に螺入されている。ｙ送りネジ４４ｙが回動することで、移動部材４６はｙ方向に進退自在である。従って、ｘ，ｙ送りネジ４４ｘ，４４ｙを適宜回動させることによって、カメラ台４２をｘ，ｙ方向の任意の位置に移動させることが可能である。
【００５４】
ｘ，ｙ送りネジ４４ｘ，４４ｙは、それぞれ図示しない２つのモータによって回動されるようになっており、移動制御回路４８は、この２つのモータを駆動することができるようになっている。移動制御回路４８を含むカメラ台４２の移動機構によって、図１の移動部２３が構成される。なお、この位置を変えるスキャン（走査）機構は、様々な方式に変更可能で、ベルトで動かす方式でもよく、レールに沿ってモータで移動する方式でもよい。
【００５５】
移動制御回路４８は、情報取得制御装置１０によって制御されるようになっている。移動制御回路４８は、図１の通信部２６に相当する通信部４８ａを有しており、移動制御回路４８は、通信部４８ａ，１３を介して情報取得制御装置１０の制御部１１から、カメラ装置４３を移動させるための制御情報が与えられるようになっている。こうして、移動制御回路４８は、情報取得制御装置１０の制御に従って、カメラ装置４３を移動させることができるようになっている。
【００５６】
なお、移動制御回路４８は、カメラ装置４３の移動制御のための情報（移動制御情報）を記憶する図示しないメモリを有し、当該メモリに移動制御情報を予め記憶させておき、この移動制御情報に従ってカメラ装置４３を移動制御するようになっていてもよい。
【００５７】
図１の情報取得部２２の撮像部２２ａを構成するカメラ装置４３は、透明板４１ｆを介して入射される光を取り込む光学系４３ａを有しており、光学系４３ａの結像位置には、図示しない撮像素子が設けられている。光学系４３ａは、フォーカス（合焦）状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等（図示せず）を有する。なお、カメラ装置４３は、光学系４３ａ中のレンズ及び絞りを駆動する図示しない機構部を有している。
【００５８】
本実施の形態においては、透明板４１ａ上には、培養容器５１を載置可能である。透明板４１ｆのサイズ、即ち筐体４１のサイズは、例えば、培養容器５１を透明板４１ｆ上に載置可能なサイズであればよい。図２では、透明板４１ｆは培養容器５１よりもサイズが大きい例を示したが、筐体４１は、培養容器５１と同様のサイズで構成することができ、例えば、携帯性に優れたスマートフォン等と同様のサイズ及び重量に構成することが可能である。
【００５９】
本実施の形態においては、培養容器５１を図示しない支持部材によって、透明板４１ｆ上に固定的に配置することができるようになっていてもよい。筐体が密閉構造で小型であれば、洗浄などの取り扱いにも耐え、あたかも培養容器と一体の機器として扱うことが出来る。
【００６０】
カメラ装置４３は、透明板４１ｆ上に載置された培養容器５１内の細胞５３の撮像画像を取得することができる。培養容器５１を透明板４１ｆ上に固定的に配置した場合には、筐体４１を傾斜させた場合でも、透明板４１ｆと培養容器５１との位置関係は変化しない。従って、例えば、クリーンベンチ内において筐体４１と共に培養容器５１を傾斜させるような作業を行う場合でも、透明板４１ｆ上に固定された状態の培養容器５１とカメラ装置４３の光学系４３ａとの位置関係は変化しないので、カメラ装置４３のｘ、ｙ方向の位置や、フォーカス状態が変化することはなく、カメラ装置４３の固定などの制御により同じ細胞の状態を継続して観察可能である。
【００６１】
なお、細胞５３の状態を観察するためにカメラ装置４３の画角は極めて狭く、培地５２全体の観察を行うためには、カメラ装置４３を移動させながら撮影を行う必要がある。
【００６２】
カメラ装置４３は、図１の通信部２６に相当する通信部４９を備えており、撮像して得た細胞等の撮像画像を通信部４９及び通信部１３を介して筐体４１外部の情報取得制御装置１０に送信することができるようになっている。もちろん、この筐体部に表示パネルを設け、ここに上記撮像結果を表示する応用も考えられる。また、カメラ装置４３は、通信部１３，４９を介して、情報取得制御装置１０から制御情報が与えられ、制御情報に応じた撮影パラメータ及び撮影タイミングで撮影を行うことができるようになっている。また、カメラ装置４３に構成された制御部２１は、情報取得条件が与えられると、情報取得条件に従った撮影を行うことができるようになっていてもよい。
【００６３】
即ち、図２の実施の形態においては、上述した取得処理、推論処理及び取得制御処理の各処理のうち少なくとも取得処理及び推論処理については、情報取得制御装置１０において実施される。
【００６４】
このような例では、ユーザの撮像行為に至るまでに検出した状況というのは、細胞培養開始からの時間とか容器サイズや培地（種類や交換に関する情報）、インキュベータ内の位置や温度、湿度などを含む培養の条件のみならず、このユーザ特有のこだわり条件などを想定している。これらは、インキュベータの情報のみならず、例えばＰＣ等で入力したテキスト情報や、容器や器具につけられたＩＣタグやバーコードなどから読みとってもよい。これらを状況検出部２４によって検出し、上記撮像行為に関連する情報を取得する状況を判定する。これは、その都度、システムを構成する各機器と交信して検出してもよいし、検出されて記録してあったものを読み取ってもよい。つまり、特定の日時などタイミングにおいて、そのタイミングそのものやそのタイミングでの状況とから、対象物特定情報を含む情報取得条件を出力するような推論エンジンを用いることで、研究者が忘れていたタイミングや気づかなかった状況下での撮像、観察が可能となる。撮像結果は、どこかに伝送してもよいし記録してファイル化したものを転送してもよい。ここでは、特に研究者ごとのこだわりが強い場合や初心者の場合があるが、ユーザの撮像履歴に従った推論結果は、前者であれば狭義のユーザの行動、後者では広義のユーザ（多くの研究者が公開した論文などから読みとれるもの）の行動を状況検出部２４から取得した結果として利用する。こうして学習された推論モデルによって、それぞれのユーザがどのような撮影タイミングや撮影位置での撮影をするかなどが推論される。
【００６５】
上述した「研究者が忘れていたタイミング」は、今、こういう状況だから撮影した方が良いという現在の検出状況で判定してもよいし、例えば、研究者が研究室に来ていないとかを照明や入室管理で判定したり、自分のＰＣにログインしていないとかを判定したりして、現在の状況の分析などで将来起こるであろう推測された状況であってもよい。これによって、実際にユーザがやろうとしているときに、余計な自動取得が行われるといった問題を解決できる。つまり、ユーザが自分で実行できない行為を補助することが重要だが、こうした他の情報の連携による判定でもよく、ユーザの手動設定を採用してもよい。また、ここでは、細胞観察といった特定のユースケースに絞った例とすることで、自動取得する装置（ここでは細胞観察等の特定容器内の拡大観察）などにとって仕様上、不向きなケースを回避する。
【００６６】
次に、このように構成された実施の形態の動作について図３から図６を参照して説明する。図３は情報取得制御装置の動作フローを示すフローチャートであり、図４は外部サーバの動作フローを示すフローチャートであり、図５は推論処理の概要を説明するための説明図である。また、図６は情報取得の一連の処理の動作フローを示すフローチャートである。
【００６７】
図３のステップＳ１において、情報取得制御装置１０の制御部１１は、観察モードが指定されたか否かを判定する。観察モードが指定されている場合には、制御部１１は次のステップＳ２において、操作入力部１４のユーザ操作を受け付け、操作に応じて細胞観察装置２０ａを制御するための設定を行う。例えば、制御部１１は、ユーザ操作に基づいて、カメラ装置４３の位置、即ち撮影位置を設定し、撮影日時を設定し、撮影パラメータを設定する。また、制御部１１は、撮影位置及び撮影日時を検出状況として検出し、撮影パラメータ及び撮影行為を検出行為として検出する。
【００６８】
次に、制御部１１は、ステップＳ３において、設定に応じた撮像を細胞観察装置２０ａに指示する。即ち、制御部１１は移動を制御するための制御情報を通信部１３，４８ａを介して移動制御回路４８に送信し、撮影を制御するための制御情報を通信部１３，４９を介してカメラ装置４３に出力する。
【００６９】
これにより、移動制御回路４８は、カメラ装置４３を所定の撮影位置に移動させ、カメラ装置４３は、所定のタイミングで所定の撮影パラメータにより細胞５３を撮像する。カメラ装置４３は撮像した得た画像を通信部４９，１３を介して情報取得制御装置１０の制御部１１に送信する。制御部１１は、受信した観察画像を表示部１７に与えて表示させる（ステップＳ４）。
【００７０】
制御部１１は、ステップＳ５において、観察画像の記録が指示されているか否かを判定し、記録が指示されている場合には、受信した観察画像を記録部１２に与えて記録する（ステップＳ６）。また、この場合には、検出した検出状況及び検出行為についても記録部１２に記録する。なお、制御部１１は、記録が指示されていない場合には、ステップＳ５から処理をステップＳ１に戻す。
【００７１】
制御部１１は、ステップＳ６で画像を記録するのみならず、この時の記録に至るまでの来歴を一緒に記録することによって、その結果とプロセスとをデータとして学習用の教師データにすることができる。また、必要に応じて、撮影後の操作の履歴も記録すれば、ステップＳ６の後の、装置の初期化などにも学習結果を採用できる。
【００７２】
観察モードにおいては、ステップＳ１〜Ｓ６が繰り返されて、観察画像及びこの観察画像の取得に際して検出された検出状況及び検出行為が順次記録される。こうして順次記録された検出状況及び検出行為を用いて推論処理が行われる。
【００７３】
図３の例では推論処理を外部サーバに実施させ、取得制御処理を情報取得制御装置１０において実施する例を示している。制御部１１はステップＳ１において観察モードが指定されていないと判定した場合には、処理をステップＳ１１に移行して、推論エンジン連携モードが指定されているか否かを判定する。モード設定はユーザが初心者である場合や、実験のやり直しが多い場合など、プロフィールやこれまでの実験結果の履歴などから判定し、自動で行ってもよい。これは、研究室であれば、入室管理やパソコンなど事務機器やシステムへのログイン情報等で判定可能である。制御部１１は、推論エンジン連携モードが指定されている場合には、連携している外部機器に推論処理（学習処理）を依頼する（ステップＳ１２）。即ち、制御部１１は、記録部１２から読出した検出状況及び検出行為の情報を、通信部１３を介して外部機器６０（図５）に送信する。制御部１１は、ステップＳ１３において、外部機器が検出状況及び検出行為に基づいて推論して得た推論モデル（情報取得条件）を受信して記録部１２に記録する。
【００７４】
このように、この装置自身の操作履歴、あるいはこの装置のユーザの使用履歴を考慮した制御とすることで、この装置では撮像できないような対象物を考慮する必要はなくなる。あるいは、同様の目的で使用される同様の仕様の装置で得た画像などは学習時の教師データにしてもよい。例えば、複数の装置を同じ実験室で使っている場合、ほかの装置、ユーザが行っている利用方法などを学習して、標準的な操作を反映したり採用したりすることができる。また、インターネット上で、こうした画像が使用履歴データ付きで出ている場合、研究室以外での使い方などが反映され、新しい装置使用方法などを導入することも可能となり、新しい発見につながる。
【００７５】
図４及び図５は外部機器６０の推論処理を示している。なお、外部機器６０は、推論部１１ａと同様に、機械学習、深層学習等を実現する人工知能が構成されており、この人工知能を利用して推論を行うものであり、この推論処理は、情報取得制御装置１０における推論処理と同様の処理である。
【００７６】
外部機器６０は、ステップＳ２１において、学習依頼の待機状態である。学習が依頼されると、外部機器６０は、ステップＳ２２において、検出状況及び検出行為を教師データとして読み込み、例えば深層学習などの機械学習を実行する（ステップＳ２３）。外部機器６０は、例えば画像を教師データとして、そこに付いているメタデータや関係する付随データ（あるいは画像から情報を読みとってもよい）からどのような撮影がどのような状況下で行われたかという法則性を見出すような学習、つまり、いかなるの状況下で撮影が行われる情報取得条件を学習したか否かを判定する（ステップＳ２４）。
【００７７】
図５の外部機器に入出力層とニューロンとで模式的に図示した推論エンジンは、その入力層が状況データを入力し、各ニューロン間の結合の強さ（重み付け）として、その状況下で取得すべき情報の情報取得条件（対象物特定情報）を出力するような推論モデルを設定する。この推論エンジンの出力層からの出力が、推論結果となる。つまり、ユーザの上記撮像行為に至るまでに検出した状況と上記撮像行為に関連する情報を取得する状況検出部とこのユーザの撮像履歴に従った推論結果は、上記状況検出部からの情報に基づいて学習された推論モデルによって得られる。この上記推論モデルは、特定の日時の状況を入力とし、対象物特定情報（情報取得条件）を出力するようなものを想定しているが、日時の状況とまでいかず、日時やタイミングそのものを入力としてもよい。
【００７８】
外部機器６０は、情報取得条件が導かれた場合には、ステップＳ２５において推論モデルを情報取得制御装置１０に送信して処理をステップＳ２１に戻し、推論の結果、情報取得条件に特定の信頼性が得られない場合には、ステップＳ２６において学習母体を再設定したり、重みづけやニューロンの設計などを変更したりしながら、特定の信頼性レベルになるように、ステップＳ２３において、例えば深層学習などの機械学習を再度実施する。
【００７９】
これは、例えば、研究者がこのましくない画像ばかりを撮像されるような場合に相当する。つまり、観察したり撮ったりしたくないような位置での画像などが表示される場合は、意図通りの学習ができていないとしてやり直す。つまり、ユーザが撮像して観察したいであろう画像の例と、その画像に付随する情報をペアにして教師データとするが、必要に応じて、撮像（観察）したくない画像やその付随情報も教師データとして学習させ、これが識別できるようにする。こうした教師データによって、ユーザが撮像したい状況を推論するための推論モデルを学習によって得るが、このユーザが撮像したいであろう画像は、このユーザがこの撮層機器で撮影できそうな画像であることが好ましい。また、撮影したくない画像も、このユーザがこの撮像機器で撮像できるのだが、撮像をあえてしたくない画像を選んだ方が、その意図を明確に反映することができる。
【００８０】
こうして得られた推論モデルが情報取得条件として情報取得制御装置１０に与えられる。情報取得制御装置１０の制御部１１は、ステップＳ１１において推論エンジンとの連携モードでないと判定した場合には、ステップＳ１４において、現在の状況が推論によって得た情報取得条件に一致するか否かを判定する。制御部１１は、一致している場合にはステップＳ１５において、情報取得条件に応じた制御情報を生成し、ステップＳ１６において制御情報を細胞観察装置２０ａに出力する。
【００８１】
ここでは、ユーザが自分でやろうとしていた場合は、装置が勝手な事をしているように見えるので、例えば、ステップＳ１をＮＯに分岐しないようにしたり、ステップＳ１４でＹＥＳに分岐しないようにしたり工夫をする。例えば、ステップＳ１４でのＹＥＳへの分岐を、ユーザの許可とのアンド条件にすればよい。
【００８２】
細胞観察装置２０ａの移動制御回路４８は、制御情報に基づいてカメラ装置４３を特定の位置に移動させ、カメラ装置４３は、制御情報に基づいて特定のタイミングで特定の撮影パラメータにより細胞５３を撮影する。カメラ装置４３は撮影によって得た画像を情報取得制御装置１０に送信する。こうして、情報取得制御装置１０の制御部１１は、撮影結果である観察画像とこの観察画像の取得時に用いた情報取得条件を記録部１２に記録する。
【００８３】
図６は上述した一連の処理による情報取得の一例を説明するものである。図６は、例えば、細胞観察において、観察者が最初に観察したいと考える培養容器５１上の位置を推論して、自動的に観察画像の取得を行う場合の取得処理、推論処理及び取得制御処理を示している。上述したように、これらの処理は、情報取得制御装置１０、細胞観察装置２０ａ及び外部機器６０のうちの１つ又は複数に分散して実現可能である。
【００８４】
図６のステップＳ３１は、ステップＳ１に対応した観察モードの待機状態を示す。観察モードでは、観察者の行為に従った画像収集が行われる。カメラ装置４３によって取得された画像は、撮影位置の情報と共に記録部１２に記録される（ステップＳ３２）。記録された撮影位置の情報を用いた推論処理によって、重要と考えられる画像収集の状況が推論される（ステップＳ３３）。
【００８５】
例えば、検出状況及び検出行為により、観察者が日々の観察の開始時に、先ず培養容器５１上のいずれの位置を観察（撮影）するかを推論することができる。また、検出状況の情報として観察画像が含まれる場合には、この観察画像の画像解析によって、病変部分等の特定の画像部分の位置を推論することも可能である。このような特定位置を推論の結果得られた場合には、処理をステップＳ３３からステップＳ３４に移行して、特定の位置という情報取得条件を推論の結果として得る（ステップＳ３５）。また、例えば、情報取得条件として、観察開始という条件を推論の結果得ることもできる。
【００８６】
次のステップＳ３６では、情報取得条件を満足したか否かが判定される。例えば、観察開始という特定条件を満足すると、情報取得条件に従った撮像位置及び撮影パラメータでの撮影を行うための制御情報が移動制御回路４８及びカメラ装置４３に送信される。
【００８７】
こうして、観察者が観察の開示時に観察したいと考える重要な部分、例えば、病変部分等が、優先的に撮影されることになる。
【００８８】
このように本実施の形態においては、観察者の行為に基づく検出状況及び検出行為を用いた推論によって情報取得条件を求め、この情報取得条件に基づいて情報を取得するように制御されることから、観察者が重要と考える観察ポイントを優先的に観察（撮像）することが可能となる。細胞観察では、カメラ装置の画角が比較的小さく、培養容器の全体を観察するには比較的長時間を要する。また、細胞観察では細胞の変化が比較的小さいことも考えられる。このため、画像変化が比較的大きい部分や、観察者が最初に観察する部分等を推論によって求めることで、これらの重要と考えられる部分を優先的に、例えば他の部分に比べて観察する頻度を大きくして観察することにより、細胞観察の効率化を図ることができる。
【００８９】
このように、細胞観察装置などに移動撮像システムが応用できる。移動可能な撮像部があり、この撮像部を動かす制御部に撮像対象を特定するための対象物特定情報が、例えば外部の移動撮像指示装置から与えられれば、この細胞観察装置（拡大観察装置）は先に指定された細胞その他の微小物を、必要に応じて画像解析も併用することによって検出して最適なタイミングや特定された位置に移動して撮像させることができる。また、移動撮像指示装置（別体でなく、内蔵されていてもよい）は、対象物特定情報生成部を有し、それが、ユーザの撮像履歴情報に従った推論結果に従って上記対象物特定情報を生成して装置に伝送する。細胞観察などは、非常に細かな制御が必要で、少しの環境変化によって差異が出てしまうので、この実施の形態のように人工知能を用いた大量のデータを利用した判断は非常に効率的な観察が可能となる。
【００９０】
（第３の実施の形態）
図７Ａ及び図７Ｂは本発明の第３の実施の形態に係り、図１の情報取得制御装置１０及び情報取得装置２０による取得処理をカメラ７０により実現し、推論処理を学習機器６６によって実現し、取得制御処理を移動撮像装置としてのロボット６８によって実現する例を示す説明図である。なお、ロボット６８は、以下の機能を実現するために、図１中の必要な回路を備えているものとする。
【００９１】
図７Ａは室内６１の様子を示している。室内６１には、壁に沿ってサイドボード６２及びテレビジョン受信機（ＴＶ）６３が配置されている。また、室内６１の中央にはテーブル６４が配置され、テーブル６４の前にはソファー６５が配置されている。なお、サイドボード６２上には学習機器６６が載置されている。ＴＶ６３上には画像管理装置６７が載置されている。また、室内６１内には、ロボット６８が存在する。
【００９２】
図７Ｂはカメラ７０によって赤ちゃん７２を撮影することで、カメラ７０から検出状況及び検出行為の情報が学習機器６６に送信され、学習機器６６からロボット６８に対して例えば赤ちゃん７２を撮影するための情報取得条件が送信されることを示している。即ち、カメラ７０は撮影機能を有すると共に上述した取得処理を実現するように構成されている。また、学習機器６６は上述した推論処理を実現するように構成されている。また、ロボット６８は移動機能及び撮影機能を有すると共に、上述した取得制御処理を実現するように構成されている。
【００９３】
例えば、図示しないユーザがカメラ７０によって赤ちゃん７２を頻繁に撮影するものとする。カメラ７０からの撮像画像を含む検出状況及び検出行為は、学習機器６６に与えられる。この場合には、例えば、学習機器６６は検出状況及び検出行為から、ユーザが赤ちゃん７２の画像を撮影することを望んでいることを推論することができ、更に、赤ちゃん７２の成長の過程を記録したいと考えているものと推論することもできる。例えば、学習機器６６は、当該赤ちゃん７２の撮像画像が例えば半年以上蓄積され、おしりで座ってる画像が存在すると共に、つかまり立ちをしている当該赤ちゃん７２の画像が存在しないことを判定すると、情報取得条件として、当該赤ちゃんがつかまり立ちをしている状態を撮影することを設定することも可能である。
【００９４】
更に、学習機器６６は、カメラ７０が室内６１の様子を撮影している場合等においては、赤ちゃん７２がつかまり立ちしやすい場所や、ぬいぐるみがある場所などを判定することもできる。例えば、学習機器６６は、図示しないクラウド上のサーバから取得できる画像情報等によって、赤ちゃんがソファーや階段等の段差のある部分を利用してつかまり立ちをすることが多いことを認識することも可能であり、つかまり立ちの赤ちゃんを撮像させる場合には、ソファー６５や階段等の段差部分で撮像を行うように、情報取得条件を設定してもよい。
【００９５】
ユーザが撮影したいであろう画像の例として赤ちゃんの「つかまり立ち」の例を示したが、これはユーザが要望として指定しても良いし、いつも撮影している赤ちゃんの写真などから類推してもよく、あるいは、その赤ちゃんが何か月ではつかまり立ちしそう、というようなインターネットに掲載されている情報、あるいは上記サーバに記録されている情報、ＳＮＳ（ソーシャルネットワークサービス）の情報等から推測してもよい。また、似たような赤ちゃんの画像で人気がある画像として、つかまり立ちを判定してもよい。そのつかまり立ち画像に付随する情報が「月齢」であったり、背景の「段差部分」であったりする。また、赤ちゃんということで一般的な付随情報として、その声の特徴などを付随情報としてもよい。このような付随情報と「つかまり立ち画像」をペアにして教師データとすれば、ユーザが撮影したい状況を推論するための推論モデルを学習によって得ることができる。また、この「つかまり立ち画像」は、ここではロボットが撮影できるかどうかによっても学習するに値するかどうかを判定できる。例えば、まったく段差のない部屋から出られないロボットであれば、「つかまり立ち」画像以外の人気画像を選択して学習した方が良い。たとえば、「はいはい」の写真であれば、背景とか構図、ぶれとかの要因の重要度が高まるので、これを考慮した撮影ができるような学習を行う。人気の画像の背景に似た場所で赤ちゃんを待ち伏せるとか、構図とかポーズなども良い決定的瞬間を得ることができる。例えば、連写して多くの画像を得て、そこから選んでユーザに渡すような方法もある。また、笑った写真であれば、笑い声などを判定して撮影動作に入るようなロボットにすることができる。こうした環境的な制約のほか、アングルとかカメラと赤ちゃんの位置関係とか色々な制約で、ユーザが希望する画像が得られない場合があるが、このような画像取得を行うための学習は、このような画像取得ができないロボット用には無駄になってしまう。したがって、ユーザが撮影したいであろう画像は、撮影機器が撮影できそうな画像をそのロボットの機能、性能の情報からさらに選択して推論時に反映した方が良い。
【００９６】
学習機器６６は、室内６１に存在するロボット６８に情報取得条件の情報を送信する。これにより、ロボット６８は、情報取得条件に基づいて、赤ちゃん７２を検出すると、例えば赤ちゃん７２のつかまり立ちのシーンを撮影することができる。
【００９７】
次に、このように構成された実施の形態の動作について図８から図１１を参照して説明する。図８はカメラ７０の動作フローを示すフローチャートであり、図９は学習機器６６の動作フローを示すフローチャートであり、図１０はロボット６８の動作フローを示すフローチャートである。また、図１１は画像管理装置６７の動作フローを示すフローチャートである。図８から図１０中の各手順において図３及び図４中の手順と同一の手順には同一符号を付して説明を省略すると共に、対応する手順には符号にダッシュを付して簡略に説明する。
【００９８】
図８における取得処理中のステップＳ１〜Ｓ５の処理は図３と同様である。図８の取得処理は、カメラ７０によって実現されるものであり、カメラ７０は、ステップＳ６’において、取得した検出状況、検出行為及び撮像画像を記録すると共に、学習機器６６に送信する。
【００９９】
図９におけるステップＳ２２〜S２６の推論処理は、図４と同様である。つまり、学習機器６６は、ステップＳ２２において、検出状況及び検出行為を教師データとして読み込み、推論を実行する（ステップＳ２３）。ここでは、例えば、ＳＮＳなどネット上に挙げられた画像の中で、ユーザが好むような画像をそのまま教師データとしてもよい。画像には背景など様々な情報が盛り込まれており、画像（画像ファイル）から「撮像時状況データ」及び「撮像結果」を得ることができる。これはいわば撮影履歴データ、撮影傾向情報とも言えるもので、「履歴」は大量の画像がどのようなもので、どのような傾向で記録されているかを表す。これまで多くのユーザが積み上げて来たデータの履歴ともいえるものである。これらの情報を用いることによって、この状況であればロボット撮影した方が良い、という、撮影向きの特定の状況であることを出力として得るための学習ができる。そのため、ロボットが撮影できるような画像であることが好ましい。こうした画像は、ロボットの機能、性能から絞り込むことができる。あるいは、これまでロボットが撮影した画像と比較して選択してもよい。
【０１００】
ユーザが好むような画像等の上記教師データを第１の教師データとすると、ロボットが撮影できない画像は第２の教師データとして採用することも考えられる。第２の教師データの採用は、撮影状況の候補として出力されないような学習のためである。また、ユーザが好まない画像や、その環境では撮影が出来ない画像などもわかる範囲で第２の教師データとする。これらの教師データには、上記ユーザの撮像履歴情報（撮影傾向情報）が画像内や補助データとして含まれるので、この撮影傾向情報によって、ユーザが好む画像が撮影できそうな特定の状況を判定することができる。大量の画像の分析によって、このような顔付きなら赤ちゃんがどれくらいの成長ぶりで、どのような事ができるようになっているかなどを分析できる。また、前にこのロボットやユーザが赤ちゃんを撮影した結果を参照し、かつ、こうした学習結果を利用すれば、前に、「はいはい」していたから統計的にそろそろつかまり立ちができそうだ、といった推論も可能となる。
【０１０１】
こうして、ユーザが欲しくてロボットが撮影できる画像が、ほかの画像と識別できるか否かが学習の終わりを決める。つまり、学習機器６６は、特定の状況下で撮影が行われる情報取得条件を学習したか否かを判定する（ステップＳ２４）が、ここでは、正しく欲しくない写真やロボットが撮影できそうにない画像が排除されたかどうかで判定できる。これは教師データを利用して判定しても良いし、特定の状況を入力してみて、どのような画像を撮影する指示を出すか、といった検証法で判定できる。学習機器６６は、情報取得条件が導かれた場合には、ステップＳ２５において推論モデルを情報取得制御装置１０に送信して処理をステップＳ２１に戻し、情報取得条件が得られない場合には、ステップＳ２６において学習母体を再設定した後、ステップＳ２３において、推論を再度実施する。
また、補助データとして赤ちゃんの泣き声やペットの鳴き声なども教師データとして学習させて、状況を撮影しておくとか、単に、撮像して心配している人にストリーミング配信するような用途に応用してもよい。これも、この声なら送信不要といった第２の教師データを用意して学習させてもよい。
【０１０２】
図１０はロボット６８による取得制御処理を示している。ロボット６８は、ステップＳ１７において推論エンジン取得モードであると判定した場合には、ステップＳ１３に処理を移行して、学習機器６６から推論モデルである情報取得条件の情報を受信して内蔵されている図示しない記録媒体に記録する。ロボット６８は、この記録された情報取得条件に基づいて撮像を行う。
【０１０３】
例えば、情報取得条件によって赤ちゃん７２のつかまり立ちの撮影が指示されている場合には、ロボット６８は室内６１のソファー６５の近くに位置して、赤ちゃん７２のつかまり立ちの撮影待機状態となる。赤ちゃん７２がソファー６５においてつかまり立ちすると（ステップＳ１４）、ロボット６８はステップＳ１５において情報取得条件に従って赤ちゃん７２のつかまり立ちを撮影して記録する（ステップＳ１６）。なお、ロボット６８は赤ちゃん７２がつかまり立ちするまで静止して待機状態となる必要は無く、ステップＳ１８においてその他の動作を行ってもよい。
【０１０４】
なお、カメラ７０及びロボット６８が撮影して得た撮像画像は、画像管理装置６７に転送して記録することが可能である。画像管理装置６７は、図１１のステップＳ４１において、画像記録モードであるか否かを判定する。画像管理装置６７は、画像記録モード時には、カメラ７０及びロボット６８が撮影して得た撮像画像を記録する（ステップＳ４２）。なお、この場合には、検出状況、検出行為及び情報取得条件の情報を併せて記録するようになっていてもよい。また、画像管理装置６７は、画像記録モードでない場合には、観賞、確認等のために記録されている画像の表示を行う（ステップＳ４３）。
【０１０５】
このように本実施の形態においても第１及び第２の実施の形態と同様の効果を得ることができる。
【０１０６】
（第４の実施の形態）
図１２は本発明の第４の実施の形態に係り、図１の情報取得制御装置１０及び情報取得装置２０による取得処理をカメラ８０により実現し、推論処理を学習サーバ１００によって実現し、取得制御処理を移動撮像装置としてのロボット掃除機９０によって実現する例を示す説明図である。なお、ロボット掃除機９０は、以下の機能を実現するために、図１中の必要な回路を備えているものとする。
【０１０７】
カメラ８０は、図示しないユーザによって操作されて被写体を撮像し、撮像画像を記録すると共に、学習サーバ１００に送信する。また、カメラ８０は、検出状況及び検出行為の情報を学習サーバ１００に送信する。なお、カメラ８０は撮像画像のみを学習サーバ１００に送信し、学習サーバ１００において、撮像画像から検出状況及び検出行為の情報を求めるようになっていてもよい。
【０１０８】
また、ロボット掃除機９０は、移動自在であると共にカメラ９０ａによる撮影機能を備えており、学習サーバ１００によって移動及び撮影が制御されるようになっている。
【０１０９】
次に、このように構成された実施の形態の動作について図１３から図１８を参照して説明する。図１３はユーザがカメラ８０により情報取得条件を指示する様子を示す説明図である。図１４は学習サーバ１００の推論の結果得られた情報を説明するための説明図である。図１５はカメラ８０の動作を説明するためのフローチャートであり、図１６は学習サーバ１００の動作を説明するためのフローチャートである。図１７及び図１８はカメラ８０、ロボット掃除機９０及び学習サーバ１００が連携して撮像を行う様子を説明するための説明図である。
【０１１０】
図１３は、ユーザ１１１が右手１１２Ｒでカメラ８０の筐体を把持し、背面の略全域に設けられた表示部８０ａに表示されたスルー画を確認しながら、左手１１２Ｌで表示部８０ａに設けられたタッチパネルを操作している様子を示している。
【０１１１】
ユーザ１１１が撮影したい被写体が赤ちゃん１０１である例について説明する。図１４は、３つの記録Ｒ１〜Ｒ３がある例を示している。各記録Ｒ１〜Ｒ３は、項目ｉ１〜ｉ４の情報を含む。項目ｉ１は顔認識の結果の画像情報であり、項目ｉ２は顔認識結果に対応する名前の情報であり、項目ｉ３は撮像時の条件の情報であり、項目ｉ４は優先度の情報である。図１４の各記録Ｒ１〜Ｒ３は、それぞれ父親、母親、赤ちゃんについての情報を示しており、図１４の例では最も高い優先度１に設定された対象物はユーザ家族２で示す赤ちゃんであり、要望画像として指定された「つかまり立ち」が情報取得条件の１つとして設定されていることを示している。
【０１１２】
学習サーバ１００は、検出状況及び検出行為の学習によって、図１４に示す情報取得条件を求める。なお、情報取得条件にはユーザ１１１が撮像を希望する画像を特定するための情報も含まれており、検出状況及び検出行為の情報は、要望画像を指定するための要望画像情報を含む。更に、学習サーバ１００は、情報取得条件に基づいて、ロボット掃除機９０を移動及び撮影を制御する。
【０１１３】
なお、対象物が赤ちゃんの場合には、つかまり立ちに限らず、赤ちゃんが最初に立ったとき、最初に歩き出したとき等のシーンやぬいぐるみ等で遊ぶシーン等を情報取得条件に設定することができる。例えば、ロボット掃除機９０により撮影を行う場合には、ロボット掃除機９０の特性から大人がいない室内において移動しながら比較的長い時間の撮像が可能であり、貴重なシャッタチャンスを逃すことなく、これらのシーンを撮像する可能性が高い。また、ロボット掃除機９０は、床に近い位置からの撮像が可能であり、大人による通常の撮影とは異なる趣のある写真の撮影が行われることもある。
【０１１４】
ロボット掃除機９０は、つかまり立ちがしやすい場所や、ぬいぐるみがある場所などを、予め記録しておいてもよいし、掃除中など移動中の常日頃の画像判定で予め把握しておいてもよい。ネット上の人気画像にソファーなどがあれば、それと同様のものがないかを、画像や距離分布などから判定するようにしてもよい。
【０１１５】
図１５のステップＳ５１において、カメラ８０は、撮影モードが指定されているか否かを判定する。撮影モードが指定されている場合には、カメラ８０は、ステップＳ５２においてスルー画の表示を行う。即ち、カメラ８０は、被写体を撮像し、撮像画像をスルー画として表示部８０ａに与えて表示させる。次に、カメラ８０は、ユーザによる撮影操作の有無を判定し（ステップＳ５３）、撮影操作が行われない場合には処理をステップＳ５１に戻す。
【０１１６】
ユーザ１１１による撮影操作が行われると、カメラ８０は、ステップＳ５４に移行して、画像認識によって、撮像画像中の各被写体等を判定する。例えば、カメラ８０は、撮像画像中の特定人物やペット等の判定を行う。カメラ８０は、撮像画像から認識可能な判定結果が得られた場合には、当該判定結果の情報、例えば、人物情報と共に撮像画像を図示しないメモリ等に記録させる（ステップＳ５５）。なお、カメラ８０は、認識可能な判定結果が得られなかった場合には、撮像画像のみを記録する（ステップＳ５６）。なお、カメラ８０は、被写体認識に際して、予め設定されているデータベース、例えば内蔵されているデータベースや、クラウド上のコンピュータによって得られるデータベース等を利用してもよい。
【０１１７】
次のステップＳ５７において、カメラ８０は、情報取得条件の生成を学習サーバ１００に依頼する。例えば、学習サーバ１００は、撮像画像の画像解析を行って、類比画像の傾向分析を行い、ユーザが好んで撮像した被写体を要望画像として判定する。そして、学習サーバ１００は、この要望画像の対象である被写体（対象物）を特定するための情報取得条件を生成する。
【０１１８】
また、例えば、学習サーバ１００は、ユーザのカメラ８０の操作によって、特定の対象物を撮像する条件が設定された場合には、当該条件についても情報取得条件として求める。こうして、例えば図１４に示す情報取得条件が得られる。なお、図１３の各記録Ｒ１〜Ｒ３は、ユーザの撮影操作によって得られるものであるが、項目ｉ１〜ｉ４の各情報の全て又は一部は、学習サーバ１００の画像解析によって得ることができるものである。なお、項目ｉ１〜ｉ４の各情報の全てを、例えばカメラ８０に対するユーザ操作に基づいて取得してもよい。
【０１１９】
カメラ８０は、ステップＳ５１において撮影モードが指定されていないと判定した場合には、ステップＳ６１に移行して再生モードが指定されているか否かを判定する。再生モードが指定されると、カメラ８０は、ステップＳ６２において、図示しないメモリ等に記録されている画像のうちユーザの選択操作に基づく画像を選択して再生して、表示部２６の表示画面上に表示させる。この再生モードにおいても、カメラ８０は、情報取得条件の作成を依頼することができる（ステップＳ６３）。例えば、カメラ８０の依頼に従って、学習サーバ１００は、再生中の画像の画像解析を行い、類比画像の傾向分析を行い、ユーザが好んで再生した被写体を要望画像として判定する。学習サーバ１００は、この要望画像の対象である被写体（対象物）を撮像するするための情報取得条件を生成して記憶する。
【０１２０】
カメラ８０は、ステップＳ６１において再生モードが指定されていないと判定した場合には、ステップＳ７１に移行して、ユーザ１１１の操作に基づく要望画像情報が存在するか否かを判定する。要望画像情報が存在しない場合には、処理をステップＳ５１に戻す。要望画像情報が存在する場合には、カメラ８０は、ステップＳ７２において、学習サーバ１００に対して連携のための通信要求を試みる。例えば、カメラ８０は、学習サーバ１００からの情報取得条件に応じた撮像（以下、連携撮影という）が可能なロボット掃除機９０と連携して撮像を行うための連携要求通信を試みる。なお、カメラ８０は、撮像画像を送信する毎に連携要求通信を試みてもよく、また、所定の時間間隔で連携要求通信を試みてもよい。また、カメラ８０は、通信相手である学習サーバ１００からのアクセスに応答して連携要求通信を行うようになっていてもよい。また、カメラ８０は、ユーザ操作に基づいて連携要求通信を行うようになっていてもよい。
【０１２１】
カメラ８０は、学習サーバ１００とロボット掃除機９０との通信が確立したか否かをステップＳ７３において判定する。連携要求通信が確立すると、カメラ８０は、ステップＳ７４に移行して要望画像情報を学習サーバ１００に送信して推論処理を依頼し、情報取得条件を学習サーバ１００から送信させる。なお、カメラ８０は、ステップＳ７３において連携撮影相手との間で連携要求通信を確立させることができなかった場合には、処理をステップＳ５１に戻す。
【０１２２】
また、カメラ８０は、ユーザ１１１の操作に基づいて、カメラ８０の表示部８０ａに室内の地図を表示させ、タッチパネル操作によって、撮影位置を特定することもできるようになっている。このような操作が行われた場合には、カメラ８０は、撮影位置を特定する地図情報を学習サーバ１００に送信する（ステップＳ７４）。学習サーバ１００は、受信した地図情報に基づいて情報取得条件を設定することができる。
【０１２３】
情報取得条件の情報を受信したロボット掃除機９０は、情報取得条件によって特定される対象物を検知することによって所定のアクションを実行する。例えば、ロボット掃除機９０は、撮像部９０ａによって所定の撮像範囲を撮像しており、対象物が撮像範囲内に存在することで、情報取得条件によって示された条件に従って撮像を行う。更に、本実施の形態においては、学習サーバ１００は、ロボット掃除機９０が対象物を撮像していない場合でも、対象物を待ち伏せて撮像を行うように指示することが可能である。
【０１２４】
学習サーバ１００は、このような待ち伏せモードか指定されているか否かを判定することができるようになっている。待ち伏せモードが指定されていない場合には、ロボット掃除機９０から対象物の撮像画像が連携撮影結果として与えられると、この撮像画像を図示しない記録媒体に記録する。一方、待ち伏せモードが指定されている場合には、学習サーバ１００は、カメラ８０に、情報取得条件によって指定された対象物を検出するように指示を出す。この場合には、学習サーバ１００は、カメラ８０によって対象物が撮像されることによって対象物を検出する。学習サーバ１００はカメラ８０の撮像により対象物を検出すると、ロボット掃除機９０に対して待ち伏せ指示の送信を行う。ロボット掃除機９０は、待ち伏せ指示を受信すると、対象物がロボット掃除機９０の撮像部９０ａの撮像範囲内に存在するか否かに拘わらず、当該対象物に設定されている待ち伏せ位置に移動して、対象物の撮影待機状態となる。なお、ロボット掃除機９０は、情報取得条件により撮像対象として複数の対象物が含まれる場合には、最も高い優先度が付与された対象物についての待ち伏せ位置に移動するようになっていてもよい。
【０１２５】
なお、待ち伏せモードにおいては、カメラ８０が対象物を撮像することで、学習サーバ１００がロボット掃除機９０に対して待ち伏せを指示するようになっているものと説明したが、予め情報取得条件中に、待ち伏せ指示の内容が含まれていてもよい。この場合には、ロボット掃除機９０は、待ち伏せ指示を含む情報取得条件を受信すると、対象物がカメラ８０の撮像範囲内に存在するか否かに拘わらず、当該対象物に設定されている待ち伏せ位置に移動して、対象物の撮影待機状態となってもよい。
【０１２６】
この場合、ロボット掃除機９０の持つ地図情報に撮影スポットが記録されており、どのようにそこまで障害物なしに移動できるかを判定できることが好ましい。また、ロボット掃除機９０が有する地図や、これまでの撮影画像を記録しておくことによって、このロボット掃除機９０が撮影できそうな画像かできそうにない画像か判定できることが重要である。これによって、撮影できるわけのない画像を無理に撮影する無駄がなくなる。このようにこの実施の形態における学習時の教師データを用いると、ロボット掃除機９０が撮影できそうな画像が選択される。そのために、ロボット掃除機９０は、移動ルートの移動距離と移動できるスピードの情報などを有して、その位置に到着するまでの時間なども考慮した制御が可能であることが好ましい。待ち伏せという以上、移動する対象物より速く移動して、その場所に行っている必要があるので、必要に応じて移動前に省エネを考慮して諦める場合もありうる。また、このような状況があるので、赤ちゃんやペットが室内に入って来た事を、声や足音など音声などをマイクなどのセンサで判定してすぐに待ち伏せするような撮影の方が合理的である場合もある。
【０１２７】
このように画像以外の情報、例えば音声を使って本発明のすぐれた効果を発揮させることもできる。例えば、赤ちゃんやペットの声や足音で、その撮影をするロボットといった応用ができる。つまり、図５のような入出力層とニューロンとで模式的に図示した推論エンジンを学習済モデルとして用意する場合に、その入力層の状況データをこの場合、音声とすることができる。音声以外に、もっと多くの情報を入力しても良いが、単純化し、音声を入力し、各ニューロン間の結合の強さ（重み付け）として、その状況下で取得すべき情報として、赤ちゃんやペットの画像を出力するような推論モデルを設定する。この推論エンジンの出力層からの出力が、推論結果となる。例えば、ＳＮＳなどインターネット上に赤ちゃんの画像が多く掲載されていたり、高い評価を得たりしていれば、赤ちゃんの特徴として、その声を外部機器が検索して声と赤ちゃんの画像を教師データとして設定し、赤ちゃんの声がマイクで収音され検知されれば、これを、「ユーザの撮像行為に至るまでに検出した状況」、または、「上記撮像行為に関連する情報」とすればよい。取得する検出状況とこのユーザの撮像履歴に従った推論結果は、上記状況検出部からの情報に基づいて学習された推論モデルによって得られる。この上記推論モデルは、特定の日時の状況を入力とし、対象物特定情報（情報取得条件）を出力するようなものを想定しているが、日時の状況とまでいかず、日時やタイミングそのものを入力としてもよい。出力は代表画像でもよい。ロボット掃除機９０はこの画像が得られれば、地図や保持している室内画像を利用して検索した類似の背景の場所に移動し、画像判定機能で類似の対象物が来るのを待って撮影する、といった制御が可能となる。つまり、ロボット掃除機９０など移動体には撮像部があり、このロボット掃除機９０の制御部に撮像対象を特定するための対象物特定情報が移動撮像指示装置から与えられれば、このロボット掃除機９０は先に指定された対象物を、特定の位置（これは指示されてもロボットが後ほど説明する地図情報等で推測してもよい）に移動して（移動しなくてもよい）、画像解析によって検出し撮像させることができる。ここで対象物特定情報は、上記移動撮像指示装置の対象物特定情報生成部がユーザの撮像履歴情報に従った推論結果に従って生成してロボット掃除機９０に伝送する。
【０１２８】
学習サーバ１００は、図１６のステップＳ８１において、ロボット掃除機９０が掃除モードであるか否かを判定する。掃除モードの場合には、学習サーバ１００はロボット掃除機９０に掃除作業を指示する。この場合には、学習サーバ１００は、ロボット掃除機９０に対して、室内等の床を移動しながら掃除するとともに、撮像を指示する（ステップＳ８２）。学習サーバ１００は、ロボット掃除機９０からの情報に基づいて、室内等の地図を作成し、地図情報を記憶する。
【０１２９】
図１７は室内６１の様子を示している。室内６１には、壁に沿ってサイドボード６２及びテレビジョン受信機（ＴＶ）６３が配置されている。また、室内６１の中央にはテーブル６４が配置され、テーブル６４の前にはソファー６５が配置されている。なお、サイドボード６２上にはカメラ８０が載置されており、カメラ８０は、室内６１の一部の撮像範囲を撮像可能である。また、室内６１の床面にはロボット掃除機９０が存在する。
【０１３０】
上述したように、赤ちゃんのつかまり立ちの撮像には、段差を有する位置を撮像できる撮像位置が適している。学習サーバ１００は、ロボット掃除機９０からの情報に基づいて、地図情報の作成時に、このような撮影スポットについて学習すべき情報があるか否かを判定しており（ステップＳ８３）、撮影スポットの情報についてはその位置情報を地図に登録する。
【０１３１】
学習サーバ１００は、ステップＳ８１において掃除モードが指定されていないと判定した場合には、ステップＳ８５において推論処理を実施する。即ち、学習サーバ１００は、要望画像情報に基づいて、ユーザ１１１が撮影を希望する対象物及びその撮像の条件を推論する。
【０１３２】
学習サーバ１００は、カメラ８０がステップＳ７４において送信した撮影スポットを特定するための地図指定の情報を受信したか否かを判定する（ステップＳ８６）。撮影スポットを特定するための地図指定を受信している場合には、学習サーバ１００は、ステップＳ８７に移行して、地図時指定された場所への移動、方向転換、撮影指示等をロボット掃除機９０に指示する。
【０１３３】
学習サーバ１００は、ステップＳ８６において地図指定がなかったものと判定した場合には、次のステップＳ９０に処理を移行する。このステップＳ９０においては、推論によって得た情報取得条件に基づく撮影方法が指示される。学習サーバ１００は、対象物の移動状態、地図状態、態様条件、待ち伏せ指示に従って、撮影方法を指示する。
【０１３４】
このように、例えば赤ちゃんを撮影するために、どのような状況が好ましいかを推論するが、この推論を行う推論モデルが学習するユーザの撮影履歴情報、または撮影傾向情報は、必ずしもこのロボット掃除機９０のユーザ自身の履歴である必要はない。例えば、インターネット上、ＳＮＳなどで、かわいい赤ちゃんの写真が撮影時の月齢などとともに掲載されていれば、そうした画像を取り逃さない学習を行うことができる。また、月齢などは、画像を解析すれば、これも人工知能によって、おおよその判定が可能になる。また、赤ちゃんの画像が多い場合、赤ちゃんに関連する音をインターネット等で検索すればその笑い声、泣き声、「はいはい」の音などの情報が得られる。つまり、赤ちゃんに関連する情報はいくらでも集められるので、ネット上で掲載されることの多い赤ちゃんの写真の傾向や、評価が高い赤ちゃんの写真の傾向などを人工知能で学習することは容易である。赤ちゃんの画像（撮像結果）を撮影するときの赤ちゃんの付随情報を合わせて機械学習の教師データとすることで、「何か月の時」、「特定の姿勢を取った時」、「赤ちゃんが泣いた時」、「赤ちゃんが笑った時」、「赤ちゃんがはいはいしていく時」などが、「撮像時状況データ」として判定できる。これを検出する状況検出部はネット上の情報を検索するような機能を有すればよい。ただし、ここでのロボット掃除機９０の例でいえば、ロボット掃除機９０では撮影できないような、例えば海辺で遊ぶ赤ちゃんの写真や、飛行機や船や公共交通機関に乗った赤ちゃんの写真などは、適当ではないので撮影時状況データに含めない方が良い。もちろん、機械学習の時には、そのシーンに対応した画像や撮影時状況ばかりを教師データとすると、そのシーンがほかのシーンと弁別できなくなるので、このシーン以外のデータを適宜入れ込んで信頼性の高い判定ができるようにする。例えば、赤ちゃんの泣き声ばかりだと、似たような動物の鳴き声と区別できなくなる可能性があり、これらを識別するためには、これは対応シーンではない、とした教師データを入れ込む方が良い。こういった紛らわしいものがない環境下であればその限りではない。このように撮像結果（ユーザの行為に至る状況）と、撮像時状況データ（付随情報、または、行為）の関係を表す情報であることを特徴とした撮像システムとなる。さらに上位概念化すれば、検出した状況（ここでは、付随情報としての赤ちゃんの月齢や声、背景などからの撮影ポイント情報など、これは画像から読みとっても良い）及び、検出した撮影行為の情報（赤ちゃんの写真）に基づいた推論処理によって、撮影情報取得条件の情報として得る推論部の働きで、ユーザが撮り忘れしないように写真撮影をロボット掃除機９０に代行してもらえる。こうした情報取得条件に従って情報の取得を制御する制御部として、サーバやスマホやＰＣを情報取得制御装置として想定した。インターネット上などで得た画像を教師データとしても、自分が個人的に撮影した画像やもらった画像からでも、同様の効果を得ることができる。また、ユーザの行為に至る状況を検出すると共に当該行為を検出する画像や音声や操作履歴などを検出するセンサがあれば、ユーザがいつも行っている撮影を、ユーザの代わりにロボット掃除機９０が代行することもできる。赤ちゃんの写真が撮影したいという意思は、このユーザの行為や撮影した画像から直接的に判定できる。また、ユーザが意図していない画像の撮影をサプライズで行ってもよく、それはユーザの家族構成のデータやユーザがよく見る画像やサイト、購入する物品情報などから推測してもよい。したがって、学習時の教師データは、ユーザが撮影したいであろう画像（画像例）を集め、これを撮像結果、あるいは行為とする。また、その「撮像結果」、あるいは「行為」に対応する「状況」、「環境」等をペアにして学習させるが、これは、その画像から読みとれる情報、あるいは付随情報、添付情報、関連情報を分析してその行為に至る状況、環境とすればよい。つまり、様々な状況で撮られた画像の群は、各画像そのものの他、こうした状況や環境の情報を含み、「撮影傾向情報」あるいは「撮影履歴情報」と言えるビッグデータとなっている。ユーザが撮影したいであろう画像の例と、その画像に付随する情報をペアにして教師データとするステップと、上記教師データによって、ユーザが撮影したい状況を推論するための推論モデルを学習によって得るステップと、からなる学習方法を利用した、新しい撮影方法を提供できる。ただし、ここでのユーザが撮影したいであろう画像を、ここではロボット掃除機９０が撮影できないといけないので、上記教師データは、ロボット掃除機９０が撮影できそうな画像を選択した方がより実用的である。例えば、ロボット掃除機９０にメモリを設け、地図や掃除の時に得ていた画像データを保存しておき、ロボット掃除機９０が撮影傾向情報として情報取得制御装置に送信することで、情報取得制御装置においてこれらを参考にすれば、ロボット掃除機９０（撮影機器）が撮影できそうな画像をさらに絞り込むことができる。この結果を学習時に反映してもよいし推論時に反映するようにしてもよい。こうした工夫によって、無理のない範囲で移動し、手間なくニーズに合った画像の取得が可能となる。連写した結果を改めて教師データと比較して、良い画像を選ぶような応用も可能である。得た画像はロボット掃除機９０内のメモリに記録したり、無線でほかの機器に情報取得制御装置やその他の携帯端末等に送信したり、サーバのどこかのフォルダに送信して記録できるようにしてもよい。もちろん、インターネット接続家電があれば、テレビに映すなど、様々な応用が考えられる。
【０１３５】
ここでは、単純化したステップになっているが、実際には、待ち伏せ撮影が良くても、様々な状況を判断して諦める場合などもある。つまり、撮影対象物が速い場合や、障害物があって経路検索できない場合などもあり得る。装置が移動するルートが対象物と同じルートしかない場合なども障害物があるとして判断しないと、衝突したりして好ましくない。つまり、例えば、ロボット掃除機９０が持っている位置情報を有効利用して、指定された対象物が撮影しやすいであろう場所を判定することも可能である。この為には、自機の位置と撮影スポットまでの位置関係からルートを判定、決定し、そこから距離を判定する必要がある。それは、移動していく対象物が選ぶようなルート以外を検索するといった工夫があり（単に、複数のルートを検索して、そこから対象物移動ルートを消去すればよい）、自機の速度から所用時間を算出したり、対象物の速度を複数回撮影した画像変化から判定し、そのルートを判定するような手順を含む。これによって、対象物がその位置に到着する時間を予想して、自機の所要時間と比較して、待ち伏せ可能かの判定まで、このステップで行うようにする。必要に応じて、危険回避や省エネの観点から諦めるようなフローもあるが、ここでは省略している。
【０１３６】
図１６では撮影方法の例として、並走、追跡、待ち伏せを例示してある。例えば、学習サーバ１００は、対象物がロボット掃除機９０の撮像部９０ａの撮像範囲を横切って移動していることを検出した場合には、処理をステップＳ９１に移行して、当該対象物を撮像範囲に維持するようにロボット掃除機９０を制御して対象物と並走させ、対象物の撮像を開始させる。学習サーバ１００は、情報取得条件によって指定された撮像（要望撮影）が可能か否かを判定し、可能な場合にはロボット掃除機９０に連携撮影させ、その結果の撮像画像を学習サーバ１００に送信させる。学習サーバ１００はステップＳ９３において送信された撮像画像を記録する。
【０１３７】
いま、例えば、学習サーバ１００において待ち伏せモードが指定されているものとする。また、待ち伏せの対象物が図１４の情報取得条件に示す赤ちゃん（ユーザ家族２）であって、図１２の赤ちゃん１０１であるものとする。この場合には、情報取得条件としてつかまり立ちが指定されている。カメラ８０は、図１５のステップＳ５４において、赤ちゃん１０１の撮像を行う。図１８に示すように、室内６１のカメラ８０の撮像範囲に赤ちゃん１０１が進入するものとする。そうすると、学習サーバ１００は、カメラ８０からの依頼によって、撮像画像の画像解析を行い、対象物である赤ちゃん１０１を検出する。これにより、学習サーバ１００は、ロボット掃除機９０に対して待ち伏せ指示を送信する（ステップＳ９４）。ここで、繰り返し撮像した画像からスピードを判定したり、移動方向からルートを予測したりもしている。
【０１３８】
学習サーバ１００は、ロボット掃除機９０に待ち伏せ指示を送信して、情報取得条件に指定されたつかまり立ちの撮像に好適な特定位置、例えば登録された段差を有する位置に移動させる。図１８ではこの特定位置は、ロボット掃除機９０の撮像部９０ａによってソファー４５の段差部分を撮像可能な位置である。学習サーバ１００は、ロボット掃除機９０が、情報取得条件によって指定されたつかまり立ちの撮像（要望撮影）が可能になると、連携撮影を指示し、その結果の撮像画像を学習サーバ１００に送信させる（ステップＳ９６）。学習サーバ１００は、撮像画像を記録する。次に、学習サーバ１００は、ステップＳ９７において、ロボット掃除機９０を元の位置に戻し、ステップＳ８１に処理を戻す。
【０１３９】
なお、図１６では記載されていなが、特定位置への移動後所定時間経過しても赤ちゃん１０１のつかまり立ちの撮像を行うことができない場合には、処理をステップＳ９５からステップＳ８１に移行してもよく、また、赤ちゃん１０１についてつかまり立ち以外のポーズでの撮像を行って、撮像結果を学習サーバ１００に送信させるようにしてもよい。
【０１４０】
また、学習サーバ１００は、ステップＳ９０において、撮影方法として並走又は待ち伏せを選択しない場合には、追跡を選択する。即ち、学習サーバ１００は、ロボット掃除機９０が撮像部９０ａの撮像範囲内に対象物を検出すると、当該対象物を追跡させて撮像を開始させる（ステップＳ９８）。学習サーバ１００は、情報取得条件によって指定された撮像（要望撮影）が可能になると（ステップＳ９９）、連携撮影を指示し、その撮影の結果の撮像画像を学習サーバ１００に送信させる（ステップＳ１００）。ロボット掃除機９０は、通信により撮像画像を学習サーバ１００に送信する。学習サーバ１００は、受信した撮像画像を記録する。
【０１４１】
このように本実施の形態においては、学習サーバは、ユーザの撮影操作によって取得した撮像画像に基づいて、ユーザが撮像を希望する被写体、ポーズ、構図等を設定する情報取得条件を生成する。学習サーバ又はユーザが操作するカメラは、連携要求通信によって連携撮影可能なロボット掃除機が存在する場合には、情報取得条件をこのロボット掃除機に送信する。ロボット掃除機は、移動しながら撮像を行うことができ、ユーザが希望する位置において、希望する被写体を希望するポーズや構図等で撮像することができる。これにより、ユーザ自信が撮影場所にいなくても、また、ユーザによる撮像が困難な場所等であっても、ユーザが希望する撮像を行うことができる。
【０１４２】
なお、上記説明では、カメラからの連携要求に従って、ロボット掃除機が撮影を行う例を説明したが、カメラからの連携要求に従って、ロボット掃除機が撮影対象を撮像すると、ロボット掃除機の撮影位置及び方向の情報を学習サーバを経由してカメラに与えるようにすることも可能である。この場合には、ロボット掃除機からの情報を元に、カメラにおいて、撮影対象の撮影ポイントを認識することが可能となり、ユーザ自信のカメラ操作によって、被写体を撮像する支援を行うことが可能となる。
【０１４３】
なお、上記実施の形態においては、学習サーバにおいて、推論処理及び取得制御処理を実施する例について説明した。しかし、上述したように、取得処理、推論処理及び取得制御処理は、いずれの装置において実施してもよく、また、各装置において協働して実施してもよい。例えば、クラウド上のコンピュータを利用して、情報取得条件を生成してもよい。
【０１４４】
上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。例えば、スキャナのように、機械自体は移動しないが、撮像部だけが移動するような機械も想定の範囲である。例えば、微生物を観察するような用途では、顕微鏡やステージが移動する場合があるが、本願によって、そうした科学系の観察の用途、カプセル内視鏡やＣＴスキャナといった、一部のみならず、もっと広い範囲、あるいは全体を撮像する撮像機器もあり、スキャン移動と、対象物の差異から、追跡可能かを判定する場合などには、本願の技術が有効活用可能である。
【０１４５】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１４６】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【０１４７】
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
【０１４８】
なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥース（登録商標）やＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。移動部などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。また、推論モデルとか学習済モデルという言葉で人工知能が判断する学習結果で判断する実施例を説明したが、これは、単純なフローチャートや条件分岐、あるいは演算を伴う数値化判断等でも代替可能な場合がある。特に、カメラの制御回路の演算能力が改善されることや、特定の状況や対象物に絞り込むことによって、機械学習の結果を用いなくても良く、こうしたもので代替したものであっても、多くの本願の技術が有効活用可能である。
［付記項１］
ユーザの撮影行為に至る撮影時状況を検出すると共に当該撮影行為の結果である撮影結果を検出するセンサを具備し、検出した撮影時状況及び検出した撮影結果の情報を出力する状況検出部と、
上記状況検出部からの上記撮影時状況データ及び撮影結果の関係を表す情報に基づいて推論処理によって推論モデルを得る推論部と、
上記推論モデルに従って情報の取得を制御する制御部と、
を具備したことを特徴とする情報取得制御装置。
【０１４９】
［付記項２］
ユーザの行為に至る状況を検出すると共に当該行為を検出するセンサを具備し、検出した状況及び検出した行為の情報を出力する状況検出部と、
上記状況検出部からの上記検出した状況及び検出した行為の情報に基づいて、推論処理によって情報を取得する場合の条件を求め、情報取得条件の情報として得る推論部と、
上記情報取得条件に従って情報の取得を制御する制御部と、
を具備したことを特徴とする情報取得制御装置。
【０１５０】
［付記項３］
上記検出した状況の情報には、上記ユーザの行為によって撮影された撮像画像の情報が含まれる
ことを特徴とする付記項２に記載の情報取得制御装置。
【０１５１】
［付記項４］
上記推測部は、上記撮像画像の画像解析によって、上記情報取得条件を求める
ことを特徴とする付記項３に記載の情報取得制御装置。
【０１５２】
［付記項５］
上記制御部は、上記情報取得条件に従って、作業ロボットを制御することで、情報を取得する
ことを特徴とする付記項２に記載の情報取得制御装置。
【０１５３】
［付記項６］
上記検出した状況は、観察開始時の撮影位置であり、
上記検出した行為は、撮影であって、
上記制御部は、作業ロボットが、観察開始時に上記情報取得条件に従った撮影位置において撮影を行うよう制御する
ことを特徴とする付記項２に記載の情報取得制御装置。
【０１５４】
［付記項７］
上記検出した状況は、上記撮像画像の画像変化が所定の閾値よりも大きい画像部分であり、
上記検出した行為は、撮影であって、
上記制御部は、作業ロボットが、観察開始時に上記情報取得条件に従って、撮像画像の画像変化が所定の閾値よりも大きい画像部分を撮像するよう制御する
ことを特徴とする付記項３に記載の情報取得制御装置。
【０１５５】
［付記項８］
上記制御部は、移動する作業ロボットが、上記情報取得条件に従って撮像を行うよう制御する
ことを特徴とする付記項２に記載の情報取得制御装置。
【０１５６】
［付記項９］
上記制御部は、移動する掃除ロボットが、上記情報取得条件に従って撮像を行うよう制御する
ことを特徴とする付記項２に記載の情報取得制御装置。
【０１５７】
［付記項１０］
ユーザの行為に至る状況を検出すると共に当該行為を検出するセンサを用いて、検出した状況及び検出した行為の情報を出力する状況検出ステップと、
上記状況検出ステップにおける上記検出した状況及び検出した行為の情報に基づいて、推論処理によって情報を取得する場合の条件を求め、情報取得条件の情報として得る推測ステップと、
上記情報取得条件に従って情報の取得を制御する制御ステップと、
を具備したことを特徴とする情報取得制御方法。
【０１５８】
［付記項１１］
コンピュータに、
ユーザの行為に至る状況を検出すると共に当該行為を検出するセンサを用いて、検出した状況及び検出した行為の情報を出力する状況検出ステップと、
上記状況検出ステップにおける上記検出した状況及び検出した行為の情報に基づいて、推論処理によって情報を取得する場合の条件を求め、情報取得条件の情報として得る推測ステップと、
上記情報取得条件に従って情報の取得を制御する制御ステップと、
を実行させるための情報取得制御プログラム。
【符号の説明】
【０１５９】
１０…情報取得制御装置、１１…制御部、１１ａ…推論部、１２…記録部、１３…通信部、１４…操作入力部、１６…撮像部、１７…表示部、２０…情報取得装置、２０ａ…細胞観察装置、２１…制御部、２２…情報取得部、２２ａ…撮像部、２２ｂ…収音部、２３…移動部、２４…状況検出部、２５…記録部、２６…通信部。
【図１】
2019161606.tif 000003
【図２】
2019161606.tif 000004
【図３】
2019161606.tif 000005
【図４】
2019161606.tif 000006
【図５】
2019161606.tif 000007
【図６】
2019161606.tif 000008
【図７Ａ】
2019161606.tif 000009
【図７Ｂ】
2019161606.tif 000010
【図８】
2019161606.tif 000011
【図９】
2019161606.tif 000012
【図１０】
2019161606.tif 000013
【図１１】
2019161606.tif 000014
【図１２】
2019161606.tif 000015
【図１３】
2019161606.tif 000016
【図１４】
2019161606.tif 000017
【図１５】
2019161606.tif 000018
【図１６】
2019161606.tif 000019
【図１７】
2019161606.tif 000020
【図１８】
2019161606.tif 000021