(57)【要約】  駆動装置を制御する制御構成の簡素化と駆動装置の動作に対する信頼性を高めるべく、情報処理装置３０は、検知部３１と処理部３２を備える。検知部３１は、撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から検知対象を検知する。処理部３２は、検知部３１の検知結果を利用して、検知部３１により検知される重心を持つ物体に作用する制御対象の駆動装置を制御する。
2020184101.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する検知手段と、
前記検知手段の検知結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理手段と
を備える情報処理装置。
【請求項２】
前記検知手段の検知結果を利用して前記検知対象を追尾する追尾手段をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記検知対象は、前記駆動装置の駆動により位置が変化する領域において予め定められた制御注目点をも含み、前記検知手段は、撮影画像から、前記物体の重心の位置に加えて、前記制御注目点をも検知する請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記処理手段は、前記検知手段により検知された前記物体の重心の位置と、前記駆動装置である把持機能を持つ装置における前記制御注目点とが同じ仮想直線上に配置されている状態から、前記制御注目点が前記物体の重心の位置に近付く方向に移動し前記物体を把持するように前記駆動装置を制御する請求項３に記載の情報処理装置。
【請求項５】
前記撮影画像における前記物体の重心の位置を含む前記検知対象を機械学習することにより前記参考データを生成する学習手段をさらに備える請求項１乃至請求項４の何れか一つに記載の情報処理装置。
【請求項６】
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知し、
その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する駆動制御方法。
【請求項７】
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する処理と、
その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から取得した情報を利用して駆動装置を制御する技術に関する。
【背景技術】
【０００２】
撮影画像から物体を検知し、当該検知した情報を利用して装置を制御する手法がある。【０００３】
特許文献１には、監視カメラからの画像から、重要区域内に警戒すべき侵入者が侵入したことを検知した場合に、侵入者に向けて放水することにより、侵入者の行動を妨害する手法が示されている。【０００４】
特許文献２には、ステレオカメラにより撮影される画像と当該ステレオカメラにより取得される深度方向の距離情報とを利用して、車内への侵入者の侵入を検知する手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１２４２６９号公報
【特許文献２】特開２００５−２０８８３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
駆動装置を制御する場合に、その駆動装置が作用する物体についての情報を取得するために高性能なセンサのセンサ出力の取得や複雑な演算を行って、駆動装置を制御することがある。しかしながら、駆動装置の制御には、装置動作に対する信頼性を高めるだけでなく、制御構成の簡素化が要求される場合もある。【０００７】
本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、駆動装置を制御する制御構成の簡素化と駆動装置の動作に対する信頼性を高めることができる制御の技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る情報処理装置の一形態は、
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する検知部と、
前記検知部の検知結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理部と
を備える。【０００９】
また、本発明に係る駆動制御方法の一形態は、
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知し、
その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する。【００１０】
さらに、本発明に係るプログラム記憶媒体の一形態は、
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する処理と、
その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
【発明の効果】
【００１１】
本発明によれば、駆動装置を制御する制御構成の簡素化と駆動装置の動作に対する信頼性を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。
【図２】第１実施形態の情報処理装置により制御される駆動装置の一例と当該駆動装置により作用される物体の一例を表す図である。
【図３】図２に表される駆動装置の動作例を表す図である。
【図４】第１実施形態の情報処理装置が利用する参考データの生成に利用する教師データを説明する図である。
【図５】第１実施形態の情報処理装置により制御される駆動装置の動作例を表す図である。
【図６】第１実施形態の情報処理装置における駆動制御の動作例を説明するフローチャートである。
【図７】本発明に係る第２実施形態を説明する図である。
【図８】本発明に係る第３実施形態の情報処理装置による駆動装置の制御の一例を説明する図である。
【図９】第３実施形態の情報処理装置による駆動装置の制御の別の例を説明する図である。
【図１０】第３実施形態の情報処理装置による駆動装置の制御のさらに別の例を説明する図である。
【図１１】本発明に係る第４実施形態の情報処理装置の構成を簡略化して表すブロック図である。
【図１２】第４実施形態の情報処理装置が検知する移動体の一例を表す図である。
【図１３】移動体の変形例を表す図である。
【図１４】第４実施形態の情報処理装置における追尾機能の効果を説明する図である。
【図１５】図１４と共に、追尾機能の効果を説明する図である。
【図１６】第４実施形態の情報処理装置の別の適用例を説明する図である。
【図１７】本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。
【発明を実施するための形態】
【００１３】
以下に、本発明に係る実施形態を図面を参照しつつ説明する。
【００１４】
＜第１実施形態＞
図１は、本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。第１実施形態の情報処理装置１は、撮影装置４と、駆動装置５とに接続されており、撮影装置４により撮影された撮影画像を利用して、駆動装置５の動作を制御する機能を備える。第１実施形態では、駆動装置５は図２に表されているようなロボットアーム１０であり、当該ロボットアーム１０に備えられているハンド１１は物体１３を把持することができる機構を備えている。撮影装置４は、ロボットアーム１０のハンド１１を制御する制御手法により定まる設置位置であって、ロボットアーム１０のハンド１１における予め定められた作業領域が撮影範囲に含まれる位置に設置されている。情報処理装置１は、撮影装置４による撮影画像を利用して、ロボットアーム１０のハンド１１の把持動作を制御する。
【００１５】
すなわち、情報処理装置１は、図１に表されているように、制御装置２と記憶装置３を備えている。
【００１６】
記憶装置３は、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置１に備えられる記憶装置は一つに限定されず、複数種の記憶装置が情報処理装置１に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置３と記すものとする。また、情報処理装置１は、当該情報処理装置１とは別体の外付け記憶装置（図示せず）と接続されていてもよい。情報処理装置１が外付け記憶装置に接続されている場合には、情報処理装置１は、適宜、外付け記憶装置に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、外付け記憶装置に係る処理の説明を省略する。
【００１７】
第１実施形態では、記憶装置３には、機械学習により生成された参考データ（辞書やモデルとも称される）が格納されている。この参考データは、撮影画像から予め定められた検知対象を検知する検知処理で利用するデータであり、第１実施形態では、次のような教師データを利用した機械学習により生成される。
【００１８】
第１実施形態では、撮影画像から検知する検知対象は、図２に表されているようなロボットアーム１０のハンド１１により把持される把持対象の物体１３と、当該物体１３の重心Ｍの位置である。この場合、教師データとして、図４に表されるような教師データが参考データの生成に利用される。つまり、図４の例では、教師データとして、検知対象（把持対象の物体１３およびその重心Ｍの位置）の画像を含む基準画像と背景有り画像と部分画像と変形画像が参考データの生成に利用される。
【００１９】
基準画像は、把持対象の物体１３の全体画像が含まれていることと、把持対象の物体１３における重心Ｍが画像中心部に位置していることと、把持対象の物体以外の背景の入り込みが抑えられていることとの全ての条件を満たす画像である。背景有り画像は、把持対象の物体１３における重心Ｍが画像中心部に位置し、かつ、把持対象の物体１３の全体と、当該把持対象の物体１３以外が表されている背景とを含む画像である。部分画像は、把持対象の物体１３における重心Ｍが画像中心部に位置し、かつ、把持対象の物体１３の一部分を表す画像である。変形画像は、把持対象の物体１３が傾いているというように、基準画像における把持対象の物体１３とは姿勢などが異なっている画像である。この変形画像においても、画像中心部に把持対象の物体１３における重心Ｍが位置している。
【００２０】
また、図４の例では、把持対象の物体１３はビンであり、内容物の量などによって重心Ｍの位置が変化する。このことも考慮し、内容物の量が互いに異なる把持対象の物体１３のそれぞれについて、上述したような基準画像と背景有り画像と部分画像と変形画像が教師データとして参考データの生成に利用される。
【００２１】
さらに、ロボットアーム１０のハンド１１が把持する物体として、図２や図４に表されているような物体（ビン）１３以外の物体も想定される場合がある。つまり、情報処理装置１における検知処理で検知する検知対象の物体が複数種ある場合がある。このような場合には複数種の検知対象の物体のそれぞれについて上述したような基準画像と背景有り画像と部分画像と変形画像が教師データとして参考データの生成に利用される。図５は、ロボットアーム１０のハンド１１が把持する別の物体の一例が表されている。図５に表されている把持対象の物体１３は、荷物を箱に梱包する際に荷物と箱との間の隙間に挿入される緩衝材である。緩衝材は、外形が変形しやすいことから、参考データの生成に利用される教師データとして、外形が変形しやすいことを考慮した画像が利用される。
【００２２】
上記のような教師データを利用した機械学習によって、撮影画像から検知対象を検知する検知処理で利用する参考データが生成され、生成された参考データが記憶装置３に格納される。なお、参考データを機械学習する手法は教師データ有りの学習手法であれば特に限定されず、その説明は省略する。また、参考データを機械学習により生成する機能は、情報処理装置１に、図１の点線に表されるような学習部２４として備えられていてもよいし、別の情報処理装置に備えられていてもよい。
【００２３】
制御装置２は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサにより構成される。制御装置２は、例えばプロセッサが記憶装置３に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置２は、機能部として、受信部２０と、検知部２１と、処理部２２とを備えている。
【００２４】
受信部２０は、撮影装置４から出力された撮影画像を受信する機能を備える。また、受信部２０は、受信した撮影画像を記憶装置３に格納する機能と、検知部２１に出力する機能とを備える。なお、記憶装置３に格納される撮影画像には、例えば、当該撮影画像を撮影した撮影装置の識別情報や、撮影日時の情報などが関連付けられている。
【００２５】
検知部２１は、記憶装置３に格納されている参考データを利用して、撮影装置４による撮影画像から、予め定められている検知対象を検知する機能を備えている。第１実施形態では、検知対象は、前述したように、ロボットアーム１０のハンド１１により把持される把持対象の物体１３（例えば、図２に示されるようなビンや図５に表されているような緩衝材）と、その重心Ｍの位置である。換言すれば、検知対象は、処理部２２により駆動制御される駆動装置５が力を作用する被作用物体とその重心Ｍの位置である。なお、機械学習により生成された参考データを利用して、撮影画像から検知対象を検知する手法には様々な手法があり、ここでは、検知対象の物体の種類や、情報処理装置１の性能などを考慮した適宜な手法が検知部２１で利用される検知手法として採用される。その説明は省略する。
【００２６】
処理部２２は、検知部２１により検知された検知対象の情報を利用して、制御対象の駆動装置５（ロボットアーム１０）の動作を制御する機能を備えている。第１実施形態では、把持対象の物体１３の重心Ｍの位置に着目している。つまり、処理部２２は、ロボットアーム１０のハンド１１が、図３に表されているように、把持対象の物体１３における重心Ｍを含む部位を把持するように、ロボットアーム１０の移動や回転や、ハンド１１の開閉を制御する。そのロボットアーム１０の移動や回転やハンド１１の開閉を制御する手法は、把持対象の物体１３における重心Ｍを含む部位を把持できる制御手法であれば限定されるものではなく、ロボットアーム１０やハンド１１の機構に応じた適宜な手法が採用される。
【００２７】
なお、処理部２２の制御によってロボットアーム１０のハンド１１が把持対象の物体１３を迅速、かつ、正確に把持するためには、把持対象の物体１３と、ハンド１１との間の距離の情報が必要である。撮影装置４が、距離情報を含む撮影画像を出力するステレオカメラなどの撮影装置である場合には、その距離の情報は、撮影装置４から得ることができる。また、ハンド１１と把持対象の物体１３との間の距離の情報を検出するセンサ７が例えばハンド１１などに設置される場合には、図１に表されるように、センサ７のセンサ出力（距離情報）は受信部２０を介して処理部２２に取得される。
【００２８】
次に、情報処理装置１における駆動装置５（ロボットアーム１０）の制御動作の一例を図６を利用して簡単に説明する。なお、図６は、情報処理装置１における制御装置２の動作を制御する工程を表すフローチャートである。
【００２９】
まず、情報処理装置１の受信部２０が撮影装置４から撮影画像を受信すると（ステップＳ１）、受信した撮影画像から検知部２１が予め定められている検知対象（把持対象の物体１３とその重心Ｍの位置）を検知する（ステップＳ２）。その後、処理部２２が、検知部２１により検知された情報を利用して、駆動装置５の動作を制御する（ステップＳ３）。つまり、処理部２２は、ハンド１１が把持対象の物体１３における重心Ｍを含む部位を把持するようにロボットアーム１０の動作を制御する。
【００３０】
第１実施形態の情報処理装置１は上記のような制御構成を備えている。これにより、情報処理装置１は次のような効果を得ることができる。
【００３１】
すなわち、情報処理装置１は、撮影画像から把持対象の物体１３の重心Ｍの位置を検知する構成を備えている。物体を単に撮影した撮影画像には、重心の位置の情報（換言すれば、重さに関する情報）は含まれない。第１実施形態では、重心Ｍの位置を撮影画像から検出すべく機械学習した学習結果による参考データを利用することにより、検知部２１は把持対象の物体１３における重心Ｍの位置を撮影画像から検知できる。これにより、大きさを測定するセンサなどのセンサ出力を用いることなく、重心Ｍの位置を算出する演算を行うことなく、情報処理装置１の検知部２１は、撮影画像から簡単に把持対象の物体１３における重心Ｍの位置を検知できる。つまり、検知部２１は、換言すれば、ロボットアーム１０を制御するために利用する情報を検知する機能を有する。検知部２１は、その制御に利用する情報を検知するために、１つあるいは複数のセンサからセンサ出力を取得することなく、かつ、センサ出力を利用した例えば物体１３の寸法を算出する処理や物体１３の形状を算出する処理等の複数の処理を行わなくすむ。これにより、情報処理装置１は、処理（換言すれば、制御構成）の簡素化を図ることができる。
【００３２】
また、情報処理装置１は、そのように検知した物体１３における重心Ｍを含む部位をハンド１１が把持するようにロボットアーム１０を制御する制御構成を備えている。これにより、情報処理装置１により制御されるロボットアーム１０は、物体１３の重心Ｍを含む部位（つまり、安定して物体を把持し保持できる位置）を把持することとなり、物体１３の他の部位を把持する場合に比べて、物体把持の安定性を高めることができる。つまり、情報処理装置１は、ロボットアーム１０の動作制御に対する信頼性を高めることができる。
【００３３】
また、液体が入っているビンやペットボトルなどの容器や、米や砂や粉などが入っている袋においては、同じ容器や袋であっても、内容物の増減変化や、体勢変化（つまり、内容物の偏り状態の変化）によって、重心の位置が変化する。物体における重心を含む部位は物体を安定的に把持し保持できる部位であることから、重心の位置が変化すると、物体における把持に適切な部位の位置も変化してしまう。このような事態を考慮した多くのバリエーションの教師データによって、撮影画像から重心の位置を検知する参考データを生成し利用することにより、情報処理装置１は、内容物の量や偏り状態に応じた容器や袋の重心の位置を簡単に検知できる。
【００３４】
例えば、透明あるいは半透明の容器や袋であれば撮影画像から内容物の量や偏り状態を検知可能であることから、内容物の量や偏り状態に応じた容器や袋の重心の位置は撮影画像から取得可能である。また、内容物の量や偏り状態によって外形が変化する袋においては、袋の大きさ、体勢（姿勢）および膨らみ具合などの外形から得られる複数の情報に基づいて、内容物の量や偏り状態に応じた袋の重心の位置は撮影画像から取得可能な場合もある。このように撮影画像から重心の位置を取得可能である場合には、重心の位置の情報を付与した多数の把持対象の物体の撮影画像を教師データとした機械学習によって、撮影画像から重心の位置を検知する参考データが生成される。このように生成された参考データを利用することによって、情報処理装置１は、内容物の量や偏り状態に応じた容器や袋の重心の位置を検知できる。このため、情報処理装置１は、内容物の量や偏り状態に応じた容器や袋の重心の位置を容易に検知でき、重心の位置が変化しても、その変化の悪影響を受けずに、安定的に把持できる部位で容器や袋を把持できる。これにより、情報処理装置１は、ロボットアーム１０の動作制御に対する信頼性をより高めることができる。
【００３５】
＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の情報処理装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
【００３６】
第２実施形態では、検知部２１が撮影画像から検知する検知対象は、把持対象の物体１３とその重心Ｍの位置に加えて、処理部２２により制御される駆動装置５（ロボットアーム１０）に係る制御注目点である。具体的には、第２実施形態では、制御注目点は、図７に表されるようなロボットアーム１０のハンド１１により画定される空間領域（ハンド１１により囲まれている領域であってハンド１１の駆動により位置が変化する領域）Ｋの中心部Ｎである。
【００３７】
このような制御注目点Ｎを撮影画像から検知すべく機械学習により生成された参考データが記憶装置３に格納される。つまり、制御注目点Ｎを検知する処理で利用される参考データは、制御注目点Ｎの位置の情報が付与されたハンド１１の様々な撮影画像を教師データとした機械学習により生成される。
【００３８】
第２実施形態では、情報処理装置１の検知部２１は、把持対象の物体１３およびその重心Ｍの位置を第１実施形態と同様に撮影画像から検知すると共に、制御注目点Ｎを検知する機能をも備えている。
【００３９】
処理部２２は、ハンド１１における制御注目点Ｎが、把持対象の物体１３における重心Ｍの位置に一致する方向に、ロボットアーム１０のハンド１１を移動制御し、ハンド１１により把持対象の物体１３を把持させるべくロボットアーム１０を制御する。
【００４０】
第２実施形態における情報処理装置１の上記以外の構成は、第１実施形態の情報処理装置１の構成と同様である。
【００４１】
第２実施形態の情報処理装置１は、第１実施形態と同様の構成を備えている。これにより、第１実施形態と同様の効果を得ることができる。さらに、第２実施形態の情報処理装置１は、ハンド１１の制御注目点Ｎを撮影画像から検知し、ハンド１１の制御注目点Ｎが把持対象の物体１３の重心Ｍの位置と一致する方向に、ロボットアーム１０の移動を制御する。これにより、情報処理装置１は、安定的に把持できる部位で把持対象の物体１３をハンド１１によって把持させる制御に対する信頼性を高めることができる。なお、制御注目点は、処理部２２による制御対象の駆動装置の駆動により位置が変化する領域内であれば、処理部２２が制御する駆動装置の構成に応じて適宜に空間領域や装置の部分領域に設定してよく、第２実施形態で述べた例に限定されない。
【００４２】
＜第３実施形態＞
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第１や第２の実施形態の情報処理装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
【００４３】
第３実施形態では、図８に表されているように、処理部２２により制御される駆動装置５は、２本のロボットアーム１０を備えている。検知部２１は、第２実施形態と同様に、撮影画像から、把持対象の物体１３とその重心Ｍの位置を検知すると共に、ハンド１１の制御注目点Ｎを検知する。第３実施形態では、ロボットアーム１０が２本であることから、各ロボットアーム１０について、ハンド１１の制御注目点Ｎを検知する。
【００４４】
第３実施形態では、処理部２２は、図８のように、２本のロボットアーム１０におけるハンド１１の制御注目点Ｎと、把持対象の物体１３における重心Ｍの位置とが同じ仮想直線上に、互いに間隔を介して位置するように、各ロボットアーム１０を制御する。さらに、処理部２２は、そのような配置状態から、ハンド１１の制御注目点Ｎが把持対象の物体１３における重心Ｍにむかう方向に各ロボットアーム１０を移動制御してハンド１１が物体１３を把持するようにロボットアーム１０を制御する。
【００４５】
第３実施形態における情報処理装置１の上記以外の構成は、第２実施形態の情報処理装置１の構成と同様である。
【００４６】
第３実施形態の情報処理装置１は、第１や第２の実施形態と同様の効果を得ることができる。さらに、情報処理装置１は、各ハンド１１の制御注目点Ｎと把持対象の物体１３における重心Ｍとが同じ仮想直線上に配置された状態を維持しつつ把持対象の物体１３の両側からハンド１１が物体１３を把持するようにロボットアーム１０を制御する。このような情報処理装置１によるロボットアーム１０の制御は、把持対象の物体１３の把持の安定性を高めることができる。ロボットアーム１０に対する把持対象の物体１３の向きが図９や図１０のような状態であっても、上記のような検知部２１や処理部２２の機能によって、情報処理装置１は、把持対象の物体１３をロボットアーム１０のハンド１１により把持させることができる。
【００４７】
＜第４実施形態＞
以下に、本発明に係る第４実施形態を説明する。なお、第４実施形態の説明において、第１〜第３の実施形態の情報処理装置を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
【００４８】
図１１は、第４実施形態の情報処理装置の構成を簡略化して表すブロック図である。第４実施形態の情報処理装置１が制御する駆動装置５は、例えば、畑などを荒らす害獣を追い払う機能を備えた装置（害獣に向けて放水する装置や、音を発する装置や、光を照射する照射装置など）である。あるいは、駆動装置５は、養殖している生簀の魚に向けて餌をまく装置である。撮影装置４は、駆動装置５の駆動制御に必要な予め定めた領域（害獣から保護したい監視領域や、生簀の水面領域など）を撮影できるように設置される。
【００４９】
また、制御装置２における検知部２１が検知する検知対象は、図１２に表されるような移動体１４である生き物とその重心Ｍの位置である。図１３に表されるように、生き物は体勢が様々に変化する。このことから、そのような体勢変化を考慮した教師データ（第１実施形態で述べたような基準画像と背景有り画像と部分画像と変形画像の教師データ）によって移動体１４とその重心Ｍの位置を検知する処理で利用する参考データが生成される。このように生成された参考データが情報処理装置１の記憶装置３に格納され、当該参考データを利用して、検知部２１は、検知対象の移動体１４を撮影画像から検知する。
【００５０】
第４実施形態では、制御装置２は、受信部２０と検知部２１と処理部２２に加えて、追尾部２５を備えている。追尾部２５は、連続的あるいは間欠的に撮影された複数の撮影画像において、検知部２１により検知された検知対象を追尾する機能を備えている。追尾手法には様々な手法があり、追尾部２５が利用する追尾手法は限定されないが、例えば、カルマンフィルタやパーティクルフィルタを利用した手法や、予め与えられた追尾用ルールを利用する手法がある。追尾用ルールを利用する手法では、例えば、追尾用ルールの一つとして、次のようなルールが与えられる。そのルールとは、検知処理が行われた撮影画像とその次の時点での検知処理の撮影画像との比較において、検知された検知対象の重心Ｍの変位距離が設定値以下であって離れすぎていないことというルールである。その設定値は、例えば、検知対象の生き物の種類などを考慮して想定される移動速度に基づいて設定される。また、追尾用ルールとして、生き物の移動方向が合っていることというルールも与えられる。生き物の移動方向の検知は、例えば、生き物の頭の画像と、機械学習により取得された移動方向検知用データとを利用して行われる。その機械学習では、生き物の移動方向の情報が付与された生き物の頭の画像が教師データとして用いられ、このような教師データに基づき移動方向検知用データが生成される。追尾用ルールを利用する手法では、撮影時点が異なる複数の撮影画像から、上記のような追尾用ルールを利用して同じ生き物である確率の高い生き物を検知（選択）していくことによって、生き物を追尾する。
【００５１】
処理部２２は、検知部２１により検知され、かつ、追尾部２５により追尾された生き物の情報に基づき、制御対象の駆動装置５の駆動（例えばモータや電磁弁の動作）を制御する。駆動装置５の駆動制御の手法は、駆動装置５の種類に応じた手法であり、適宜な手法が採用される。ここでは、その説明は省略するが、例えば、処理部２２は、追尾部２５による追尾の情報により得られる直近の移動方向と予め定めた単位時間当たりの移動量を利用して、制御時点での移動体１４の位置と移動方向を予測して駆動装置５を制御してもよい。
【００５２】
第４実施形態における情報処理装置１の上記以外の構成は、第１〜第３実施形態の情報処理装置１の構成と同様である。
【００５３】
第４実施形態の情報処理装置１は上記のように構成されている。つまり、情報処理装置１は、撮影画像から、駆動装置５が作用する移動体１４の重心Ｍの位置を検知し、当該重心Ｍの位置の情報を利用して、駆動装置５の動作を制御可能な構成を備えている。これにより、移動体１４の輪郭や頭部の位置を利用して駆動装置５が制御される場合に比べて、駆動装置５（放水装置）は、移動体１４（害獣）への水の的中率を高めることができる。つまり、情報処理装置１は、駆動装置５による移動体１４への作用の正確さを高めることができる。
【００５４】
また、第４実施形態の情報処理装置１は追尾部２５を備えている。このため、駆動装置５が作用する物体が移動体１４であっても、情報処理装置１は、時々刻々と移動する移動体１４に駆動装置５が正確に作用するように、移動体１４の移動を考慮した駆動装置５の制御が可能である。
【００５５】
さらに、情報処理装置１は追尾部２５を備えていることにより、次のような効果も得ることができる。情報処理装置１は、例えば、図１４に表されるような撮影画像から移動体１４を検知した後の撮影画像において、図１５に表されるように、検知した移動体１４と、同様な移動体とが撮影されたとしても、検知した移動体１４を引き続き、継続して検知できる。これにより、駆動装置５により作用する対象が頻繁に代わってしまう事態を防止でき、情報処理装置１は、駆動装置５の安定した制御を行うことができる。
【００５６】
なお、第４実施形態の情報処理装置１は、次のような駆動装置の駆動制御にも適用可能である。例えば、上述した例では、撮影装置４は固定されている。これに代えて、図１６に表されるような駆動装置５であるアームに撮影装置４が取り付けられ、駆動装置５（アーム）の駆動により、撮影装置４はその撮影範囲を変位させることが可能であるとする。また、撮影装置４は、作業員１６の手の作業範囲を撮影することが設定されているとする。検知部２１は、作業員１６の移動体である手１４とその手１４の重心の位置を検知する機能を備える。作業員１６の手１４とその手の重心の位置を検知するために、前述したと同様な基準画像と背景有り画像と部分画像と変形画像による教師データを利用した機械学習により参考データが生成され記憶装置３に格納される。この参考データを利用して、検知部２１は検知処理を実行する。追尾部２５は、作業員１６の手元を追尾する。処理部２２は、検知部２１と追尾部２５による情報を利用して、作業員１６の手元の動き（換言すれば、作業の状況）に追従して撮影装置４の撮影範囲を変位するように駆動装置５（撮影装置４が取り付けられているアーム）の動作を制御する。このような場合にも、情報処理装置１は、前記同様の効果を得ることができる。
【００５７】
さらに、第４実施形態の情報処理装置１の別の適用例として、撮影装置４と情報処理装置１が、自走機能を持つ駆動装置５としてのロボットに搭載されていてもよい。この場合には、例えば、検知部２１が検知対象の移動体とその重心の位置を検知し、追尾部２５がその検知対象の移動体を追尾する。処理部２２は、その移動体の移動に応じて、情報処理装置１が搭載されているロボットが移動するように（換言すれば、移動体に追従するように）ロボットの駆動装置５としての移動機構の動作を制御する。また、撮影装置４の向きを変更する機構を備えている場合には、処理部２２は、移動体の移動に応じて例えば移動体が撮影画像の中心に位置するように撮影装置４の向きを変更する駆動装置５としての機構を制御してもよい。
【００５８】
さらにまた、上述したロボットに情報処理装置１を搭載する例において、検知部２１が検知する検知対象は移動体である例を説明している。これに代えて、検知対象は、例えば、ロボットが向かう目的地点を表す固定の目印などであってもよい。ロボットの移動により撮影装置４の撮影範囲が変位し、検知対象が移動していないのにも拘わらず、撮影画像における検知対象の位置が変化することが考えられる。このような場合にも、第４実施形態の情報処理装置１は、追尾部２５の機能により、検知対象を継続して検知できる。
【００５９】
さらにまた、検知対象として、第２や第３の実施形態において説明したような駆動装置５における制御注目点Ｎが検知部２１により検知される場合には、追尾部２５は、その制御注目点Ｎも追尾してよい。また、処理部２２は、その制御注目点Ｎの追尾結果をも含めた情報を利用して駆動装置５を制御してもよい。
【００６０】
＜その他の実施形態＞
なお、本発明は第１〜第４の実施形態に限定されずに様々な実施形態を採り得る。例えば、第１〜第４の実施形態の情報処理装置１は、検知部２１により検知された検知対象を表す情報を撮影画像に重畳して表示すべく表示装置（図示せず）を制御する表示制御部（図示せず）が備えられていてもよい。また、その表示制御部は、第４実施形態における追尾部２５による追尾結果を表示するように表示装置を制御してもよい。
【００６１】
図１７は、本発明に係るその他の実施形態の情報処理装置を簡略化して表すブロック図である。この情報処理装置３０は、検知部３１と処理部３２を備える。検知部３１は、撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から検知対象を検知する機能を備える。処理部３２は、検知部３１の検知結果を利用して、検知部３１により検知される重心を持つ物体に作用する制御対象の駆動装置を制御する機能を備える。このような情報処理装置３０は、例えば、第１実施形態における情報処理装置１と同様にプロセッサにより実現される。
【００６２】
情報処理装置３０は、検知部３１の機能により、撮影画像から物体の重心の位置を検知するので、簡単に重心の位置を検知できる。つまり、検知部３１は、換言すれば、駆動装置を制御するために利用する情報を検知する機能を有する。検知部３１は、その制御に利用する情報を検知するために、例えば、センサ出力を取得しなくとも、かつ、取得したセンサ出力を利用した寸法算出処理等の複数の処理を行うことなく、制御に利用する情報を検知できる。これにより、情報処理装置３０は、駆動装置を制御する制御構成の簡素化を図ることができる。さらに、情報処理装置３０は、その物体の重心の位置を利用して駆動装置を制御することにより、駆動装置の例えば把持動作の失敗などを削減することができ、駆動装置の制御に対する信頼性を高めることができる。
【００６３】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【００６４】
この出願は、２０１９年３月１３日に出願された日本出願特願２０１９−４６０２３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００６５】
１，３０  情報処理装置
４  撮影装置
５  駆動装置
２１，３１  検知部
２２，３２  処理部
【図１】
2020184101.tif 000003
【図２】
2020184101.tif 000004
【図３】
2020184101.tif 000005
【図４】
2020184101.tif 000006
【図５】
2020184101.tif 000007
【図６】
2020184101.tif 000008
【図７】
2020184101.tif 000009
【図８】
2020184101.tif 000010
【図９】
2020184101.tif 000011
【図１０】
2020184101.tif 000012
【図１１】
2020184101.tif 000013
【図１２】
2020184101.tif 000014
【図１３】
2020184101.tif 000015
【図１４】
2020184101.tif 000016
【図１５】
2020184101.tif 000017
【図１６】
2020184101.tif 000018
【図１７】
2020184101.tif 000019
【手続補正書】
【提出日】令和3年6月11日(2021.6.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する検知手段と、
前記検知手段の検知結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理手段と
を備える情報処理装置。
【請求項２】
前記検知手段の検知結果を利用して前記検知対象を追尾する追尾手段をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記検知対象は、前記駆動装置の駆動により位置が変化する領域において予め定められた制御注目点をも含み、前記検知手段は、撮影画像から、前記物体の重心の位置に加えて、前記制御注目点をも検知する請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記処理手段は、前記検知手段により検知された前記物体の重心の位置と、前記駆動装置である把持機能を持つ装置における前記制御注目点とが同じ仮想直線上に配置されている状態から、前記制御注目点が前記物体の重心の位置に近付く方向に移動し前記物体を把持するように前記駆動装置を制御する請求項３に記載の情報処理装置。
【請求項５】
前記撮影画像における前記物体の重心の位置を含む前記検知対象を機械学習することにより前記参考データを生成する学習手段をさらに備える請求項１乃至請求項４の何れか一つに記載の情報処理装置。
【請求項６】
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知し、
その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する駆動制御方法。
【請求項７】
撮影画像における物体の重心の位置を含む検知対象を機械学習した学習結果である参考データを利用して、撮影画像から前記検知対象を検知する処理と、
その検知の結果を利用して、前記物体に作用する制御対象の駆動装置を制御する処理と
をコンピュータに実行させるコンピュータプログラム。
【国際調査報告】
2020184101.tif 000020
2020184101.tif 000021
2020184101.tif 000022
2020184101.tif 000023
2020184101.tif 000024
2020184101.tif 000025