(57)【要約】【課題】物体をより効率的に掴むことが可能な物体把持システムを提供する。【解決手段】カメラ１５０と、把持部１４０と、カメラ１５０で撮影した画像に基づいて把持部１４０に対する対象物体２００Ａの相対位置を特定することを繰り返しながら把持部１４０を対象物体２００Ａに向けて移動させるための制御部１１０とを備える、物体把持システム１００が提供される。【選択図】図１
2020121352.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
把持部と、
前記カメラで撮影した画像に基づいて前記把持部に対する対象物体の相対位置を特定することを繰り返しながら前記把持部を前記対象物体に向けて移動させるための制御部とを備える、物体把持システム。
【請求項２】
前記制御部は、前記対象物体が複数検知できた場合に、前記把持部に近いものを選択し、前記把持部を当該選択された対象物体に向けて移動させる、請求項１に記載の物体把持システム。
【請求項３】
前記制御部は、前記対象物体が複数検知できた場合に、前記対象物体それぞれの姿勢に基づいて次に把持する対象物体を選択し、前記把持部を当該選択された対象物体に向けて移動させる、請求項１に記載の物体把持システム。
【請求項４】
前記制御部は、前記対象物体のそれぞれの姿勢に基づいて、前記把持部の姿勢に近い対象物体、もしくは運搬後の目標の姿勢に近い対象物体を選択する、請求項３に記載の物体把持システム。
【請求項５】
前記制御部は、前記対象物体が複数検知できた場合に、前記対象物体それぞれの鍵のある面を特定し、前記鍵がある面の向きに基づいて次に把持する対象物体を選択する、請求項３に記載の物体把持システム。
【請求項６】
前記制御部は、前記対象物体が複数検知できた場合に、一番上にある対象物体を選択し、前記把持部を当該選択された対象物体に向けて移動させる、請求項１に記載の物体把持システム。
【請求項７】
無線タグを検知するための検知部をさらに備え、
前記制御部は、前記検知部を利用することによって前記対象物体に取り付けられた無線タグからの情報に基づいて前記対象物体の仕様を特定し、当該仕様に基づいて前記把持部に対する対象物体の相対位置を特定する、請求項１から６のいずれか１項に記載の物体把持システム。
【請求項８】
カメラで撮影するステップと、
撮影画像に基づいて前記把持部に対する対象物体の相対位置を特定するステップと、
前記把持部を前記対象物体に向けて移動させるステップと、を繰り返すことによって前記対象物体を把持する物体把持方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、段ボール箱や紙幣収納ＢＯＸなどを掴んだり運んだりするための物体把持システムの技術に関する。
【背景技術】
【０００２】
従来から、各種の物体を掴んだり運んだりするための装置が知られている。たとえば、特表２０１８−５０４３３３号公報（特許文献１）には、在庫システムにおけるロボットによるアイテム把持が開示されている。特許文献１によると、在庫システム内で在庫アイテムを把持するためにロボットアームまたはマニピュレータを利用することができる。ロボットアームまたはマニピュレータを用いてアイテムを把持するための把持戦略を判定するために、１つまたは複数のデータベースから把持されるアイテムに関する情報を検出し、及び／またはアクセスすることができる。例えば、１つまたは複数のアクセスされるデータベースは、過去にこのようなアイテムに関して把持戦略が有効または無効であったことを示す情報などの、アイテム、アイテムの特性、及び／または、同様のアイテムに関する情報を含むことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１８−５０４３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、物体をより効率的に掴むことが可能な物体把持システムを提供することにある。
【課題を解決するための手段】
【０００５】
この発明のある態様に従うと、カメラと、把持部と、カメラで撮影した画像に基づいて把持部に対する対象物体の相対位置を特定することを繰り返しながら把持部を対象物体に向けて移動させるための制御部とを備える、物体把持システムが提供される。
【発明の効果】
【０００６】
以上のように、本発明によれば、物体をより効率的に掴むことが可能な物体把持システムが提供される。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態に係る物体把持システム１００の動作概要を示すイメージ図である。
【図２】第１の実施の形態に係る物体把持システム１００のブロック図である。
【図３】第１の実施の形態に係る物体把持システム１００の処理手順を示すフローチャートである。
【図４】第２の実施の形態に係る物体把持システム１００の動作概要を示すイメージ図である。
【図５】第３の実施の形態に係る物体把持システム１００の動作概要を示すイメージ図である。
【図６】第５の実施の形態に係る把持部１４０の近傍を示すイメージ図である。
【図７】第５の実施の形態に係る物体把持システム１００のブロック図である。
【図８】第６の実施の形態に係る物体把持システム１００のブロック図である。
【図９】ＣＧ物体の姿勢を特定する方法を説明するための図。
【図１０】第７の実施の形態に係る物体把持システム１００のブロック図である。
【図１１】第７の実施の形態に係る物体把持システム１００の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
［第１の実施の形態］
＜物体把持システム１００の全体構成と動作概要＞
【０００９】
図１に示すように、本実施の形態にかかる物体把持システム１００は、主に、アーム１３０、把持部１４０、カメラ１５０、それらを制御するためのコントローラ１１０などを含む。
【００１０】
そして、図１（Ａ）に示すように、カメラ１５０がアーム１３０前方を撮影する。コントローラ１１０が、カメラ１５０の撮影画像に基づいて、複数配置されている物体２００Ａ，２００Ｂ，２００Ｃの中から、次に把持する対象となる物体２００Ａを特定する。本実施の形態においては、コントローラ１１０は、既に学習した物体に関する各種のデータに基づいて、物体２００Ａ，２００Ｂ，２００Ｃのそれぞれを検知する。コントローラ１１０は、アーム１３０や把持部１４０からそれぞれの物体２００Ａ，２００Ｂ，２００Ｃまでの距離を計算して、現在のアーム１３０や把持部１４０から最も近い位置に配置されている物体２００Ａを特定する。２０１は、物体２００Ａが蓋や鍵などを有する場合の鍵を指している。
【００１１】
なお、物体の検知に関しては、例えば、深層学習に代表される機械学習技術を利用し、対象物体が含む画像と、対象物体の領域を含む２Ｄ（２次元）バウンディングボックス領域を教師データとして学習したモデルによって検知可能である。
【００１２】
また、距離の推定方法に関しては、例えば、撮像装置で撮像した画像（撮像画像）における、全画像領域に対する対象物体に相当する画像領域が占有する割合とから、撮像装置から対象物体までの３次元距離を取得することができる。
【００１３】
これによって、アーム１３０と物体までの間に障害物が存在する可能性を低減し、スムーズに物体を把持することができるようになる。
【００１４】
図１（Ｂ）に示すように、コントローラ１１０は、アーム１３０を制御して、把持部１４０を物体２００Ａに向けて移動させる。特に、本実施の形態においては、コントローラ１１０は、アーム１３０および把持部１４０を移動させながら、カメラ１５０によって撮影を繰り返し、把持部１４０に対する物体２００Ａの相対位置の計算を繰り返し、把持部１４０の移動先の計算を繰り返す。
【００１５】
なお、相対位置の推定は、例えば、（１）カメラ１５０の焦点距離と、（２）当該焦点距離によりカメラ１５０で撮像した画像（撮像画像ＤＰｉｎ）における、全画像領域に対する対象物体に相当する画像領域が占有する割合とから、カメラ１５０から対象物体までの３次元距離を取得する。対象物体の仕様情報、たとえば大きさ（サイズ）が既知であり、撮像画像ＤＰｉｎが取得されたときのカメラ１５０の焦点距離が既知であるので、撮像画像ＤＰｉｎ内の対象物体が占める割合が分かれば、カメラ１５０から対象物体までの３次元距離を取得することができる。したがって、３Ｄ座標推定部を実現するコントローラ１１０などが、（１）カメラ１５０の焦点距離と、（２）当該焦点距離によりカメラ１５０で撮像した画像（撮像画像ＤＰｉｎ）における、全画像領域に対する対象物体に相当する画像領域が占有する割合とから、カメラ１５０から対象物体までの３次元距離を取得することができる。
【００１６】
図１（Ｃ）に示すように、把持部１４０が、物体２００Ａの近傍に到達すると、コントローラ１１０は、物体２００Ａの姿勢や向きに基づいて、把持部１４０の姿勢や向きを制御して、把持部１４０によって物体を挟みこむ。本実施の形態においては、コントローラ１１０は、アーム１３０と把持部１４０を制御して、物体を掴み、持ち上げて、所定の位置に運搬し、当該所定の位置に物体を載置する。
【００１７】
このように、本実施の形態にかかる物体把持システム１００は、カメラ１５０によって連続撮影しながら、順次取得される画像に基づいて把持部１４０に対する物体の相対位置や相対姿勢を計算したり位置を微調整したりしながら、より確実に物体を把持および運搬するものである。
＜物体把持システム１００の構成＞
【００１８】
次に、本実施の形態にかかる物体把持システム１００の構成について詳述する。図２を参照して、物体把持システム１００は、主要な構成として、コントローラ１１０と、アーム１３０と、把持部１４０と、カメラ１５０と、通信インターフェイス１６０などを搭載する。
【００１９】
コントローラ１１０は、物体把持システム１００の各部を制御する。より詳細には、コントローラ１１０は、ＣＰＵ１１１やメモリ１１２やその他のモジュールを含む。ＣＰＵ１１１は、メモリ１１２に記憶されているプログラムやデータに基づいて、物体把持システム１００の各部を制御する。
【００２０】
本実施の形態においては、メモリ１１２は、物体を把持するために必要なデータ、たとえば物体の面や向きを特定するための学習データとしての面・姿勢データ１１２Ａや、物体までの距離を計算するための学習データとしての距離データ１１２Ｂや、カメラ１５０によって撮影された撮影データ１１２Ｃや、その他、本実施の形態にかかる把持・運搬処理に必要なデータなどを記憶する。
【００２１】
把持・運搬処理に必要なデータのデータ構造や作成方法などは、特に限定されない。たとえば、ＡＩ（Artificial Intelligence）などを利用して、当該データを蓄積したり、作成したりすることが考えられる。
【００２２】
たとえば、物体把持システム１００または他の装置は、面・姿勢データ１１２に関するＡＩによる学習として、以下のような処理を実行することができる。以下では、把持する物体をＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）で表わしたＣＧ物体を背景画像Ｉｍｇ０上に投影して合成するレンダリング処理により、レンダリング画像Ｉｍｇ１を取得するという方法を想定している。図９に示すように、ＣＧ物体が直方体である場合、３Ｄ（３次元）のＣＧ物体を２Ｄ（２次元）に投影変換すると、目視できる面が３面となる。そして、目視できる面がどの面の組み合わせであるかに基づいてクラスを設定する。例えば、クラスの番号により、ＣＧ物体を背景画像Ｉｍｇ０上に投影したときの姿勢（向き）を特定する。例えば、図９の場合、背景画像Ｉｍｇ０（レンダリング画像Ｉｍｇ１）上で目視できる面は、上面としてＥ面、左側面としてＡ面、右側面としてＢ面であるので、この状態を、例えば、図９に示すように「クラス１」とする。このようにして設定したクラスの番号により、ＣＧ物体を背景画像Ｉｍｇ０上に投影したときの姿勢（向き）を特定することができる。このようにすることによって、たとえば、自動的に作成する様々な姿勢に関するレンダリング画像Ｉｍｇ１（ＣＧ物体を背景画像Ｉｍｇ０に合成した画像）と、ＣＧ物体を囲む画像領域の境界を規定するバウンディングボックスを特定するためのデータと、レンダリング画像Ｉｍｇ１での各ＣＧ物体の姿勢を特定するためのクラスなどのデータと、から学習用データを多数生成していくことによって、より精度の高い面・姿勢データ１１２Ａを作成することができる。
【００２３】
アーム１３０は、コントローラ１１０からの指示に基づいて、把持部１４０を様々な位置に移動させたり、把持部１４０を様々な姿勢に向けたりする。
【００２４】
把持部１４０は、コントローラ１１０からの指示に基づいて、対象の物体を挟み込んだり、物体を離したりする。
【００２５】
カメラ１５０は、コントローラ１１０からの指示に基づいて、静止画像や動画像を撮影して、撮影画像データをコントローラ１１０に受け渡す。
【００２６】
通信インターフェイス１６０は、コントローラ１１０からの指示に基づいて、サーバや他の装置にデータを送信したり、サーバや他の装置からデータを受信したりする。
＜物体把持システム１００の動作＞
【００２７】
次に、本実施の形態にかかる物体把持システム１００の物体把持処理について説明する。本実施の形態にかかるＣＰＵ１１１は、ユーザ操作に基づいて、または先の物体の運搬が終了すると自動的に、次の物体に対して下記のような物体把持処理を実行する。
【００２８】
図３を参照して、まず、ＣＰＵ１１１は、対象となる物体の仕様情報、たとえば形状や重さや色や３Ｄ設計図面などの情報、に基づき、アーム１３０を制御して、把持部１４０を物体が挟める所定の位置に移動させる（ステップＳ１０２）。
【００２９】
次に、ＣＰＵ１１１は、カメラ１５０に撮影させる。すなわちＣＰＵ１１１は、カメラ１５０から撮影画像を取得する（ステップＳ１０４）。
【００３０】
ＣＰＵ１１１は、撮影画像に基づいて、アーム１３０および把持部１４０に対する対象となる物体の相対姿勢を計算する（ステップＳ１０６）。たとえば、ＣＰＵ１１１は、メモリ１１２の面・姿勢データ１１２Ａなどを利用して、撮影画像とのマッチング処理を実行することによって、物体の姿勢や向きを特定する。
【００３１】
ＣＰＵ１１１は、アーム１３０および把持部１４０に対する対象となる物体の相対姿勢に基づいて、対象となる物体の頂点の座標を特定する（ステップＳ１０８）。
【００３２】
ＣＰＵ１１１は、対象となる物体の仕様情報と、物体の頂点の座標とに基づいて、アーム１３０および把持部１４０に対する対象となる物体までの距離を計算する（ステップＳ１１０）。たとえば、ＣＰＵ１１１は、距離を測定するための距離データ１１２Ｂに含まれるテンプレート画像に基づいて、撮影画像とテンプレート画像とをマッチングさせることによって物体までの距離を特定する。
【００３３】
なお、相対位置の推定は、例えば、（１）カメラ１５０の焦点距離と、（２）当該焦点距離によりカメラ１５０で撮像した画像（撮像画像ＤＰｉｎ）における、全画像領域に対する対象物体に相当する画像領域が占有する割合とから、カメラ１５０から対象物体までの３次元距離を取得する。対象物体の仕様情報、たとえば大きさ（サイズ）が既知であり、撮像画像ＤＰｉｎが取得されたときのカメラ１５０の焦点距離が既知であるので、撮像画像ＤＰｉｎ内の対象物体が占める割合が分かれば、カメラ１５０から対象物体までの３次元距離を取得することができる。したがって、３Ｄ座標推定部を実現するコントローラ１１０などが、（１）カメラ１５０の焦点距離と、（２）当該焦点距離によりカメラ１５０で撮像した画像（撮像画像ＤＰｉｎ）における、全画像領域に対する対象物体に相当する画像領域が占有する割合とから、カメラ１５０から対象物体までの３次元距離を取得することができる。
【００３４】
ＣＰＵ１１１は、アーム１３０および把持部１４０が物体を把持できる距離内に到達したか否かを判断する（ステップＳ１１２）。アーム１３０および把持部１４０が物体を把持できる距離内に到達していない場合（ステップＳ１１２にてＮＯである場合）、ＣＰＵ１１１は、ステップＳ１０２において予定されていた把持部１４０に対する物体の相対的な位置と、現在の実際の把持部１４０に対する物体の相対的な位置と、の誤差を計算して（ステップＳ１１４）、再度アーム１３０を所定の位置に移動させる（ステップＳ１０２）。
【００３５】
アーム１３０および把持部１４０が物体を把持できる距離内に到達した場合（ステップＳ１１２にてＹＥＳである場合）、ＣＰＵ１１１は、把持部１４０に物体を把持するように指示するとともに、アーム１３０に物体を所定の位置に運ぶように指示する（ステップＳ１１６）。
【００３６】
ＣＰＵ１１１は、カメラ１５０に撮影命令を送信し、撮影画像を取得する（ステップＳ１１８）。ＣＰＵ１１１は、撮影画像に基づいて、物体の所定の位置への運搬が完了したか否かを判断する（ステップＳ１２０）。物体の所定の位置への運搬が完了した場合（ステップＳ１２０にてＹＥＳである場合）、ＣＰＵ１１１は、把持部１４０に物体を離すように指示して、通信インターフェイス１６０を介して、例えば開錠装置に物体の蓋などの開錠処理を開始させたり、他の搬送装置に物体をさらに搬送させたりする。そして、ＣＰＵ１１１は、アーム１３０を初期位置に戻し、次の物体に関して、ステップＳ１０２からの処理を開始させる。
【００３７】
物体の所定の位置への運搬が完了していない場合（ステップＳ１２０にてＮＯである場合）、ＣＰＵ１１１は、撮影画像に基づいて、把持部１４０による物体の把持に異常がないか否かを外部センサーなどを用いて判断する（ステップＳ１２４）。たとえば、ＡＩを利用するなどして、事前に異常を検知するためのモデルを訓練しておくことが好ましい。把持部１４０による物体の把持に異常がなければ（ステップＳ１２４にてＮＯである場合）、ＣＰＵ１１１は、ステップＳ１１８からの処理を繰り返す。
【００３８】
把持部１４０による物体の把持に異常がある場合（ステップＳ１２４にてＹＥＳである場合）、ＣＰＵ１１１は、撮影画像に基づいて、物体が把持部１４０から落下したか否かを判断する（ステップＳ１２６）。物体が把持部１４０から落下した場合（ステップＳ１２６にてＹＥＳである場合）、ＣＰＵ１１１は、アーム１３０を初期位置に戻し、対象となる物体の決定処理から繰り返す（ステップＳ１２８）。
【００３９】
ＣＰＵ１１１は、物体が把持部１４０から落下していない場合（ステップＳ１２６にてＹＥＳである場合）、ステップＳ１１６からの処理を繰り返す。
［第２の実施の形態］
【００４０】
上記の実施の形態においては、アーム１３０や把持部１４０からの距離が近い物体から順に把持・運搬するものであったが、このような構成には限られない。たとえば、図４に示すように、運搬後の目標となる姿勢や方向に似通った姿勢や方向を有する物体から順に把持・運搬する構成であってもよい。
【００４１】
より詳細には、図４（Ａ）に示すように、カメラ１５０がアーム１３０の前方を撮影する。コントローラ１１０が、撮影画像から、把持する対象となる物体２００Ａを特定する。本実施の形態においては、コントローラ１１０は、物体２００Ａ，２００Ｂ，２００Ｃの存在を検知して、運搬後の目標となる姿勢に対するそれぞれの物体２００Ａ，２００Ｂ，２００Ｃの相対的な姿勢を計算して、運搬後の姿勢に最も似通った物体２００Ｂを特定する。
【００４２】
特に、把持する対象となる物体が、その後に自動的に開錠すべき鍵や蓋などを有する場合には、物体の運搬後の当該鍵や蓋がある面の向きに対する、現在の蓋や鍵がある面の向きが似通っているものから順に選択していくことが好ましい。２０１は、その場合の鍵を指している。
【００４３】
図４（Ｂ）に示すように、コントローラ１１０は、アーム１３０を制御して、把持部１４０を物体２００Ｂに向けて移動させる。特に、本実施の形態においては、コントローラ１１０は、アーム１３０および把持部１４０を移動させながら、カメラ１５０によって撮影を繰り返し、把持部１４０に対する物体２００Ｂの相対位置を計算し続ける。
【００４４】
図４（Ｃ）に示すように、把持部１４０が、物体２００Ｂの近傍に到達すると、コントローラ１１０は、物体２００Ｂの姿勢や方向に基づいて、把持部１４０の姿勢や方向を制御して、把持部１４０によって物体を掴んで持ち上げる。そして、コントローラ１１０は、物体２００Ｂを目標とする位置に目標とする向きで載置して、通信インターフェイス１６０を介してその旨を次の装置に通知する。これによって、たとえば、開錠装置が物体２００Ｂを開錠したり、内部の収容物を取り出したりすることができる。
【００４５】
ただし、現在の把持部１４０の姿勢や方向に近い姿勢や方向を有する物体から順に把持・運搬する構成であってもよい。つまりコントローラ１１０は、物体２００Ａ，２００Ｂ，２００Ｃを検知して、現在の把持部１４０の姿勢に対する相対的な姿勢を計算して、当該把持部１４０の姿勢に最も似通った物体２００Ｂを特定する。これによって、現在の把持部１４０の姿勢をあまり変更せずに物体を把持することができる。
［第３の実施の形態］
【００４６】
あるいは、図５に示すように、物体把持システム１００は、所定のエリアに重ねられた物体のうちの最も上に配置される物体２００Ｄから順に把持・運搬していく構成であってもよい。
【００４７】
より詳細には、図５（Ａ）に示すように、カメラ１５０がアーム１３０前方を撮影する。コントローラ１１０が、撮影画像から、把持する対象となる物体２００Ｄを特定する。本実施の形態においては、コントローラ１１０は、複数の物体の存在を検知して、当該複数の物体それぞれの高さを計算して、最も高い位置にある物体２００Ｄを特定する。
【００４８】
図５（Ｂ）に示すように、コントローラ１１０は、アーム１３０を制御して、把持部１４０を物体２００Ｄに向けて移動させる。特に、本実施の形態においては、コントローラ１１０は、アーム１３０および把持部１４０を移動させながら、カメラ１５０によって撮影を繰り返し、把持部１４０に対する物体２００Ｄの相対位置を計算し続けて、移動先の目標地点を微調整する。
【００４９】
図５（Ｃ）に示すように、把持部１４０が、物体２００Ｄの近傍に到達すると、コントローラ１１０は、物体２００Ｄの姿勢や方向に基づいて、把持部１４０の姿勢や方向を制御して、把持部１４０によって物体を掴んで持ち上げる。
［第４の実施の形態］
【００５０】
あるいは、アーム１３０や把持部１４０からの物体までの距離や、物体の姿勢や向きや、高さなどの複数のファクターに基づいて、次に把持すべき物体を選択してもよい。たとえば、コントローラ１１０は、複数の要素を組み合わせてスコアリングし、把持すべきスコアが高い物体から順に、把持・運搬していってもよい。
［第５の実施の形態］
【００５１】
上記の実施の形態においては、図３のステップＳ１２４やステップＳ１２６において、コントローラ１１０は、カメラ１５０を利用することによって、物体を正常に把持しているか否かを判断するものであった。しかしながら、カメラからの画像以外に基づいて、物体を正常に把持しているか否かを判断してもよい。
【００５２】
たとえば、図６や図７に示すように、把持部１４０の先端に感圧センサ１４１を取り付けて、当該感圧センサ１４１の測定値に基づいて、物体を正常に把持しているか否かを判断してもよい。
［第６の実施の形態］
【００５３】
また、上記の実施の形態においては、図３のステップＳ１１０において、コントローラ１１０は、カメラ１５０からの画像に基づいて、物体の面や姿勢や距離などを計算するものであった。しかしながら、物体把持システム１００は、上記の構成の一部または全部に合わせて、あるいは上記の構成の一部または全部の代わりに、他のデバイス、たとえば、図８に示すような光学デバイスや、測距センサや、赤外線センサなどを利用することによって、物体の面や姿勢や距離などを計算する構成であってもよい。
［第７の実施の形態］
【００５４】
さらに、上記の実施の形態の構成に加えて、物体に取り付けられる無線タグを利用してより正確かつ迅速に物体を把持することが好ましい。具体的には、物体に取り付けられる無線タグには、当該物体のタイプを特定するための情報が格納されている。
【００５５】
一方、物体把持システム１００は、図１０に示すように、物体の無線タグと通信することによって物体のタイプを特定するための情報を取得するためのタグ検知部１８０を有する。ただし、物体把持システム１００のコントローラ１１０は、物体のタイプを特定するための情報を、物体把持システム１００の外部の装置などから取得してもよい。
【００５６】
また、物体把持システム１００は、データベースにタイプデータ１１２Ｄを記憶する。タイプデータ１１２Ｄは、物体のタイプを特定するための情報に対応付けて、物体の仕様情報を格納する。そして、物体把持システム１００は、データベースに、物体の仕様情報毎の画像テンプレートを格納する。
【００５７】
本実施の形態にかかる物体把持システム１００の物体把持処理について説明する。本実施の形態にかかるＣＰＵ１１１は、ユーザ操作に基づいて、または先の物体の運搬が終了すると自動的に、次の物体に対して下記のような物体把持処理を実行する。
【００５８】
図１１を参照して、まず、ＣＰＵ１１１は、タグ検知部１８０を介して、対象となる物体の無線タグから物体のタイプ情報の取得を試みる（ステップＳ２０２）。ＣＰＵ１１１は、物体のタイプ情報を取得すると（ステップＳ２０２にてＹＥＳである場合）、データベースを参照して、物体の仕様情報を特定する（ステップＳ２０４）。
【００５９】
一方、物体のタイプ情報を取得できなかった場合（ステップＳ２０２にてＮＯである場合）、カメラ１５０によって物体を撮影し、撮影画像に基づいてＡＩによる自動認識等の技術を利用して物体の仕様情報を特定する（ステップＳ２０６）。なお、このときＣＰＵ１１１は、デフォルトの物体の仕様情報を利用してもよい。
【００６０】
ＣＰＵ１１１は、対象となる物体の仕様情報、たとえば形状や重さや色や３Ｄ設計図面などの情報、に基づき、アーム１３０を制御して、把持部１４０を物体が挟める所定の位置に移動させる（ステップＳ１０２）。
【００６１】
次に、ＣＰＵ１１１は、カメラ１５０に撮影させる。すなわちＣＰＵ１１１は、カメラ１５０から撮影画像を取得する（ステップＳ１０４）。
【００６２】
ＣＰＵ１１１は、撮影画像に基づいて、アーム１３０および把持部１４０に対する対象となる物体の相対姿勢を計算する（ステップＳ１０６）。たとえば、ＣＰＵ１１１は、メモリ１１２の面・姿勢データ１１２Ａなどを利用して、撮影画像とのマッチング処理を実行することによって、物体の姿勢や向きを特定する。
【００６３】
本実施の形態においては、ここで、ＣＰＵ１１１は、ステップＳ２０４またはステップＳ２０６で特定した物体の仕様情報に基づいて、データベースから物体の画像テンプレートを取得する（ステップＳ２０８）。このように本実施の形態においては、ＣＰＵ１１１は、物体のタイプや仕様に応じたテンプレートマッチングを行うことができるので、より正確かつ迅速に物体の位置や姿勢や物体までの距離を特定することができるようになる。
【００６４】
ステップＳ１０８からの処理は、上記の実施の形態と同様であるため、ここでは説明を繰り返さない。
【００６５】
なお、本実施の形態においては、物体把持システム１００は、無線タグとの通信によって対象となる物体のタイプを特定し、データベースを参照することによって物体のタイプに対応する物体の仕様情報を特定するものであった。しかしながら、無線タグに物体の仕様情報が格納され、物体把持システム１００が、無線タグとの通信によって直接的に物体の仕様情報を取得するものであってもよい。
［第８の実施の形態］
【００６６】
上記の実施の形態の構成に限らず、各装置の役割が別の装置によって担われてもよいし、１つの装置の役割が複数の装置によって分担されてもよいし、複数の装置の役割が１つの装置によって担われてもよい。たとえば、コントローラ１１０の役割の一部または全部を、開錠装置や搬送装置などの他の装置を制御するためのサーバが担ったり、インターネットを介したクラウド上のサーバなどが担ったりしてもよい。
【００６７】
また把持部１４０に関しても、互いに対向する２つの平らな部材によって物体を挟み込む構成に限らず、複数の骨型フレームによって物体を運んだり、磁石などによって吸い付けて物体を運んだりする構成であってもよい。
［まとめ］
【００６８】
上記の実施の形態においては、カメラと、把持部と、カメラで撮影した画像に基づいて把持部に対する対象物体の相対位置を特定することを繰り返しながら把持部を対象物体に向けて移動させるための制御部（コントローラ）とを備える、物体把持システムが提供される。
【００６９】
好ましくは、制御部は、対象物体が複数検知できた場合に、把持部に近いものを選択し、把持部を当該選択された対象物体に向けて移動させる。
【００７０】
好ましくは、制御部は、対象物体が複数検知できた場合に、対象物体それぞれの姿勢に基づいて次に把持する対象物体を選択し、把持部を当該選択された対象物体に向けて移動させる。
【００７１】
好ましくは、制御部は、対象物体のそれぞれの姿勢に基づいて、把持部の姿勢に近い対象物体、もしくは運搬後の目標の姿勢に近い対象物体を選択する。
【００７２】
好ましくは、制御部は、対象物体が複数検知できた場合に、対象物体それぞれの鍵のある面を特定し、鍵がある面の向きに基づいて次に把持する対象物体を選択する。
【００７３】
好ましくは、制御部は、対象物体が複数検知できた場合に、一番上にある対象物体を選択し、把持部を当該選択された対象物体に向けて移動させる。
【００７４】
好ましくは、物体把持システムは、無線タグを検知するための検知部をさらに備える。制御部は、検知部を利用することによって対象物体に取り付けられた無線タグからの情報に基づいて対象物体の仕様を特定し、当該仕様に基づいて把持部に対する対象物体の相対位置を特定する。
【００７５】
上記の実施の形態においては、カメラで撮影するステップと、撮影画像に基づいて把持部に対する対象物体の相対位置を特定するステップと、把持部を対象物体に向けて移動させるステップと、を繰り返すことによって対象物体を把持する物体把持方法が提供される。
【００７６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００７７】
１００    ：物体把持システム
１１０    ：コントローラ
１１１    ：ＣＰＵ
１１２    ：メモリ
１１２Ａ  ：面・姿勢データ
１１２Ｂ  ：距離データ
１１２Ｃ  ：撮影データ
１３０    ：アーム
１４０    ：把持部
１４１    ：感圧センサ
１５０    ：カメラ
１６０    ：通信インターフェイス
２００Ａ  ：物体
２００Ｂ  ：物体
２００Ｃ  ：物体
２００Ｄ  ：物体
【図１】
2020121352.tif 000003
【図２】
2020121352.tif 000004
【図３】
2020121352.tif 000005
【図４】
2020121352.tif 000006
【図５】
2020121352.tif 000007
【図６】
2020121352.tif 000008
【図７】
2020121352.tif 000009
【図８】
2020121352.tif 000010
【図９】
2020121352.tif 000011
【図１０】
2020121352.tif 000012
【図１１】
2020121352.tif 000013
【手続補正書】
【提出日】令和2年1月22日(2020.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラと、
把持部と、
前記カメラで撮影した撮影画像に基づいて前記把持部に対する対象物体の相対位置を特定することを繰り返しながら前記把持部を前記対象物体に向けて移動させるための制御部とを備え、
前記制御部は、前記カメラの焦点距離と、前記撮影画像における全画像領域に対する前記対象物体に相当する画像領域が占有する割合とから、前記カメラから前記対象物体までの相対位置を特定する、物体把持システム。
【請求項２】
前記制御部は、前記対象物体が複数検知できた場合に、前記把持部に近いものを選択し、前記把持部を当該選択された対象物体に向けて移動させる、請求項１に記載の物体把持システム。
【請求項３】
前記制御部は、前記対象物体が複数検知できた場合に、前記対象物体それぞれの姿勢に基づいて次に把持する対象物体を選択し、前記把持部を当該選択された対象物体に向けて移動させる、請求項１に記載の物体把持システム。
【請求項４】
前記制御部は、前記対象物体のそれぞれの姿勢に基づいて、前記把持部の姿勢に近い対象物体、もしくは運搬後の目標の姿勢に近い対象物体を選択する、請求項３に記載の物体把持システム。
【請求項５】
前記制御部は、前記対象物体が複数検知できた場合に、前記対象物体それぞれの鍵のある面を特定し、前記鍵がある面の向きに基づいて次に把持する対象物体を選択する、請求項３に記載の物体把持システム。
【請求項６】
前記制御部は、前記対象物体が複数検知できた場合に、一番上にある対象物体を選択し、前記把持部を当該選択された対象物体に向けて移動させる、請求項１に記載の物体把持システム。
【請求項７】
無線タグを検知するための検知部をさらに備え、
前記制御部は、前記検知部を利用することによって前記対象物体に取り付けられた無線タグからの情報に基づいて前記対象物体の仕様を特定し、当該仕様に基づいて前記把持部に対する対象物体の相対位置を特定する、請求項１から６のいずれか１項に記載の物体把持システム。
【請求項８】
カメラで対象物体を撮影するステップと、
前記カメラの焦点距離と、前記カメラの撮影画像における全画像領域に対する前記対象物体に相当する画像領域が占有する割合とから、把持部に対する前記対象物体の相対位置を特定するステップと、
前記把持部を前記対象物体に向けて移動させるステップと、を繰り返すことによって前記対象物体を把持する物体把持方法。