(57)【要約】【課題】人間の手が物品を把持するときの把持形態に関する情報を、正確かつ簡単に取得することを可能とする。【解決手段】把持情報取得装置３が、予め定められた把持形態で人間の手により把持されたオブジェクトを、手による把持の解除後に赤外線カメラＣで撮像した赤外線画像を取得する赤外線画像取得部１１と、赤外線画像からオブジェクトの表面に残った手の熱痕跡を抽出する熱痕跡抽出部１２と、熱痕跡の特徴量を抽出する熱痕跡特徴量抽出部１３と、前記予め定められた把持形態に対応する教師データを取得する教師データ取得部１４と、熱痕跡の特徴量と前記教師データとを機械学習して、熱痕跡の特徴量に対応する把持形態を識別するための識別器１６を生成する識別器生成部１５とを備えた構成とする。【選択図】図１
2017090277.tif 000002
【特許請求の範囲】
【請求項１】
人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得装置であって、
予め定められた把持形態で人間の手により把持された物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得する赤外線画像取得部と、
前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出する熱痕跡抽出部と、
前記熱痕跡の特徴量を抽出する熱痕跡特徴量抽出部と、
前記予め定められた把持形態に対応する教師データを取得する教師データ取得部と、
前記熱痕跡の特徴量と前記教師データとを機械学習して、前記熱痕跡の特徴量に対応する前記把持形態を識別するための識別器を生成する識別器生成部と
を備えた把持情報取得装置。
【請求項２】
人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得装置であって、
人間の手により把持されていた物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得する赤外線画像取得部と、
前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出する熱痕跡抽出部と、
前記熱痕跡の特徴量を抽出する熱痕跡特徴量抽出部と、
前記熱痕跡の特徴量に基づき、それに対応する把持形態を識別する識別器と、
前記物品を可視光カメラで撮像した可視光画像を取得する可視光画像取得部と、
前記可視光画像から前記物品を抽出する物品抽出部と、
抽出された前記物品の特徴量を抽出する物品特徴量抽出部と、
前記物品の特徴量に基づき前記物品を認識する物品認識部と、
前記物品認識部で認識された前記物品と前記識別器で識別された把持形態とを組み合わせて、前記物品とそれに対応する把持形態を記憶した物品・把持形態データベースを作成するデータベース作成部と
を備えた把持情報取得装置。
【請求項３】
多指型ロボットハンドに対して物品を把持するときの把持動作を教示するロボット教示装置であって、
人間の手により把持されていた物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得する赤外線画像取得部と、
前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出する熱痕跡抽出部と、
前記熱痕跡の特徴量を抽出する熱痕跡特徴量抽出部と、
前記熱痕跡の特徴量に基づき、それに対応する把持形態を識別する識別器と、
多指型ロボットハンドの前記把持形態に対応する把持動作に関する情報を予め記憶したロボット機構データベースと、
前記識別器で識別された把持形態に基づき、前記ロボット機構データベースを参照して、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を作成する制御命令作成部と、
前記制御命令作成部で作成された前記制御命令を記憶する制御命令データベースと
を備えたロボット教示装置。
【請求項４】
多指型ロボットハンドが物品を把持するときの把持動作を制御するロボット制御装置であって、
把持対象の物品を可視光カメラで撮像した可視光画像を取得する可視光画像取得部と、
前記可視光画像から前記物品を抽出する物品抽出部と、
前記物品の特徴量を抽出する物品特徴量抽出部と、
前記物品の特徴量に基づき前記物品を認識する物品認識部と、
前記物品とそれに対応する把持形態を予め記憶した物品・把持形態データベースと、
前記物品認識部で認識された前記物品に基づき、前記物品・把持形態データベースから前記物品に対応する把持形態を読み出す把持形態読出部と、
前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を予め記憶した制御命令データベースと、
前記把持形態読出部で読み出された前記把持形態に基づき、前記制御命令データベースから、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を読み出す制御命令読出部と、
前記制御命令読出部で読み出された前記制御命令を前記多指型ロボットハンドに出力する制御命令出力部と
を備えたロボット制御装置。
【請求項５】
人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得方法であって、
予め定められた把持形態で人間の手により把持された物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得するステップと、
前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出するステップと、
前記熱痕跡の特徴量を抽出するステップと、
前記予め定められた把持形態に対応する教師データを取得するステップと、
前記熱痕跡の特徴量と前記教師データとを機械学習して、前記熱痕跡の特徴量に対応する前記把持形態を識別するための識別器を生成するステップと
を有する把持情報取得方法。
【請求項６】
人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得方法であって、
人間の手により把持されていた物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得するステップと、
前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出するステップと、
前記熱痕跡の特徴量を抽出するステップと、
前記熱痕跡の特徴量に基づき、それに対応する把持形態を識別する識別器を用意するステップと、
前記物品を可視光カメラで撮像した可視光画像を取得するステップと、
前記可視光画像から前記物品を抽出するステップと、
抽出された前記物品の特徴量を抽出するステップと、
前記物品の特徴量に基づき前記物品を認識するステップと、
前記物品を認識するステップで認識された前記物品と前記識別器で識別された把持形態とを組み合わせて、前記物品とそれに対応する把持形態を記憶した物品・把持形態データベースを作成するステップと
を有する把持情報取得方法。
【請求項７】
多指型ロボットハンドに対して物品を把持するときの把持動作を教示するロボット教示方法であって、
人間の手により把持されていた物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得するステップと、
前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出するステップと、
前記熱痕跡の特徴量を抽出するステップと、
前記熱痕跡の特徴量に基づき、それに対応する把持形態を識別する識別器を用意するステップと、
多指型ロボットハンドの前記把持形態に対応する把持動作に関する情報を予め記憶したロボット機構データベースを用意するステップと、
前記識別器で識別された把持形態に基づき、前記ロボット機構データベースを参照して、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を作成するステップと、
前記制御命令を作成するステップで作成された前記制御命令を制御命令データベースに記憶するステップと
を有するロボット教示方法。
【請求項８】
多指型ロボットハンドが物品を把持するときの把持動作を制御するロボット制御方法であって、
把持対象の物品を可視光カメラで撮像した可視光画像を取得するステップと、
前記可視光画像から前記物品を抽出するステップと、
前記物品の特徴量を抽出するステップと、
前記物品の特徴量に基づき前記物品を認識するステップと、
前記物品とそれに対応する把持形態を予め記憶した物品・把持形態データベースを用意するステップと、
前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を予め記憶した制御命令データベースを用意するステップと、
前記物品を認識するステップで認識された前記物品に基づき、前記物品・把持形態データベースから前記物品に対応する把持形態を読み出すステップと、
前記把持形態を読み出すステップで読み出された前記把持形態に基づき、前記制御命令データベースから、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を読み出すステップと、
前記制御命令を読み出すステップで読み出された前記制御命令を前記多指型ロボットハンドに出力するステップと
を有するロボット制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得装置、把持情報に基づきロボットを教示するロボット教示装置、把持情報に基づきロボットを制御するロボット制御装置に関する。
【背景技術】
【０００２】
近年、人間の手作業をロボットに代替させることを目的として、人間の手指と類似した形状の手指を有する多指型ロボットハンドで人間の手作業を再現する研究が行われている。多指型ロボットハンドで人間の手作業を再現するためには、人間の手作業の内容を理解すべく、人間の手が物品を把持するときの手の形状（把持形態）や手と物品との接触領域（把持領域）などの情報（以下、「把持形態に関する情報」と称することがある。）を取得し、解析する必要がある。把持形態に関する情報の取得は、従来は、センサグローブと呼ばれる、触覚センサ素子や曲げ（ベント）センサ素子がグローブ表面に多数配置されたツールを使用して行っていた。具体的には、人間の手にセンサグローブを装着した状態で物品を把持して、触覚センサ素子等の出力に基づき物品を把持するときの把持形態や把持領域などを測定していた（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【非特許文献１】松尾一矢、他２名、「手作業認識のための触覚センサ素子配置の決定手法」、日本バーチャルリアリティ学会論文誌Ｖｏｌ．１３、Ｎｏ．１、２００８年
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来の手法では、手にセンサグローブを装着した状態で物品を把持するため素手の場合と同じように物品を把持することができず、そのため、把持形態や把持領域などの把持形態に関する情報を正確に取得することができなかった。つまり、従来は、把持形態に関する情報を、実際の手作業と同じ接触条件で測定することができなかった。なお、グローブの表面に配置可能なセンサ素子の個数には限度があるため、センサ素子の個数を増やすことによるセンサグローブの分解能の向上には限界がある。
【０００５】
また、可視光カメラで撮像した手の画像から手の形状（把持形態）を検出することも考えられるが、この場合、手と物品との接触領域（把持領域）は、手で覆われることから検出が困難になる。また、人間の体や腕、または測定対象の物品に遮られて、カメラが把持形態や把持領域を撮像できないおそれもある。このことは、複数台のカメラで複数方向から撮像しても解決できない場合がある。さらに、手に粉や塗料をつけて接触領域を抽出する手法もあるが、この手法には手や物品を汚すという問題がある。
【０００６】
本発明は、このような従来技術の課題を鑑みて案出されたものであり、人間の手が物品を把持するときの把持形態に関する情報を、正確かつ簡単に取得することが可能な把持情報取得装置を提供することを主目的とする。
【課題を解決するための手段】
【０００７】
本発明の把持情報取得装置は、人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得装置であって、予め定められた把持形態で人間の手により把持された物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得する赤外線画像取得部と、前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出する熱痕跡抽出部と、前記熱痕跡の特徴量を抽出する熱痕跡特徴量抽出部と、前記予め定められた把持形態に対応する教師データを取得する教師データ取得部と、前記熱痕跡の特徴量と前記教師データとを機械学習して、前記熱痕跡の特徴量に対応する前記把持形態を識別するための識別器を生成する識別器生成部とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、人間の手が物品を把持するときの把持形態に関する情報を、正確かつ簡単に取得することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態に係る把持情報取得システムの全体構成図
【図２】人間の手により把持されていたオブジェクトを、把持の解除後に赤外線カメラで撮像した赤外線画像を示す図
【図３】人間の手がオブジェクトを把持するときの把持形態のパターンを示す図
【図４】本発明の第２の実施形態に係る把持情報取得装置での処理の流れを示すフロー図
【図５】本発明の第２の実施形態に係る把持情報取得システムの全体構成図
【図６】本発明の第２の実施形態に係る把持情報取得装置での処理の流れを示すフロー図
【図７】本発明の第３の実施形態に係るロボット教示システムの全体構成図
【図８】本発明の第３の実施形態に係るロボット教示装置での処理の流れを示すフロー図
【図９】本発明の第４の実施形態に係るロボット制御システムの全体構成図
【図１０】本発明の第４の実施形態に係るロボット制御装置での処理の流れを示すフロー図
【発明を実施するための形態】
【００１０】
上記課題を解決するためになされた第１の発明は、人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得装置であって、予め定められた把持形態で人間の手により把持された物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得する赤外線画像取得部と、前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出する熱痕跡抽出部と、前記熱痕跡の特徴量を抽出する熱痕跡特徴量抽出部と、前記予め定められた把持形態に対応する教師データを取得する教師データ取得部と、前記熱痕跡の特徴量と前記教師データとを機械学習して、前記熱痕跡の特徴量に対応する前記把持形態を識別するための識別器を生成する識別器生成部とを備えたことを特徴とする。
【００１１】
この第１の発明に係る把持情報取得装置によれば、人間の手が物品を把持するときの把持形態に関する情報を、物品の表面に残った熱痕跡に基づいて非接触で検出することができるので、把持形態に関する情報を、正確かつ簡単に取得することが可能となる。また、この第１の発明に係る把持情報取得装置によれば、人間の手による把持後に物品の表面に残った熱痕跡の特徴量に対応する把持形態を識別するための識別器を生成することができる。これにより、把持の対象が未知の物品であっても、人間の手による把持後に物品の表面に残った熱痕跡に基づき、その熱痕跡に対応する把持形態を識別することが可能となる。
【００１２】
また、第２の発明は、人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得装置であって、人間の手により把持されていた物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得する赤外線画像取得部と、前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出する熱痕跡抽出部と、前記熱痕跡の特徴量を抽出する熱痕跡特徴量抽出部と、前記熱痕跡の特徴量に基づき、それに対応する把持形態を識別する識別器と、前記物品を可視光カメラで撮像した可視光画像を取得する可視光画像取得部と、前記可視光画像から前記物品を抽出する物品抽出部と、抽出された前記物品の特徴量を抽出する物品特徴量抽出部と、前記物品の特徴量に基づき前記物品を認識する物品認識部と、前記物品認識部で認識された前記物品と前記識別器で識別された把持形態とを組み合わせて、前記物品とそれに対応する把持形態を記憶した物品・把持形態データベースを作成するデータベース作成部とを備えたことを特徴とする。
【００１３】
この第２の発明に係る把持情報取得装置によれば、上記の第１の発明で生成された識別器を用いて、物品と把持形態との関係を記憶した物品・把持形態データベースを効率的に作成することができる。これにより、可視光カメラで撮像した可視光画像に基づいて認識された物品に基づき、その物品に対応する把持形態を特定することが可能となる。
【００１４】
また、第３の発明は、多指型ロボットハンドに対して物品を把持するときの把持動作を教示するロボット教示装置であって、人間の手により把持されていた物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得する赤外線画像取得部と、前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出する熱痕跡抽出部と、前記熱痕跡の特徴量を抽出する熱痕跡特徴量抽出部と、前記熱痕跡の特徴量に基づき、それに対応する把持形態を識別する識別器と、多指型ロボットハンドの前記把持形態に対応する把持動作に関する情報を予め記憶したロボット機構データベースと、前記識別器で識別された把持形態に基づき、前記ロボット機構データベースを参照して、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を作成する制御命令作成部と、前記制御命令作成部で作成された前記制御命令を記憶する制御命令データベースとを備えたことを特徴とする。
【００１５】
この第３の発明に係るロボット教示装置によれば、上記の第１の発明で生成された識別器を用いて、予め定められた把持形態に対応する把持動作を行うように多指型ロボットハンドの把持動作を制御するための制御命令データベースを効率的に構築することができる。これにより、多指型ロボットハンドに対して、該ロボットハンドが物品を把持するときの把持動作を教示することが可能となる。
【００１６】
また、第４の発明は、多指型ロボットハンドが物品を把持するときの把持動作を制御するロボット制御装置であって、把持対象の物品を可視光カメラで撮像した可視光画像を取得する可視光画像取得部と、前記可視光画像から前記物品を抽出する物品抽出部と、前記物品の特徴量を抽出する物品特徴量抽出部と、前記物品の特徴量に基づき前記物品を認識する物品認識部と、前記物品とそれに対応する把持形態を予め記憶した物品・把持形態データベースと、前記物品認識部で認識された前記物品に基づき、前記物品・把持形態データベースから前記物品に対応する把持形態を読み出す把持形態読出部と、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を予め記憶した制御命令データベースと、前記把持形態読出部で読み出された前記把持形態に基づき、前記制御命令データベースから、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を読み出す制御命令読出部と、前記制御命令読出部で読み出された前記制御命令を前記多指型ロボットハンドに出力する制御命令出力部とを備えたことを特徴とする。
【００１７】
この第４の発明に係るロボット制御装置によれば、上記の第２の発明で作成されたオブジェクト・把持形態データベースと、上記の第３の発明で作成された制御命令データベースとを用いて、可視光カメラで撮像した可視光画像に基づいて認識された把持形態に対応する把持動作を行うように多指型ロボットハンドの把持動作を制御する制御命令を、多指型ロボットハンドに対して出力することができる。これにより、多指型ロボットハンドが物品を把持するときの把持動作を制御することが可能となる。
【００１８】
また、第５の発明は、人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得方法であって、予め定められた把持形態で人間の手により把持された物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得するステップと、前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出するステップと、前記熱痕跡の特徴量を抽出するステップと、前記予め定められた把持形態に対応する教師データを取得するステップと、前記熱痕跡の特徴量と前記教師データとを機械学習して、前記熱痕跡の特徴量に対応する前記把持形態を識別するための識別器を生成するステップとを有することを特徴とする。
【００１９】
また、第６の発明は、人間の手が物品を把持するときの把持形態に関する情報を取得する把持情報取得方法であって、人間の手により把持されていた物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得するステップと、前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出するステップと、前記熱痕跡の特徴量を抽出するステップと、前記熱痕跡の特徴量に基づき、それに対応する把持形態を識別する識別器を用意するステップと、前記物品を可視光カメラで撮像した可視光画像を取得するステップと、前記可視光画像から前記物品を抽出するステップと、抽出された前記物品の特徴量を抽出するステップと、前記物品の特徴量に基づき前記物品を認識するステップと、前記物品を認識するステップで認識された前記物品と前記識別器で識別された把持形態とを組み合わせて、前記物品とそれに対応する把持形態を記憶した物品・把持形態データベースを作成するステップとを有することを特徴とする。
【００２０】
また、第７の発明は、多指型ロボットハンドに対して物品を把持するときの把持動作を教示するロボット教示方法であって、人間の手により把持されていた物品を、前記手による把持の解除後に赤外線カメラで撮像した赤外線画像を取得するステップと、前記赤外線画像から前記物品の表面に残った前記手の熱痕跡を抽出するステップと、前記熱痕跡の特徴量を抽出するステップと、前記熱痕跡の特徴量に基づき、それに対応する把持形態を識別する識別器を用意するステップと、多指型ロボットハンドの前記把持形態に対応する把持動作に関する情報を予め記憶したロボット機構データベースを用意するステップと、前記識別器で識別された把持形態に基づき、前記ロボット機構データベースを参照して、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を作成するステップと、前記制御命令を作成するステップで作成された前記制御命令を制御命令データベースに記憶するステップとを有することを特徴とする。
【００２１】
また、第８の発明は、多指型ロボットハンドが物品を把持するときの把持動作を制御するロボット制御方法であって、把持対象の物品を可視光カメラで撮像した可視光画像を取得するステップと、前記可視光画像から前記物品を抽出するステップと、前記物品の特徴量を抽出するステップと、前記物品の特徴量に基づき前記物品を認識するステップと、前記物品とそれに対応する把持形態を予め記憶した物品・把持形態データベースを用意するステップと、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を予め記憶した制御命令データベースを用意するステップと、前記物品を認識するステップで認識された前記物品に基づき、前記物品・把持形態データベースから前記物品に対応する把持形態を読み出すステップと、前記把持形態を読み出すステップで読み出された前記把持形態に基づき、前記制御命令データベースから、前記把持形態に対応する把持動作を行うように前記多指型ロボットハンドの把持動作を制御する制御命令を読み出すステップと、前記制御命令を読み出すステップで読み出された前記制御命令を前記多指型ロボットハンドに出力するステップとを有することを特徴とする。
【００２２】
以下、本発明の実施形態について、図面を参照しながら説明する。
【００２３】
（第１の実施形態）
まず、本発明の第１の実施形態に係る把持情報取得システム１について、図１〜図４を参照して説明する。この把持情報取得システム１は、人間の手Ｈが物品（以降、「オブジェクトＯＢ」と称する）を把持するときの把持形態に関する情報を取得するためのシステムである。具体的には、この把持情報取得システム１は、人間の手ＨがオブジェクトＯＢを把持するときの把持形態に関する情報を、オブジェクトＯＢの表面に残った熱痕跡Ｔに基づいて非接触で検出する。そして、この把持情報取得システム１は、人間の手Ｈによる把持後にオブジェクトＯＢの表面に残った熱痕跡Ｔに対応する把持形態を識別するための識別器１６を生成する。本明細書では、オブジェクトＯＢは主に紙製の円筒体として説明する。なお、オブジェクトＯＢはこれに限定されるものではなく、コップ、皿、スプーンなどの他の様々なものであってよく、また、オブジェクトＯＢを構成する材料はプラスティック、陶器、ガラス、金属等であってもよく、また、オブジェクトＯＢの形状は特に限定されない。即ち、多指型ロボットハンドが把持可能である限り、三次元形状（立体形状）を有するあらゆる物品がオブジェクトＯＢになり得る。
【００２４】
図１は、把持情報取得システム１の全体構成図である。図１に示すように、把持情報取得システム１は、赤外線カメラＣと、教師データ入力装置２と、把持情報取得装置３とを備えて構成される。赤外線カメラＣと把持情報取得装置３、並びに教師データ入力装置２と把持情報取得装置３は、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。なお、上記装置間の接続形態は特に限定されるものではなく、例えば、インターネット等のネットワークを介した接続であってよいし、汎用のインターフェース（例えばＵＳＢ（Universal Serial Bus）インターフェース）を用いて通信ケーブルで互いに接続してもよい。
【００２５】
赤外線カメラＣは、赤外領域に感度を持つ一般的な赤外線サーモグラフィカメラであり、オブジェクトＯＢが発する赤外放射エネルギーを検出し、温度に換算することにより、オブジェクトＯＢの表面の温度分布を表す赤外線画像として画像化することができる。赤外線カメラＣは、０．１℃以下の温度分解能を有するものであることが好ましい。赤外線カメラＣは、オブジェクトＯＢの把持面を撮像可能な位置に配置され、「予め定められた把持形態」で人間の手Ｈにより把持されるオブジェクトＯＢを撮像する。具体的には、オブジェクトＯＢを所定のサンプルレート（例えば６０ｆｐｓ）で連続して撮像し、画像ファイルを生成する。そして、画像ファイルの生成後、把持情報取得装置３のユーザが目視により、当該画像ファイルから、人間の手により把持される前の状態の画像と、手による把持の解除後の状態の画像をキャプチャする。
【００２６】
なお、ここでいう「予め定められた把持形態」とは「把持形態として予め特定の単一の形態が定められている」という意味ではない。「予め定められた把持形態」は、オブジェクトＯＢを把持する際に人が取り得る態様として、略同一あるいは類似すると人に認識されうる程度、例えば「コップの側面を指先で掴む」、「コップの側面を指の腹で掴む」、「コップの側面を指と手の平の全体で掴む」程度に分類され（図３参照）、それぞれが１つの把持形態として定められる。即ち、「把持形態」は形態としての幅を持つ。
【００２７】
本明細書で主に説明に用いるオブジェクトＯＢは紙製の円筒体であり、円筒体の側面が把持面となる。なお、赤外線カメラＣは、オブジェクトＯＢの把持面を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、図１の全体構成図では、赤外線カメラＣは１個であるが、赤外線カメラＣは複数個であってもよい。
【００２８】
図２は、予め定められた把持形態Ｓで人間の手Ｈにより把持されていたオブジェクトＯＢを、オブジェクトＯＢから手Ｈが離され把持が解除された後に、赤外線カメラＣで撮像した赤外線画像を示す図である。人間の手ＨがオブジェクトＯＢを把持すると、手Ｈの熱がオブジェクトＯＢに伝わり、手の指及び手の平が接触した領域の温度が上がる。従って、把持していた手Ｈが離された後のオブジェクトＯＢの表面には、手Ｈの熱痕跡Ｔが残ることとなる。なお、熱痕跡Ｔは、人間の手ＨがオブジェクトＯＢに数秒触れただけでも残ることが試験により分かっている。図２（Ａ）〜（Ｃ）に示すように、オブジェクトＯＢの表面には、熱痕跡Ｔ１〜Ｔ３（以降総称するときは、単に熱痕跡Ｔと表記する）がそれぞれ残っている。赤外線カメラＣで撮像された赤外線画像（オブジェクトＯＢが人間の手Ｈにより把持される前の画像と、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像）は、把持情報取得装置３に入力される。
【００２９】
図３は、人間の手ＨがオブジェクトＯＢを把持するときの把持形態Ｓ１〜Ｓ３（以降総称するときは、単に把持形態Ｓと表記する）の例を示す図である。図３（Ａ）〜（Ｃ）に示す把持形態Ｓ１〜Ｓ３は、図２（Ａ）〜（Ｃ）の熱痕跡Ｔ１〜Ｔ３とそれぞれ対応している。つまり、図３（Ａ）の把持形態Ｓ１は図２（Ａ）の熱痕跡Ｔ１に、図３（Ｂ）の把持形態Ｓ２は図２（Ｂ）の熱痕跡Ｔ２に、図３（Ｃ）の把持形態Ｓ３は図２（Ｃ）の熱痕跡Ｔ３にそれぞれ対応している。
【００３０】
図３（Ａ）の把持形態Ｓ１は、オブジェクトＯＢの側面を指先でつまむように把持する形態であり、小さい物や細い物を持つときの把持形態である。この把持形態Ｓ１では、指先のみがオブジェクトＯＢと接触する。従って、この把持形態Ｓ１では、図２（Ａ）に示すように、熱痕跡Ｔ１の形状は指先の形状となる。
【００３１】
図３（Ｂ）の把持形態Ｓ２は、オブジェクトＯＢの側面を指の腹で挟むように把持する形態である。この把持形態Ｓ２では、指の腹全体がオブジェクトＯＢと接触する。従って、この把持形態Ｓ２では、図２（Ｂ）に示すように、熱痕跡Ｔ２の形状は指の腹全体の形状となる。
【００３２】
図３（Ｃ）の把持形態Ｓ３は、オブジェクトＯＢの側面を、指だけでなく手の平まで接触させるようにして把持する形態である。この把持形態Ｓ３では、指だけでなく、手の平もオブジェクトＯＢと接触する。従って、この把持形態Ｓ３では、図２（Ｃ）に示すように、熱痕跡Ｔ３の形状は指と手の平の形状となる。
【００３３】
図１に戻って説明を続ける。教師データ入力装置２は、把持情報取得装置３のユーザが、予め定められた把持形態Ｓに対応する教師データを、把持情報取得装置３に入力するための装置である。教師データは、教師あり機械学習に使用される訓練データである。教師データは、ユーザがその場で入力してもよいし、複数の教師データを予め記憶した教師データデータベース（ＤＢ）を予め作成しておき、ユーザがその教師データＤＢから教師データを読み出すようにしてもよい。もちろん、ある一つの把持形態について、互いに異なる複数の熱痕跡Ｔを連続的に取得して機械学習を行うようなケースでは、その期間において教師データは同一であってよく、このような場合に、教師データ入力装置２はユーザによる入力作業を伴うことなく、教師データを把持情報取得装置３に出力する態様としてもよい。
【００３４】
把持情報取得装置３は、一般的なコンピュータ装置であり、詳細は図示しないが、所定の制御プログラムに基づき各種情報処理や周辺機器の制御等を統括的に実行するＣＰＵ（Central Processing Unit）、ＣＰＵのワークエリア等として機能するＲＡＭ（Random Access Memory）、ＣＰＵが実行する制御プログラムやデータを格納するＲＯＭ（Read Only Memory）、ネットワークを介した通信処理を実行するネットワークインターフェース等を含むハードウェア構成を有している。後に詳述する把持情報取得装置３の各種機能（例えば、熱痕跡抽出処理、熱痕跡特徴量抽出処理、識別器生成処理等）は、ＣＰＵが所定の制御プログラム（例えば、熱痕跡抽出プログラム、識別器生成プログラム）を実行することによって実現可能である。なお、把持情報取得装置３としては、コンピュータ装置に限らず、同様の機能を果たすことが可能な他の情報処理装置（サーバ等）を用いることもできる。また、把持情報取得装置３の機能の少なくとも一部を他の従来公知のハードウェアによる処理によって代替してもよい。
【００３５】
把持情報取得装置３は、機能ブロックとして、赤外線画像取得部１１と、熱痕跡抽出部１２と、熱痕跡特徴量抽出部１３と、教師データ取得部１４と、識別器生成部１５とを有している。
【００３６】
赤外線画像取得部１１は、赤外線カメラＣから、赤外線画像を取得する。赤外線画像は、上述したように、オブジェクトＯＢが人間の手Ｈにより把持される前の画像と、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像である。赤外線画像取得部１１が取得した赤外線画像は、熱痕跡抽出部１２に入力される。
【００３７】
熱痕跡抽出部１２は、赤外線画像から、オブジェクトＯＢの表面に残った熱痕跡Ｔを抽出する。熱痕跡Ｔの取得は、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像と、オブジェクトＯＢが人間の手Ｈにより把持される前の画像との差分を取ることにより行う。なお、赤外線カメラＣでオブジェクトＯＢを撮像する前に、オブジェクトＯＢを冷蔵庫等で冷却しておくと、赤外線画像におけるオブジェクトＯＢと熱痕跡Ｔのコントラストが大きくなり熱痕跡Ｔの抽出精度が向上する。
【００３８】
熱痕跡特徴量抽出部１３は、熱痕跡抽出部１２で抽出された熱痕跡Ｔから、熱痕跡Ｔの特徴量を抽出する。ここでは特徴量として、類似画像検索などに多用されるＨｕモーメント不変量を用いている。Ｈｕモーメントとは７つの値からなる特徴量であり、反転によって符号が逆転する７番目の値を除き、画像のスケール、回転、及び反転に対して不変である。熱痕跡特徴量抽出部１３で抽出された熱痕跡Ｔの特徴量は、識別器生成部１５に入力される。
【００３９】
教師データ取得部１４は、教師データ入力装置２から、前記予め定められた把持形態に対応する教師データを取得する。教師データは、上述したように、教師あり機械学習に使用される訓練データである。教師データ取得部１４が取得した教師データは、識別器生成部１５に入力される。
【００４０】
識別器生成部１５は、熱痕跡特徴量抽出部１３から入力された熱痕跡Ｔの特徴量と、教師データ取得部１４から入力された教師データとを機械学習して、熱痕跡Ｔに対応する把持形態Ｓを識別するための識別器１６を生成する。機械学習は、サポートベクターマシン（ＳＶＭ）などのパターン認識手法、または最短距離法などのクラスタリング分析手法を用いて行うとよい。
【００４１】
上述したように、把持形態は形態としての幅を持っており、一つのオブジェクトＯＢを同一の把持形態で把持する場合であっても、把持者の手の温度、把持者の手の大きさ、把持者のちょっとした癖、把持する者とオブジェクトＯＢとの相対的な位置関係、さらには把持者のその時々の心理状態によっても、計測される熱痕跡Ｔは変化する。また、一つの把持形態についてであっても、オブジェクトＯＢが変われば計測される熱痕跡Ｔは異なるものとなり、これらの種々要因に基づき、得られた熱痕跡Ｔの特徴量は変化する。第１の実施形態では、このように多様な熱痕跡Ｔについて特定の把持形態が対応するような機械学習が行われる。
【００４２】
例えば、教師データ入力装置２から図３（Ａ）に示す把持形態Ｓ１に対応した教師データを出力し、同一のオブジェクトＯＢに対して把持する位置や力の入れ具合を少しずつ変えたり、オブジェクトＯＢを例えば、開口部が底部より大きい紙コップ、ガラス製のコップ、陶器製で表面に若干の凹凸があるコップ等に替えたりして熱痕跡Ｔを取得し、一つの把持形態Ｓ１についての機械学習を実行する。次に、例えば、教師データ入力装置２から図３（Ｂ）示す把持形態Ｓ２に対応した教師データを出力して、把持形態Ｓ２についても把持形態Ｓ１と同様に機械学習を実行する。そして、最終的には、予め定められた全ての把持形態Ｓ（ここでは、Ｓ１，Ｓ２，Ｓ３）について機械学習を実行する。
【００４３】
これによって、熱痕跡Ｔから抽出した特徴量を入力すると、把持形態Ｓ１，Ｓ２，Ｓ３のいずれかを出力する識別器１６が生成される。ある一つの把持形態に対して多様な熱痕跡Ｔを取得し、これに基づき機械学習を行うことで、未知のオブジェクトＯＢに残された熱痕跡Ｔが入力されたとしても、識別器１６は把持形態Ｓ１，Ｓ２，Ｓ３のいずれかを識別することが可能となる。
【００４４】
次に、図１に示した把持情報取得システム１の把持情報取得装置３での処理の流れを、図４を参照して説明する。図４は、把持情報取得装置３での処理の流れを示すフロー図である。
【００４５】
まず、赤外線画像取得部１１が、赤外線カメラＣから赤外線画像（オブジェクトＯＢが人間の手Ｈにより把持される前の画像と、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像）を取得する（ステップＳＴ１０１）。続いて、熱痕跡抽出部１２が、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像と、オブジェクトＯＢが人間の手Ｈにより把持される前の画像との差分を取ることにより、オブジェクトＯＢの表面に残った手Ｈの熱痕跡Ｔを取得する（ステップＳＴ１０２）。
【００４６】
次に、熱痕跡特徴量抽出部１３が、熱痕跡抽出部１２で抽出された熱痕跡Ｔから、熱痕跡Ｔの特徴量を抽出する（ステップＳＴ１０３）。続いて、教師データ取得部１４が、教師データ入力装置２から入力した教師データを取得する（ステップＳＴ１０４）。そして、識別器生成部１５が、熱痕跡特徴量抽出部１３で抽出された熱痕跡Ｔの特徴量と、教師データ取得部１４が取得した教師データとの関係を機械学習して、熱痕跡Ｔの特徴量に対応する把持形態Ｓを識別するための識別器１６を生成する（ステップＳＴ１０５）。
【００４７】
上述のように、第１の実施形態では、多様な熱痕跡Ｔについて、ある一つの把持形態が対応するような機械学習が行われる。この観点では図４は簡略化して描かれており、実際は、ＳＴ１０１〜ＳＴ１０５が複数の把持形態Ｓについて複数回実行されることで、目的とする識別器１６が生成される。
【００４８】
以上のように、本発明の第１の実施形態に係る把持情報取得装置３によれば、人間の手ＨがオブジェクトＯＢを把持するときの把持形態に関する情報を、オブジェクトＯＢの表面に残った熱痕跡Ｔに基づいて非接触で検出することができる。従って、把持形態に関する情報を、データグローブを使用した場合と比べて、正確かつ簡単に取得することが可能となる。また、センサグローブを使用したり、手Ｈに粉や塗料をつけたりする必要がないので、把持形態に関する情報を簡単に取得することが可能となる。さらに、熱痕跡Ｔに基づいて把持形態に関する情報を取得するので、人間の手Ｈによる接触領域の隠ぺい等を気にする必要はない。
【００４９】
また、本発明の第１の実施形態に係る把持情報取得装置３によれば、人間の手Ｈによる予め定められた把持形態での把持後にオブジェクトＯＢの表面に残った熱痕跡Ｔの特徴量と、予め定められた把持形態に対応する教師データとを機械学習することにより、熱痕跡Ｔの特徴量に対応する把持形態を識別するための識別器１６を生成することができる。この識別器１６により、人間の手Ｈによる把持後にオブジェクトＯＢの表面に残った熱痕跡Ｔに基づき、その熱痕跡Ｔに対応する把持形態を識別することが可能となる。
【００５０】
なお、本実施形態では、熱痕跡Ｔは差分画像を用いて抽出したが、例えばオブジェクトＯＢまたは赤外線カメラＣの少なくとも一方が移動する場合は、差分画像を用いずに、赤外線画像からオブジェクトＯＢの領域を切り出した後、コントラスト差などにより熱痕跡Ｔを抽出するとよい。このようにすれば、平面画像である撮像画像におけるオブジェクトＯＢの形状等（即ち、見え方）が把持前後で完全に一致していなくても、熱痕跡Ｔの抽出が可能となる。
【００５１】
（第２の実施形態）
次に、本発明の第２の実施形態に係る把持情報取得システム４について、図５及び図６を参照して説明する。この把持情報取得システム４は、第１の実施形態に係る把持情報取得システム１と関連して、人間の手ＨがオブジェクトＯＢを把持するとき把持形態に関する情報を取得するためのシステムである。具体的には、この把持情報取得システム４は、第１の実施形態に係る把持情報取得システム１で生成された識別器１６を用いて、オブジェクトＯＢと把持形態との関係を記憶したオブジェクト・把持形態データベース２６（以降、「オブジェクト・把持形態ＤＢ２６」と称する）を作成する。
【００５２】
図５は、本発明の第２の実施形態に係る把持情報取得システム４の全体構成図である。図５に示すように、この把持情報取得システム４は、赤外線カメラＣと、可視光カメラＶと、把持情報取得装置５とを備えて構成されている。赤外線カメラＣと把持情報取得装置５、並びに可視光カメラＶと把持情報取得装置５は、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。なお、上記装置間の接続形態は特に限定されるものではない。
【００５３】
赤外線カメラＣは、図１に示した第１の実施形態に係る把持情報取得システム１の赤外線カメラＣと同一なので、説明は省略する。なお、図５の全体構成図では、赤外線カメラＣは１個であるが、赤外線カメラＣは複数個であってもよい。赤外線カメラＣで撮像された赤外線画像（オブジェクトＯＢが人間の手Ｈにより把持される前の画像と、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像）は、把持情報取得装置５に入力される。
【００５４】
可視光カメラＶは、イメージセンサを有し、動画を撮像可能なカメラである。イメージセンサは、いわゆるカラーセンサであってもモノクロセンサであってもよい。可視光カメラＶは、オブジェクトＯＢを撮像可能な位置に配置されており、人間の手Ｈによる把持前または把持後の人間の手Ｈにより把持されていない状態のオブジェクトＯＢを撮像する。なお、可視光カメラＶは、オブジェクトＯＢを撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。例えば、図５の全体構成図では、可視光カメラＶは１個であるが、可視光カメラＶは複数個であってもよい。可視光カメラＶで撮像された可視光画像は、把持情報取得装置５に入力される。
【００５５】
把持情報取得装置５は、図１に示した把持情報取得装置３と同様に、一般的なコンピュータ装置で構成される。把持情報取得装置５は、機能ブロックとして、赤外線画像取得部１１と、熱痕跡抽出部１２と、熱痕跡特徴量抽出部１３と、識別器１６とを有している。これらは、図１に示した把持情報取得装置３の対応する各部と同一なので、同一の符号を付して説明は省略する。
【００５６】
把持情報取得装置５は、可視光画像取得部２１と、オブジェクト抽出部２２と、オブジェクト特徴量抽出部２３と、オブジェクト認識部２４と、データベース作成部２５とをさらに有している。
【００５７】
可視光画像取得部２１は、可視光カメラＶから可視光画像を取得する。可視光画像は、上述したとおり、人間の手Ｈによる把持前または把持後の人間の手Ｈにより把持されていない状態のオブジェクトＯＢを撮像した画像である。可視光画像取得部２１が取得した可視光画像は、オブジェクト抽出部２２に入力される。
【００５８】
オブジェクト抽出部２２は、可視光画像から、オブジェクトＯＢが撮像された領域を切り出し、オブジェクトＯＢを抽出する。
【００５９】
オブジェクト特徴量抽出部２３は、オブジェクト抽出部２２で抽出されたオブジェクトＯＢの特徴量を抽出する。特徴量の抽出は、従来公知の手法を用いて行うとよい。
【００６０】
オブジェクト認識部２４は、オブジェクト特徴量抽出部２３で抽出されたオブジェクトＯＢの特徴量に基づき、オブジェクトＯＢを認識する。なお、オブジェクトＯＢの認識とは、オブジェクトＯＢを個々に識別することをいう。この認識は、従来公知の手法を用いて行うとよい。例えば、オブジェクトＯＢの特徴量と、オブジェクトＯＢとの関係が記憶されているデータベースを予め用意しておき、そのデータベースを参照して、オブジェクトＯＢの特徴量に基づき、オブジェクトＯＢを認識するとよい。もちろんオブジェクト認識部２４を機械学習に基づく第２の識別器（図示せず）で構成してもよい。オブジェクト認識部２４での認識結果は、データベース作成部２５に入力される。
【００６１】
データベース作成部２５は、オブジェクト認識部２４で認識されたオブジェクトＯＢと、識別器１６で識別された把持形態とを組み合わせて、オブジェクトＯＢと把持形態との関係を記憶したオブジェクト・把持形態ＤＢ２６を作成する。第１の実施形態で詳細に説明したように、識別器１６は機械学習の結果として生成されたものであり、識別器１６は熱痕跡Ｔについての特徴量が入力されると、対応する把持形態を出力する。学習に供された把持形態の数が多く（例えば、５０の把持形態）、十分に学習が進んだ識別器１６は、未知の熱痕跡Ｔ（即ち、学習に供されていない熱痕跡Ｔ）が入力されても、当該熱痕跡Ｔに対応する妥当な把持形態を出力することが可能となる。従って把持情報取得システム４のユーザは「把持形態」なる概念を意識せずとも（把持形態の数が多数となり、ユーザによる管理が困難になっても）、オブジェクトＯＢを把持して熱痕跡Ｔを取得するだけでオブジェクト・把持形態ＤＢ２６を生成することができる。
【００６２】
次に、図５に示した把持情報取得システム４の把持情報取得装置５での処理の流れを、図６を参照して説明する。図６は、把持情報取得装置５での処理の流れを示すフロー図である。
【００６３】
まず、赤外線画像取得部１１が、赤外線カメラＣから赤外線画像（オブジェクトＯＢが人間の手Ｈにより把持される前の画像と、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像）を取得し（ステップＳＴ２０１）、熱痕跡抽出部１２が、赤外線画像からオブジェクトＯＢの表面に残った手Ｈの熱痕跡Ｔを取得する（ステップＳＴ２０２）。熱痕跡Ｔの取得は、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像と、オブジェクトＯＢが人間の手Ｈにより把持される前の画像との差分を取ることにより行う。次に、熱痕跡特徴量抽出部１３が、熱痕跡抽出部１２で抽出された熱痕跡Ｔから、熱痕跡Ｔの特徴量を抽出する（ステップＳＴ２０３）。そして、識別器１６が、熱痕跡Ｔの特徴量に基づき、その熱痕跡Ｔに対応する把持形態Ｓを識別し、識別結果をデータベース作成部２５に出力する（ステップＳＴ２０４）。
【００６４】
次に、可視光画像取得部２１が、可視光カメラＶから可視光画像を取得し（ステップＳＴ２０５）、オブジェクト抽出部２２が、可視光画像からオブジェクトＯＢを抽出する（ステップＳＴ２０６）。続いて、オブジェクト特徴量抽出部２３がオブジェクトＯＢの特徴量を抽出し（ステップＳＴ２０７）、オブジェクト認識部２４が、オブジェクト抽出部２２で抽出されたオブジェクトＯＢの特徴量に基づき、オブジェクトＯＢを認識し、認識結果をデータベース作成部２５に出力する（ステップＳＴ２０８）。なお、赤外線画像の取得（ステップＳＴ２０１）と可視光画像の取得（ステップＳＴ２０５）とは並列に行うことが可能であり、ステップＳＴ２０５〜ステップＳＴ２０８は、ステップＳＴ２０１〜ＳＴ２０４と並列に処理してもよい。
【００６５】
そして、データベース作成部２５は、オブジェクト認識部２４によって出力されたオブジェクト認識結果（具体的には、特定のオブジェクトＯＢに対応したコード情報。以降、「オブジェクトタイプコード」と称することがある）と、識別器１６によって出力された識別結果（具体的には、特定の把持形態に対応したコード情報。以降、「把持形態タイプコード」と称することがある）とを組み合わせて、オブジェクトＯＢと把持形態との関係を記憶したオブジェクト・把持形態データベース（ＤＢ）２６を作成する（ステップＳＴ２０９）。
【００６６】
以上のように、本発明の第２の実施形態に係る把持情報取得装置５によれば、第１の実施形態に係る把持情報取得システム１で生成された識別器１６を用いて、オブジェクトＯＢと把持形態との関係を記憶したオブジェクト・把持形態ＤＢ２６を効率的に作成することができる。オブジェクト・把持形態ＤＢ２６を用いることにより、可視光カメラＶで撮像した可視光画像に基づいて認識されたオブジェクトＯＢ（オブジェクトタイプコード）に基づき、そのオブジェクトＯＢに対応する把持形態（把持形態タイプコード）を特定することが可能となる。
【００６７】
さて、このようにして生成されたオブジェクト・把持形態データベース２６は、オブジェクトタイプコードを主キーとして、これに対応する把持形態タイプコードを出力する。このとき、図３から明らかなように、１つのオブジェクトＯＢに複数の把持形態（ここでは、把持形態Ｓ１〜Ｓ３）が対応する場合があり、このときデータベース上でオブジェクトＯＢと把持形態Ｓとは、１：多の関係となるため、オブジェクトタイプコードから把持形態タイプコードを一意に特定できないという問題が生じ得る。
【００６８】
この問題は、オブジェクト・把持形態データベース２６を生成する際に、他の主キーを追加しておくことで解決できる。即ち、把持形態Ｓは、オブジェクトＯＢを把持する作業の内容に応じて決まる、と考えるのが合理的であるから、オブジェクト・把持形態ＤＢ２６を生成する際に、作業を指定するコード情報（以降、「作業タイプコード」と称することがある）を付加しておけばよい。具体的には、図示しない作業指定装置を用いてユーザが作業内容の情報をデータベース作成部２５に入力し、オブジェクトタイプコード、把持形態タイプコード、作業タイプコードに基づき関係データベースを構築するとよい。この関係データベースは、作業タイプコードとオブジェクトタイプコードとを主キーとし、これらの主キーが入力されると把持形態タイプコードを出力する。
【００６９】
この把持情報取得装置５で生成されたオブジェクト・把持形態ＤＢ２６は、後述するロボット制御システム８（図９参照）において使用することができる。
【００７０】
（第３の実施形態）
次に、本発明の第３の実施形態に係るロボット教示システム６について、図７及び図８を参照して説明する。このロボット教示システム６は、多指型ロボットハンドＲ（以降、単に「ロボットハンドＲ」とも称する）に対して、ロボットハンドＲがオブジェクトＯＢを把持するときの動作（把持動作）を教示するためのシステムである。具体的には、このロボット教示システム６は、第１の実施形態に係る把持情報取得システム１で生成された識別器１６を用いて、予め定められた把持形態Ｓに対応する把持動作を行うようにロボットハンドＲの把持動作を制御するための制御命令のデータベースを構築する。
【００７１】
図７は、本発明の第３の実施形態に係るロボット教示システム６の全体構成図である。図７に示すように、このロボット教示システム６は、赤外線カメラＣと、ロボット教示装置７とを備えて構成されている。赤外線カメラＣとロボット教示装置７は、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。なお、上記装置間の接続形態は特に限定されるものではない。
【００７２】
赤外線カメラＣは、図１に示した第１の実施形態に係る把持情報取得システム１の赤外線カメラＣと同一なので、説明は省略する。なお、図７の全体構成図では、赤外線カメラＣは１個であるが、赤外線カメラＣは複数個であってもよい。赤外線カメラＣで撮像された赤外線画像（オブジェクトＯＢの人間の手Ｈにより把持される前の状態の画像と、人間の手ＨによるオブジェクトＯＢの把持の解除後の状態の画像）は、ロボット教示装置７に入力される。
【００７３】
ロボット教示装置７は、一般的なコンピュータ装置で構成される。ロボット教示装置７は、機能ブロックとして、赤外線画像取得部１１と、熱痕跡抽出部１２と、熱痕跡特徴量抽出部１３と、識別器１６とを有している。これらは、図１に示した把持情報取得装置３の対応する各部と同一なので、同一の符号を付して説明は省略する。
【００７４】
ロボット教示装置７は、ロボット機構データベース（ＤＢ）３１と、制御命令作成部３２と、制御命令データベース（ＤＢ）３３とをさらに有している。
【００７５】
ロボット機構ＤＢ３１には、制御対象となる多指型ロボットハンドＲのメカニズムに関連する情報が格納されている。多指型ロボットには例えば指の数が５つでないロボット、関節位置が人とは異なるロボット等、様々な態様が存在する。熱痕跡Ｔは人間の手Ｈの形状に基づき得られるため、ロボット機構ＤＢ３１には人間の指とロボットの指との対応関係が記憶されている。さらに、この対応関係に基づき、ロボット機構ＤＢ３１は、多指型ロボットハンドＲがオブジェクトＯＢを把持するときの動作（把持動作）に関する情報を予め記憶している。把持動作に関する情報には、ロボットハンドＲがオブジェクトＯＢを把持するときの把持形態（ロボットハンドＲが把持に使用する指、関節の角度等）や、その把持形態を実現するためのロボットハンドＲの指の動作に関する情報（各関節に対応した駆動情報。駆動源が例えばＤＣサーボモータの場合は、指の初期位置に対する関節の回転角に相当するエンコーダパルス数（回転角度情報）及び速度プロフィール等）が含まれる。
【００７６】
制御命令作成部３２は、識別器１６で識別された把持形態Ｓに基づき、ロボット機構ＤＢ３１を参照して、把持形態Ｓに対応する把持動作を行うようにロボットハンドＲの把持動作を制御する制御命令を作成する。制御命令作成部３２で作成された制御命令（一般に、命令群をなす）は、制御命令ＤＢ３３に記憶される。即ち、制御命令ＤＢ３３には、把持形態Ｓに対応するロボットハンドＲの制御命令が記憶される。
【００７７】
このように、第３の実施形態では、ロボット教示装置７は識別器１６によって識別された把持形態（把持形態タイプコード）に対応したロボット制御命令群を生成する。ただし、把持形態タイプコードは、例えば図３に示す把持形態Ｓ１，Ｓ２，Ｓ３に対応するコードであるから、例えば、変形例として、図示しない把持形態入力部を設け、ユーザが把持形態入力部から制御命令作成部３２に直接的に把持形態タイプコードを入力し、これに基づき制御命令ＤＢ３３を構築するようにしても構わない。この変形例のロボット教示装置７は、図示しない把持形態入力部と、制御命令作成部３２と、ロボット機構ＤＢ３１と、制御命令ＤＢ３３とで構成される。
【００７８】
次に、図７に示したロボット教示システム６のロボット教示装置７での処理の流れを、図８を参照して説明する。図８は、ロボット教示装置７での処理の流れを示すフロー図である。
【００７９】
まず、赤外線画像取得部１１が、赤外線カメラＣから赤外線画像（オブジェクトＯＢが人間の手Ｈにより把持される前の画像と、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像）を取得し（ステップＳＴ３０１）、熱痕跡抽出部１２が、赤外線画像からオブジェクトＯＢの表面に残った手Ｈの熱痕跡Ｔを取得する（ステップＳＴ３０２）。熱痕跡Ｔの取得は、人間の手ＨによるオブジェクトＯＢの把持が解除された後の画像と、オブジェクトＯＢが人間の手Ｈにより把持される前の画像との差分を取ることにより行う。次に、熱痕跡特徴量抽出部１３が、熱痕跡抽出部１２で抽出された熱痕跡Ｔから、熱痕跡Ｔの特徴量を抽出する（ステップＳＴ３０３）。そして、識別器１６が、熱痕跡Ｔの特徴量に基づき、その熱痕跡Ｔに対応する把持形態Ｓを識別する（ステップＳＴ３０４）。
【００８０】
そして、制御命令作成部３２が、識別器１６で識別された把持形態Ｓに基づき、ロボット機構ＤＢ３１を参照して、把持形態Ｓに対応する把持動作を行うようにロボットハンドＲの把持動作を制御する制御命令を作成する（ステップＳＴ３０５）。制御命令作成部３２で作成された制御命令は、制御命令ＤＢ３３に記憶される（ステップＳＴ３０６）。
【００８１】
以上のように、本発明の第３の実施形態に係るロボット教示装置７によれば、第１の実施形態に係る把持情報取得システム１で生成された識別器１６を用いて、予め定められた把持形態Ｓに対応する把持動作を行うようにロボットハンドＲの把持動作を制御するための制御命令ＤＢ３３を構築することができる。これにより、多指型ロボットハンドＲに対して、ロボットハンドＲが物品を把持するときの動作（把持動作）を教示することが可能となる。
【００８２】
このロボット教示装置７で作成された制御命令ＤＢ３３は、次に説明するロボット制御システム８（図９参照）において使用することができる。なお、上述したロボット教示装置７は、第２の実施形態で説明した把持情報取得装置５（図５参照）と結合することが可能である。即ち、把持情報取得装置５における識別器１６の出力をロボット教示装置７における制御命令作成部３２の入力とすることで、例えば、未知のオブジェクトＯＢを撮像した可視光画像と、オブジェクトＯＢに残された熱痕跡Ｔとを用いて、オブジェクト・把持形態ＤＢ２６及び制御命令ＤＢ３３へのレコードの追加が同時に行えるようになる。
【００８３】
以上詳細に説明したように、第３の実施形態に係るロボット教示方法は、以下のステップを備える。
ｉ）第１の実施形態で説明した把持情報取得システム１によって生成された識別器１６を準備するステップと、
ｉｉ）多指型ロボットハンドＲの把持形態Ｓに対応する把持動作に関する情報を予め記憶したロボット機構ＤＢ３１を用意するステップと、
ｉｉｉ）人間の手Ｈにより把持されていた物品（オブジェクトＯＢ）を、手Ｈによる把持の解除後に赤外線カメラＣで撮像した赤外線画像を取得するステップと、
ｉｖ）取得した赤外線画像から物品（オブジェクトＯＢ）の表面に残った手Ｈの熱痕跡Ｔを抽出するステップと、
ｖ）熱痕跡Ｔの特徴量を抽出するステップと、
ｖｉ）熱痕跡Ｔの特徴量を識別器１６に入力して把持形態Ｓ（把持形態タイプコード）を取得するステップと、
ｖｉｉ）識別器１６で識別された把持形態Ｓ（把持形態タイプコード）に基づき、ロボット機構ＤＢ３１を参照して、把持形態Ｓに対応する把持動作を行うように多指型ロボットハンドＲの把持動作を制御する制御命令を作成するステップと、
ｖｉｉｉ）作成した制御命令を制御命令ＤＢ３３に記憶するステップ。
【００８４】
（第４の実施形態）
次に、本発明の第４の実施形態に係るロボット制御システム８について、図９及び図１０を参照して説明する。このロボット制御システム８は、多指型ロボットハンドＲがオブジェクトＯＢを把持するときの動作（把持動作）を制御するためのシステムである。具体的には、このロボット制御システム８は、第２の実施形態に係る把持情報取得システム４で作成されたオブジェクト・把持形態ＤＢ２６と、第３の実施形態に係るロボット教示システム６で作成された制御命令ＤＢ３３とを用いて、可視光カメラＶで撮像した可視光画像に基づいて認識された把持形態Ｓに対応する把持動作を行うように多指型ロボットハンドＲの把持動作を制御する制御命令を、ロボットハンドＲに対して出力する。
【００８５】
図９は、本発明の第４の実施形態に係るロボット制御システム８の全体構成図である。図９に示すように、このロボット制御システム８は、可視光カメラＶと、ロボット制御装置９と、ロボットハンドＲとを備えて構成される。可視光カメラＶとロボット制御装置９、並びにロボット制御装置９とロボットハンドＲは、ＬＡＮ（Local Area Network）等の有線または無線通信を介して接続されている。なお、上記装置間の接続形態は特に限定されるものではない。
【００８６】
可視光カメラＶは、図５の把持情報取得システム４において説明したものと同一なので、ここでは説明は省略する。なお、図９の全体構成図では、可視光カメラＶは１個であるが、可視光カメラＶは複数個であってもよい。可視光カメラＶで撮像された可視光画像は、ロボット制御装置９に入力される。
【００８７】
ロボット制御装置９は、一般的なコンピュータ装置で構成される。ロボット制御装置９は、機能ブロックとして、可視光画像取得部２１と、オブジェクト抽出部２２と、オブジェクト特徴量抽出部２３と、オブジェクト認識部２４と、オブジェクト・把持形態ＤＢ２６と、制御命令ＤＢ３３とを有している。これらは、図５に示した把持情報取得装置５、及び図７に示したロボット教示装置７の対応する各部と同一なので、同一の符号を付して説明は省略する。
【００８８】
ロボット制御装置９は、把持形態読出部４１と、制御命令読出部４２と、制御命令出力部４３とをさらに有している。
【００８９】
把持形態読出部４１は、オブジェクト認識部２４で認識されたオブジェクトＯＢ（オブジェクトタイプコード）に基づき、オブジェクト・把持形態ＤＢ２６から、そのオブジェクトＯＢに対応する把持形態Ｓ（把持形態タイプコード）を読み出す。読み出された把持形態タイプコードは、制御命令読出部４２に入力される。
【００９０】
制御命令読出部４２は、把持形態読出部４１で読み出された把持形態Ｓに基づき、制御命令ＤＢ３３から、把持形態Ｓに対応する把持動作を行うように多指型ロボットハンドＲの把持動作を制御するための制御命令、即ち、把持形態Ｓに対応するロボットハンドＲの制御命令を読み出す。制御命令読出部４２で読み出された制御命令は、制御命令出力部４３に入力される。
【００９１】
なお、第２実施形態で説明したように、オブジェクト・把持形態ＤＢ２６に主キーとして入力されるオブジェクトタイプコードと参照されるデータ（把持形態タイプコード）とが１：多の関係となるのを回避するために、オブジェクトタイプコード、把持形態タイプコード及び作業タイプコードに基づきオブジェクト・把持形態ＤＢ２６を構築した場合は、把持形態読出部４１に外部から作業タイプコードを与えることで、把持形態Ｓを一意に特定することができる。
【００９２】
制御命令出力部４３は、制御命令読出部４２から入力された制御命令を、ロボットハンドＲに対して出力する。
【００９３】
ロボットハンドＲは、ロボット制御装置９の制御命令出力部４３から受け取った制御命令に従って動作する。これにより、ロボットハンドＲは、把持形態Ｓに対応する把持動作を行うことができる。
【００９４】
次に、図９に示したロボット制御システム８のロボット制御装置９での処理の流れを、図１０を参照して説明する。図１０は、ロボット制御装置９での処理の流れを示すフロー図である。
【００９５】
まず、可視光画像取得部２１が、可視光カメラＶから可視光画像を取得し（ステップＳＴ４０１）、オブジェクト抽出部２２が、可視光画像からオブジェクトＯＢを抽出する（ステップＳＴ４０２）。続いて、オブジェクト特徴量抽出部２３がオブジェクトＯＢの特徴量を抽出し（ステップＳＴ４０３）、オブジェクト認識部２４が、オブジェクト抽出部２２で抽出されたオブジェクトＯＢの特徴量に基づき、オブジェクトＯＢを認識し、オブジェクトタイプコードを出力する（ステップＳＴ４０４）。
【００９６】
次に、把持形態読出部４１が、オブジェクト認識部２４が出力したオブジェクトタイプコードを主キーとしてオブジェクト・把持形態ＤＢ２６を参照し、そのオブジェクトタイプコードに対応する把持形態Ｓを読み出す（ステップＳＴ４０５）。このとき、上述した作業タイプコードを併せ、これらを主キーとしてオブジェクト・把持形態ＤＢ２６をアクセスしてもよい（このときは、図示しない作業指定装置から作業タイプコードが把持形態読出部４１に入力される）。次いで、制御命令読出部４２が、把持形態読出部４１で読み出された把持形態Ｓ（把持形態タイプコード）に基づき、制御命令ＤＢ３３から、その把持形態Ｓに対応するロボットハンドＲの制御命令を読み出す（ステップＳＴ４０６）。そして、制御命令出力部４３が、制御命令読出部４２で読み出された制御命令を、ロボットハンドＲに出力する（ステップＳＴ４０７）。
【００９７】
以上のように、本発明の第４の実施形態に係るロボット制御システム８によれば、第２の実施形態に係る把持情報取得システム４で作成されたオブジェクト・把持形態ＤＢ２６と、第３の実施形態に係るロボット教示システム６で作成された制御命令ＤＢ３３とを用いて、可視光カメラＶで撮像した可視光画像に基づいて認識されたオブジェクトＯＢに対応する把持動作を行うように多指型ロボットハンドＲの把持動作を制御する制御命令を、ロボットハンドＲに対して出力することができる。これにより、多指型ロボットハンドＲが物品を把持するときの動作（把持動作）を制御することが可能となる。
【００９８】
以上詳細に説明したように、第４の実施形態に係るロボット制御方法は、以下のステップを備える。
ｉ）第２の実施形態で説明したオブジェクト・把持形態ＤＢ２６を準備するステップと、
ｉｉ）第３の実施形態で説明した制御命令ＤＢ３３を準備するステップと、
ｉｉｉ）把持対象の物品を可視光カメラＶで撮像した可視光画像を取得するステップと、
ｉｖ）可視光画像から物品（オブジェクトＯＢ）を抽出するステップと、
ｖ）物品の特徴量を抽出するステップと、
ｖｉ）物品の特徴量に基づき物品を認識する（即ち、オブジェクトタイプコードを得る）ステップと、
ｖｉｉ）物品を認識するステップで認識された物品（及び作業タイプコード）に基づき、オブジェクト・把持形態ＤＢ２６から物品（及び作業内容）に対応する把持形態Ｓ（把持形態タイプコード）を読み出すステップと、
ｖｉｉｉ）読み出された把持形態Ｓに基づき、制御命令ＤＢ３３から、把持形態Ｓに対応する把持動作を行うように多指型ロボットハンドＲの把持動作を制御する制御命令を読み出すステップと、
ｉｘ）読み出された制御命令を多指型ロボットハンドＲに出力するステップ。
【００９９】
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。なお、上記実施形態に示した本発明に係る把持情報取得装置及び把持情報取得方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
【産業上の利用可能性】
【０１００】
本発明に係る把持情報取得装置及び把持情報取得方法は、人間の手が物品を把持するときの把持形態に関する情報を、正確かつ簡単に取得することを可能とする把持情報取得装置及び把持情報取得等として有用であり、特にロボット制御に広く適用が可能である。
【符号の説明】
【０１０１】
１、４  把持情報取得システム
２      教示データ入力装置
３、５  把持情報取得装置
６      ロボット教示システム
７      ロボット教示装置
８      ロボット制御システム
９      ロボット制御装置
１１    赤外線画像取得部
１２    熱痕跡抽出部
１３    熱痕跡特徴量抽出部
１４    教示データ入力部
１５    識別器生成部
１６    識別器
２１    可視光取得部
２２    オブジェクト抽出部
２３    オブジェクト特徴量抽出部
２４    オブジェクト認識部
２５    データベース作成部
２６    オブジェクト・把持形態ＤＢ
３１    ロボット機構ＤＢ
３２    制御命令作成部
３３    制御命令ＤＢ
４１    把持形態読出部
４２    制御命令読出部
４３    制御命令出力部
Ｃ      赤外線カメラ
Ｖ      可視光カメラ
ＯＢ    オブジェクト
Ｔ      熱痕跡
Ｈ      人間の手
Ｒ      多指型ロボットハンド
【図１】
2017090277.tif 000003
【図２】
2017090277.tif 000004
【図３】
2017090277.tif 000005
【図４】
2017090277.tif 000006
【図５】
2017090277.tif 000007
【図６】
2017090277.tif 000008
【図７】
2017090277.tif 000009
【図８】
2017090277.tif 000010
【図９】
2017090277.tif 000011
【図１０】
2017090277.tif 000012