(57)【特許請求の範囲】
【請求項１】
物体の把持姿勢を推定する方法であって、
列状に配置された複数の距離センサを含むセンサユニットを物体の外形に沿って装着するステップと、
前記物体が把持された状態で、前記センサユニット内の各距離センサから、前記物体の外形側面に沿った方向での前記物体を把持する手までの距離を測定するステップと、
測定された距離の情報を用いて、前記物体の予め準備されたモデル上での相対位置を求めるステップと、
前記相対位置から前記手の予め準備された手モデルでの位置を求めて、当該位置の情報から前記手モデルの姿勢を求めるステップと、を含む方法。
【請求項２】
前記モデル上での相対位置を求めるステップは、
前記物体の三次元モデル上での前記距離センサの各々の位置を特定するステップと、
前記距離センサの各々の位置から対応する前記距離の各々までの位置を求めるステップと、を含む請求項１に記載の方法。
【請求項３】
前記手モデルの姿勢を求めるステップは、
前記相対位置の各々から前記手モデル上の複数の特徴点の各々に対応する目標位置を求めるステップと、
前記目標位置の各々と対応する前記特徴点の各々とが一致するように前記手モデルの姿勢を変更するステップと、を含む請求項１または２に記載の方法。
【請求項４】
前記手モデル上の複数の特徴点は、前記手モデルの親指と人差し指の指股上の点を含む、請求項３に記載の方法。
【請求項５】
物体の把持姿勢を推定するための装置であって、
列状に配置された複数の距離センサを含むセンサユニットと、
前記センサユニットに通信可能に接続され、前記物体が把持された状態で、前記物体の外形に沿って装着された前記センサユニット内の各距離センサが測定した前記物体を把持する手までの距離情報を受信し、当該距離情報を含むデジタル信号として送信可能な送信器と、
前記送信器から受信した前記距離情報を含むデジタル信号を用いて、前記物体の予め準備されたモデル上での相対位置を求め、当該相対位置から前記手の予め準備された手モデルでの位置を求めて、当該位置の情報から前記手モデルの姿勢を求める処理手段と、を備える装置。
【請求項６】
前記処理手段が推定した前記物体を把持する手の姿勢を表示する表示手段をさらに備える、請求項５に記載の装置。
【請求項７】
前記表示手段は、前記処理手段が求めた前記手モデルの姿勢を推定された前記物体を把持する手の姿勢として表示する、請求項６に記載の装置。
【請求項８】
列状に配置された複数の距離センサを含むセンサユニットを用いて物体の把持姿勢を推定するためのコンピュータ・プログラムであって、コンピュータに、
前記物体が把持された状態で、前記物体の外形に沿って装着された前記センサユニット内の各距離センサが測定した前記物体を把持する手までの距離の情報を受信させるステップと、
前記距離の情報を用いて、前記物体の予め準備されたモデル上での相対位置を求めるステップと、
前記相対位置から前記手の予め準備された手モデルでの位置を求めて、当該位置の情報から前記手モデルの姿勢を求めるステップと、を実行させるコンピュータ・プログラム。
【請求項９】
前記モデル上での相対位置を求めるステップは、
前記物体の三次元モデル上での前記距離センサの各々の位置を特定するステップと、
前記距離センサの各々の位置から対応する前記距離の各々までの位置を求めるステップと、を含む請求項８に記載のコンピュータ・プログラム。
【請求項１０】
前記手モデルの姿勢を求めるステップは、
前記相対位置の各々から前記手モデル上の複数の特徴点の各々に対応する目標位置を求めるステップと、
前記目標位置の各々と対応する前記特徴点の各々とが一致するように前記手モデルの姿勢を変更するステップと、を含む請求項８または９に記載のコンピュータ・プログラム。
【請求項１１】
前記手モデル上の複数の特徴点は、前記手モデルの親指と人差し指の指股上の点を含む、請求項１０に記載のコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の把持姿勢を推定するための方法及び装置に関し、より具体的には、列状に配置された複数の距離センサを含むセンサユニットを用いて、物体の把持姿勢を推定するための方法及び装置に関する。
【背景技術】
【０００２】
ペットボトル等の容器、テニスラケットのグリップ、自転車のハンドル等、手で把持可能な物体の把持姿勢、すなわち人が物体を手でどのように持って／握っているのかを知ることは、例えばそれらの物体のサイズや形状をよりユーザが利用しやすくなるように改善／設計する上で、あるいはその物体の使用スキルを向上させる上で重要である。したがって、物体の把持姿勢のデータを収集し、その設計等に反映させたい要求がある。
【０００３】
手の動作を計測する従来技術として、例えば、特許文献１は、手に加速度センサやジャイロセンサを取り付けて計測を行う手の動作計測装置を開示する。また、特許文献２は、カメラを用いて手の動作（関節角度等）を非接触で計測する装置を開示する。
【０００４】
しかし、特許文献１の装置では、手にセンサを取り付ける必要があることから、素手による本来の使用動作（把持姿勢）を計測するものではない。また、特許文献２の装置では、基本的にその計測装置が設置された空間での計測が必要であり、家庭内、屋外のスポーツ場、あるいは公道等の実際の生活空間や本来の使用場所での計測には不向きである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−５４４８３号公報
【特許文献２】特開２００５−９１０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、手に何らかのセンサを取り付ける必要が無く、素手のままで、かつ実際の生活空間／使用環境において、比較的簡便な方法で物体の把持姿勢を推定することができる方法、装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、物体の把持姿勢を推定する方法を提供する。その方法は、（ａ）列状に配置された複数の距離センサを含むセンサユニットを物体の外形に沿って装着するステップと、（ｂ）物体が把持された状態で、センサユニット内の各距離センサから、物体の外形側面に沿った方向での物体を把持する手までの距離を測定するステップと、（ｃ）測定された距離の情報を用いて、物体の予め準備されたモデル上での相対位置を求めるステップと、（ｄ）その相対位置から手の予め準備された手モデルでの位置を求めて、当該位置の情報から手モデルの姿勢を求めるステップと、を含む。
【０００８】
本発明の方法によれば、物体の使用環境において素手のままで物体を把持した状態で、その手の姿勢を手モデルの姿勢として推定することにより、物体の把持姿勢をリアルタイムであるいは後から視覚的なイメージとして得ることが可能となる。
【０００９】
本発明は、物体の把持姿勢を推定するための装置を提供する。その装置は、（ａ）列状に配置された複数の距離センサを含むセンサユニットと、（ｂ）センサユニットに通信可能に接続され、物体が把持された状態で、物体の外形に沿って装着されたセンサユニット内の各距離センサが測定した物体を把持する手までの距離情報を受信し、当該距離情報を含むデジタル信号として送信可能な送信器と、（ｃ）送信器から受信したデジタル信号から物体を把持する手の姿勢を推定する処理手段と、を備える。
【００１０】
本発明の装置によれば、比較的簡便な装置を用いて、物体の使用環境において素手のままで物体を把持した状態で、その物体の把持姿勢をリアルタイムであるいは後から推定することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態の物体の把持姿勢を推定するための装置の構成を示す図である。
【図２】本発明の一実施形態の把持姿勢を推定するための装置のセンサユニットと送信器の一例（外観）を示す図である。
【図３】本発明の一実施形態の把持姿勢を推定するための装置の処理手段の構成を示す図である。
【図４】本発明の一実施形態の物体の把持姿勢を推定する方法の基本フローを示す図である。
【図５】図４のフローを説明するための図である。
【図６】図４のフローを説明するための図である。
【図７】本発明の一実施形態の物体の把持姿勢を推定する方法（事前準備時）のフローを示す図である。
【図８】本発明の一実施形態の物体の把持姿勢を推定する方法（測定時）のフローを示す図である。
【図９】図７と図８の本発明の一実施形態の物体の把持姿勢を推定する方法のフローを説明するための図である。
【図１０】本発明の一実施形態の物体の把持姿勢を推定する方法／装置による測定結果の表示例を示す図である。
【発明を実施するための形態】
【００１２】
図面を参照しながら本発明の実施の形態を説明する。物体の把持姿勢を推定するための装置の構成を示す図である。図１の装置１００は、センサユニット１と、センサユニット１に通信可能に接続された送信器２と、送信器２に通信可能に接続された処理手段４を含む。センサユニット１は、列状に配置された複数の距離センサ１０−１、１０−２、１０−３、・・・、１０−（ｎ−１）、１０−ｎを含む。距離センサの数ｎは、センサユニット１が装着される物体の外形サイズや人の手の指股の長さ（幅）等に応じて適宜選択可能である。
【００１３】
送信器２は、Ａ／Ｄ変換回路と無線通信用回路を含む。送信器２は、物体が把持された状態で、物体の外形に沿って装着されセンサユニット１内の各距離センサが測定した距離情報を含む信号を受信し、受信信号（アナログ信号）を距離情報を含むデジタル信号として処理手段４に送信することができる。処理手段４は、送信器２から受信した距離情報を含むデジタル信号から物体を把持する手の姿勢（物体の把持姿勢）を推定するための各種処理を実行する。処理手段４は、演算機能を備える、例えばいわゆるコンピュータ（ＰＣ等）からなる。処理手段４は、所定のソフトウェア（プログラム）を実行して、下記に述べる物体の把持姿勢を推定するための各種処理（各ステップの実行等）を行う。
【００１４】
図２は、本発明の一実施形態の物体の把持姿勢を推定するための装置１００のセンサユニット１と送信器２の一例（外観）を示す図である。センサユニット１には、測定対象となる物体の外形に沿ってそれの少なくとも一部を取り囲むことができる柔軟で変形可能な細長い支持板に、列状に複数の距離センサ１０−１、１０−２、．．．、１０−ｎが設けられている。距離センサとしては、例えばＣＭＯＳイメージセンサを用いた測距センサ（シャープ製：GP2Y0E02Aなど）を使用することができる。測距センサは、検出した距離情報を含むアナログ信号を出力することができる。図２の例では、送信器２は、センサユニット１のほぼ中央部に一体的に取り付けられており、各距離センサからの信号を両者をつなぐ配線を通じて受信できるようになっている。外観からは不明であるが、送信器２は、上述したように、Ａ／Ｄ変換回路と無線通信用回路を含み、距離センサからのアナログ信号をデジタル信号に変換した後に無線信号として送信することができる。
【００１５】
図３は、本発明の処理手段４として機能するコンピュータ（ＰＣ）の構成例を示すブロック図である。ＰＣ４は、バス４２を介して相互に接続された演算処理装置（ＣＰＵ）４０、記憶手段４１、各種Ｉ／Ｆ４３を含む。各種Ｉ／Ｆ４３は、入力Ｉ／Ｆ、出力Ｉ／Ｆ、外部記憶Ｉ／Ｆ、外部通信Ｉ／Ｆ等を含む総称として用いられる。各Ｉ／Ｆは、それぞれ対応するキーボード、マウス、通信ポート等の入出力手段４４、ＣＲＴ、ＬＣＤ等の表示手段（表示画面）４５、ＵＳＢ接続の半導体メモリやＨＤＤ等の外部記憶手段４６等に接続する。記憶手段４１は、ＲＡＭ、ＲＯＭ等の半導体メモリ、ＨＤＤ等を含むことができる。
【００１６】
次に、図４〜図６を参照しながら本発明の一実施形態の物体の把持姿勢を推定するための方法について説明する。図４は、本発明の方法の基本フローを示す図である。ステップＳ１において、センサユニットを物体の外形に沿って装着する。図５に例示されるように、例えばセンサユニット１は、物体５（この場合、円筒形の容器）の端部の外形に沿って装着される。センサユニット１は、図４のように物体５の端部を含めて、物体の外形表面上で通常の使用状態において手で持たれる可能性がある領域から少なくとも少し離れた（例えば、数ｃｍ以上）位置に装着される。
【００１７】
測定（把持）対象となる物体には、例えば、飲料用のペットボトル、液体洗剤用の容器等の合成樹脂（プラスチック）製の容器、ガラス、金属あるいは陶器製の容器、自転車やバイクのハンドル、テニスラケットやゴルフクラブのグリップ部等、専ら人が片手で持って／握って、すなわち把持して利用する任意の物体が含まれ得る。
【００１８】
ステップＳ２において、物体モデル上でセンサユニットの配置を定義する。具体的には、処理手段（コンピュータ）４が、物体の三次元形状モデルを使用して、そのモデル（イメージ）上でセンサユニット内の各距離センサの位置（座標）及び向きを規定する。三次元形状モデルは、例えば、物体に相当するＣＡＤモデル、あるいは既存のデータベースから近似形状のモデルを抽出して使用する。なお、三次元形状モデルは、処理手段（コンピュータ）４の表示画面上で画像イメージとして表示される。これにより、物体モデル上で物体を把持する手までの距離を特定する上での基準点が設定される。
【００１９】
ステップＳ３において、物体が把持された状態で、センサユニット内の各距離センサから、物体の外形側面に沿った方向での物体を把持する手までの距離を測定する。図５に例示されるように、距離センサ１０−１〜１０−ｎの各々は、容器の外形側面に沿った破線で示される手までの距離（長さ）を測定する。各距離センサで測定された距離情報（アナログ信号）は、既に述べたように、送信器２へ送られ、デジタル信号に変換された後、処理手段（コンピュータ）４に送られる。図５の例では、距離情報を含むデジタル信号は、無線信号７として送信器２から処理手段（コンピュータ）４へ送られる。
【００２０】
処理手段（コンピュータ）４は、さらに以下のステップＳ４からＳ６を実行する。ステップＳ４において、受信した距離情報を含むデジタル信号を用いて、物体モデル上での相対位置を求める。具体的には、物体モデル上でステップＳ２において規定した各距離センサの位置（座標）及び向きを基準として、受信した距離情報のデジタル値（長さ）に相当する位置（座標）を求める。例えば、図６の説明図では、小さい丸Ａ１〜Ａ６が求められた相対位置に相当する。
【００２１】
ステップＳ５において、得られた相対位置群から手モデル上の特徴点の目標位置を計算する。相対位置群は、例えば上述した図６の小さい丸Ａ１〜Ａ６が該当する。手モデルは、例えば本発明者らが開発してきた人間の手のコンピュータモデル（デジタルハンドモデル：DhaibaHand）を用いて、物体を操作する人（把持する人）の少数の手寸法から全ての手寸法を生成することにより、操作者（計測対象）の手モデルを得ることができる。
【００２２】
手モデル上の特徴点は、姿勢を推定するための特徴点として、例えば図６の左側の手モデル１７の丸Ｂ１〜Ｂ５のように予め定義される。図６の例では、特徴点は手モデルの親指と人差し指の指股上の点として定義されている。手モデル上の特徴点の目標位置は、相対位置群（図６の小さい丸Ａ１〜Ａ６）の位置座標から、各特徴点が実際にあるべき位置としてその座標を計算して求める。図６の例では、特徴点Ｂ１〜Ｂ５に対応する目標位置は、例えば図６の丸Ｃ１〜Ｃ５として求められる。
【００２３】
ステップＳ６において、ステップＳ５における特徴点と目標位置とができるだけ一致するように手モデルの姿勢を変更する。具体的には、例えば、図６の手モデル１７の特徴点Ｂ１〜Ｂ５の各々が対応する目標位置Ｃ１〜Ｃ５の各々に一致するように手モデル１７の姿勢を変更する。姿勢変更後の手モデルが推定される物体の把持姿勢となり、例えば図５に示されるように、処理手段（コンピュータ）４の表示画面４５においてリアルタイムにあるいは後から表示される。
【００２４】
次に図７〜図９を参照しながら本発明の物体の把持姿勢推定方法のより具体的なフローについて説明する。図７は、事前準備段階での本発明の一実施形態の物体の把持姿勢を推定する方法のフローを示す図である。図８は、測定時での本発明の一実施形態の物体の把持姿勢を推定する方法のフローを示す図である。図９は、図７と図８の本発明の一実施形態の物体の把持姿勢を推定する方法のフローを説明するための図である。
【００２５】
図７のステップＳ１０において、計測対象の手（左、右）を決める。ステップＳ１１において、物体を持つ把握種別（握力把握など）を決める。ステップＳ１２において、物体モデル上でセンサ配置を定義する。物体モデルは、図４のステップＳ２の説明において既に述べたように、三次元形状モデルとして、例えば、物体に相当するＣＡＤモデル、あるいは既存のデータベース中の近似形状モデルから抽出される。センサ配置は、その三次元形状モデル上でのセンサユニット内の各距離センサの位置（座標）及び向きとして定義される。
【００２６】
ステップＳ１３において、上記（ステップＳ１０及びＳ１１）に対応する手モデルを作成する。手モデルは、図４のステップＳ５の説明において既に述べたように、例えばコンピュータモデルを用いて作成することができる（例えば、図６の左側の手モデル１７参照）。ステップＳ１４において、ステップＳ１１で与えられた把握種別で手モデルが物体を把握する姿勢（参照姿勢）を求める。ステップＳ１５において、握力把握する手の姿勢から示指先端〜指股までをカバーするセンサ数Ｎ１と、示指先端〜親指先端までをカバーするセンサ数Ｎ２を求める。求めたセンサ数Ｎ１とＮ２は、図８のフローにおいて用いられる。
【００２７】
図８のステップＳ２０において、センサユニット内の各距離センサからセンサ値（距離値）を取得する。具体的には、例えば図９のＮ個の検出点におけるセンサ値（距離値）を取得する。ステップＳ２１において、図７のステップＳ１２で得られたセンサ配置定義から取得したセンサ値（距離値）をＮ個の検出点座標に変換する。ステップＳ２２において、Ｎ個の検出点座標のうちもっとも短距離（最小距離値）を検出したセンサＫを特定する。ステップＳ２３において、センサＫによる検出点座標を示指末節の側面位置Ｐ１とする。図９では、センサＫの鉛直下方の破線矢印で指示される検出点（丸）座標がＰ１とされる。ステップＳ２４において、図９に示されるように、センサＫからＮ１個分ずれたセンサによる検出点座標を指股位置Ｐ２とする。ステップＳ２５において、図９に示されるように、センサＫからＮ２個分ずれたセンサによる検出点座標を母指末節側面位置Ｐ３とする。
【００２８】
ステップＳ２６において、手姿勢の表示、すなわち物体を把握する姿勢を処理手段４の表示画面４５において表示する必要があるか否かを判断する。ここでの表示は、リアルタイムに、言い換えれば対話形式でその場で、例えば処理手段（コンピュータ）４の表示画面４５に表示することを意味する。手姿勢を表示する必要が無い場合、ステップＳ３１において計測を継続するか否かを判断し、継続する場合はステップＳ２０に戻りそれ以降のステップＳ２０〜Ｓ２５が繰り返される。ステップＳ２６において手姿勢を表示する必要がある場合、ステップＳ２７において、図７のステップＳ１３で得られた手モデルを参照姿勢、すなわち手モデルが物体を把持する姿勢とする。
【００２９】
ステップＳ２８において、上記の位置Ｐ１、Ｐ２、Ｐ３を目標位置として、これらに手モデル上の対応点（特徴点）が一致するように手モデルの位置姿勢に同次変換を施す。具体的には、既に図４のステップＳ６において説明したように、例えば、図６の手モデル１７の特徴点Ｂ１〜Ｂ５の各々が対応する目標位置Ｃ１〜Ｃ５の各々に一致するように手モデル１７の姿勢が変更（各位置の座標変換）される。
【００３０】
ステップＳ２９において、次の計測までの時間が残っているか否かを判断する。時間が残っている場合、ステップＳ３０において、手モデルと物体モデルの干渉を考慮した最適化によってステップＳ２８で得た同次変換後の手モデル姿勢を修正する。既に上述したように、修正後の手モデル姿勢は、推定される物体の把持姿勢として、例えば処理手段（コンピュータ）４の表示画面４５に表示することができる。時間が残っていない場合、ステップＳ３１において計測を継続するか否かを判断し、継続する場合はステップＳ２０に戻り上述したその後の各ステップが繰り返される。
【実施例】
【００３１】
上述した本発明の装置／方法を用いて、距離センサ１０個からなるセンサユニット（バンド型センサ）１をペットボトル１５に装着し、ペットボトル１５を把持する姿勢が検出／推定可能であるか否かを実際に検証した。その結果、図１０に示すように、ペットボトル１５が右手６によって把持された状態において、ペットボトル１５の物体モデル１６と手モデル１７によってペットボトルの把持姿勢を推定し、その把持姿勢をコンピュータ４の表示画面４５にその場で速やかに表示することができた。
【００３２】
本発明の実施形態について、図を参照しながら説明をした。しかし、本発明はこれらの実施形態に限られるものではない。さらに、本発明はその趣旨を逸脱しない範囲で当業者の知識に基づき種々なる改良、修正、変形を加えた態様で実施できるものである。
【産業上の利用可能性】
【００３３】
本発明は、実際の生活空間／使用環境において、かつ素手による実際の使用状態において、物体の把持姿勢を推定し視覚的に表示することができる計測装置／システム等として利用することができる。
【符号の説明】
【００３４】
１：センサユニット
２：送信器
４：処理手段／コンピュータ
５：物体
６：手
７：無線信号
１０−１〜１０−ｎ：距離センサ
１５：ペットボトル
１６：物体モデル
１７：手モデル
４５：表示装置／表示画面
１００：物体の把持姿勢を推定するための装置
【図１】
0006649645.tif 000002
【図２】
0006649645.tif 000003
【図３】
0006649645.tif 000004
【図４】
0006649645.tif 000005
【図５】
0006649645.tif 000006
【図６】
0006649645.tif 000007
【図７】
0006649645.tif 000008
【図８】
0006649645.tif 000009
【図９】
0006649645.tif 000010
【図１０】
0006649645.tif 000011