(57)【要約】【課題】指に作用する接触力を実時間で計測して力覚情報を生成することができる、力覚生成装置、力覚生成システム、及びプログラムを提供する。【解決手段】接触力が作用している人の指を予め定めた方向から観察したときの、指の各位置の色を表す色分布情報と、指の部分形状を表す第１形状情報とを取得する第１取得手段と、色分布情報と第１形状情報とから得られる指の全体形状を表す第２形状情報と接触力との予め定めた関係から、取得された色分布情報と第１形状情報とに対応する接触力を、指に作用する接触力と推定する推定手段と、を備えた力覚生成装置である。【選択図】図１
2019101820.tif 000002
【特許請求の範囲】
【請求項１】
接触力が作用している人の指を予め定めた方向から観察したときの、前記指の各位置の色を表す色分布情報と、前記指の粗形状を表す第１形状情報とを取得する第１取得手段と、
前記色分布情報と前記第１形状情報とから得られる前記指の形状を表す第２形状情報と接触力との予め定めた関係から、取得された前記色分布情報と前記第１形状情報とに対応する接触力を、前記指に作用する接触力として推定する推定手段と、
取得された前記接触力と前記第２形状情報とに基づいて、前記指の物理感覚である力覚情報を生成する力覚生成手段と、
を備えた力覚生成装置。
【請求項２】
前記推定手段は、
前記色分布情報から特定される色変化領域の形状情報で、前記第１形状情報を補間して、前記第２形状情報を取得する、
請求項１に記載の力覚生成装置。
【請求項３】
接触力が作用している指を予め定めた方向から観察したときの、前記指の姿勢を表す姿勢情報を取得する第２取得手段を更に備え、
前記推定手段は、
取得された前記姿勢情報を用いて、前記色分布情報から色変化領域の形状情報を特定する、
請求項２に記載の力覚生成装置。
【請求項４】
前記予め定めた方向が、前記指を爪側から観察する方向である、
請求項１から請求項３までのいずれか１項に記載の力覚生成装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の力覚生成装置と、
人の指を再現する指再現体と、
を備え、
前記力覚生成装置は、前記指再現体に接触力を作用させたときの、前記指再現体の前記色分布情報と前記第１形状情報とを取得する、
力覚生成システム。
【請求項６】
前記指再現体は、基骨、柔軟部、流路、及び流路に充填された着色流体を備える、
請求項５に記載の力覚生成システム。
【請求項７】
前記指再現体は、基骨、柔軟部、及び前記柔軟部の内側に形成された空洞に充填された着色流体を備える、
請求項５に記載の力覚生成システム。
【請求項８】
コンピュータを、請求項１から請求項４までのいずれか１項に記載の力覚生成装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、力覚生成装置、力覚生成システム、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、電気絶縁材料からなるスキン層を介して測定対象物と接触し荷重を受けるように配置され、柔軟で復元性がある弾性部材から平坦又は任意の曲面形状の底面を有する任意の主軸対称立体形状に形成された弾性立体接触部と、前記弾性立体接触部の平坦底面が直接接触するように配置されて前記荷重を検出する荷重検出層とを備え、任意荷重Ｐの水平成分であるせん断荷重（ｘ、ｙ軸成分）、垂直荷重（ｚ軸成分）及びモーメントを分離して測定する柔軟接触型４軸荷重センサを有する柔軟接触型の４軸荷重測定システムであって、前記荷重検出層は、電極が形成された一対の基板と、前記一対の基板の電極間に挟持され、電圧を印加した状態で荷重を負荷することにより電気抵抗値が変化する特性を備えた、カーボン系あるいは金属系を含む導電性複合材料からなる導電性部材と、を有し、前記弾性立体接触部の底面形状に合せた平面又は曲面形状に形成され、前記一対の基板のうち、一方又は双方に形成された電極を、前記導電性複合材料で前記導電性部と一体に形成することが可能であることを特徴とする柔軟接触型４軸荷重測定システムが記載されている。
【０００３】
特許文献２には、指に装着され、該指の動作を検出する動作検出センサであって、装着状態で前記指の上部に位置する基部と、該基部の両側部から前記指の側部に延出され、装着状態において指を挟持する一対のアームと、前記基部に配設されており、前記指が動作した時の該指の加速度検出を行う加速度センサと、前記アームに配設されており、前記指が動作した時に該指の変形に伴い前記アームに発生する歪を測定する歪ゲージとを有し、前記アームを前記基部よりも弾性変形し易い構成としたことを特徴とする動作検出センサが記載されている。
【０００４】
特許文献３には、センサが装着された被検者の指に装着されて当該被検者の生体情報の取得を支援する用具であって、装着時において被検者の指の第１の側に配置され、内周面を有する第１支持体と、装着時において前記第１の側と反対側である被検者の指の第２の側に配置され、前記第１支持体との相対位置が不変である第２支持体と、前記第１支持体および前記第２支持体よりも柔軟な材料で形成され、少なくとも一部が前記内周面に沿って配置された袋体と、前記袋体の内部と連通する流体通路を形成する通路形成部と、を備えており、装着時において、被検者の指と前記袋体の間、および被検者の指と前記第２支持体の間の少なくとも一方に前記センサが配置されるように構成されている、支援用具が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第６１２８５８１号公報
【特許文献２】特許第５８０９４５２号公報
【特許文献３】国際公開第２０１５／１３７１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
指の動作は、多様で複雑である。指に作用する接触力の方向及び大きさは、指の動作に応じて変化する。
【０００７】
本発明の目的は、指に作用する接触力を実時間で計測して力覚情報を生成することができる、力覚生成装置、力覚生成システム、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の力覚生成装置は、接触力が作用している人の指を予め定めた方向から観察したときの、前記指の各位置の色を表す色分布情報と、前記指の粗形状を表す第１形状情報とを取得する第１取得手段と、前記色分布情報と前記第１形状情報とから得られる前記指の形状を表す第２形状情報と接触力との予め定めた関係から、取得された前記色分布情報と前記第１形状情報とに対応する接触力を、前記指に作用する接触力として推定する推定手段と、取得された前記接触力と前記第２形状情報とに基づいて、前記指の物理感覚である力覚情報を生成する力覚生成手段と、を備えた力覚生成装置である。
【０００９】
本発明の力覚生成システムは、本発明の力覚生成装置と、人の指を再現する指再現体と、を備え、前記力覚生成装置は、前記指再現体に接触力を作用させたときの、前記指再現体の前記色分布情報と前記第１形状情報とを取得する、力覚生成システムである。
【００１０】
本発明のプログラムは、コンピュータを、本発明の力覚生成装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、指に作用する接触力を実時間で計測して力覚情報を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る力覚生成システムの概略構成の一例を示す斜視図である。
【図２】本発明の実施の形態に係る力覚生成装置の概略構成の一例を示す機能ブロック図である。
【図３】本発明の実施の形態に係る力覚生成装置の電気的構成の一例を示すブロック図である。
【図４】指の構造を説明するための模式図である。
【図５】（Ａ）及び（Ｂ）は指の構造を説明するための模式図である。
【図６】（Ａ）及び（Ｂ）は指の構造を説明するための模式図である。
【図７】力覚生成装置の計測部の詳細構成の一例を示す斜視図である。
【図８】力覚生成装置の計測部の装着状態の一例を示す模式図である。
【図９】（Ａ）及び（Ｂ）は指と対象物との接触による変化の一例を示す側面図である。
【図１０】（Ａ）及び（Ｂ）は指と対象物との接触による変化の一例を示す平面図である。
【図１１】（Ａ）及び（Ｂ）はパターン形状の一例を示す模式図である。
【図１２】パターン形状の変化の一例を示す模式図である。
【図１３】力覚生成装置の情報処理部の詳細構成の一例を示す機能ブロック図である。
【図１４】「力覚情報生成処理」の流れの一例を示すフローチャートである。
【図１５】計測パターンの構成の一例を説明する説明図である。
【図１６】基準色データの一例を示す模式図である。
【図１７】参照パターンの一例を示す模式図である。
【図１８】パターン面積と接触力との関係を示すグラフの一例を示す図である
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
【００１４】
＜力覚生成システム＞
図１は本発明の実施の形態に係る力覚生成システムの概略構成の一例を示す斜視図である。図２は本発明の実施の形態に係る力覚生成装置の概略構成の一例を示す機能ブロック図である。図１に示すように、力覚生成システム１は、力覚情報を生成する力覚生成装置１０と、人の指を再現する指再現体の一例である再現装置１４とを備えている。ここでの「力覚情報」とは、指に力が作用したときに生じる、反力や、皮膚感覚など模擬した振動などの物理感覚を表す情報である。
【００１５】
図１及び図２に示すように、力覚生成装置１０は、指に力が作用した際の指の状態を表す物理量を計測する計測部２０、計測部２０で得られた物理量から力覚情報を生成する情報処理部３０、及びデータベース３６を備えている。計測部２０と情報処理部３０とは、情報の受け渡しを行うために、有線又は無線により接続されている。図１に示す例では、計測部２０と情報処理部３０とが、信号線１２により接続されている。また、データベース３６と情報処理部３０とが、情報の受け渡しを行うために、有線又は無線により接続されている。
【００１６】
再現装置１４の指部分５０は、人の指構造に酷似した構造を備えている。指部分５０は、人の指に外力が作用した際と同様に、外力が作用すると変形すると共に表面の色が変化する。本実施の形態では、指部分５０を対象物に接触させて、人の指と対象物との接触状態での物理量を計測する。以下では、指部分５０を「指５０」という。
【００１７】
計測部２０は、計測物の色を計測する色計測部２２、計測物の形状を計測する形状計測部２４、及び計測物の姿勢を計測する姿勢計測部２６を備えている。本実施の形態では、指の状態を表す物理量として、指表面の色、指の形状、指の姿勢を計測する。指に力が作用した際の、指表面の色の変化、指の形状の変化、指の姿勢の変化が記録される。本実施の形態では、人の指の代わりに、再現装置１４の指５０の表面の色、形状、姿勢を計測する。指５０は人の指の代替品であって、人の指で計測してもよい。
【００１８】
データベース３６は、指の表面の色、指の形状、及び指の姿勢と「接触力」との予め定めた関係が記憶されている。指と対象物とが接触したときに、指に作用する力が「接触力」である。予め定めた関係は、人の指に接触力を作用させて予め求めたものである。特に、人の指で計測する場合には、個人差があるため、予め諸計測条件で計測を行い、計測結果を予め定めた関係としてデータベースに保存記憶しておく。データベース３６に格納される具体的データについては後述する。
【００１９】
情報処理部３０は、計測部２０から、色情報、形状情報、及び姿勢情報を取得する。情報処理部３０は、接触力を推定する接触力推定部３２、及び力覚情報を推定する力覚情報推定部３４を備えている。接触力推定部３２は、データベース３６を用いて、取得された色情報及び形状情報からパターン形状の形状情報を求め、パターン形状に対応する接触力を推定する。接触力については、接触力の大きさと作用方向とが推定される。
【００２０】
ここで「パターン形状」とは、指の先端を爪側から平面視したときの、指の幅方向の寸法や長さ方向の寸法などで表される指の形状である。指の長さ方向の寸法としては、指先から第１関節までの長さを計測してもよい。指の幅方向の寸法だけでなく、指の形状を、指の幅方向及び長さ方向に拡がる「形状面」として捉えている。
【００２１】
後述する通り、形状計測で得られた指の形状は、粗形状である。形状計測で得られた粗形状情報を、色情報を用いて複合補間することにより、より正確な指の形状情報が得られる。複合補間後の形状を「パターン形状」と称する。パターン形状は、指と対象物とが接触する接触領域の形状とみなすことができる。接触力推定部３２は、接触力を推定する際に、取得された姿勢情報を補足的に用いてもよい。
【００２２】
力覚情報推定部３４は、接触力推定部３２で推定された接触力及びパターン形状から、指に接触力が作用したときの力覚情報を推定する。
【００２３】
力覚情報としては、接触力、接触力の変動、指に掛かる圧力、圧力の変動、パターン形状、パターン形状の変動等が挙げられる。例えば、接触力の変動、圧力の変動、パターン形状の変動は、対象物を撫でたりした際の、ざらざら感やすべすべ感として用いることができる。
【００２４】
データベース３６には、予め人の指で求めておいた、指の表面の色、指の形状、及び指の姿勢と「接触力」との予め定めた関係が記憶されている。接触力推定部３２は、計測部２０から実時間で取得した色情報、形状情報、及び姿勢情報を基に、データベース３６を参照して、現在の状態における接触力を得るので、人体に対する類似度が高い力覚推定が可能となる。
【００２５】
また、力覚情報推定部３４は、想定した年齢や体格などの個別情報、対象物との摩擦などの物理情報などを考慮して、推定算出してもよい。個別情報、物理情報などを考慮して推定された力覚情報を用いて、多様な条件での動作制御や評価を行うことができる。
【００２６】
計測部２０が、第１取得手段、第２取得手段の一例である。接触力推定部３２が、推定手段の一例である。力覚情報推定部３４が、力覚生成手段の一例である。なお、力覚生成装置を情報処理装置として捉える場合は、計測部２０から各計測情報を取得する情報処理部３０が、第１取得手段、第２取得手段の一例である。
【００２７】
（電気的構成）
情報処理部３０は、各種演算を行うコンピュータとして構成されている。図３は本発明の実施の形態に係る力覚生成装置の電気的構成の一例を示すブロック図である。図３に示すように、情報処理部３０は、ＣＰＵ（中央処理装置;  Central Processing Unit）３０Ａ、ＲＯＭ（Read Only Memory）３０Ｂ、ＲＡＭ（Random Access Memory）３０Ｃ、不揮発性のメモリ３０Ｄ、及び入出力部（Ｉ／Ｏ）３０Ｅを備えている。
【００２８】
ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、メモリ３０Ｄ、及びＩ／Ｏ３０Ｅの各々は、バス３０Ｆを介して接続されている。ＣＰＵ３０Ａは、例えばＲＯＭ３０Ｂに記憶されたプログラムを読み出し、ＲＡＭ３０Ｃをワークエリアとして使用してプログラムを実行する。また、Ｉ／Ｏ３０Ｅには、計測部２０、操作部４０、表示部４２、通信部４４、記憶部４６が接続されている。
【００２９】
操作部４０は、スイッチ、ボタン等を備え、利用者からの操作を受け付ける。表示部４２は、ディスプレイ等を備え、利用者に各種情報を表示する。タッチパネル等、操作部４０及び表示部４２の機能を兼ね備える構成として、利用者からの操作を受け付けると共に、利用者に各種情報を表示するようにしてもよい。
【００３０】
通信部４４は、有線又は無線の通信回線を介して外部装置と通信を行うためのインターフェースである。例えば、ＬＡＮ（Local Area Network）、インターネット等のネットワークに接続されたコンピュータ等の外部装置と通信を行うためのインターフェースとして機能する。記憶部４６は、ハードディスク等の外部記憶装置である。
【００３１】
図３に示す例では、データベース３６は、情報処理部３０に接続された記憶部４６に配置されているが、データベース３６の配置位置に制限はない。例えば、データベース３６は、ネットワーク上に配置されていてもよい。この場合、情報処理部３０は、通信部４４を介してデータベース３６を検索する。
【００３２】
＜指の構造＞
ここで、再現装置１４の指５０の構造について説明する。
指５０の構造は、人の指構造に酷似した構造を備えている。以下では、人の指構造と対比しながら、指５０の構造を説明する。図４、図５（Ａ）及び（Ｂ）、図６（Ａ）及び（Ｂ）の各々は、指の構造を説明するための模式図である。
【００３３】
図４に示すように、再現装置１４の指５０は、人の指骨に形状が一致した基骨５２〜５８を備えている。人の指には、先端から末節骨、中節骨、基節骨、中手骨がある。基骨５２が末節骨、基骨５４が中節骨、基骨５６が基節骨、基骨５８が中手骨に相当する。基骨５２と基骨５４、基骨５４と基骨５６、基骨５６と基骨５８の各組は、関節の働きをする連結部で連結されている。
【００３４】
図５（Ａ）及び（Ｂ）に示すように、再現装置１４の指５０は、人の軟組織を再現した柔軟部５３と、人の爪を再現した爪５５とを備えている。人の指骨は、軟組織で覆われている。柔軟部５３は、基骨５２〜５８を覆うように、基骨５２〜５８の周囲に設けられている。柔軟部５３は、弾力のある柔軟シリコン等で作製されている。人の指の先端（末節骨の辺り）の背面には、硬い爪がある。指５０の先端の背面にも、板状の爪５５が設けられている。爪５５は、ネイルチップのように硬度のあるプラスチック板等で作製されている。
【００３５】
図６（Ａ）及び（Ｂ）に示すように、柔軟部５３の内部には、人の血管を模擬した流路１６が張り巡らされている。流路１６は、赤く着色された着色流体１８で満たされている。人の指に外力が作用すると毛細血管の血液が押し出され、外力が作用した付近の皮膚の色が白く変化する。指５０の柔軟部５３も、人の指と同様に、外力が作用した際に、流路１６内を着色流体１８が移動し、外力が作用した近傍の色が白く変化する。
【００３６】
上記の通り、再現装置１４の指５０は、人の指構造との一致度が高く、人の指に外力が作用した際と同様に、複雑な動きを再現するように変形すると共に、表面の色が変化する。指５０の柔軟部５３は、年齢や体格等の個別特性に応じて作製される。再現装置１４の指５０を人の指と置き換えることにより、個別特性を考慮した力覚評価を行うこともできる。
【００３７】
ここで、再現装置１４の指５０の作製方法の一例について説明する。
流路１６を配置する流路部分を、溶融性の樹脂材を用いて３次元プリンタ等により作製する。指５０の外皮型内に、基骨５２〜５８と流路部分とを配設した後に、軟質シリコンを注入して硬化させる。軟質シリコンが所定の硬度に達した後で、流路部分を溶融除去して流路１６を形成する。着色流体１８を流路１６に注入する。
【００３８】
なお、人の血管を模擬した流路１６は必須ではない。指５０の柔軟部５３は、人の指と同様に、外力が作用した際に着色流体１８が移動し、外力が作用した近傍の色が白く変化するように構成されていればよい。例えば、柔軟部５３の内部に空洞を設け、空洞内に着色流体１８を充填した構造としてもよい。また、赤く着色された着色流体１８について説明したが、着色流体の色は特に制限がなく、例えば、青色等の別の色にしてもよい。更に、着色流体の特性についても特に制限はなく、発光流体や磁性流体としてもよい。
【００３９】
＜計測部＞
次に、力覚生成装置の計測部の構成について説明する。
図７は力覚生成装置の計測部の詳細構成の一例を示す斜視図である。図８は力覚生成装置の計測部の装着状態の一例を示す模式図である。上記の通り、計測部２０は、色計測部２２、形状計測部２４、及び姿勢計測部２６を備えている（図２参照）。
【００４０】
色計測部２２は、計測物の表面の色を検出する色センサ６０を備えている。形状計測部２４は、複数のＩＣタグ６４と複数のアンテナ６６とを備えている。姿勢計測部２６は、複数の慣性センサ６２を備えている。
【００４１】
本実施の形態では、姿勢計測部２６は、慣性センサ６２Ａと慣性センサ６２Ｂの、２つの慣性センサを備えている。慣性センサ６２Ａと慣性センサ６２Ｂの各々は、環状とされており、指輪のように指５０に装着される。慣性センサ６２Ａと慣性センサ６２Ｂとを区別する必要がない場合は、慣性センサ６２と総称する。
【００４２】
複数のアンテナ６６の各々は、曲がった棒状である。アンテナ６６の一端は、環状の慣性センサ６２Ａに取り付けられている。色センサ６０は、アンテナ６６の他端に取り付けられている。
【００４３】
（装着状態）
次に、計測部２０の各部の装着状態について説明する。
図７及び図８に示す例では、慣性センサ６２Ａは基骨５４に取り付けられ、慣性センサ６２Ｂは基骨５６に取り付けられている。基骨５４の向きと基骨５６の向きとから、指５０の姿勢が求められる。アンテナ６６の他端は、慣性センサ６２Ａを基骨５４に取り付けたときに、指５０の先端と対向する。
【００４４】
複数のＩＣタグ６４は、例えば、指５０や爪５５の輪郭線に沿って取り付けられる。指が対象部と接触する接触領域の近傍にはセンサが配置されないので、指の変形や皮膚感覚を阻害しない。複数のＩＣタグ６４の位置情報から、指５０の幅方向の寸法や長さ方向の寸法などの指５０の粗形状が求められる。また、後述する指５０の色変化範囲の画像が撮像されるように、計測毎に色センサ６０の位置を調整する。
【００４５】
（接触時の指の変化）
次に、外力が作用したときの指の変化について説明する。
指５０に外力が作用すると、指５０が変形すると共に表面の色が変化する。
図９（Ａ）及び（Ｂ）、図１０（Ａ）及び（Ｂ）は、指と対象物との接触による変化の一例を示す図である。図９（Ａ）及び（Ｂ）は側面図であり、図１０（Ａ）及び（Ｂ）は平面図である。再現装置１４の指５０は、人の指と同様に、変形すると共に表面の色が変化する。
【００４６】
図９（Ａ）に示すように、指５０に接触力が作用していない場合は、基骨５２、基骨５４、基骨５６の向きが揃っている。図９（Ｂ）に示すように、指５０の先端の腹部に接触力が作用している場合は、指５０が外側に反り、基骨５２、基骨５４、基骨５６の向きがばらばらになる。基骨５２、基骨５４、基骨５６の各々の向きにより、指の姿勢が特定される。
【００４７】
図１０（Ａ）に示すように、指５０に接触力が作用していない場合は、指５０の形状は変化しない。図１０（Ｂ）に示すように、指５０の先端の腹部に接触力が作用している場合は、指５０の先端の軟組織が押し広げられて、指５０の先端の形状が変化する。
【００４８】
また、図１１（Ａ）及び（Ｂ）はパターン形状の一例を示す模式図である。図１１（Ａ）に示すように、指５０に接触力が作用していない場合は、指５０や爪５５の表面の色は変化しない。図１１（Ｂ）に示すように、指５０の先端の腹部に接触力が作用している場合は、指５０や爪５５の表面の色が変化する。
【００４９】
図示した例では、爪５５の一部において表面の色が赤く変化するが、他部の表面の色は白く変化する。接触力が作用する位置、接触力の大きさ、接触力が作用する方向等に応じて、指５０や爪５５の表面に特徴的な色変化が生じる。
【００５０】
本実施の形態では、指５０を対象物と接触させた状態で、指５０表面の色、指５０の形状、指５０の姿勢を、予め定めた時間毎に計測する。予め定めた時間毎に、計測された情報から、指５０に作用する接触力が推定される。
【００５１】
（色計測）
色センサ６０は、反射型の光学センサである。反射型の光学センサは、計測物に例えば白色光を投光し、計測物の表面で反射された反射光を受光して、計測物の表面の各位置での色情報を出力する。色情報は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の各色値（ＲＧＢ値）などである。
【００５２】
本実施の形態では、ＣＣＤカメラ等の撮像素子を色センサ６０として用いる。撮像素子を用いて指の画像を爪側から撮像する。撮像された指の画像における、各画素の画素値が指の各位置での色情報とされる。以下では、指の各位置での色情報を「色分布パターン」という。色計測部２２は、予め定めた時間毎に色分布パターンを取得して、指表面の色変化を計測する。
【００５３】
（形状計測）
ＩＣタグ６４は、ビーコン信号を発信している。ＩＣタグ６４が発信するビーコン信号をアンテナ６６で受信し、ビーコン信号が発信された位置を特定することにより、ＩＣタグ６４の位置情報が取得される。位置情報は、三次元座標値などである。
【００５４】
本実施の形態では、複数のＩＣタグ６４は、指５０の幅方向及び長さ方向に沿って複数の位置に配置される。形状計測部２４は、予め定めた時間毎に複数のＩＣタグ６４の位置情報を取得して、指５０の幅方向の寸法や長さ方向の寸法などの指５０の形状情報を取得する。
【００５５】
指５０の三次元変形を計測することは、接触力の方向や大きさの推定で役に立つ。しかしながら、ＩＣタグ６４の個数が少ない方が好ましい。指５０の先端に配置されるＩＣタグ６４の個数が多くなると、指５０の変形に影響を与えてしまう。ＩＣタグ６４の個数を制限するため、形状計測で取得されるのは指５０の粗形状情報である。
【００５６】
（姿勢計測）
慣性センサ６２は、加速度を検出する加速度センサや、角加速度を検出するジャイロセンサなどである。  本実施の形態では、慣性センサ６２は、基骨５２〜５８の全部または一部に取り付けられる。慣性センサ６２で検出された加速度や角加速度から、指５０の姿勢情報が取得される。
【００５７】
姿勢計測部２６は、予め定めた時間毎に指５０の姿勢情報を取得して、指の姿勢変化を計測する。姿勢情報は、慣性センサ６２が取り付けられた基骨の長さ方向の向きなどである。指の動きは、複数関節の複合動作である。指の動きを把握するには、指の先端より２関節以上の関節角度を、計測、把握する必要がある。したがって、慣性センサ６２を、指先端の基骨と次の基骨の少なくとも２箇所に取り付け、各箇所で基骨の長さ方向の向きを取得することで、指の姿勢を計測する。
【００５８】
（複合補間）
本実施の形態では、後述する通り、形状計測部２４で計測された指の粗形状情報を、色計測部２２で計測された色情報を用いて補間する複合補間を行う。ＩＣタグ６４の個数を減らしても、複合補間により高精度な形状計測を行うことができる。
【００５９】
具体的には、形状計測により得られた指の粗形状情報を、同じ時間に得られた色分布パターンから特定される「色変化範囲」の形状情報で補完して、粗形状情報より精度の高い指の形状情報（パターン形状の形状情報）を取得する。
【００６０】
指に接触力が作用してから指表面の色変化が生じるまでに時間遅れが生じる。変形は、指表面の色変化に比べて時間遅れが小さい。例えば、対象物を把持した後に対象物が滑り落ちる等、把持状態が時間と共に変化する場合に、形状計測により得られた指の粗形状情報を基にしていれば、これらの変化を早期に検出できる。
【００６１】
複合補間によって、多様で複雑な指の動作時においても、接触力の高精度な推定と高い応答性とが確保される。従来、特定方向のみで計測されていた、接触力の大きさや方向が実時間で計測可能となり、人の指の力覚に類似した力覚情報を推定することができる。人の指の力覚に類似した力覚情報を制御指標として、ロボットの指の動作の制御・評価を行うこともできる。
【００６２】
図１１（Ａ）及び（Ｂ）はパターン形状の一例を示す模式図である。図１１（Ａ）に示す例では、接触力が作用しない状態で、指５０の点（ａ，ｂ，ｃ，ｄ）にＩＣタグ６４が配置されており、各ＩＣタグ６４から位置情報が取得されている。形状計測からは各点の位置情報（指の粗形状）しか得られない。
【００６３】
図１１（Ａ）に示すように、特徴的な色変化が生じる色変化範囲の形状は、点線で図示したように略円形である。粗形状は、色変化範囲の形状によって複合補間される。点（ａ，ｂ，ｃ，ｄ）の各点の間の位置情報が複合補間され、点（ａ，ｂ，ｃ，ｄ）の各点を結んだ形状８５が、パターン形状として取得される。
【００６４】
（接触力の算出）
次に、指のパターン形状から接触力を算出する。
図１２はパターン形状の変化の一例を示す模式図である。図１１（Ａ）及び（Ｂ）、図１２に示すように、時刻ｔにおけるパターン形状は、点（ａ，ｂ，ｃ，ｄ）を結んだ形状８５である。接触力が作用すると指が変形し、時刻ｔ１におけるパターン形状は、点（ａ’，ｂ’，ｃ’ ，ｄ’）を結んだ形状８５Ａとなる。形状８５と形状８５Ａとは、形状面の傾き及び面積が互いに異なる。
【００６５】
パターン形状の形状面の傾き毎に、接触力の作用方向を予め計測して、形状面の傾きと接触力の作用方向との関係をデータベースに予め記憶しておく。これにより、形状面の傾きから、指に作用する接触力の作用方向を推定することが可能となる。
【００６６】
また、接触力の作用方向を指の姿勢に関連付けて記憶しておいて、指の姿勢から接触力の作用方向を求めてもよい。また、接触力の作用方向を、形状面の傾きと指の姿勢の両方に関連付けて記憶しておいて、形状面の傾きと指の姿勢の両方から接触力の作用方向を求めてもよい。
【００６７】
また、パターン形状の面積毎に、接触力の大きさを予め計測して、パターン形状の面積と接触力の大きさとの関係をデータベースに予め記憶しておく。これにより、パターン形状の面積から、指に作用する接触力の大きさを推定することが可能となる。
【００６８】
なお、接触力の大きさをパターン形状の寸法に関連付けておいて、パターン形状の寸法から接触力の大きさを求めてもよい。以下では、接触力の推定方法を具体的に説明する。
【００６９】
＜力覚生成装置＞
次に、力覚生成装置の機能構成について説明する。
図１３は力覚生成装置の情報処理部の詳細構成の一例を示す機能ブロック図である。図１３に示すように、情報処理部３０は、色補正部７０、色変化検知部７２、色分布パターン推定部７４、パターン形状補間部７６、接触力取得部７８、力覚情報推定部３４、及びデータベース３６を備えている。色補正部７０、色変化検知部７２、色分布パターン推定部７４、パターン形状補間部７６、及び接触力取得部７８が、図２の「接触力推定部３２」に対応する。
【００７０】
色補正部７０は、色計測部２２から色情報として色分布パターンを取得し、データベース３６から基準色を取得する。色補正部７０は、取得された色分布パターンの各色値（ＲＧＢ値）を、基準色のＲＧＢ値と比較して正規化する。色補正部７０は、正規化された色分布パターンを、色変化検知部７２及び色分布パターン推定部７４の各々に出力する。
【００７１】
色変化検知部７２は、色分布パターンの時間変化を検知すると、色分布パターン推定部７４に検索指示を出力する。
【００７２】
ここで、色計測部２２から取得され、正規化された色分布パターンを「計測パターン」とし、データベース３６に予め記憶された色分布パターンを「参照パターン」とする。データベース３６には、複数の参照パターンが記憶されている。複数の参照パターンは、例えば、姿勢毎に分類されて記憶されている。
【００７３】
色分布パターン推定部７４は、色補正部７０から計測パターンを取得し、姿勢計測部２６から姿勢情報を取得する。色分布パターン推定部７４は、色変化検知部７２から検索指示が入力されると、データベース３６を検索し、取得された姿勢情報に応じた参照パターンを抽出する。
【００７４】
色分布パターン推定部７４は、計測パターンと抽出された参照パターンの各々とを比較し、計測パターンと最も一致する参照パターンを推定パターンと決定する。色分布パターン推定部７４は、推定パターンをパターン形状補間部７６に出力する。
【００７５】
パターン形状補間部７６は、色分布パターン推定部７４から推定パターンを取得し、形状計測部２４から、指の粗形状情報を取得する。推定パターンは、色分布と色変化範囲の形状を表す。粗形状情報のデータ欠落部分は、色変化範囲の形状情報によって複合補間されて、パターン形状の形状情報が取得される。
【００７６】
データベース３６には、パターン形状の面積と接触力の大きさとの関係が記憶されている。接触力取得部７８は、これ等の関係を用いて、複合補間されたパターン形状の面積から、指に作用する接触力の大きさを取得する。接触力取得部７８は、接触力の大きさを、力覚情報推定部３４に出力する。
【００７７】
力覚情報推定部３４は、接触力取得部７８から取得された接触力と、パターン形状補間部７６から取得されたパターン形状とから、指に接触力が作用したときの力覚情報を推定する。
【００７８】
＜プログラム＞
次に、「力覚情報生成処理」を実行するプログラムについて説明する。
図１４は「力覚情報生成処理」の流れの一例を示すフローチャートである。「力覚情報生成処理」を実行するプログラムは、処理の実行を開始する指示があると、情報処理部３０のＣＰＵ３０Ａにより、ＲＯＭ３０Ｂから読み出されて実行される。
【００７９】
まず、ステップ１００で、計測部から各計測情報を取得する。色計測部から、指の色情報（色分布パターン（計測パターン））が取得される。形状計測部から、指の粗形状情報が取得される。姿勢計測部から、指の姿勢情報が取得される。
【００８０】
図１５は計測パターンの構成の一例を説明する説明図である。計測パターン１００は、色計測部から取得された指の色分布パターンである。計測パターン１００は、複数の単位領域Ｇの集合である。計測パターン１００は、特徴的な色変化が生じる色変化範囲１０２と、色変化範囲１０２の背景となる背景部分１０４とで構成されている。色変化範囲１０２には斜線を付している。計測パターン１００は、単位領域毎に色値（ＲＧＢ値）を有しており、全体として色分布を表している。以下では、単位領域を画素とし、単位領域の色値を画素値とする。
【００８１】
図示した例では、画素Ｇは矩形状である。また、図示した例では、複数の画素Ｇが、１０行７列で行列状に配列されている。図示した例では、指を爪側から撮影したときの画像１０６が併記されている。指の幅方向が、計測パターン１００のＸ方向に一致する。また、指の長さ方向が、計測パターン１００のＹ方向に一致する。計測パターン１００の左側２列と右側２列とは、指の左右端部の色分布を表す。計測パターン１００の中央４列は、指の中央部の色分布を表す。
【００８２】
次に、ステップ１０２で、利用者の入力条件に応じた基準色データを取得し、「色補正処理」を実行する。「色補正処理」では、ステップ１００で取得された色分布パターンの各画素値（ＲＧＢ値）を、基準色のＲＧＢ値と比較して正規化する。
【００８３】
図１６は基準色データの一例を示す模式図である。データベースには、基準色データ１１０が記憶されている。基準色データ１１０は、性別、年齢、体格等の種々の特性１１４に応じて分類され、色番号等の識別情報１１２と関連付けられて、データベースに記憶されている。図示した例では、基準色データは、ＲＧＢ各色の色情報１１６と色見本１１８とを含む。性別、年齢、体格等の条件を予め設定すると、設定された条件に応じた基準色のＲＧＢ値が取得される。
【００８４】
次に、ステップ１０４で、色変化を検知したか否かを判断する。色変化を検知した場合は、ステップ１０６に進み、色変化を検知していない場合は、ステップ１００に戻る。例えば、時間の異なる色分布パターンを比較して、画素毎に画素値の差分を演算し（差分演算）、差分が閾値以上となる画素の個数が予め定めた個数以上となる場合に、色変化を検知したと判断する。
【００８５】
次に、ステップ１０６で、姿勢情報に応じた色分布パターン（参照パターン）を１つ選択する。次に、ステップ１０８で、色変化を検知したときの計測パターンと選択された参照パターンとを比較して、形状の一致度を算出する。
【００８６】
図１７は参照パターンの一例を示す模式図である。データベースには、複数の参照パターン１２０が記憶されている。図示した例では、Ｎ個の参照パターン１２０が、姿勢Ａ〜Ｆなど姿勢毎に分類され、データベースに記憶されている。図示した例では、各姿勢について複数種類の参照パターン１２０が記憶されている。姿勢情報が取得されると、取得された姿勢情報に応じた参照パターン１２０が抽出される。
【００８７】
参照パターン１２０は、計測パターン１００と同様に、色変化範囲１２２と背景部分１２４とで構成されている。計測パターンと参照パターンとを比較する場合には、計測パターンの色変化範囲１０２の形状と、参照パターンの色変化範囲１２２の形状とを比較する。
【００８８】
形状の一致度は、色変化範囲１０２と色変化範囲１２２とを画素毎に照合して算出する。例えば、色変化範囲１０２に含まれる画素が、色変化範囲１２２にも含まれる場合に、一致する画素と判定する。一致する画素数の、色変化範囲１０２の全画素数に対する割合（例えば、１００％等の百分率）を、形状の一致度として算出する。
【００８９】
上記では、計測パターン１００の色変化範囲１０２から見た「形状の一致度」を算出する例について説明したが、参照パターン１２０の色変化範囲１２２から見た「形状の一致度」を算出してもよい。例えば、この場合は、色変化範囲１２２に含まれる画素が、色変化範囲１０２にも含まれる場合に、一致する画素と判定する。一致する画素数の、色変化範囲１２２の全画素数に対する割合を、形状の一致度として算出する。
【００９０】
図示した例では、姿勢Ｃでは、色変化範囲１２２がＸ方向の一端部に偏り、姿勢Ｅでは、色変化範囲１２２がＸ方向の他端部に偏る。姿勢情報に応じた参照パターンを予め抽出して照合することで、照合時間が短縮される。
【００９１】
次に、ステップ１１０で、形状の一致度が閾値以上か否かを判断する。閾値は、例えば８０％など、予め定めた規定した規定値としてもよい。形状の一致度が閾値以上の場合は、ステップ１１２に進み、形状の一致度が閾値未満の場合は、ステップ１０６に戻る。
【００９２】
次に、ステップ１１２で、姿勢情報に応じた参照パターンが他にあるか否かを判断する。他の参照パターンがある場合は、ステップ１１４に進み、他の参照パターンが無い場合は、ステップ１０６に戻る。
【００９３】
次に、ステップ１１４で、他よりも一致度が高い参照パターンを、色分布の推定パターンと決定する。
【００９４】
次に、ステップ１１６で、色変化を検知したときの指の粗形状情報を、色分布の推定パターンから特定される色変化範囲の形状情報で補間して、指のパターン形状の形状情報を取得する。
【００９５】
次に、ステップ１１８で、指のパターン形状の面積を算出する。次に、ステップ１２０で、パターン形状の面積と接触力の大きさとの予め定めた関係を用いて、算出されたパターン形状の面積から、指に作用する接触力の大きさを取得する。
【００９６】
図１８はパターン形状の面積と接触力との関係を示すグラフの一例を示す図である。データベースには、パターン形状の面積と接触力との予め定めた関係が記憶されている。図示した例では、１０代未満、１０代、２０代、３０代、４０代、（５０代、６０代）というように、年代別に、パターン形状の面積と接触力との予め定めた関係がグラフで記憶されている。性別や体格などの他の特性に応じて、予め定めた関係を記憶しておいてもよい。例えば、図示した例では、性別に応じて異なる２つの関係を用意している。
【００９７】
次に、ステップ１２２で、取得された接触力とパターン形状とから、指に接触力が作用したときの力覚情報を推定する。力覚情報を推定する際に、想定した年齢や体格などの個別情報、対象物との摩擦などの物理情報などを考慮してもよい。
【００９８】
例えば、軟組織の弾性率が年齢の関数になると想定した場合は、ステップ１２０で取得された接触力に、想定した年齢に応じた係数を乗算することによって、年齢に対する補正を行う。同様に、個人差を考慮した推定を行う場合も、ステップ１２０で取得された接触力に、想定した個人差に応じた係数を乗算する。
【００９９】
次に、ステップ１２４で、処理を終了するか否かを判断する。利用者からの終了指示があれば、処理を終了する。処理を終了する場合は、ルーチンを終了し、処理を終了しない場合は、ステップ１００に戻る。
【０１００】
＜変形例＞
なお、上記実施の形態で説明した力覚生成装置、力覚生成システム、及びプログラムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。
【符号の説明】
【０１０１】
１     力覚生成システム
１０   力覚生成装置
１２   信号線
１４   再現装置
１６   流路
１８   着色流体
２０   計測部
２２   色計測部
２４   形状計測部
２６   姿勢計測部
３０   情報処理部
３２   接触力推定部
３４   力覚情報推定部
３６   データベース
４０   操作部
４２   表示部
４４   通信部
４６   記憶部
５０   指（指部分）
５２   基骨
５３   柔軟部
５４   基骨
５５   爪
５６   基骨
５８   基骨
６０   色センサ
６２   慣性センサ
６４   ＩＣタグ
６６   アンテナ
７０   色補正部
７２   色変化検知部
７４   色分布パターン推定部
７６   パターン形状補間部
７８   接触力取得部
８５   形状
８５Ａ 形状
１００ 計測パターン
１０２ 色変化範囲
１０４ 背景部分
１０６ 画像
１１０ 基準色データ
１１２ 識別情報
１１４ 特性
１１６ 色情報
１１８ 色見本
１２０ 参照パターン
１２２ 色変化範囲
１２４ 背景部分
Ｇ     単位領域（画素）
【図１】
2019101820.tif 000003
【図２】
2019101820.tif 000004
【図３】
2019101820.tif 000005
【図４】
2019101820.tif 000006
【図５】
2019101820.tif 000007
【図６】
2019101820.tif 000008
【図７】
2019101820.tif 000009
【図８】
2019101820.tif 000010
【図９】
2019101820.tif 000011
【図１０】
2019101820.tif 000012
【図１１】
2019101820.tif 000013
【図１２】
2019101820.tif 000014
【図１３】
2019101820.tif 000015
【図１４】
2019101820.tif 000016
【図１５】
2019101820.tif 000017
【図１６】
2019101820.tif 000018
【図１７】
2019101820.tif 000019
【図１８】
2019101820.tif 000020