(57)【要約】【課題】被指示者に特別な機器を装着することなく、対象物に作用する力覚情報を簡単に伝達することを可能にする。【解決手段】被指示者側システム２は、指示者側システム１から送信された指示者画像と力覚情報とをネットワークＩ／Ｆ２４により受信する。そして、音情報発生部２５の音データ変換部２５１は、音情報格納部２５２により基本音データを取得し、上記受信された力覚情報に基づいて、取得された基本音データを、力覚センサ値に応じて音量等を変化させた音データに変換する。そして、被指示者側システム２は、上記受信された指示者画像と変換された音データとをそれぞれプロジェクタ２１及びスピーカ２３に出力する。【選択図】      図４
2006259926.tif 000002
【特許請求の範囲】
【請求項１】
指示者側装置から被指示者側装置に作業対象物に対する作業を指示するための作業指示システムであって、
前記作業対象物に対応する仮想対象物に加えられる指示作業の力に関する力覚情報を取得する力覚情報取得手段と、
前記力覚情報を前記被指示者側装置に送信する力覚情報送信手段と
を前記指示者側装置に備え、
前記指示者側装置から送信される力覚情報を受信する力覚情報受信手段と、
前記力覚情報を提示する力覚情報提示手段と、
を前記被指示者側装置に備えることを特徴とする作業指示システム。
【請求項２】
前記力覚情報提示手段は、前記力覚情報を音、画像の少なくともいずれか一方によって提示することを特徴とする請求項１記載の作業指示システム。
【請求項３】
さらに、前記力覚情報を音情報、画像情報の少なくともいずれか一方に変換する変換手段を前記力覚情報取得手段、力覚情報提示手段のいずれか一方に備えることを特徴とする請求項２記載の作業指示システム。
【請求項４】
さらに、前記力覚情報に示される力覚の量を音情報に変換する音変換手段と、前記力覚情報に示される力覚の方向を画像情報に変換する画像変換手段とを、前記力覚情報取得手段、力覚情報提示手段のいずれか一方に備えることを特徴とする請求項２記載の作業指示システム。
【請求項５】
前記指示者側装置は、さらに、前記指示作業を撮影して指示作業画像を得る指示作業撮影手段と、前記指示作業画像を前記被指示者側装置に送信する指示作業画像送信手段とを備え、
前記被指示者側装置は、さらに、前記指示作業画像を受信する指示作業受信手段と、前記指示作業画像を表示する指示作業画像表示手段とを備えることを特徴とする請求項１記載の作業指示システム。
【請求項６】
前記指示作業画像を前記力覚情報の提示に合わせるための同期制御手段を前記指示者側装置、前記被指示者側装置のいずれか一方に備えることを特徴とする請求項５記載の作業指示システム。
【請求項７】
前記同期制御手段は、前記指示作業画像の表示と前記力覚情報の提示とのタイミングを制御する可変遅延手段を備えることを特徴とする請求項６記載の作業指示システム。
【請求項８】
前記被指示者側装置は、さらに、前記作業対象物を撮影して対象物画像を得る対象物撮影手段と、前記対象物画像を前記指示者側装置に送信する対象物画像送信手段とを備え、
前記指示者側装置は、さらに、前記対象物画像を受信する対象物画像受信手段と、前記対象物画像を前記仮想対象物に対応付けて表示する対象物画像表示手段とを備えることを特徴とする請求項１記載の作業指示システム。
【請求項９】
指示者側装置から被指示者側装置に作業対象物に対する作業を指示するための作業指示システムの前記被指示者側装置に用いられるコンピュータで使用されるプログラムであって、
前記指示者側装置から送られる、前記作業対象物に対応する仮想対象物に加えられる指示作業の力に関する力覚情報を量と方向に分類する手段と、
前記力覚の量の変化を音情報に変換する手段と、
前記力覚の方向の変化を画像情報に変換する手段と、
前記音情報を拡声出力させ、前記画像情報を表示させる手段と
を前記コンピュータに実行させることを特徴とする作業指示プログラム。
【請求項１０】
さらに、前記指示者側装置から前記指示作業を撮影した指示作業画像が送られてくるとき、
前記指示作業画像を前記力覚情報に応じて変換された音情報又は画像情報に同期させて表示させる手段を備えることを特徴とする請求項９記載の作業指示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、現場作業者の作業を通信ネットワークを使用して支援する作業指示システムにおいて、現場で作業者に指示を伝達するために使用される作業指示システムとそのプログラムに関する。
【背景技術】
【０００２】
書道における文字の書き方のような伝統技術や、蕎麦のこね方などのスキルが必要となる作業、また、スポーツの実技を伝達する場合において、指導等を行う指示者と指導等を受ける被指示者とが同じ場所にいる場合では、指示者が被指示者の手を持ち、実際に行っている動作を被指示者へ体感させることによって指導する場合が多く見られる。例えば、ゴルフのスイング方法を指導する場合、指示者が被指示者の後ろからクラブを握って、素振りを行うことにより、被指示者ヘスイングを体感させ指導する。
【０００３】
しかし、例えば遠隔地間における音声画像通信では、視覚的に指示者の動作を伝達することは可能であるが、対象物に作用する力加減などの情報を伝達することはできない。そこで、従来、様々な手法を用いて遠隔地間における作業の共感を実現する試みが行われている。例えば、特殊なハード機器を装着することにより、その環境の映像や力に関する情報を物理的に遠隔地へ伝達することを試みている（例えば、特許文献１を参照。）。また、ロボットアームの作業音を擬似的に作成し、この作業音の音量、高さ、音色をロボットアームの状態に応じて変化させ、ロボットアームの作業映像と上記作業音とを共に提示することによって、利便性の高い遠隔ロボットアーム操作システムを構築している（例えば、非特許文献1を参照。）。
【０００４】
【特許文献１】特開平１１−３１６６４６号公報
【０００５】
【非特許文献１】永井康史，土屋茂，木村真一、「ETS−VII搭載ロボットアーム実験における異なるタスクに対する聴覚情報提示の効果の比較」、第４０回計測自動制御学会学術講演会（SICE2001）、２００１年、２０５  Ａ−４
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の手法の場合、前者では、特殊なハードウェアを装着する必要があるため、実際の動作を行う利用者にとって、負担になり不便である。また、後者は、遠隔地からロボットアームを操作するシステムであって、指示者と被指示者との作業の共感を実現する構成ではない。
【０００７】
この発明は、上記事情に着目してなされたもので、その目的とするところは、被指示者に特別な機器を装着させることなく、対象物に作用する力覚情報を簡単に伝達することを可能とする作業指示システムとそのプログラムを提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するためにこの発明に係わる作業指示システムとそのプログラムは、指示者側装置から被指示者側装置に作業対象物に対する作業を指示するための作業指示システムであって、上記作業対象物に対応する仮想対象物に加えられる指示作業の力に関する力覚情報を取得する力覚情報取得手段と、上記力覚情報を上記被指示者側装置に送信する力覚情報送信手段とを上記指示者側装置に備える。そして、上記指示者側装置から送信される力覚情報を受信する力覚情報受信手段と、上記力覚情報を提示する力覚情報提示手段とを上記被指示者側装置に備えるようにしたものである。  
したがって、この発明によれば、被指示者に特別な機器を装着させることなく、対象物に作用する力覚情報を簡単に伝達することができる。
【０００９】
また、この発明は次のような各種構成を備えることも特徴とする。  
第１の構成は、上記力覚情報提示手段は、上記力覚情報を音、画像の少なくともいずれか一方によって提示するようにする。これにより、音または画像で提示することにより、作業が撮影された映像だけでは伝わりにくい力に関する情報を被指示者に伝えることができる。
【００１０】
第２の構成は、さらに、上記力覚情報を音情報、画像情報の少なくともいずれか一方に変換する変換手段を上記力覚情報取得手段、力覚情報提示手段のいずれか一方に備える。これにより、指示者が加えた力が、その力に関する情報に応じて音または画像に変換されて提示される。このため、被指示者は、提示された音または画像により指示者が行う作業を把握することができる。
【００１１】
第３の構成は、さらに、上記力覚情報に示される力覚の量を音情報に変換する音変換手段と、上記力覚情報に示される力覚の方向を画像情報に変換する画像変換手段とを、上記力覚情報取得手段、力覚情報提示手段のいずれか一方に備える。このようにすると、被指示者は、指示者により加えられた力の大きさと力の方向とを把握することができるため、指示者が行う作業をより確実に理解することができる。
【００１２】
第４の構成は、上記指示者側装置は、さらに、上記指示作業を撮影して指示作業画像を得る指示作業撮影手段と、上記指示作業画像を上記被指示者側装置に送信する指示作業画像送信手段とを備える。上記被指示者側装置は、さらに、上記指示作業画像を受信する指示作業受信手段と、上記指示作業画像を表示する指示作業画像表示手段とを備える。このように構成すると、被指示者側装置に指示作業画像が表示されるため、被指示者は表示された指示作業画像と提示された力覚情報とから作業を把握することができる。これにより、被指示者は、指示者から直接的に作業の指示を受けるような実感を得ることができる。
【００１３】
第５の構成は、上記指示作業画像を上記力覚情報の提示に合わせるための同期制御手段を上記指示者側装置、上記被指示者側装置のいずれか一方に備える。これにより、被指示者側装置において、指示作業画像と力覚情報の提示が同期されて出力される。このため、被指示者は、指示作業画像と力覚情報とを対応付けて理解することができる。
【００１４】
第６の構成は、上記同期制御手段は、上記指示作業画像の表示と上記力覚情報の提示とのタイミングを制御する可変遅延手段を備える。これにより、指示作業画像に対して音を遅延させた場合には、被指示者は、音により力覚情報（いわゆる力加減を表す情報）を理解したのちに指示作業画像により動作を確認しながら自ら動作を行うことができる。また、反対に、音に対して指示作業画像を遅延させた場合には、被指示者は、指示作業画像で動作を確認したのちに、音で力覚情報を確認して自ら動作を行うことができる。これにより、指示者により複雑な作業指示が行われた場合でも、被指示者は、指示者の作業指示を確実に把握することができる。
【００１５】
第７の構成は、上記被指示者側装置は、さらに、上記作業対象物を撮影して対象物画像を得る対象物撮影手段と、上記対象物画像を上記指示者側装置に送信する対象物画像送信手段とを備える。そして、上記指示者側装置は、さらに、上記対象物画像を受信する対象物画像受信手段と、上記対象物画像を上記仮想対象物に対応付けて表示する対象物画像表示手段とを備える。このように構成すると、指示者側装置に対象物画像が表示されるため、指示者は表示された対象物画像を見ながら作業を指示することができる。これにより、例えば、指示者は、被指示者に直接手を差し伸べるような感覚で直感的に指示を行うことができる。
【発明の効果】
【００１６】
要するにこの発明によれば、被指示者に特別な機器を装着させることなく、対象物に作用する力覚情報を簡単に伝達することを可能とする作業指示システムとそのプログラムを提供することにある。
【発明を実施するための最良の形態】
【００１７】
（第１の実施形態）  
図１は、この発明の第１の実施形態に係わる遠隔作業指示システムを示す概略構成図である。また、図２は図１に示す被指示者側システムの概略図、図３は図１に示す指示者側システムの概略図である。この遠隔作業指示システムは、指示者側システム１と被指示者側システム２との間を、通信ネットワークＮＷを介して接続可能としたものである。  
通信ネットワークＮＷは、システムが例えば事業所内又はオフィス内に構築される場合であれば、ＬＡＮ（Local Area Network）により構成される。一方、システムが複数の事業所やオフィスに跨って構成される場合には、インターネットに代表されるコンピュータ・ネットワークから構成される。また、通信ネットワークＮＷを介すことなく、指示者側システム１と被指示者側システム２との間が直接ケーブル等で接続される構成でもよい。
【００１８】
指示者側システム１には、プロジェクタ１１とカメラ１２と力覚センサ１３とが設置されている。図３に示すように、プロジェクタ１１は、被指示者側システム２から送られる対象物５が撮影された対象物画像５１を力覚センサ１３上に投影する。このように、対象物画像５１が投影された力覚センサ１３を、ここでは仮想対象物とする。指示者は、上記投影された対象物画像５１を見て、あるいは見ることなく力覚センサ１３上で作業を行い、カメラ１２は、その様子を撮影して被指示者側システム２に送信する。力覚センサ（圧力センサ）１３は、例えば、シート状で構成され、指示者により力が加えられた位置の力覚量（圧力）を測定する。上記送信された指示者の撮影画像と共に、力覚センサ１３から得られた力覚情報（センサ値）を被指示者側システム２に送信する。
【００１９】
被指示者側システム２は、プロジェクタ２１とカメラ２２とスピーカ２３と処理用端末ＭＴが設置されている。図２にも示すように、カメラ２２は、被指示者が作業を行う対象物５を含む範囲を撮影して被指示者側システム２に送信する。プロジェクタ２１は、指示者側システム１から送られる指示者が行う作業が撮影された指示者画像６を対象物５上に投影する。また、処理用端末ＭＴは、マイクロコンピュータにより構成され、指示者側システム１から送られる力覚情報を音情報に変換する。変換された音情報はスピーカ２３に出力され、スピーカ２３からは力覚情報を表す音が出力される。被指示者は、上記投影された指示側撮影画像と出力された音とから被指示者の指示を受けて作業を行う。
【００２０】
なお、図１乃至図３に示すように、指示者側システム１に設置されるカメラ１２の撮像範囲とプロジェクタ１１の投影範囲、及び被指示者側システム２に設置されるカメラ２２の撮影範囲とプロジェクタ２１の投影範囲とがそれぞれ一致するように調整されているものとする。
【００２１】
図４は、この遠隔作業指示システムを実現するための具体的な機能構成を示すブロック図である。  
指示者側システム１は、プロジェクタ１１とカメラ１２と力覚センサ１３とネットワークインタフェース（ネットワークＩ／Ｆ）１４とを備える。プロジェクタ１１は上述したように、力覚センサ１３上にネットワークＩ／Ｆ１４により受信された対象物画像５１を投影する。カメラ１２は、指示者が力覚センサ１３上で作業を行う様子を撮影し、ネットワークＩ／Ｆ１４により被指示者側システム２に送信する。
【００２２】
一方、被指示者側システム２は、プロジェクタ２１とカメラ２２とスピーカ２３とネットワークインタフェース（ネットワークＩ／Ｆ）２４とを備え、さらに、音情報発生部２５と同期構成部２６とを備えている。このうち、音情報発生部２５と同期構成部２６とは、いずれもプログラムを処理用端末ＭＴに実行させることにより実現される。
【００２３】
音情報発生部２５は、音データ変換部２５１と音情報格納部２５２とを備え、指示者側システム１から送られる力覚情報を音情報に変換する機能を有する。音データ変換部２５１は、ネットワークＩ／Ｆ２４から入力される力覚情報に応じて音情報格納部２５２から基本音データを取得する。そして、取得された基本音データを力覚情報に応じて変換させた音情報を同期構成部２６に出力する。
【００２４】
音情報格納部２５２は、記憶装置により構成され、例えば、ＭＩＤＩやメロディファイル等で構成される基本音データを格納する。基本音データは、例えば、正弦波等の一定音や、擬音のような人の声や環境音をサンプリングしたものや、効果音のような合成音が用いられる。音データ変換部２５１は、力覚情報に応じて、この基本音データに対して音量、音程、音色、音の長さ等を変化させる。
【００２５】
図５は、同期構成部２６の構成を示すブロック図である。同期構成部２６は、映像バッファ２６１と音バッファ２６２と同期設定部２６３と同期制御部２６４とを備える。映像バッファ２６１は、ネットワークＩ／Ｆ２４により受信された指示者側の映像データを格納する。音バッファ２６２は、上述の音情報発生部２５から入力される音データを格納する。
【００２６】
同期設定部２６３は、上記映像バッファに２６１に格納された映像データと、音バッファ２６２に格納された音データとの同期を設定する同期設定時間Ｔ´［ｍｓｅｃ］を格納する。この同期設定時間Ｔ´は、被指示者により予め設定されるもので、同期設定時間Ｔ´＝０であれば、映像データと音データとが同時に出力される。同期設定時間Ｔ´＞０であれば、映像データに対して同期設定時間Ｔ´だけ音データは遅延して出力される。また、同期設定時間Ｔ´＜０であれば、音データに対して同期設定時間Ｔ´の絶対値だけ映像データは遅延して出力されるものとする。同期制御部２６４は、上記同期設定部２６３の同期設定時間Ｔ´にしたがって、上記映像バッファに２６１に格納された映像データと、音バッファ２６２に格納された音データとを同期させてプロジェクタ２１及びスピーカ２３にそれぞれ出力する。
【００２７】
次に以上のように構成された遠隔作業指示システムの動作について説明する。図６は、遠隔作業指示システム全体の処理手順と内容を示すフローチャートである。  
この遠隔作業指示システムが起動されると、指示者側システム１と被指示者側システム２との双方で通信ネットワークＮＷを介して音声画像通信が行われる。すなわち、ステップＳ６ａにおいて、映像処理及び力覚の音変換処理が行われる。具体的には、指示者側システム１において、カメラ１２により撮影された指示者画像６及び力覚センサ１３により得られた力覚情報を被指示者側システム２に向けて送信する。一方、被指示者側システム２においては、カメラ２２により撮影された対象物５を指示者側システム１に向けて送信する。それと共に、被指示者側システム２は、指示者側システム１から送信された力覚情報を受信して音データに変換している。
【００２８】
次にステップＳ６ｂにより、提示処理が行われる。具体的には、指示者側システム１において、被指示者側システム２から送信された対象物５の画像がプロジェクタ１２により投影される。また、被指示者側システム２においては、指示者側システム１から送信された指示者画像６はプロジェクタ２２により投影され、さらに、上記変換された音データがスピーカ２３から出力される。
【００２９】
また、この遠隔作業指示システムは、被指示者により入力される操作終了指示を監視している。これは、例えば、被指示者側システム２における処理用端末ＭＴのキーボード等の入力装置（図示せず）から入力される。ステップＳ６ｃの判定により、操作終了指示を検知した場合は、指示者側システム１及び被指示者側システム２において、それぞれ処理を終了する。ステップＳ６ｃにおいて、操作終了指示が検知されない場合は、ステップＳ６ａに移行して、上述した音声画像通信を継続して行う。
【００３０】
次に、図７を参照して、力覚情報を音データに変換する音変換処理について説明を行う。図７は、被指示者側システム２の音情報発生部２５における音データ変換処理の手順とその内容を示すフローチャートである。  
先ず、音情報発生部２５の音データ変換部２５１は、ステップＳ７ａにおいて、ネットワークＩ／Ｆ２４により力覚情報であるセンサ値を受信する。そして、ステップＳ７ｂにおいてセンサ値が所定の閾値を超えるか否かを判定する。この閾値は、指示者により作業指示が行われたか否か（つまり、指示者により力覚センサ１３に力が加えられたか否か）の判定の指標となる値であり、センサ値がこの閾値を超えた場合に、指示者により作業の指示が行われたものと判定する。
【００３１】
上記ステップＳ７ｂにより、センサ値が閾値以上と判定された場合は、ステップＳ７ｃに移行して、音データ変換部２５１は、音情報格納部２５２から基本音データを取得する。次にステップＳ７ｄにより音データ変換部２５１は、上記取得された基本音データをセンサ値に基づいて変換する。この変換は、例えば、音量、音程、音色、音の長さ等を変化させることにより行われる。ここで、図９にセンサ値に応じて音量を変化させる例を示す。上のグラフは音量の時間的変化を表し、下のグラフはセンサ値の時間的変化を表す。このように、音データ変換部２５１は、上記基本音データをセンサ値の大小に応じて音量を変化させる。
【００３２】
そして、ステップＳ７ｅにおいて、音データ変換部２５１は、上記変換された音データを同期構成部２６に出力し、変換された音データは音バッファ２６２に格納される。
一方、ステップＳ７ｂのセンサ値の判定において、センサ値が閾値を超えないと判定された場合、ステップＳ７ｆに移行する。そして、音データ変換部２５１は、無音データ（ＮＵＬＬ値）を同期構成部２６に出力する。
【００３３】
次に、作業指示の提示処理について説明する。図８は、被指示者側システム２の同期構成部２６における作業指示の提示処理の手順とその内容を示すフローチャートである。  
先ず、ステップＳ８ａにおいて、この遠隔作業指示システムを起動した最初の作業指示の提示であるか否かを判定する。この判定において、システム起動後の最初の作業指示の提示であると判定されると、ステップＳ８ｂに移行して、同期制御部２６４は、同期設定部２６３から同期設定時間Ｔ´を取得する。
【００３４】
ステップＳ８ｃおいて、同期設定時間Ｔ´の判定を行う。同期設定時間Ｔ´≧０と判定された場合、ステップＳ８ｇに移行し、同期制御部２６４は、映像バッファ２６１に格納された指示者側画像をプロジェクタ２１に出力開始する。そして、ステップＳ８ｈにおいて、同期制御部２６４は、同期設定時間Ｔ´［ｍｓｅｃ］だけ待機したのち、ステップＳ８ｉに移行して、音バッファ２６２に格納された音データをスピーカ２３に出力開始する。その後、システム起動後の２回目からの提示処理については、ステップＳ８ａの判定において、ステップＳ８ｊに移行する。そして、ステップＳ８ｊ及びステップＳ８ｋにより、同期制御部２６４は、音バッファ２６２に格納される音データ及び、映像バッファ２６１に格納される指示者画像をスピーカ２３及びプロジェクタ２１にそれぞれ順次出力する。これにより、常に音データは、指示者画像に対して同期設定時間Ｔ´だけ遅延して表示される。なお、同期設定時間Ｔ´＝０の場合は、指示者側画像と音データとがそれぞれプロジェクタ２１及びスピーカ２３により同時に出力される。
【００３５】
一方、ステップＳ８ｃの同期設定時間Ｔ´の判定において、同期設定時間Ｔ´＜０と判定された場合は、ステップＳ８ｄに移行して、まず音バッファ２６２に格納される音データをスピーカ２３に出力する。そして、ステップＳ８ｅにおいて、同期制御部２６４は、同期設定時間Ｔ´の絶対値時間［ｍｓｅｃ］だけ待機する。その後、ステップＳ８ｆにおいて、映像バッファ２６１に格納された指示者画像をプロジェクタ２１に出力する。また、システム起動後の２回目からの提示処理については、ステップＳ８ａの判定において、ステップＳ８ｊに移行する。そして、ステップＳ８ｊ及びステップＳ８ｋにより、同期制御部２６４は、音バッファ２６２に格納される音データ及び、映像バッファ２６１に格納される指示者画像をスピーカ２３及びプロジェクタ２１にそれぞれ順次出力する。これにより、常に指示者画像は、音データに対して同期設定時間Ｔ´の絶対値時間だけ遅延して出力される。
【００３６】
また、指示者が力覚センサ１３に力を加えていない場合、すなわちステップＳ７ｂにおいてセンサ値が所定の閾値未満の場合は、データ変換部２５は、無音データ（ＮＵＬＬ値）を同期構成部２６に出力する。これにより、システム起動後の最初の提示における音データおよび指示者画像の提示開始タイミングの同期制御を行うだけで、音データと指示者画像との時間差をつけて提示することが可能となるため、同期構成部２６の処理を簡易化することができる。
【００３７】
以上述べたように第１の実施形態では、被指示者側システム２は、指示者側システム１から送信された指示者画像と力覚情報とをネットワークＩ／Ｆ２４により受信する。そして、音情報発生部２５の音データ変換部２５１は、音情報格納部２５２により基本音データを取得し、上記受信された力覚情報に基づいて、取得された基本音データを力覚センサ値に応じて音量等を変化させた音データに変換する。そして、被指示者側システム２は、上記受信された指示者画像と変換された音データとをそれぞれプロジェクタ２１及びスピーカ２３に出力するようにしたものである。
【００３８】
これにより、被指示者は、スピーカ２３により出力される音の音量により、加える力の大きさを把握することができる。被指示者に特別な機器を装着させることなく、対象物に作用する力覚情報を簡単に伝達することができる。
また、同期制御部２６により、指示者画像と音データとの同期制御が行われるため、指示者画像と音データとの時間差をつけて提示することが可能である。これにより、映像に対して音を遅延させた場合には、被指示者は、音により力覚情報（いわゆる力加減を表す情報）を理解したのちに指示者画像により動作を確認しながら自ら動作を行うことができる。また、反対に、音に対して映像を遅延させた場合には、被指示者は、指示者画像で動作を確認したのちに、音で力覚情報を確認して自ら動作を行うことができる。これにより、指示者により複雑な作業指示が行われた場合でも、被指示者は、指示者の作業指示を確実に把握することができる。
【００３９】
上記第１の実施形態では、センサ値の大小に応じて音量を変化させるように構成したが、他にも、例えば、センサ値の大小に応じて音の長さや音の高低を変化させるようにすることも可能である。また、力覚センサ１３は、指示者により加えられる力覚情報を取得できればよく、筆やペンの先などに装着されるものでもよい。
【００４０】
（第２の実施形態）  
図１０は、この発明の第２の実施形態に係わる遠隔作業指示システムの機能構成を示すブロック図である。この遠隔作業指示システムは、指示者側システム１Ａと被指示者側システム２Ａとの間を、通信ネットワークＮＷを介して接続可能としたものである。なお、この実施形態において、上記第１の実施形態の図４と同一の構成要素には同一符号を付し、詳しい説明を省略する。
【００４１】
指示者側システム１Ａに備えられる力覚センサ１３Ａは、例えば、シート状で構成され、力覚量（又は圧力）を測定するセンシング位置（以下、センシング点）が格子状に複数配置されたものを利用する。例えば、縦Ｘ点×横Ｙ点の各センシング点におけるセンサ値がそれぞれ得られる場合には、力覚情報は、センサ値行列Ｐとして次のように表され、センサ値行列Ｐの各要素が各センシング点においてのセンサ値に相当する。
【００４２】
【数１】
2006259926.tif 000003
指示者が力覚センサ１３Ａに対して力を加えると、ある一定の範囲に存在するセンシング点に相当する複数のセンサ値が所定の閾値以上となる。そこで、音データ変換部２５１では、センサ値行列Ｐの要素の最大値を抽出し、その最大値に応じて、音情報格納部２５２により取得された基本音データの音量、音程、音色、音の長さ等を変化させるようにする。
【００４３】
また、力覚センサ１３Ａは、各センシング点がそれぞれ指示者側システムカメラ１２の撮影範囲の一定の位置に対応するように配置される。したがって、センシング点の座標値、すなわち、このセンサ値行列Ｐの各要素により、カメラ１２の撮影画像において力が加えられた位置を取得することができる。
【００４４】
ここで、図１１に被指示者側システム２Ａが利用される様子を示す。上記第１の実施形態と同様に、プロジェクタ２１により指示者画像６が投影されると共に、スピーカ２３によりセンサ値の大きさに応じた音が出力される。さらに、この第２の実施形態では、指示者が作業を指示した際に加えられた力の方向に関する情報が矢印Ｆのように投影される。被指示者は、スピーカ２３から出力される音とプロジェクタ２１により投影された矢印Ｆとにより、力覚の量と力覚の方向とを把握する。
【００４５】
被指示者側システム２Ａは、カメラ２とプロジェクタ２１とスピーカ２３とネットワークＩ／Ｆ２４と音情報発生部２５とに加え、さらに映像生成部２７を備える。
音データ変換部２５１は、上述したように、複数のセンサ値からなる力覚情報からセンサ値行列Ｐを作成し、このセンサ値行列Ｐの要素の最大値を抽出し、その最大値に応じて、音情報格納部２５２により取得された基本音データの音量、音程、音色、音の長さ等を変化させる。このデータ変換部２５１Ａにおいて変換された音データは同期構成部２６に出力される。
【００４６】
映像生成部２７は、図１５に示すように、画像データ変換部２７１と矢印画像格納部２７２と映像合成部２７３とを備える。矢印画像格納部２７２には、上記図１１において投影される矢印画像Ｆのもととなる基本矢印画像が格納される。また、画像データ変換部２７１は、センサ値行列Ｐから力の加えられた方向を検出し、検出された方向に基づいて上記矢印画像格納部２７２から取得した基本矢印画像を変換して矢印画像Ｆを作成する。映像合成部２７３は、ネットワークＩ／Ｆ２４により受信される指示者画像と画像データ変換部２７１から入力される矢印画像Ｆとを合成した合成提示画像を作成する。そして、作成された提示画像を同期構成部２６に出力する。
【００４７】
次に以上にように構成された被指示者側システム２Ａの動作について説明する。  
図１３は、被指示者側システム２Ａにおける力覚情報の音変換処理の手順とその内容を示すフローチャートである。
ステップＳ１３ａにおいて、音データ変換部２５１は、力覚情報として複数のセンサ値を受信する。ステップＳ１３ｂにおいて全てのセンサ値が閾値を超えない場合は、ステップＳ１３ｈに移行して、データ変換部１３ｈは、無音データ（ＮＵＬＬ値）を同期構成部２６の音バッファ２６２に格納する。
【００４８】
一方、ステップＳ１３ｂにおいて、閾値以上のセンサ値が存在した場合は、ステップＳ１３ｃに移行して、音データ変換部２５１は、音情報格納部２５２から基本音データを取得する。次に、音データ変換部２５１は、ステップＳ１３ｄにおいて、センサ値行列Ｐを生成し、センサ値行列Ｐの要素の最大値を取得する。そして、ステップＳ１３ｅにより、音データ変換部２５１は、上記生成したセンサ値行列Ｐを映像生成部２７に出力する。そして、ステップＳ１３ｆにおいて、ステップＳ１３ｄにより取得された最大値に応じて基本音データを変換する。この変換処理は、上記第１の実施形態と同様に、例えば、音程を変化させる場合には、最大値の大きさに応じて音程を高くする。また、音量を変化させる場合には、最大値の大きさに応じて音量を大きくする。その他にも、音の長さや音色等を最大値に応じて変化させる。そして、音データ変換部２５１は、ステップＳ１３ｇにより、変換された音データを同期構成部２６に出力し、音バッファ２６２には変換された音データが格納される。
【００４９】
次に、映像生成処理について説明する。図１４は、被指示者側システム２Ａにおける映像生成処理の手順とその内容を示すフローチャートである。先ず、ステップＳ１４ａにより、映像生成部２７は、ネットワークＩ／Ｆ２４を介して指示者画像を受信する。これと並行に、画像データ変換部２７１において、受信されたセンサ値行列Ｐにより力の方向を表す矢印画像を生成する。すなわち、ステップＳ１４ｂにおいて、映像生成部２７の画像データ変換部２７１は、音データ変換部２５１からセンサ値行列Ｐを取得すると、ステップＳ１４ｃに移行して、センサ値行列Ｐの要素の最大値を取得する。さらに、ステップＳ１４ｄにより、画像データ変換部２７１は、センサ値行列Ｐにおいて最大値を有する要素から各方向へのセンサ値の変化率（変化の勾配）を算出し、算出された変化率が最大となる方向を求める。
【００５０】
ここで、書道において筆の運びを指示する場合を例に挙げて説明する。紙の文字を書きつつ筆を運ぶ場合において、筆の毛が紙に接触している範囲の紙が受ける垂直方向の圧力分布をみると、筆の軸の真下において圧力が最大になる。また、筆の軸の真下から筆を進める反対の方向に向かっては、筆の毛の元から毛先までが紙に接触するため、圧力の変化率（変化の勾配）が最小となる。逆に、筆の軸を進める方向に向かっては、筆の毛の元の部分のみが紙に接触するため、圧力の変化率（変化の勾配）が最大となる。
【００５１】
図１２に力覚センサ１３Ａから検出されるセンサ値の分布の様子を示す。指示者により加えられた力覚量の最大位置をセンシング点Ａで示す。このセンシング点Ａから例えば、８方向（Ａ１〜Ａ８の方向）のセンサ値の変化を求めるものとする。各方向におけるセンシング点Ａからの距離に対するセンサ値の変化を右のグラフに示す。例えば、Ａ１〜Ａ３方向におけるセンサ値の変化を比較した場合、Ａ３方向においてセンサ値の変化が急激であり、圧力の変化率（変化の勾配）が最大となり、これにより、指示者により加えられた力の向かう方向はＡ３の方向と求められる。
【００５２】
さて、このように力の方向が求められたのちに、データ変換部２５１Ａは、ステップＳ１４ｅにおいて、矢印画像格納部２７２から基本矢印画像を取得する。そして、上記求められた力の方向を表すように基本矢印画像の矢印の方向を変換して矢印画像Ｆを作成する。作成された矢印画像Ｆは、映像合成部２７３に出力され、ステップＳ１４ｆにおいて、映像合成部２７３は、作成された矢印画像Ｆと上記受信された指示者画像を合成して、合成提示画像を作成し、この作成された合成提示画像を同期構成部２６に出力する。一方、ステップＳ１４ｂにおいて画像データ変換部２７１が音データ変換部２５１からセンサ値行列Ｐを取得しない場合には、矢印画像Ｆは作成されないため、映像生成部２７は、ネットワークＩ／Ｆ２４により受信された指示者画像をそのまま同期構成部２６に出力する。
【００５３】
以上のように第２の実施形態では、指示者側システム１Ａは、力覚センサ１３Ａにより、複数のセンシング点におけるセンサ値を測定して、測定された複数のセンサ値被指示者側システム２Ａに向けて送信する。被指示者側システム２Ａの音情報発生部２５は、音データ変換部２５１において生成したセンサ値行列Ｐの要素からセンサ値の最大値を検出して、この最大値を音情報に変換して、同期構成部２６に出力する。また、音データ変換部２５１は、上記生成したセンサ値行列Ｐを映像生成部２７に送信する。そして、映像生成部２７の画像データ変換部２７１は、センサ値行列Ｐの要素から力の方向を検出して、検出された力の方向を表す矢印画像Ｆを作成する。作成された矢印画像Ｆは映像合成部２７３に出力され、映像合成部２７３は、指示者画像とこの矢印画像Ｆとを合成した合成提示画像を作成して、同期構成部２６に出力するものである。
【００５４】
これにより、被指示者は、指示者により対象物に加えられる力覚の量に加えて、力覚の方向を把握することができるため、さらに明確に指示者の動作を理解して作業を行うことができる。
なお、上記第２の実施形態では、複数のセンシング点を有する力覚センサ１３Ａを用いて、この力覚センサ１３Ａに及ぼす圧力分布の特徴に基づき、指示者が筆に加えた水平方向の力の向きを求めたが、他にも、例えば、圧力が最大となる点の位置座標の時間的変化をもとに、指示者が筆に加えた水平方向の力の向きや大きさを推定するようにしても構わない。
【００５５】
また、第２の実施形態では、力覚量に関する情報は音の変化によって提示し、力の方向は矢印画像Ｆにより提示しているが、提示の方法はこれに限定されないものとする。例えば、力覚量を画像で表すようにするようにしてもよい。すなわち、力の方向は、本実施形態のように矢印等の画像の向きで提示し、力覚量は、矢印の長さや色で提示することができる。その場合、力覚量に関する音による提示は省略しても構わない。
【００５６】
また、力の方向を表す画像は、矢印を模した画像に限らず、方向を示し得る他の画像を利用しても構わない。例えば、力が加えられている点を中心にある一定半径の円を提示し、その円を力が加えられている方向に濃く色付けしたグラデーション画像などを利用することができる。
【００５７】
なお、この発明は、上記各実施形態に限定されるものではない。たとえば、上記各実施形態では、指示者側システム１にプロジェクタ１１を配置して、被指示者側システム２において撮影された画像を力覚センサ１３上に投影するように構成したが、タッチパネルディスプレイ等を利用することもできる。他にも、プロジェクタ１１に替えて、液晶表示器（ＬＣＤ）等の表示装置を利用することも可能である。この場合、表示装置に表示される対象物画像５１に力覚センサ１３のセンシング点の位置関係を表す必要がある。
【００５８】
また、上記各実施形態では、指示者側システム１と被指示者側システム２との１対１の構成であるが、例えば、教室における先生と生徒のように、１つの指示者側システム１と複数の被指示者側システム２との間を接続して、選択的に切り替えて指導を行うような構成とすることもできる。また、上記各実施形態では、遠隔地間での作業指示を想定しているが、必ずしも遠隔地間でなくてもよい。
【００５９】
また、音情報発生部２５、映像生成部２７及び同期構成部２６を被指示者側システム２，２Ａに設けるように構成したが、これらの部を指示者側システム１に設けるように構成することもできる。このようにすると、例えば、通信ネットワークＮＷの伝送容量や指示者側システム１及び被指示者側システム２の各部の機能を実現するコンピュータの処理能力に適したシステムを構築することができる。
【００６０】
また、この発明の作業指示システムは、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。その他にも、作業指示システムの機能構成及び各部の処理手順とその処理内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
【００６１】
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６２】
【図１】この発明の第１の実施形態に係わる遠隔作業指示システムの概略構成図。
【図２】図１に示す被指示者側システムの概略図。
【図３】図１に示す指示者側システムの概略図。
【図４】図１に示す遠隔作業指示システムの機能構成を示すブロック図。
【図５】図４に示す同期構成部の機能構成を示すブロック図。
【図６】図４に示す被指示者側システムの動作手順とその内容を示すフローチャート。
【図７】図４に示す被指示者側システムの音変換処理の手順とその内容を示すフローチャート。
【図８】図４に示す被指示者側システムの同期処理の手順とその内容を示すフローチャート。
【図９】図４に示す被指示者側システムの音変換処理の様子を示す図。
【図１０】この発明の第２の実施形態に係わる遠隔作業指示システムの機能構成を示すブロック図。
【図１１】図１０に示す被指示者側システムの概略図。
【図１２】図１０に示す指示者側システムにおいて力覚情報を取得する様子を示す図。
【図１３】図１０に示す被指示者側システムの音変換処理の手順とその内容を示すフローチャート。
【図１４】図１０に示す被指示者側システムの映像生成処理の手順とその内容を示すフローチャート。
【図１５】図１０に示す被指示者側システムの映像生成部の構成を示すブロック図。
【符号の説明】
【００６３】
１，１Ａ…指示者側システム、２，２Ａ…被指示者側システム、ＮＷ…通信ネットワーク、ＭＴ…処理用端末、１１，２１…プロジェクタ、１２，２２…カメラ、１３，１３Ａ…力覚センサ、２３…スピーカ、５…対象物、５１…対象物画像、６…指示者画像、１４，２４…ネットワークＩ／Ｆ、２５…音情報発生部、２５１…音データ変換部、２５２…音情報格納部、２６…同期構成部、２６１…映像バッファ、２６２…音バッファ、２６３…同期設定部、２６４…同期制御部、２７…映像生成部、２７１…画像データ変換部、２７２…矢印画像格納部、２７３…映像合成部、Ｆ…矢印画像、Ａ…センシング点、Ａ１〜Ａ８…センシング点Ａからの方向。
【図１】
2006259926.tif 000004
【図２】
2006259926.tif 000005
【図３】
2006259926.tif 000006
【図４】
2006259926.tif 000007
【図５】
2006259926.tif 000008
【図６】
2006259926.tif 000009
【図７】
2006259926.tif 000010
【図８】
2006259926.tif 000011
【図９】
2006259926.tif 000012
【図１０】
2006259926.tif 000013
【図１１】
2006259926.tif 000014
【図１２】
2006259926.tif 000015
【図１３】
2006259926.tif 000016
【図１４】
2006259926.tif 000017
【図１５】
2006259926.tif 000018