(57)【要約】【課題】第１のユーザの意図を把握して第１のユーザから第２のユーザへの指示情報をより適切に生成することを可能とする技術が提供されることが望まれる。【解決手段】第１の画像に基づいて計測された３次元空間における第１のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第１のユーザの指示動作の種類を推定する推定部と、前記第１のユーザの指示動作の種類に基づいて、第２のユーザへの指示情報を生成する指示情報生成部と、を備える、第１の情報処理システムが提供される。【選択図】図３
2019159936.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に基づいて計測された３次元空間における第１のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第１のユーザの指示動作の種類を推定する推定部と、
前記第１のユーザの指示動作の種類に基づいて、第２のユーザへの指示情報を生成する指示情報生成部と、
を備える、第１の情報処理システム。
【請求項２】
前記第１の情報処理システムは、
前記指示情報を前記第２のユーザによって使用される第２の情報処理システムに送信する送信部を備える、
請求項１に記載の第１の情報処理システム。
【請求項３】
前記第１の情報処理システムは、
前記第２のユーザによって使用される第２の情報処理システムから第２の画像を受信する受信部と、
前記第２の画像を前記第１のユーザに提示する画像出力部と、を備える、
請求項１に記載の第１の情報処理システム。
【請求項４】
前記第１の情報処理システムは、
前記指示情報を前記第１のユーザに提示する画像出力部を備える、
請求項１に記載の第１の情報処理システム。
【請求項５】
前記推定部は、前記手部の位置が第１の領域に属する場合に、前記指示動作の種類を第１の種類であると推定し、前記手部の位置が前記第１の領域とは異なる第２の領域に属する場合に、前記指示動作の種類を前記第１の種類とは異なる第２の種類であると推定する、
請求項１に記載の第１の情報処理システム。
【請求項６】
前記第１の領域は、タッチパネルの位置からタッチパネルの位置を基準として前記タッチパネルの前方に所定の長さだけ離れた位置までの空間を含む、
請求項５に記載の第１の情報処理システム。
【請求項７】
前記推定部は、前記手部の位置が前記第２の領域に属する場合、かつ、前記手部の形状が所定の形状である場合に、前記指示動作の種類を第２の種類であると推定する、
請求項５に記載の第１の情報処理システム。
【請求項８】
前記所定の形状は、指さし形状を含む、
請求項７に記載の第１の情報処理システム。
【請求項９】
前記推定部は、前記手部の位置が前記第１の領域および前記第２の領域とは異なる第３の領域に属する場合に、前記指示動作の種類を前記第１の種類および前記第２の種類とは異なる第３の種類であると推定する、
請求項５に記載の第１の情報処理システム。
【請求項１０】
前記指示情報生成部は、前記指示動作の種類が第１の種類であると推定された場合には、第１の指示情報を生成し、前記指示動作の種類が前記第１の種類とは異なる第２の種類であると推定された場合には、前記第１の指示情報とは異なる第２の指示情報を生成する、
請求項１に記載の第１の情報処理システム。
【請求項１１】
前記指示情報生成部は、前記指示動作の種類が前記第１の種類であると推定された場合には、前記手部によるタッチパネルへの接触位置を前記第１の指示情報として生成する、
請求項１０に記載の第１の情報処理システム。
【請求項１２】
前記指示情報生成部は、前記指示動作の種類が前記第２の種類であると推定された場合には、前記手部の指さしによって示される方向を前記第２の指示情報として生成する、
請求項１０に記載の第１の情報処理システム。
【請求項１３】
前記指示情報生成部は、前記指示動作の種類が前記第１の種類および前記第２の種類とは異なる第３の種類であると推定された場合には、前記第１の指示情報および前記第２の指示情報とは異なる第３の指示情報を生成する、
請求項１０に記載の第１の情報処理システム。
【請求項１４】
前記指示情報生成部は、前記指示動作の種類が前記第３の種類であると推定された場合には、前記手部の形状を前記第３の指示情報として生成する、
請求項１３に記載の第１の情報処理システム。
【請求項１５】
３次元空間における第１のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて生成された第２のユーザへの指示情報を受信する受信部と、
前記指示情報を前記第２のユーザに提示する画像出力部と、
を備える、第２の情報処理システム。
【請求項１６】
第１の画像に基づいて計測された３次元空間における第１のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第１のユーザの指示動作の種類を推定する推定部と、
前記第１のユーザの指示動作の種類に基づいて、第２のユーザへの指示情報を生成する指示情報生成部と、
を備える、第１の情報処理システムと、
前記指示情報を受信する受信部と、
前記指示情報を前記第２のユーザに提示する画像出力部と、
を備える、第２の情報処理システムと、
を有する、第３の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１の情報処理システム、第２の情報処理システムおよび第３の情報処理システムに関する。
【背景技術】
【０００２】
近年、ユーザの動作を検出する技術が知られている。例えば、ユーザによるタッチパネルへの接触位置を検出する機能と、ユーザの手形状を非接触により検出する機能との双方を有する装置が開示されている（例えば、特許文献１参照）。かかる装置によれば、ユーザのタッチパネルへの接触位置とユーザの手形状との関連付けが行われ、当該関連付けに基づいて同一の操作がタッチパネルへの接触と手形状とのいずれによっても行われ得る。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１３／１３６７７６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、あるユーザ（第１のユーザ）は、動作によって他のユーザ（第２のユーザ）に対して指示情報を通知したいと考える場合も想定される。かかる場合、指示情報には様々な種類が想定される。例えば、指示情報として位置を通知したい場合もあれば、方向を通知したい場合もあり得る。すなわち、第１のユーザの意図（第１のユーザが如何なる種類の指示情報を第２のユーザに通知したいか）を把握して第１のユーザの意図に応じた指示情報を生成することが有用である。
【０００５】
そこで、第１のユーザの意図を把握して第１のユーザから第２のユーザへの指示情報をより適切に生成することを可能とする技術が提供されることが望まれる。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明のある観点によれば、第１の画像に基づいて計測された３次元空間における第１のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第１のユーザの指示動作の種類を推定する推定部と、前記第１のユーザの指示動作の種類に基づいて、第２のユーザへの指示情報を生成する指示情報生成部と、を備える、第１の情報処理システムが提供される。
【０００７】
前記第１の情報処理システムは、前記指示情報を前記第２のユーザによって使用される第２の情報処理システムに送信する送信部を備えてもよい。
【０００８】
前記第１の情報処理システムは、前記第２のユーザによって使用される第２の情報処理システムから第２の画像を受信する受信部と、前記第２の画像を前記第１のユーザに提示する画像出力部と、を備えてもよい。
【０００９】
前記第１の情報処理システムは、前記指示情報を前記第１のユーザに提示する画像出力部を備えてもよい。
【００１０】
前記推定部は、前記手部の位置が第１の領域に属する場合に、前記指示動作の種類を第１の種類であると推定し、前記手部の位置が前記第１の領域とは異なる第２の領域に属する場合に、前記指示動作の種類を前記第１の種類とは異なる第２の種類であると推定してもよい。
【００１１】
前記第１の領域は、タッチパネルの位置からタッチパネルの位置を基準として前記タッチパネルの前方に所定の長さだけ離れた位置までの空間を含んでもよい。
【００１２】
前記推定部は、前記手部の位置が前記第２の領域に属する場合、かつ、前記手部の形状が所定の形状である場合に、前記指示動作の種類を第２の種類であると推定してもよい。
【００１３】
前記所定の形状は、指さし形状を含んでもよい。
【００１４】
前記推定部は、前記手部の位置が前記第１の領域および前記第２の領域とは異なる第３の領域に属する場合に、前記指示動作の種類を前記第１の種類および前記第２の種類とは異なる第３の種類であると推定してもよい。
【００１５】
前記指示情報生成部は、前記指示動作の種類が第１の種類であると推定された場合には、第１の指示情報を生成し、前記指示動作の種類が前記第１の種類とは異なる第２の種類であると推定された場合には、前記第１の指示情報とは異なる第２の指示情報を生成してもよい。
【００１６】
前記指示情報生成部は、前記指示動作の種類が前記第１の種類であると推定された場合には、前記手部によるタッチパネルへの接触位置を前記第１の指示情報として生成してもよい。
【００１７】
前記指示情報生成部は、前記指示動作の種類が前記第２の種類であると推定された場合には、前記手部の指さしによって示される方向を前記第２の指示情報として生成してもよい。
【００１８】
前記指示情報生成部は、前記指示動作の種類が前記第１の種類および前記第２の種類とは異なる第３の種類であると推定された場合には、前記第１の指示情報および前記第２の指示情報とは異なる第３の指示情報を生成してもよい。
【００１９】
前記指示情報生成部は、前記指示動作の種類が前記第３の種類であると推定された場合には、前記手部の形状を前記第３の指示情報として生成してもよい。
【００２０】
また、本発明の別の観点によれば、３次元空間における第１のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて生成された第２のユーザへの指示情報を受信する受信部と、前記指示情報を前記第２のユーザに提示する画像出力部と、を備える、第２の情報処理システムが提供される。
【００２１】
また、本発明の別の観点によれば、第１の画像に基づいて計測された３次元空間における第１のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第１のユーザの指示動作の種類を推定する推定部と、前記第１のユーザの指示動作の種類に基づいて、第２のユーザへの指示情報を生成する指示情報生成部と、を備える、第１の情報処理システムと、前記指示情報を受信する受信部と、前記指示情報を前記第２のユーザに提示する画像出力部と、を備える、第２の情報処理システムと、を有する、第３の情報処理システムが提供される。
【発明の効果】
【００２２】
以上説明したように本発明によれば、第１のユーザの意図を把握して第１のユーザから第２のユーザへの指示情報をより適切に生成することを可能とする技術が提供される。
【図面の簡単な説明】
【００２３】
【図１】一般的な遠隔作業支援システムについて説明するための図である。
【図２】本発明の実施形態に係る遠隔作業支援システム（作）の構成例を示す図である。
【図３】同実施形態に係る遠隔作業支援システム（指）の構成例を示す図である。
【図４】手部計測部によって計測される指示者の手部の位置について説明するための図である。
【図５】手部計測部によって計測される指示者の手部の位置について説明するための図である。
【図６】遠隔作業支援システム（指）の上面図である。
【図７】遠隔作業支援システム（指）における映像出力部（指）の正面図である。
【図８】同実施形態に係る遠隔作業支援システムの機能構成例を示すブロック図である。
【図９】指示者によって位置指示動作が行われる様子の例を示す図である。
【図１０】指示者による指示動作の種類が位置指示動作であると推定された場合、かつ、指示者が接触情報取得部に接触していない場合の様子の例を示す図である。
【図１１】指示者による指示動作の種類が位置指示動作であると推定された場合、かつ、指示者が接触情報取得部に接触している場合の様子の例を示す図である。
【図１２】指示者によって方向指示動作が行われる様子の例を示す図である。
【図１３】指示者によって方向指示動作の例として左方向への指さしが行われた場合の様子の例を示す図である。
【図１４】指示者の手部によって方向が表現される場合について説明するための図である。
【図１５】指示者によって形状指示動作が行われる様子の例を示す図である。
【図１６】指示者によって形状指示動作の例として両手を拡げたジェスチャが行われた場合の様子の例を示す図である。
【図１７】同実施形態に係る遠隔作業支援システムの動作例を示すフローチャートである。
【図１８】方向を示す表示オブジェクトの第１の変形例を説明するための図である。
【図１９】方向を示す表示オブジェクトの第２の変形例を説明するための図である。
【図２０】方向を示す表示オブジェクトの第２の変形例を説明するための図である。
【図２１】方向を示す表示オブジェクトの第３の変形例を説明するための図である。
【図２２】方向を示す表示オブジェクトの第３の変形例を説明するための図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２６】
（１．概要）
まず、本発明の実施形態に係る概要について説明する。
【００２７】
一般に、ある人物が近くに存在する人物に対して何らかの説明を行う場合には、言葉によって説明だけではなく、身振り（ジェスチャ）などの動作（手部の姿勢および動きを含む）による説明を行う場合が多い。特に、ある人物（指示者）が作業などを近くに存在する人物（作業者）に説明する場合には、手部の動作による説明は、言葉による説明と比べて情報量が多く、指示者にとっては作業を説明しやすく、作業者にとっては作業を理解しやすい。一方、近年では、遠隔作業支援システムによって、現場の作業者に対して遠隔地から指示者によって指示（情報支援）が行われるようになりつつある。
【００２８】
図１は、一般的な遠隔作業支援システムについて説明するための図である。図１を参照すると、作業者側には作業者Ｕ９１が存在し、（作業者側からの遠隔地にあたる）指示者側には指示者Ｕ９２が存在している。作業者Ｕ９１は、作業者端末９１を利用しており、指示者Ｕ９２は、指示者端末９２を利用している。作業者端末９１と指示者端末９２とは、ネットワーク９０を介して通信可能である。図１には、作業者端末９１がタブレット端末である場合が示されているが、作業者端末９１はウェアラブル端末などである場合も想定される。また、図１には、指示者端末９２がＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である場合が示されているが、指示者端末９２の種類としても多様な種類が想定される。
【００２９】
例えば、作業者端末９１はカメラを備えており、カメラによって撮像された映像（作業者側映像）を指示者端末９２に送信する。これによって、作業者と指示者とが同じ作業者側映像を見ることが可能になる（同じ作業者側映像を共有する）。指示者は、作業者側映像を介して作業者側の状況を把握し、音声または作業者側映像への描線などにより作業者への指示情報を入力する。指示情報は、指示者端末９２から作業者端末９１に送信される。これにより、指示者Ｕ９２は、遠隔地から作業者Ｕ９１に対して作業などの説明を行うことができるようになる。
【００３０】
このように、図１に示されたような一般的な遠隔作業支援システムでは、映像に対する描線および音声入力などといった動作によって指示が行われ得る。しかし、指示者Ｕ９２と作業者Ｕ９１とが近くに存在する場合に行われ得るような指示動作（例えば、手部によるジェスチャ、指さしなど）によって、指示者Ｕ９２から作業者Ｕ９１に指示を行うことはできない。そのため、例えば、指示者Ｕ９２は多くの言葉を用いて作業を説明しなくてはならないため、指示者Ｕ９２は説明を行いにくく、作業者Ｕ９１は説明を受けにくい（指示者Ｕ９２および作業者Ｕ９１ともに指示情報の共有に苦労する）。
【００３１】
指示者Ｕ９２は、説明を行いやすくするため、手部によるジェスチャによって手部の形状を直接的に指示情報として作業者Ｕ９１に通知したい場合もあり得る。あるいは、指示者Ｕ９２は、指さしによって方向を指示情報として作業者Ｕ９１に通知したい場合もあり得る。このように、指示者Ｕ９２が通知したい指示情報としては様々な種類が想定される。したがって、指示者Ｕ９２の意図（指示者Ｕ９２が如何なる種類の指示情報を作業者Ｕ９１に通知したいか）を把握して指示者Ｕ９２の意図に応じた指示情報を生成することが有用である。
【００３２】
そこで、本発明の実施形態においては、指示者Ｕ９２の意図を把握して指示者Ｕ９２から作業者Ｕ９１への指示情報をより適切に生成する技術について主に説明する。なお、以下では、指示者Ｕ９２が作業者Ｕ９１に作業に関する指示を行う場合を主に想定する。しかし、作業者Ｕ９１は実際に作業を行わなくてもよいし、指示者Ｕ９２は、作業以外に関する指示を行ってもよい。すなわち、以下に説明する「指示者」は、何らかの指示を行う「第１のユーザ」であってよく、以下に説明する「作業者」は、「第１のユーザ」から指示を受ける「第２のユーザ」であってよい。
【００３３】
以下では、「指示者」によって利用される情報処理システム（第１の情報処理システム）を「遠隔作業支援システム（指）」と主に表現する。また、「作業者」によって利用される情報処理システム（第２の情報処理システム）を「遠隔作業支援システム（作）」と主に表現する。さらに、第１の情報処理システムと第２の情報処理システムとを総合した情報処理システム（第３の情報処理システム）を「遠隔作業支援システム」と主に表現する。
【００３４】
なお、同様にして、以下では、「指示者」によって利用される構成要素の末尾に（指）との文字列を付加して説明を行う場合がある。また、「作業者」によって利用される構成要素の末尾に（作）との文字列を付加して説明を行う場合がある。これによって、「指示者」によって利用される構成要素と「作業者」によって利用される構成要素との間で同じ名称の構成要素があったとしても、これらの構成要素が区別され得る。
【００３５】
以上、本発明の実施形態に係る概要について説明した。
【００３６】
（２．システム構成例）
続いて、本発明の実施形態に係る遠隔作業支援システムの構成例について説明する。
【００３７】
図２は、本発明の実施形態に係る遠隔作業支援システム（作）の構成例を示す図である。図２に示されるように、本発明の実施形態に係る遠隔作業支援システム（作）１０は、作業者Ｕ１によって利用されるシステムであり、ネットワーク３０を介して、遠隔作業支援システム（指）２０（図３）と通信可能に構成されている。また、遠隔作業支援システム（作）１０は、遠隔作業支援装置（作）１１を有しており、遠隔作業支援装置（作）１１は、映像取得部１０１、映像出力部（作）１０２および音声入出力部（作）１０３を有している。
【００３８】
映像取得部１０１は、イメージセンサによって構成され、イメージセンサによる撮像によって映像（作業者側映像）を取得する。本発明の実施形態においては、映像取得部１０１が、遠隔作業支援装置（作）１１の背面に設けられている場合を主に想定する。しかし、映像取得部１０１が設けられる位置は限定されない。例えば、映像取得部１０１は、遠隔作業支援装置（作）１１の前面に設けられていてもよいし、遠隔作業支援装置（作）１１の側面に設けられてもよい。
【００３９】
映像出力部（作）１０２は、ディスプレイによって構成され、映像取得部１０１によって得られた映像（作業者側映像）を出力する機能を有する。また、映像出力部（作）１０２は、遠隔作業支援システム（指）２０（図３）から受信された指示情報を出力する機能も有する。ここで、ディスプレイの形態は特に限定されない。例えば、ディスプレイは、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置であってもよいし、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置であってもよいし、ランプなどの表示装置であってもよい。
【００４０】
音声入出力部（作）１０３は、マイクロフォンおよびスピーカによって構成される。マイクロフォンは、作業者Ｕ１によって発せられる音声を検出する。一方、スピーカは、遠隔作業支援システム（指）２０（図３）から受信される指示者Ｕ２の音声を出力する。なお、図２に示された例では、便宜上、マイクロフォンおよびスピーカを含む音声入出力部（作）１０３が一箇所に設けられている。しかし、マイクロフォンおよびスピーカは、離れた位置に設けられてよい。また、遠隔作業支援装置（作）１１が、作業者Ｕ１の身体に装着可能なウェアラブル端末である場合、音声入出力部（作）１０３は、ヘッドセットとして構成されてもよい。
【００４１】
その他、遠隔作業支援装置（作）１１は、図示しない制御部を有している。図示しない制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを含み、図示しない記憶部により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、図示しない制御部は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【００４２】
かかる図示しない記憶部は、図示しない制御部を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、かかる図示しない記憶部は、図示しない制御部の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。
【００４３】
また、遠隔作業支援装置（作）１１は、通信部（作）１０４（図８）を備える。通信部（作）１０４は、ネットワーク３０を介して遠隔作業支援システム（指）２０との間で通信を行う通信インタフェースであってよい。本発明の実施形態においては、通信部（作）１０４が有線による通信を行う場合を主に想定するが、通信部（作）１０４は、無線による通信を行ってもよい。
【００４４】
なお、本発明の実施形態においては、図２に示されたように、遠隔作業支援装置（作）１１が、映像取得部１０１、映像出力部（作）１０２および音声入出力部（作）１０３を有する場合を主に想定する。しかし、映像取得部１０１、映像出力部（作）１０２および音声入出力部（作）１０３の一部または全部は、遠隔作業支援装置（作）１１の外部に存在してもよい。
【００４５】
また、本発明の実施形態においては、遠隔作業支援装置（作）１１がタブレット端末である場合を主に想定する。しかし、遠隔作業支援装置（作）１１は、タブレット端末に限定されない。例えば、遠隔作業支援装置（作）１１は、スマートフォンであってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）であってもよい。あるいは、遠隔作業支援装置（作）１１は、作業者Ｕ１の身体に装着可能なウェアラブル端末であってもよいし、他の端末であってもよい。
【００４６】
例えば、作業者Ｕ１は、何らかの作業を行おうとしている。作業者Ｕ１によって行われる作業の種類は限定されない。本発明の実施形態においては、作業者Ｕ１によって行われる作業が電化製品の設置作業である場合を主に想定する。かかる場合、作業者Ｕ１によって映像取得部１０１が電化製品に向けられ、映像取得部１０１によって電化製品の映像が撮像され、遠隔作業支援装置（作）１１によって電化製品の映像が指示者側映像として指示者側に送信される。これによって、指示者Ｕ２（図３）は、電化製品の映像を見ながら指示動作によって指示を行うことができる。
【００４７】
そして、遠隔作業支援装置（作）１１によって指示者Ｕ２からの指示情報が受信され、映像出力部（作）１０２によって指示情報に応じた表示オブジェクトが表示されると、作業者Ｕ１は、表示オブジェクトを見ながら作業を行うことが可能である。これによって、作業者Ｕ１は、効率的に作業を行うことができる。なお、音声入出力部（作）１０３によって受け付けられた作業者Ｕ１の発する音声は、指示者側に送信され、指示者Ｕ２の発する音声は、指示者側から受信されて音声入出力部（作）１０３によって出力される。かかる音声の入出力によっても、効率的な作業が支援され得る。
【００４８】
以上、本発明の実施形態に係る遠隔作業支援システム（作）の構成例について説明した。
【００４９】
図３は、本発明の実施形態に係る遠隔作業支援システム（指）２０の構成例を示す図である。図３に示されるように、本発明の実施形態に係る遠隔作業支援システム（指）２０は、指示者Ｕ２によって利用されるシステムであり、ネットワーク３０を介して、遠隔作業支援システム（作）１０（図２）と通信可能に構成されている。また、遠隔作業支援システム（指）２０は、遠隔作業支援装置（指）２１、手部計測部２０１、接触情報取得部２０３、映像出力部（指）２０５および音声入出力部（指）２０６を有している。
【００５０】
手部計測部２０１は、例えば、赤外線ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）および赤外線ステレオカメラを含んで構成される。このとき、手部計測部２０１は、赤外線ＬＥＤによって赤外線を照射し、反射した赤外線を赤外線ステレオカメラによって撮像することによって映像（指示者側映像）を取得する。また、手部計測部２０１は、指示者側映像に基づいて、３次元空間における指示者Ｕ２の手部の位置を計測する。本発明の実施形態においては、手部計測部２０１が、指示者Ｕ２の斜め前方の上方に設けられている場合を主に想定する。しかし、手部計測部２０１が設けられる位置は限定されない。例えば、手部計測部２０１は、指示者Ｕ２の前方の上方に設けられてもよいし、指示者Ｕ２の斜め後方の上方に設けられてもよい。
【００５１】
ここで、手部計測部２０１によって計測される指示者Ｕ２の手部の位置について説明する。図４は、手部計測部２０１によって計測される指示者Ｕ２の手部の位置について説明するための図である。図４を参照すると、手部計測部２０１による計測対象領域に、指示者Ｕ２の左手Ｌｈと指示者Ｕ２の右手Ｒｈとが存在している。図４に示されたように、手部計測部２０１によって、左手Ｌｈおよび右手Ｒｈの各頂点の３次元空間における位置（３次元位置）が計測される（すなわち、「骨格モデル情報」が計測される）。
【００５２】
具体的に、手部計測部２０１によって位置が計測される頂点としては、指先、指関節、掌を構成する多角形の頂点、掌を構成する頂点群の重心、五指それぞれの曲げ／伸ばし情報などが含まれ得る。なお、図４には、頂点の一例として、右手Ｒｈの親指の先端Ｐ１が示されている。
【００５３】
図５は、手部計測部２０１によって計測される指示者Ｕ２の手部の位置について説明するための図である。図５を参照すると、手部計測部２０１による計測対象領域に、指示者Ｕ２の右手Ｒｈが存在している。すなわち、図５に示された計測対象領域は、図４に示された計測対象領域の拡大図に相当する。
【００５４】
図５に示されたように、手部計測部２０１によって、右手Ｒｈの各頂点の重心ＲｈＰの３次元空間における位置（３次元位置）が計測される。同様にして、左手Ｌｈの各頂点の重心の３次元空間における位置（３次元位置）も計測される。本発明の実施形態においては、右手Ｒｈの掌を構成する頂点群の重心および左手Ｌｈの掌を構成する頂点群の重心が、手部の位置の例として用いられる。なお、図５を参照すると、掌の外接円の直径ｒが示されている。かかる掌の外接円の直径ｒは、後に説明するように領域のサイズの決定に用いられてもよい。
【００５５】
図３に戻って説明を続ける。映像出力部（指）２０５は、ディスプレイによって構成され、遠隔作業支援システム（作）１０から受信された映像（作業者側映像）を出力する機能を有する。また、映像出力部（作）１０２は、遠隔作業支援装置（指）２１によって生成された指示情報を出力する機能も有する。ここで、ディスプレイの形態は特に限定されない。例えば、ディスプレイは、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ装置であってもよいし、液晶ディスプレイ（ＬＣＤ）装置であってもよいし、ＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）装置であってもよいし、ランプなどの表示装置であってもよい。
【００５６】
音声入出力部（指）２０６は、マイクロフォンおよびスピーカによって構成される。マイクロフォンは、指示者Ｕ２によって発せられる音声を検出する。一方、スピーカは、遠隔作業支援システム（作）１０から受信される作業者Ｕ１の音声を出力する。なお、図３に示された例では、便宜上、マイクロフォンおよびスピーカを含む音声入出力部（指）２０６が同一の筐体に設けられている。しかし、マイクロフォンおよびスピーカは、異なる筐体に設けられてもよい。また、音声入出力部（指）２０６が設けられる位置も限定されない。
【００５７】
接触情報取得部２０３は、タッチパネルによって構成され、指示者Ｕ２によるタッチパネルへの接触位置を検出する。例えば、タッチパネルの方式は、静電容量方式であってよいが、特に限定されない。本発明の実施形態においては、遠隔作業支援システム（指）２０が接触情報取得部２０３（タッチパネル）を有する場合を主に想定する。しかし、遠隔作業支援システム（指）２０は、接触情報取得部２０３（タッチパネル）の代わりに、指示者Ｕ２によって指示される位置を検出可能な他の入力機器を有してもよい。例えば、指示者Ｕ２によるタッチパネルへの接触位置にアイコンが存在した場合、アイコンに対応する機能が実行されてもよい。
【００５８】
遠隔作業支援装置（指）２１は、図示しない制御部を有している。図示しない制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを含み、図示しない記憶部により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、図示しない制御部は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【００５９】
かかる図示しない記憶部は、図示しない制御部を動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、かかる図示しない記憶部は、図示しない制御部の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。
【００６０】
遠隔作業支援装置（指）２１は、通信部（指）２０７（図８）を備える。通信部（指）２０７は、ネットワーク３０を介して遠隔作業支援システム（作）１０との間で通信を行う通信インタフェースであってよい。本発明の実施形態においては、通信部（指）２０７が有線による通信を行う場合を主に想定するが、通信部（指）２０７は、無線による通信を行ってもよい。
【００６１】
なお、本発明の実施形態においては、図３に示されたように、手部計測部２０１、接触情報取得部２０３、映像出力部（指）２０５および音声入出力部（指）２０６が、遠隔作業支援装置（指）２１の外部に存在する場合を主に想定する。しかし、手部計測部２０１、接触情報取得部２０３、映像出力部（指）２０５および音声入出力部（指）２０６の一部または全部は、遠隔作業支援装置（指）２１の内部に存在してもよい。
【００６２】
例えば、指示者Ｕ２は、作業者Ｕ１によって行われる作業を支援するために、作業者Ｕ１に指示を行おうとしている。本発明の実施形態においては、指示者Ｕ２によって行われる支援が電化製品の設置作業の支援である場合を主に想定する。かかる場合、遠隔作業支援装置（指）２１によって作業者側から電化製品の映像が受信されると、映像出力部（指）２０５によって電化製品の映像が表示される。これによって、指示者Ｕ２は、電化製品の映像を見ながら指示動作によって指示を行うことができる。
【００６３】
指示者Ｕ２による指示動作の種類は限定されない。本発明の実施形態においては、指示動作として、位置を指示ための指示動作（以下、「位置指示動作」とも言う。）、方向を指示するための指示動作（以下、「方向指示動作」とも言う。）、形状を指示するための指示動作（以下、「形状指示動作」とも言う。）の３つが用いられる場合を想定する（３つの指示動作は互いに異なっている）。しかし、指示動作としては、これらの３つの指示動作（第１の種類から第３の種類まで）のうちのいずれか２つの指示動作が用いられてもよい。
【００６４】
本発明の実施形態においては、位置指示動作によって指示される位置としてタッチパネルへの手部の接触位置が用いられ、方向指示動作によって指示される方向として指さしによって示される方向（指さし方向）が用いられ、形状指示動作によって指示される形状として手部によるジェスチャ（手部の形状）が用いられる場合を想定する。しかし、位置指示動作によって指示される位置、方向指示動作によって指示される方向、および、形状指示動作によって指示される形状それぞれとしてどのような情報が用いられるかも特に限定されない。
【００６５】
また、本発明の実施形態においては、指示動作の種類ごとに領域があらかじめ設定されている（各領域は互いに異なっている）。ここで、指示動作の種類ごとに設定される領域は、指示者Ｕ２によって指示動作が行われることが予測される領域であるのがよく、遠隔作業支援システム（指）２０によって自動的に設定されるのがよい。例えば、これらの領域は、遠隔作業支援システム（指）２０が設置されるときの初期処理の一つとして実行されてもよい。ここで、図６および図７を参照しながら、各領域の位置、サイズ、形状の例について説明する。
【００６６】
図６は、遠隔作業支援システム（指）２０の上面図である。また、図７は、遠隔作業支援システム（指）２０における映像出力部（指）２０５の正面図である。図６および図７を参照すると、位置指示領域Ｒ１（第１の領域）、方向指示領域Ｒ２（第２の領域）および形状指示領域Ｒ３（第３の領域）が示されている。
【００６７】
位置指示領域Ｒ１は、指示者Ｕ２によって位置指示動作、すなわち、指示者Ｕ２によって接触情報取得部２０３（タッチパネル）への手部の接触が行われる場合に手部の位置が属すると予測される領域である。具体的には、図６および図７に示されるように、位置指示領域Ｒ１は、接触情報取得部２０３（タッチパネル）の位置から、接触情報取得部２０３（タッチパネル）の位置を基準として接触情報取得部２０３（タッチパネル）の前方に所定の長さＬ１だけ離れた位置までの空間（直方体）を含んでよい。しかし、位置指示領域Ｒ１の位置および形状は限定されない。また、長さＬ１は、掌の外接円の直径ｒと同程度であってよいが限定されない。
【００６８】
方向指示領域Ｒ２は、指示者Ｕ２によって方向指示動作、すなわち、指示者Ｕ２によって指さしが行われる場合に手部の位置が属すると予測される領域である。具体的には、図６および図７に示されるように、方向指示領域Ｒ２は、手部計測部２０１の撮像方向と映像出力部（指）２０５の正面方向との交点を中心とした球面内部であってよいが、方向指示領域Ｒ２の位置および形状は限定されない。また、方向指示領域Ｒ２の直径Ｌ２は、掌の外接円の直径ｒと同程度であってよいが限定されない。
【００６９】
形状指示領域Ｒ３は、指示者Ｕ２によって形状指示動作、すなわち、指示者Ｕ２によってジェスチャが行われる場合に手部の位置が属すると予測される領域である。図６に示されたように、形状指示領域Ｒ３は、手部計測部２０１による計測対象領域Ｒのうち、位置指示領域Ｒ１および方向指示領域Ｒ２が除外された後の領域であってよい。すなわち、位置指示領域Ｒ１および方向指示領域Ｒ２それぞれの位置、サイズ、形状が限定されないのと同様に、形状指示領域Ｒ３の位置、サイズ、形状も限定されない。
【００７０】
手部計測部２０１によって指示者Ｕ２の手部の位置が計測されると、遠隔作業支援装置（指）２１は、手部の位置と、位置指示領域Ｒ１、方向指示領域Ｒ２および形状指示領域Ｒ３とに基づいて、指示者Ｕ２の指示動作の種類（指示者Ｕ２の意図）を推定する。そして、遠隔作業支援装置（指）２１は、指示者Ｕ２の指示動作の種類に基づいて、作業者Ｕ１への指示情報を生成する。遠隔作業支援装置（指）２１は、作業者Ｕ１への指示情報を遠隔作業支援装置（作）１１に送信する。これによって、指示者Ｕ２は、効率的に作業の支援を行うことができる。
【００７１】
なお、音声入出力部（指）２０６によって受け付けられた指示者Ｕ２の発する音声は、作業者側に送信され、作業者Ｕ１の発する音声は、作業者側から受信されて音声入出力部（指）２０６によって出力される。かかる音声の入出力によっても、効率的な作業が支援され得る。
【００７２】
以上、本発明の実施形態に係る遠隔作業支援システム（指）の構成例について説明した。
【００７３】
（３．遠隔作業支援システムの機能構成例）
続いて、本発明の実施形態に係る遠隔作業支援システム１の機能構成例について説明する。図８は、本発明の実施形態に係る遠隔作業支援システム１の機能構成例を示すブロック図である。図８に示されるように、本発明の実施形態に係る遠隔作業支援システム１は、遠隔作業支援システム（作）１０および遠隔作業支援システム（指）２０を有している。
【００７４】
遠隔作業支援システム（作）１０は、映像取得部１０１、映像出力部（作）１０２、音声入出力部（作）１０３および通信部（作）１０４を備える。また、遠隔作業支援システム（指）２０は、手部計測部２０１、手部解析部２０２（推定部）、接触情報取得部２０３、指示情報生成部２０４、映像出力部（指）２０５、音声入出力部（指）２０６および通信部（指）２０７を有している。通信部（作）１０４と通信部（指）２０７とは、ネットワーク３０を介して通信可能に構成されている。以下の説明においては、適宜図８を参照する。
【００７５】
以上、本発明の実施形態に係る遠隔作業支援システム１の機能構成例について説明した。
【００７６】
（４．遠隔作業支援システムの機能詳細例）
続いて、本発明の実施形態に係る遠隔作業支援システム１の機能詳細について説明する。
【００７７】
（４−１．位置指示動作が行われる場合）
まず、図９〜図１１を参照しながら、指示者Ｕ２によって位置指示動作が行われる場合について説明する。図９は、指示者Ｕ２によって位置指示動作が行われる様子の例を示す図である。図９を参照すると、指示者Ｕ２が映像出力部（指）２０５を見ている様子が示されている。ここでは、通信部（指）２０７によって作業者映像（第２の画像）が受信され、映像出力部（指）２０５によって作業者側映像が表示され、指示者Ｕ２が作業者映像を見ている場合を想定する。
【００７８】
例えば、指示者Ｕ２が、作業者側映像における位置を作業者Ｕ１に指示したくなった場合を想定する。かかる場合には、指示者Ｕ２によって接触情報取得部２０３（タッチパネル）への手部の接触が行われる。このとき、図９に示されるように、指示者Ｕ２の手部の位置は、位置指示動作に対応する位置指示領域Ｒ１に属すると予測される。そこで、手部計測部２０１は、計測対象領域の映像（第１の画像）を撮像し、撮像した映像に基づいて３次元空間における指示者Ｕ２の手部の位置を計測する。ここでは、一例として、指示者Ｕ２の右手の位置を計測する場合を想定する。
【００７９】
続いて、手部解析部２０２は、手部計測部２０１によって計測された指示者Ｕ２の手部の位置と位置指示領域Ｒ１、方向指示領域Ｒ２および形状指示領域Ｒ３とに基づいて、指示者Ｕ２の指示動作の種類を推定する。そして、指示情報生成部２０４は、指示者Ｕ２の指示動作の種類に基づいて、作業者Ｕ１への指示情報を生成する。具体的に、図９に示されたように、指示者Ｕ２の手部の位置が位置指示領域Ｒ１に属する場合には、手部解析部２０２は、指示者Ｕ２による指示動作の種類を位置指示動作であると推定する。
【００８０】
そして、指示情報生成部２０４は、指示者Ｕ２による指示動作の種類が位置指示動作であると推定された場合には、位置指示動作に対応する指示情報（第１の指示情報）を生成する。より詳細には、指示情報生成部２０４は、指示者Ｕ２による指示動作の種類が位置指示動作であると推定された場合には、指示者Ｕ２の手部による接触情報取得部２０３（タッチパネル）への接触位置を指示情報（第１の指示情報）として生成する。
【００８１】
通信部（指）２０７は、指示者Ｕ２の手部による接触情報取得部２０３（タッチパネル）への接触位置を指示情報（第１の指示情報）として、ネットワーク３０を介して遠隔作業支援システム（作）１０に送信する。遠隔作業支援システム（作）１０において、通信部（作）１０４は、かかる接触位置を指示情報（第１の指示情報）として、ネットワーク３０を介して受信する。そして、映像出力部（作）１０２は、かかる指示情報に応じた表示オブジェクトを作業者側映像に重畳表示する（作業者Ｕ１に提示する）。
【００８２】
図１０は、指示者Ｕ２による指示動作の種類が位置指示動作であると推定された場合、かつ、指示者Ｕ２が接触情報取得部２０３（タッチパネル）に接触していない場合の様子の例を示す図である。図１０に示されたように、指示動作の種類が位置指示動作であると推定された場合、かつ、指示者Ｕ２が接触情報取得部２０３（タッチパネル）に接触していない場合を想定する。かかる場合、指示者Ｕ２の手部の各頂点のうち、接触情報取得部２０３（タッチパネル）に最も近い頂点から、接触情報取得部２０３（タッチパネル）におろした垂線の足の位置（以下、「近接位置」とも言う。）が、ネットワーク３０を介して遠隔作業支援システム（作）１０に送信される。
【００８３】
遠隔作業支援システム（作）１０において、通信部（作）１０４は、近接位置を、ネットワーク３０を介して受信する。そして、図１０に示されるように、映像出力部（作）１０２は、作業者側映像における近接位置に表示オブジェクトＢ１１を重畳表示する（作業者Ｕ１に提示する）。作業者Ｕ１は、表示オブジェクトＢ１１の位置によって指示者Ｕ２から指示された位置を確認し、指示者Ｕ２によって指示がなされる予兆を把握することができる。なお、図１０に示された例では、表示オブジェクトＢ１１が円形（円形のポインタ）によって示されているが、表示オブジェクトＢ１１の形状は特に限定されない。
【００８４】
なお、図１０に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、作業者側映像における近接位置に表示オブジェクトＢ１１を重畳表示するとよい（指示者Ｕ２に提示するとよい）。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトＢ１１の位置と同じ位置に表示オブジェクトＢ１１を見ることができるため、作業者Ｕ１に指示されている位置を確認することが可能となる。
【００８５】
図１１は、指示者Ｕ２による指示動作の種類が位置指示動作であると推定された場合、かつ、指示者Ｕ２が接触情報取得部２０３（タッチパネル）に接触している場合の様子の例を示す図である。図１１に示されたように、指示動作の種類が位置指示動作であると推定された場合、かつ、指示者Ｕ２が接触情報取得部２０３（タッチパネル）に接触している場合を想定する。かかる場合、指示者Ｕ２による接触情報取得部２０３（タッチパネル）への接触位置が、ネットワーク３０を介して遠隔作業支援システム（作）１０に送信される。
【００８６】
遠隔作業支援システム（作）１０において、通信部（作）１０４は、接触位置を、ネットワーク３０を介して受信する。そして、図１１に示されるように、映像出力部（作）１０２は、作業者側映像における接触位置に表示オブジェクトＢ１２を重畳表示する（作業者Ｕ１に提示する）。作業者Ｕ１は、表示オブジェクトＢ１２の位置によって指示者Ｕ２から指示された位置を確認し、効率的に作業を行うことができる。なお、図１１に示された例では、指示者Ｕ２が手部を接触情報取得部２０３（タッチパネル）に接触させながら移動させたため、映像出力部（作）１０２は、移動開始位置から移動終了位置までの軌跡も表示している。
【００８７】
なお、図１１に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、作業者側映像における接触位置に表示オブジェクトＢ１２を重畳表示するとよい（指示者Ｕ２に提示するとよい）。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトＢ１２の位置と同じ位置に表示オブジェクトＢ１２を見ることができるため、作業者Ｕ１に指示されている位置を確認することが可能となる。
【００８８】
（４−２．方向指示動作が行われる場合）
続いて、図１２〜図１４を参照しながら、指示者Ｕ２によって方向指示動作が行われる場合について説明する。図１２は、指示者Ｕ２によって方向指示動作が行われる様子の例を示す図である。図１２を参照すると、指示者Ｕ２が映像出力部（指）２０５を見ている様子が示されている。ここでも、通信部（指）２０７によって作業者映像（第２の画像）が受信され、映像出力部（指）２０５によって作業者側映像が表示され、指示者Ｕ２が作業者映像を見ている場合を想定する。
【００８９】
例えば、指示者Ｕ２が、作業者側映像における方向を作業者Ｕ１に指示したくなった場合を想定する。かかる場合には、指示者Ｕ２によって指さしが行われる。このとき、図１２に示されるように、指示者Ｕ２の手部の位置は、方向指示動作に対応する方向指示領域Ｒ２に属すると予測される。そこで、手部計測部２０１は、計測対象領域の映像（第１の画像）を撮像し、撮像した映像に基づいて３次元空間における指示者Ｕ２の手部の位置を計測する。ここでも、一例として、指示者Ｕ２の右手の位置を計測する場合を想定する。
【００９０】
続いて、手部解析部２０２は、手部計測部２０１によって計測された指示者Ｕ２の手部の位置と位置指示領域Ｒ１、方向指示領域Ｒ２および形状指示領域Ｒ３とに基づいて、指示者Ｕ２の指示動作の種類を推定する。そして、指示情報生成部２０４は、指示者Ｕ２の指示動作の種類に基づいて、作業者Ｕ１への指示情報を生成する。具体的に、図１２に示されたように、指示者Ｕ２の手部の位置が方向指示領域Ｒ２に属する場合には、手部解析部２０２は、指示者Ｕ２による指示動作の種類を方向指示動作であると推定する。
【００９１】
そして、指示情報生成部２０４は、指示者Ｕ２による指示動作の種類が方向指示動作であると推定された場合には、方向指示動作に対応する指示情報（第２の指示情報）を生成する。より詳細には、指示情報生成部２０４は、指示者Ｕ２による指示動作の種類が方向指示動作であると推定された場合には、指示者Ｕ２の手部の各頂点の位置に基づいて、指示者Ｕ２の手部による指さしによって示される方向を検出し、指さしによって示される方向を指示情報（第２の指示情報）として生成する。
【００９２】
あるいは、指示者Ｕ２の手部の位置が方向指示領域Ｒ２に属するからといって、手部の形状が指さし形状であるとは限らない。したがって、指示情報生成部２０４は、指示者Ｕ２の手部の位置が方向指示領域Ｒ２に属する場合、指示者Ｕ２の手部の各頂点の位置に基づいて、指示者Ｕ２の手部の形状を認識してもよい。そして、指示情報生成部２０４は、指示者Ｕ２の手部の形状が指さし形状ではない場合には、方向指示動作に対応する指示情報（第２の指示情報）を生成せず、指示者Ｕ２の手部の形状が指さし形状である場合に、方向指示動作に対応する指示情報（第２の指示情報）を生成してもよい。
【００９３】
なお、ここでは、方向指示動作として、指さしを例に挙げて説明したが、方向指示動作は、指さしでなくてもよい。すなわち、方向指動作として方向を指示可能な所定の方向指示動作が用いられてもよい。このとき、指さし形状の代わりに所定の方向指示動作に対応する所定の形状が用いられてもよい。
【００９４】
通信部（指）２０７は、指示者Ｕ２の指さしによって示される方向を指示情報（第２の指示情報）として、ネットワーク３０を介して遠隔作業支援システム（作）１０に送信する。遠隔作業支援システム（作）１０において、通信部（作）１０４は、かかる方向を指示情報（第２の指示情報）として、ネットワーク３０を介して受信する。そして、映像出力部（作）１０２は、かかる指示情報に応じた表示オブジェクトを表示する。
【００９５】
図１３は、指示者Ｕ２によって方向指示動作の例として左方向への指さしが行われた場合の様子の例を示す図である。図１３に示されたように、指示者Ｕ２によって方向指示動作の例として左方向への指さしが行われた場合を想定する。かかる場合、指さしによって示される方向（左方向）が、ネットワーク３０を介して遠隔作業支援システム（作）１０に送信される。
【００９６】
遠隔作業支援システム（作）１０において、通信部（作）１０４は、指さしによって示される方向（左方向）を、ネットワーク３０を介して受信する。そして、図１３に示されるように、映像出力部（作）１０２は、指さしによって示される方向（左方向）と同じ方向を示す表示オブジェクトＢ２を作業者側映像に重畳表示する（作業者Ｕ１に提示する）。作業者Ｕ１は、表示オブジェクトＢ２の方向によって指示者Ｕ２から指示された方向を確認し、効率的に作業を行うことができる。なお、図１３に示された例では、表示オブジェクトＢ２が矢印によって示されている。このように方向が矢印によって表現される利点について説明する。
【００９７】
図１４は、指示者Ｕ２の手部によって方向が表現される場合について説明するための図である。図１４を参照すると、右手Ｒｈ−１および右手Ｒｈ−２によって右方向が示されている。また、右手Ｒｈ−３および右手Ｒｈ−４によって左方向が示されている。しかし、手部の可動域には限界があるため、これらの手部の形状は、手部によって示される方向に対して非対称となってしまう。一方、矢印のように対称な図形によって方向が示されれば、作業者Ｕ１によって方向が理解しやすくなることが期待され、指示者Ｕ２の方向の指示動作の負担が低減されることが期待される。しかし、表示オブジェクトＢ２の形状は矢印に限定されない。
【００９８】
なお、図１３に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、指さしによって示される方向と同じ方向を示す表示オブジェクトＢ２を作業者映像に重畳表示するとよい（指示者Ｕ２に提示するとよい）。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトＢ２の方向と同じ方向を示す表示オブジェクトＢ２を見ることができるため、作業者Ｕ１に指示されている方向を確認することが可能となる。
【００９９】
（４−３．形状指示動作が行われる場合）
続いて、図１５および図１６を参照しながら、指示者Ｕ２によって形状指示動作が行われる場合について説明する。図１５は、指示者Ｕ２によって形状指示動作が行われる様子の例を示す図である。図１５を参照すると、指示者Ｕ２が映像出力部（指）２０５を見ている様子が示されている。ここでも、通信部（指）２０７によって作業者映像（第２の画像）が受信され、映像出力部（指）２０５によって作業者側映像が表示され、指示者Ｕ２が作業者映像を見ている場合を想定する。
【０１００】
例えば、指示者Ｕ２が、形状を作業者Ｕ１に指示したくなった場合を想定する。かかる場合には、指示者Ｕ２によってジェスチャが行われる。このとき、図１５に示されるように、指示者Ｕ２の手部の位置は、形状指示動作に対応する形状指示領域Ｒ３に属すると予測される。そこで、手部計測部２０１は、計測対象領域の映像（第１の画像）を撮像し、撮像した映像に基づいて３次元空間における指示者Ｕ２の手部の位置を計測する。ここでも、一例として、指示者Ｕ２の右手の位置を計測する場合を想定する。
【０１０１】
続いて、手部解析部２０２は、手部計測部２０１によって計測された指示者Ｕ２の手部の位置と位置指示領域Ｒ１、方向指示領域Ｒ２および形状指示領域Ｒ３とに基づいて、指示者Ｕ２の指示動作の種類を推定する。そして、指示情報生成部２０４は、指示者Ｕ２の指示動作の種類に基づいて、作業者Ｕ１への指示情報を生成する。具体的に、図１５に示されたように、指示者Ｕ２の手部の位置が形状指示領域Ｒ３に属する場合には、手部解析部２０２は、指示者Ｕ２による指示動作の種類を形状指示動作であると推定する。
【０１０２】
そして、指示情報生成部２０４は、指示者Ｕ２による指示動作の種類が形状指示動作であると推定された場合には、形状指示動作に対応する指示情報（第３の指示情報）を生成する。より詳細には、指示情報生成部２０４は、指示者Ｕ２による指示動作の種類が形状指示動作であると推定された場合には、手部計測部２０１によって計測された指示者Ｕ２の手部（左手および右手）の各頂点の位置を、映像出力部（指）２０５に正対する方向に見た位置に変換し、変換後の各頂点の位置（手部の形状）を指示情報（第３の指示情報）として生成する。
【０１０３】
あるいは、上記したように、指示情報生成部２０４は、指示者Ｕ２の手部の位置が方向指示領域Ｒ２に属する場合、指示者Ｕ２の手部の各頂点の位置に基づいて、指示者Ｕ２の手部の形状を認識してもよい。そして、指示情報生成部２０４は、指示者Ｕ２の手部の形状が指さし形状ではない場合には、方向指示動作に対応する指示情報（第２の指示情報）を生成せず、指示者Ｕ２による指示動作の種類が形状指示動作であると推定し、上記の指示情報（第３の指示情報）を生成してもよい。
【０１０４】
通信部（指）２０７は、指示者Ｕ２の手部（左手および右手）の各頂点の（変換後の）位置（手部の形状）を指示情報（第３の指示情報）として、ネットワーク３０を介して遠隔作業支援システム（作）１０に送信する。遠隔作業支援システム（作）１０において、通信部（作）１０４は、かかる手部の形状を指示情報（第３の指示情報）として、ネットワーク３０を介して受信する。そして、映像出力部（作）１０２は、かかる指示情報に応じた表示オブジェクトを表示する。
【０１０５】
図１６は、指示者Ｕ２によって形状指示動作の例として両手を拡げたジェスチャが行われた場合の様子の例を示す図である。図１６に示されたように、指示者Ｕ２によって形状指示動作の例として両手を拡げたジェスチャが行われた場合を想定する。かかる場合、ジェスチャによって示される手部の形状が、ネットワーク３０を介して遠隔作業支援システム（作）１０に送信される。
【０１０６】
遠隔作業支援システム（作）１０において、通信部（作）１０４は、ジェスチャによって示される手部の形状を、ネットワーク３０を介して受信する。そして、図１６に示されるように、映像出力部（作）１０２は、ジェスチャによって示される手部の形状と同じ形状に応じた表示オブジェクトＢ３を表示する（作業者Ｕ１に提示する）。作業者Ｕ１は、表示オブジェクトＢ３の形状によって指示者Ｕ２から指示された形状を確認し、効率的に作業を行うことができる。なお、図１６に示された例では、表示オブジェクトＢ３が、手部の各頂点の位置に肉付けされた手によって示されている。しかし、表示オブジェクトＢ３は、手部の各頂点の位置自体であってもよい。
【０１０７】
なお、図１６に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、ジェスチャによって示される形状と同じ形状に応じた表示オブジェクトＢ３を表示するとよい（指示者Ｕ２に提示するとよい）。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトＢ２の形状と同じ形状に応じた表示オブジェクトＢ３を見ることができるため、作業者Ｕ１に指示されている形状を確認することが可能となる。
【０１０８】
上記では、指示者Ｕ２の手部（右手）の位置を指示者Ｕ２の指示動作の種類の推定に利用する場合を主に想定した。しかし、指示者Ｕ２が左利きである場合などには、指示者Ｕ２の手部（右手）の位置の代わりに、指示者Ｕ２の手部（左手）の位置を指示者Ｕ２の指示動作の種類の推定に利用してもよい。あるいは、指示者Ｕ２の手部（右手）および手部（左手）の双方を指示者Ｕ２の指示動作の種類の推定に利用してもよい。
【０１０９】
このとき、例えば、手部解析部２０２は、指示者Ｕ２の手部（右手）および手部（左手）の少なくともいずれか一方が位置指示領域Ｒ１に属する場合に、指示者Ｕ２による指示動作の種類を位置指示動作であると推定してもよい。また、手部解析部２０２は、指示者Ｕ２の手部（右手）および手部（左手）の一方のみが方向指示領域Ｒ２に属する場合、かつ、方向指示領域Ｒ２に属する手部の形状が所定の形状（例えば、指さし形状）である場合に、指示者Ｕ２による指示動作の種類を方向指示動作であると推定してもよい。
【０１１０】
また、手部解析部２０２は、指示者Ｕ２の手部（右手）および手部（左手）の少なくともいずれか一方が形状指示領域Ｒ３に属する場合に、指示者Ｕ２による指示動作の種類を形状指示動作であると推定してもよい。それともに、手部解析部２０２は、指示者Ｕ２の手部（右手）および手部（左手）の一方のみが方向指示領域Ｒ２に属する場合かつ方向指示領域Ｒ２に属する手部の形状が所定の形状（例えば、指さし形状）ではない場合に、指示者Ｕ２による指示動作の種類を形状指示動作であると推定してもよい。さらに、手部解析部２０２は、指示者Ｕ２の手部（右手）および手部（左手）の双方が方向指示領域Ｒ２に属する場合、指示者Ｕ２による指示動作の種類を形状示動作であると推定してもよい。
【０１１１】
以上、本発明の実施形態に係る遠隔作業支援システム１の機能詳細例について説明した。
【０１１２】
（５．遠隔作業支援システムの動作例）
続いて、本発明の実施形態に係る遠隔作業支援システム１の動作例について説明する。図１７は、本発明の実施形態に係る遠隔作業支援システム１の動作例を示すフローチャートである。なお、図１７に示された動作例は、本発明の実施形態に係る遠隔作業支援システム１の動作の一例に過ぎない。したがって、本発明の実施形態に係る遠隔作業支援システム１の動作は、図１７に示された動作例に限定されない。
【０１１３】
図１７に示されるように、作業者側において、映像取得部１０１は、撮像によって映像（作業者側映像）を取得する（Ｓ１１）。そして、通信部（作）１０４は、作業者側映像を指示者側に送信する（Ｓ１２）。指示者側において、通信部（指）２０７は、作業者側映像を受信する（Ｓ２１）。そして、手部計測部２０１は、撮像によって映像（指示者側映像）を取得する。また、手部計測部２０１は、指示者側映像に基づいて、３次元空間における指示者Ｕ２の手部の位置を計測する（Ｓ２２）。
【０１１４】
手部計測部２０１によって指示者Ｕ２の手部の位置が計測されなかった場合（Ｓ２３において「Ｎｏ」）、Ｓ２７に動作が移行される。一方、手部計測部２０１によって指示者Ｕ２の手部の位置が計測された場合（Ｓ２３において「Ｙｅｓ」）、手部解析部２０２は、手部の解析を行う（Ｓ２４）。具体的に、手部解析部２０２は、指示者Ｕ２の手部の位置と、位置指示領域Ｒ１、方向指示領域Ｒ２および形状指示領域Ｒ３とに基づいて、指示者Ｕ２の指示動作の種類を推定する。
【０１１５】
指示情報生成部２０４は、指示者Ｕ２の指示動作の種類に基づいて、作業者Ｕ１への指示情報を生成する（Ｓ２５）。通信部（指）２０７は、指示情報を作業者側に送信する。指示情報の送信が終わると、Ｓ２７に動作が移行される。
【０１１６】
作業者側において、通信部（作）１０４は、指示者側から指示情報が送信された場合に、指示情報を受信する（Ｓ１３）。映像出力部（作）１０２は、作業者側の情報出力を行う（Ｓ１４）。具体的に、映像出力部（作）１０２は、指示者側から指示情報が受信された場合には、作業者側映像を表示するとともに、作業者側映像に重畳された指示情報を表示する。一方、映像出力部（作）１０２は、指示者側から指示情報が受信されなかった場合には、作業者側映像を表示する。作業者側の情報出力が終わると、動作がＳ１１に移行される。
【０１１７】
指示者側においては、映像出力部（指）２０５は、指示者側の情報出力を行う（Ｓ２７）。具体的に、映像出力部（指）２０５は、作業者側に指示情報が送信された場合には、作業者側映像を表示するとともに、作業者側映像に重畳された指示情報を表示する。一方、映像出力部（指）２０５は、作業者側に指示情報が送信されなかった場合には、作業者側映像を表示する。指示者側の情報出力が終わると、動作がＳ２１に移行される。
【０１１８】
以上、本発明の実施形態に係る遠隔作業支援システム１の動作例について説明した。
【０１１９】
（６．表示オブジェクトの変形例）
上記のように、映像出力部（作）１０２および映像出力部（指）２０５それぞれによって、指示情報に応じた表示オブジェクトが表示される。ここで、表示オブジェクトは、上記した例に限定されない。例えば、上記では、方向を示す表示オブジェクトが矢印によって表現される場合について説明した。しかし、方向を示す表示オブジェクトは、矢印に限定されない。以下、方向を示す表示オブジェクトの変形例について説明する。
【０１２０】
図１８は、方向を示す表示オブジェクトの第１の変形例を説明するための図である。図１８を参照すると、左方向に対応する表示領域Ｂ２１、上方向に対応する表示領域Ｂ２２、右方向に対応する表示領域Ｂ２３、下方向に対応する表示領域Ｂ２４が示されている。ここでは、図１３に示された例と同様に、指示者Ｕ２によって方向指示動作の例として左方向への指さしが行われた場合を想定する。かかる場合、映像出力部（作）１０２は、指さしによって示される方向（左方向）に対応する表示領域（左方向に対応する表示領域Ｂ２１）に表示オブジェクトを表示する。作業者Ｕ１は、表示オブジェクトの表示領域によって指示者Ｕ２から指示された方向を確認し、効率的に作業を行うことができる。
【０１２１】
また、指さしによって示される方向が斜め方向である場合も想定される。かかる場合には、映像出力部（作）１０２は、斜め方向に近い２つの方向に対応する表示領域に表示オブジェクトを表示すればよい。このとき、映像出力部（作）１０２は、２つの方向のうち、が斜め方向から近い方向ほど、表示オブジェクトを濃くしてもよいし、表示オブジェクトのサイズを大きくしてもよい。
【０１２２】
なお、図１３に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、指さしによって示される方向と同じ方向に対応する表示領域（左方向に対応する表示領域Ｂ２１）に表示オブジェクトを表示するとよい。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者Ｕ１に指示されている方向を確認することが可能となる。
【０１２３】
図１９および図２０は、方向を示す表示オブジェクトの第２の変形例を説明するための図である。図１９および図２０を参照すると、図１８に示された例と同様に、左方向に対応する表示領域Ｂ２１、上方向に対応する表示領域Ｂ２２、右方向に対応する表示領域Ｂ２３、下方向に対応する表示領域Ｂ２４が示されている。さらに、図１９および図２０を参照すると、図１８に示された例と異なり、奥行き方向に対応する表示領域Ｂ２５、手前方向に対応する表示領域Ｂ２６が示されている。
【０１２４】
図１９に示される例では、指示者Ｕ２によって方向指示動作の例として奥行き方向への指さしが行われた場合を想定する。かかる場合、映像出力部（作）１０２は、指さしによって示される方向（奥行き方向）に対応する表示領域（奥行き方向に対応する表示領域Ｂ２５）に表示オブジェクトを表示する。作業者Ｕ１は、表示オブジェクトの表示領域によって指示者Ｕ２から指示された方向を確認し、効率的に作業を行うことができる。
【０１２５】
また、図１９に示されるように、上方向に対応する表示領域Ｂ２２と奥行き方向に対応する表示領域Ｂ２５の形状を異ならせることによって（例えば、図１９に示されるように、上方向に対応する表示領域Ｂ２２の縦方向の幅よりも奥行き方向に対応する表示領域Ｂ２５の縦方向の幅を短くすることによって）、指示者Ｕ２から指示された方向を直感的に理解することができる。
【０１２６】
なお、図１９に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、指さしによって示される方向と同じ方向に対応する表示領域（奥行き方向に対応する表示領域Ｂ２５）に表示オブジェクトを表示するとよい。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者Ｕ１に指示されている方向を確認することが可能となる。
【０１２７】
図２０に示される例では、指示者Ｕ２によって方向指示動作の例として手前方向への指さしが行われた場合を想定する。かかる場合、映像出力部（作）１０２は、指さしによって示される方向（手前方向）に対応する表示領域（手前方向に対応する表示領域Ｂ２６）に表示オブジェクトを表示する。作業者Ｕ１は、表示オブジェクトの表示領域によって指示者Ｕ２から指示された方向を確認し、効率的に作業を行うことができる。
【０１２８】
また、図２０に示されるように、下方向に対応する表示領域Ｂ２４と手前方向に対応する表示領域Ｂ２６の形状を異ならせることによって（例えば、図２０に示されるように、下方向に対応する表示領域Ｂ２４の縦方向の幅よりも手前方向に対応する表示領域Ｂ２６の縦方向の幅を短くすることによって）、指示者Ｕ２から指示された方向を直感的に理解することができる。
【０１２９】
なお、図２０に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、指さしによって示される方向と同じ方向に対応する表示領域（手前方向に対応する表示領域Ｂ２６）に表示オブジェクトを表示するとよい。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者Ｕ１に指示されている方向を確認することが可能となる。
【０１３０】
図２１および図２２は、方向を示す表示オブジェクトの第３の変形例を説明するための図である。図２１に示される例では、指示者Ｕ２によって方向指示動作の例として奥行き方向への指さしが行われた場合を想定する。かかる場合、映像出力部（作）１０２は、指さしによって示される方向（奥行き方向）に対応する形状（３次元的な形状）の表示オブジェクトＢ２７を表示する。作業者Ｕ１は、表示オブジェクトＢ２７によって指示者Ｕ２から指示された方向を確認し、効率的に作業を行うことができる。
【０１３１】
なお、図２１に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、指さしによって示される方向（奥行き方向）と同じ方向に対応する形状（３次元形状）の表示オブジェクトＢ２７を表示するとよい。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者Ｕ１に指示されている方向を確認することが可能となる。
【０１３２】
図２２に示される例では、指示者Ｕ２によって方向指示動作の例として手前方向への指さしが行われた場合を想定する。かかる場合、映像出力部（作）１０２は、指さしによって示される方向（手前方向）に対応する形状（３次元的な形状）の表示オブジェクトＢ２８を表示する。作業者Ｕ１は、表示オブジェクトＢ２８によって指示者Ｕ２から指示された方向を確認し、効率的に作業を行うことができる。
【０１３３】
なお、図２２に示されたように、遠隔作業支援システム（作）１０における映像出力部（作）１０２だけではなく、遠隔作業支援システム（指）２０における映像出力部（指）２０５も、指さしによって示される方向（手前方向）と同じ方向に対応する形状（３次元的な形状）の表示オブジェクトＢ２８を表示するとよい。そうすれば、指示者Ｕ２は、作業者Ｕ１が見ている表示オブジェクトの表示領域と同じ表示領域の表示オブジェクトを見ることができるため、作業者Ｕ１に指示されている方向を確認することが可能となる。
【０１３４】
以上、方向を示す表示オブジェクトの変形例について説明した。
【０１３５】
（７．まとめ）
以上に説明したように、本発明の実施形態によれば、第１の画像に基づいて計測された３次元空間における第１のユーザの手部の位置とあらかじめ指示動作の種類ごとに設定された領域とに基づいて、前記第１のユーザの指示動作の種類を推定する推定部と、前記第１のユーザの指示動作の種類に基づいて、第２のユーザへの指示情報を生成する指示情報生成部と、を備える、第１の情報処理システムが提供される。
【０１３６】
かかる構成によれば、第１のユーザの意図（第１のユーザが如何なる種類の指示情報を第２のユーザに通知したいか）を把握して第１のユーザの意図に応じた指示情報を生成することが可能となる。すなわち、かかる構成によれば、第１のユーザの意図を把握して第１のユーザから第２のユーザへの指示情報をより適切に生成することが可能となる。
【０１３７】
また、本発明の実施形態によれば、第１のユーザは、入力機器を持ち替えたりする動作を行わなくても、第２のユーザに対して指示を行うことができるため、第１のユーザへの負担が低減される。
【０１３８】
また、本発明の実施形態によれば、ポインタおよび矢印のように対称な図形によって位置または方向が示されれば、第２のユーザによって位置または方向が理解しやすくなることが期待され、第１のユーザの位置または方向の指示動作の負担が低減されることが期待される。また、本発明の実施形態によれば、第１のユーザが手部の形状（ジェスチャ）によって指示をしたいときにだけ、第２のユーザに手部の形状による指示されるため、第２のユーザによって形状が理解しやすくなることが期待され、第１のユーザの形状の指示動作の負担が低減されることが期待される。
【０１３９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１４０】
上記では、指示者Ｕ２による指示動作の種類が位置指示動作であると推定された場合に、表示オブジェクト（例えば、円形のポインタ）が表示される例を説明した。このとき、映像出力部（作）１０２は、指示者Ｕ２による指示動作の種類が位置指示動作から他の指示動作に変更された場合、即座に表示オブジェクト（例えば、円形のポインタ）の表示を消し、新たな指示動作に対応する表示オブジェクトを即座に表示させてもよい。
【０１４１】
あるいは、映像出力部（作）１０２は、指示者Ｕ２による指示動作の種類が位置指示動作から他の指示動作に変更された場合、所定の時間が経過してから、あるいは、所定の動作が検出されてから、表示オブジェクト（例えば、円形のポインタ）の表示を消してもよい。これによって、指示者Ｕ２は、位置指示動作を途中で止めても、続けて作業者Ｕ１に位置を指示することが可能となる。あるいは、これによって、指示者Ｕ２は、作業者Ｕ１に位置を指示しながら、形状指示動作を開始することが可能となる。
【０１４２】
同様に、上記では、指示者Ｕ２による指示動作の種類が方向指示動作であると推定された場合に、表示オブジェクト（例えば、矢印）が表示される例を説明した。このとき、映像出力部（作）１０２は、指示者Ｕ２による指示動作の種類が方向指示動作から他の指示動作に変更された場合、即座に表示オブジェクト（例えば、矢印）の表示を消し、新たな指示動作に対応する表示オブジェクトを即座に表示させてもよい。
【０１４３】
あるいは、映像出力部（作）１０２は、指示者Ｕ２による指示動作の種類が方向指示動作から他の指示動作に変更された場合、所定の時間が経過してから、あるいは、所定の動作が検出されてから、表示オブジェクト（例えば、矢印）の表示を消してもよい。これによって、指示者Ｕ２は、方向指示動作を途中で止めても、続けて作業者Ｕ１に方向を指示することが可能となる。あるいは、これによって、指示者Ｕ２は、作業者Ｕ１に方向を指示しながら、形状指示動作を開始することが可能となる。
【０１４４】
上記では、遠隔作業支援システム（指）２０が接触情報取得部２０３（タッチパネル）を有する場合を主に説明した。しかし、遠隔作業支援システム（指）２０は、接触情報取得部２０３（タッチパネル）の代わりに、または、接触情報取得部２０３（タッチパネル）に追加して、指示者Ｕ２によって指示される位置を検出可能な他の入力機器を有してもよい。例えば、当該他の入力機器は、マウスであってもよいし、キーボードであってもよい。入力機器として、マウスまたはキーボードなどが用いられる場合には、かかる入力機器に対して指示者Ｕ２によって操作が行われる領域は、手部計測部２０１による計測対象領域から除外されればよい。
【０１４５】
また、上記では、指示者Ｕ２による指示動作の種類が形状指示動作であると推定された場合に、手部の形状と同じ形状に応じた表示オブジェクトが表示される例を説明した。しかし、手部の形状が前後方向への動きを有する場合、２次元的な表現では動きが十分に伝えられない可能性がある。そこで、かかる場合には、映像出力部（作）１０２は、手部の形状の倍率を高めることによって表現を強調して表示オブジェクトを表示してもよい。
【符号の説明】
【０１４６】
１      遠隔作業支援システム
１０    遠隔作業支援システム（作）
１０１  映像取得部
１０２  映像出力部（作）
１０３  音声入出力部（作）
１０４  通信部（作）
２０    遠隔作業支援システム（指）
２０１  手部計測部
２０２  手部解析部
２０３  接触情報取得部
２０４  指示情報生成部
２０５  映像出力部（指）
２０６  音声入出力部（指）
２０７  通信部（指）
３０    ネットワーク
Ｒ１    位置指示領域
Ｒ２    方向指示領域
Ｒ３    形状指示領域
【図１】
2019159936.tif 000003
【図２】
2019159936.tif 000004
【図３】
2019159936.tif 000005
【図４】
2019159936.tif 000006
【図５】
2019159936.tif 000007
【図６】
2019159936.tif 000008
【図７】
2019159936.tif 000009
【図８】
2019159936.tif 000010
【図９】
2019159936.tif 000011
【図１０】
2019159936.tif 000012
【図１１】
2019159936.tif 000013
【図１２】
2019159936.tif 000014
【図１３】
2019159936.tif 000015
【図１４】
2019159936.tif 000016
【図１５】
2019159936.tif 000017
【図１６】
2019159936.tif 000018
【図１７】
2019159936.tif 000019
【図１８】
2019159936.tif 000020
【図１９】
2019159936.tif 000021
【図２０】
2019159936.tif 000022
【図２１】
2019159936.tif 000023
【図２２】
2019159936.tif 000024