(57)【要約】【課題】特殊な検出デバイス群を使用することなく指示者のジェスチャによる指示をロボットに伝達できるようにする。【解決手段】先ず携帯端末ＭＳのディジタルカメラ２によりペットロボットＰＲを撮像してその画像データからＱＲコードの座標値を検出し、この座標値をもとに携帯端末ＭＳとペットロボットＰＲとの相対位置（第１相対位置）及び姿勢（第１姿勢情報）を算出する。次に携帯端末ＭＳを目標点ＴＧに向けてこのときの姿勢（第２姿勢情報）を姿勢センサ５により検出し、この姿勢情報をもとに携帯端末ＭＳと目標点ＴＧとの相対位置（第２相対位置）を算出する。最後に、上記第１及び第２の相対位置と第１及び第２の姿勢情報をもとに、ペットロボットＰＲから見た目標点ＴＧの相対的な位置関係（目標相対位置）を算出し、この目標相対位置をもとにペットロボットＰＲを目標点ＴＧに移動させる。【選択図】      図４
2007098555.tif 000002
【特許請求の範囲】
【請求項１】
位置・姿勢検出手段を備える指示装置を使用して、指示者が被指示対象物に対しジェスチャにより目標点の位置を指示する方法であって、
前記指示装置を指示位置から前記被指示対象物に向けた状態で、前記指示装置と前記被指示対象物との相対位置を前記位置・姿勢検出手段により検出し、検出された相対位置を第１の相対位置情報としてメモリに保存する第１の過程と、
前記指示装置を前記指示位置から前記被指示対象物に向けた状態で、当該指示装置の姿勢を前記位置・姿勢検出手段により検出し、検出された姿勢を第１の姿勢情報として前記メモリに保存する第２の過程と、
前記指示装置を前記指示位置から前記目標点に向けた状態で、前記指示装置と前記目標点との相対位置を前記位置・姿勢検出手段により検出し、検出された相対位置を第２の相対位置情報として前記メモリに保存する第３の過程と、
前記指示装置を前記指示位置から前記目標点に向けた状態で、当該指示装置の姿勢を前記位置・姿勢検出手段により検出し、検出された姿勢を第２の姿勢情報として前記メモリに保存する第４の過程と、
前記メモリに保存された第１及び第２の相対位置情報と第１及び第２の姿勢情報に基づいて、前記被指示対象物から見た前記目標点の位置を算出する第５の過程と
を具備することを特徴とする位置指示方法。
【請求項２】
前記第５の過程により算出された前記被指示対象物から見た前記目標点の位置を、移動指示と共に前記被指示対象物に与え、当該被指示対象物を前記目標点へ移動させる第６の過程を、さらに具備することを特徴とする請求項１記載の位置指示方法。
【請求項３】
目標点の位置とアドレス情報とを相互に対応付けて記憶した位置・アドレスデータベースが設けられている場合に、
前記第５の過程により算出された前記被指示対象物から見た前記目標点の位置をもとに、当該目標点に存在する通信装置のアドレス情報を、前記位置・アドレスデータベースから取得する過程と、
前記取得されたアドレス情報を情報転送指示と共に前記被指示対象物に与え、当該被指示対象物から前記目標点に存在する通信装置へ情報を伝送させる第７の過程を、さらに具備することを特徴とする請求項１記載の位置指示方法。
【請求項４】
前記位置・姿勢検出手段がカメラを備え、かつ前記被指示対象物に予め定められた視覚的位置検出パターンが表示されている場合に、
前記第１の過程は、
前記指示装置を前記指示位置から前記被指示対象物に向けた状態で、当該被指示対象物を前記カメラにより撮像する過程と、
前記撮像により得られた前記被指示対象物の画像データから、前記視覚的位置検出パターンを検出する過程と、
前記視覚的位置検出パターンの検出結果をもとに、前記指示装置と前記被指示対象物との相対位置を検出する過程と
を備える請求項１記載の位置指示方法。
【請求項５】
前記位置・姿勢検出手段がカメラを備え、さらに前記指示装置が投影手段を備える場合に、
前記第１の過程は、
前記指示装置を前記指示位置から前記被指示対象物に向けた状態で、当該被指示対象物に対し前記投影手段により予め定められた視覚的位置検出パターンを投影する過程と、
前記視覚的位置検出パターンが投影された状態で、前記被指示対象物を前記カメラにより撮像する過程と、
前記撮像により得られた前記被指示対象物の画像データから、前記視覚的位置検出パターンを検出する過程と、
前記視覚的位置検出パターンの検出結果をもとに、前記指示装置と前記被指示対象物との相対位置を検出する過程と
を備える請求項１記載の位置指示方法。
【請求項６】
前記位置・姿勢検出手段がカメラを備え、さらに前記指示装置が投影手段を備える場合に、
前記第３の過程は、
前記指示装置を前記指示位置から前記目標点に向けた状態で、当該目標点に対し前記投影手段により予め定められた視覚的位置検出パターンを投影する過程と、
前記視覚的位置検出パターンが投影された状態で、前記目標点を前記カメラにより撮像する過程と、
前記撮像により得られた前記目標点の画像データから、前記視覚的位置検出パターンを検出する過程と、
前記視覚的位置検出パターンの検出結果をもとに、前記指示装置と前記目標点との相対位置を検出する過程と
を備える請求項１記載の位置指示方法。
【請求項７】
前記視覚的位置検出パターンとして二次元コードを用い、
前記視覚的位置検出パターンを検出する過程は、前記画像データ中における前記二次元コードの座標系を検出し、
前記相対位置を検出する過程は、
前記検出された二次元コードの座標系をもとに、当該二次元コードから見た前記指示装置の相対位置を示す三次元ベクトルを算出する過程と、
前記検出された二次元コードの座標系をもとに、当該二次元コードの座標系から見た前記指示装置の座標系の回転を示す３個の角度パラメータを算出する過程と、
前記算出された三次元ベクトル及び３個の角度パラメータを、前記第１又は第２の相対位置情報として前記メモリに保存する過程と
を備えることを特徴とする請求項５又は６記載の位置指示方法。
【請求項８】
前記指示者の身体情報を前記メモリに保存する過程をさらに具備し、
前記第３の過程は、
前記目標点に向けた指示装置の俯角を検出する過程と、
前記検出された指示装置の俯角と、前記メモリに保存された指示者の身体情報をもとに、前記指示装置から前記目標点までの距離を算出する過程と、
前記算出された距離を前記第２の相対位置情報として前記メモリに保存する過程と
を備えることを特徴とする請求項１記載の位置指示方法。
【請求項９】
前記位置・姿勢検出手段が地磁気センサ及び加速度センサからなる姿勢センサを備える場合に、
前記第２及び第４の過程は、前記指示装置を前記指示位置から前記被指示対象物に向けたときの当該指示装置の姿勢、及び前記指示装置を前記指示位置から前記目標点に向けたときの当該指示装置の姿勢を、前記姿勢センサにより検出することを特徴とする請求項１記載の位置指示方法。
【請求項１０】
前記位置・姿勢検出手段がカメラを備える場合に、
前記第２及び第４の過程は、
前記被指示対象物及び目標点を前記カメラにより撮像する過程と、
前記撮像により得られる前記被指示対象物及び目標点の画像データの変化をもとに、オプティカルフローにより当該被指示対象物及び目標点の姿勢を算出する過程と
を備えることを特徴とする請求項１記載の位置指示方法。
【請求項１１】
指示者がジェスチャにより被指示対象物に対し目標点の位置を指示するために使用される指示装置であって、
指示位置から前記被指示対象物に向けられた状態で、自装置と前記被指示対象物との相対位置を検出し、検出された相対位置を第１の相対位置情報としてメモリに保存する手段と、
前記指示位置から前記被指示対象物に向けられた状態で自装置の姿勢を検出し、検出された姿勢を第１の姿勢情報として前記メモリに保存する手段と、
前記指示位置から前記目標点に向けられた状態で、自装置と前記目標点との相対位置を検出し、検出された相対位置を第２の相対位置情報として前記メモリに保存する手段と、
前記指示位置から前記目標点に向けられた状態で自装置の姿勢を検出し、検出された姿勢を第２の姿勢情報として前記メモリに保存する手段と、
前記メモリに保存された第１及び第２の相対位置情報と第１及び第２の姿勢情報とに基づいて、前記被指示対象物から見た前記目標点の位置を算出する手段と
を具備することを特徴とする指示装置。
【請求項１２】
指示者がジェスチャにより被指示対象物に対し目標点の位置を指示するために使用する、コンピュータを備えた指示装置で使用されるプログラムであって、
指示位置から前記被指示対象物に向けられた状態で、自装置と前記被指示対象物との相対位置を検出し、検出された相対位置を第１の相対位置情報としてメモリに保存する処理と、
前記指示位置から前記被指示対象物に向けられた状態で自装置の姿勢を検出し、検出された姿勢を第１の姿勢情報として前記メモリに保存する処理と、
前記指示位置から前記目標点に向けられた状態で、自装置と前記目標点との相対位置を検出し、検出された相対位置を第２の相対位置情報として前記メモリに保存する処理と、
前記指示位置から前記目標点に向けられた状態で自装置の姿勢を検出し、検出された姿勢を第２の姿勢情報として前記メモリに保存する処理と、
前記メモリに保存された第１及び第２の相対位置情報と第１及び第２の姿勢情報とに基づいて、前記被指示対象物から見た前記目標点の位置を算出する処理と
を、前記コンピュータに実行させることを特徴とする指示装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ロボット等の被指示対象物に対し指示者がジェスチャにより目標点の位置を指示するための位置指示方法と、この方法を実現するために使用される指示装置及びプログラムに関する。
【背景技術】
【０００２】
近年、簡易なペット型ロボットが普及し始めているが、この種のロボットを如何に操作するかが重要な課題になっている。特に、一般家庭へのロボットの普及を考慮すると、パーソナル・コンピュータにおいて数値を入力することにより命令を与えることは、指示者にとっては使いやすい方法とは言えない。そこで、ロボットを指示者にとってさらに身近な存在にするため、例えばかけ声や指さしといった人同士が普段行っている指示動作によりロボットに命令を与えることが可能なインタフェースの研究が行われている。
【０００３】
その一例として、音声認識技術を使用したインタフェースや、指示者のジェスチャを認識するインタフェースがある。音声認識技術を使用したインタフェースは、ロボットをネットワークを介してテレビジョン受信機やエアコンディショナ等の家電機器に接続可能とし、指示者の口頭の命令に従ってロボットが上記家電機器を制御したり、ロボットが指示者との間で返事や挨拶をするものである。具体的には、指示者が命令コマンドとなる音声キーワードによりロボットに話しかけると、ロボットは上記音声キーワードをマイクで検出して解析する。そして、解析したキーワードが、ロボットが実行することが可能なタスクの命令コマンドであるか否かをチェックし、実行可能であれば当該命令コマンドに従いネットワークを介して制御対象の家電機器に制御信号を送り動作を制御する。また、その際、上記音声キーワードに対する返事を音声出力するものとなっている。
【０００４】
一方、移動先の位置や離れた場所を指示する場合、一般的に人は「あれ」、「それ」と云った言葉を発しながら、指さし等のジェスチャで上記移動位置等を指示することが多い。このジェスチャによる操作を実現する手段として、ロボットにカメラを搭載し、このカメラの撮像情報を画像処理することによって人のジェスチャを認識するものがある（例えば、特許文献１を参照。）。
【０００５】
【特許文献１】特開平１１−７７５６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、上記従来のジェスチャ認識技術は、画像処理に多大な演算が必要であり、また画像処理において指示者の動きを認識しやすくするために特殊な色を持つマーカを指示者が身につける必要があるため、実施する上での制約が多い。さらに、画像処理により指で指すといった動作を認識可能だったとしても、ロボットと指示者との相対的な位置関係を検出しなければ、指示者がどこを指しているかを判別することができない。ロボットと指示者との相対的及び全体的な位置関係を検出するためには、作業領域において例えばＧＰＳ（Global Positioning System）を利用した位置検出器や圧力センサといった検出デバイス群が必要となる。しかし、この種の検出デバイス群をロボットの制御のためだけに一般家庭に導入することは、コストがかかり過ぎるため実現は困難である。
【０００７】
この発明は上記事情に着目してなされたもので、その目的とするところは、特殊な検出デバイス群を使用することなく、指示者のジェスチャにより目標点の位置を被指示対象物に指示できるようにした位置指示方法とこの方法を実現するために使用される指示装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するためにこの発明は、位置・姿勢検出手段を備える指示装置を使用して、指示者が被指示対象物に対しジェスチャにより目標点の位置を指示する際に、  
先ず、上記指示装置を指示位置から前記被指示対象物に向けた状態で、当該指示装置と前記被指示対象物との相対位置及び指示装置の姿勢を上記位置・姿勢検出手段により検出してその検出結果を第１の相対位置情報及び第１の姿勢としてメモリに保存する。次に、上記指示装置を上記指示位置から目標点に向けた状態で、当該指示装置と目標点との相対位置及び指示装置の姿勢を上記位置・姿勢検出手段により検出してその検出結果を第２の相対位置情報及び第２の姿勢情報として上記メモリに保存する。そして、上記メモリに保存された第１及び第２の相対位置情報と第１及び第２の姿勢情報に基づいて、上記被指示対象物から見た上記目標点の位置を算出するようにしたものである。
【０００９】
したがってこの発明によれば、指示者のジェスチャをカメラで撮像してその撮像画像から認識する必要がなくなるので、画像処理のための多大な演算が不要となると共に、特殊な色を持つマーカを指示者が身につける必要もなくなる。また、相対位置を求めるために位置検出器や圧力センサといった検出デバイス群を設ける必要がなくなり、これにより安価に実現できる利点がある。
【００１０】
またこの発明は、上記算出された被指示対象物から見た目標点の位置を移動指示と共に被指示対象物に与え、これにより当該被指示対象物を目標点へ移動させることを特徴とする。  
このようにすると、例えば被指示対象物が自走機能を備えたロボットの場合に、このロボットを指示者がジェスチャにより指示した目標点の位置に遠隔的に移動させることが可能となる。
【００１１】
さらにこの発明は、上記算出された被指示対象物から見た目標点の位置をもとに、当該目標点に存在する通信装置のアドレス情報を位置・アドレスデータベースから取得し、この取得されたアドレス情報を情報転送指示と共に上記被指示対象物に与えることにより、当該被指示対象物から上記目標点に存在する通信装置へ情報を転送させることを特徴とする。  
このようにすると、例えば被指示対象物が通信装置の場合に、当該通信装置から、指示者がジェスチャにより指示した相手方の通信装置に、情報を遠隔的に転送させることが可能となる。
【００１２】
またこの発明は、上記第１及び第２の相対位置情報を検出する方法として次のような各種方法を提案する。  
第１の方法は、被指示対象物に予め定められた視覚的位置検出パターンを表示させると共に位置・姿勢検出手段にカメラを持たせ、指示装置を指示位置から被指示対象物に向けた状態で当該被指示対象物を上記カメラにより撮像する。そして、この撮像により得られた被指示対象物の画像データから上記視覚的位置検出パターンを検出し、この視覚的位置検出パターンの検出結果をもとに指示装置と被指示対象物との相対位置を検出するものである。
【００１３】
この方法によれば、画像認識の対象として予め定められた視覚的位置検出パターンを使用することで、指示装置と被指示対象物との相対位置を簡単な画像処理により正確に検出することが可能となる。なお、指示装置として携帯電話機を使用した場合、携帯電話機には一般的にカメラが標準装備されているので、カメラを設けることによるコストアップは生じない。
【００１４】
第２の方法は、指示装置に投影手段を設けると共に、位置・姿勢検出手段にカメラを設け、指示装置を指示位置から被指示対象物に向けた状態で当該被指示対象物に対し上記投影手段により予め定めた視覚的位置検出パターンを投影する。そして、この視覚的位置検出パターンが投影された状態で被指示対象物をカメラにより撮像し、この撮像により得られた被指示対象物の画像データから上記視覚的位置検出パターンを検出して、この視覚的位置検出パターンの検出結果をもとに指示装置と被指示対象物との相対位置を検出するものである。  
この第２の方法は、指示装置と目標点との相対位置、つまり第２の相対位置情報を検出する場合にも同様に適用可能である。
【００１５】
第２の方法によれば、視覚的位置検出パターンを被指示対象物に印刷、貼付又は塗布等により予め表示することが不可能な場合でも、視覚的位置検出パターンとカメラを使用して、指示装置と被指示対象物との相対位置を簡単かつ正確に検出することが可能となる。また、目標点に視覚的位置検出パターンを投影することにより、指示装置と目標点との相対位置を簡単かつ正確に検出することが可能となり、延いては被指示対象物から見た目標点の相対位置の算出精度を高めることができる。
【００１６】
第３の方法は、上記視覚的位置検出パターンとして二次元コードを用い、撮像画像データからこの二次元コードの座標系を検出する。そして、この検出された二次元コードの座標系をもとに、当該二次元コードから見た指示装置の相対位置を示す三次元ベクトルを算出すると共に、二次元コードの座標系から見た指示装置の座標系の回転を示す３個の角度パラメータを算出し、この算出された三次元ベクトル及び３個の角度パラメータを第１及び第２の相対位置情報とするものである。  
この方法によれば、第１及び第２の相対位置情報を簡易にしてさらに高精度に検出することが可能となる。
【００１７】
第４の方法は、上記第２の相対位置情報を検出する際に、目標点に向けた指示装置の俯角を検出し、この検出された指示装置の俯角と予めメモリに保存しておいた指示者の身体情報とをもとに、指示装置から目標点までの距離を算出する。そして、この算出された距離を第２の相対位置情報とするものである。  
この方法によれば、指示者の身長と目標点に向けた指示装置の俯角を用いるだけで、指示装置と目標点との相対位置を求めることができる。すなわち、画像認識処理等の演算処理を必要とすることなく第２の相対位置を検出することができる。
【００１８】
さらにこの発明は、上記第１及び第２の姿勢情報を検出する方法として次のような各種方法を提案する。  
第１の方法は、位置・姿勢検出手段に地磁気センサ及び加速度センサからなる姿勢センサを設け、指示装置を指示位置から被指示対象物に向けたときの当該指示装置の姿勢、及び指示装置を指示位置から目標点に向けたときの当該指示装置の姿勢をそれぞれ上記姿勢センサにより検出するものである。  
このようにすると、第１及び第２の姿勢を姿勢センサの検出値をもとに簡単な計算により正確に求めることができる。なお、加速度センサはＬＳＩ化された汎用チップとして広く使用されているので、加速度センサを設けることによる指示装置のコストアップは低く抑えることが可能である。
【００１９】
第２の方法は、位置・姿勢検出手段にカメラを備え、被指示対象物及び目標点をこのカメラにより撮像する。そして、この撮像により得られる被指示対象物及び目標点の画像データの変化をもとに当該被指示対象物及び目標点の姿勢を算出する、オプティカルフローを採用するものである。  
オプティカルフローは演算により姿勢を求めるものであるため計算コストは高くなるが、姿勢センサを備えていない場合や新たに設けることができない場合でも、指示装置にアプリケーションをインストールするだけでこの発明を実施できる利点がある。
【発明の効果】
【００２０】
要するにこの発明によれば、特殊な検出デバイス群を使用することなく、指示者のジェスチャにより目標点の位置を被指示対象物に指示できるようにした位置指示方法とこの方法を実現するための装置及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２１】
（第１の実施形態）  
図１は、この発明の第１の実施形態に係わる位置指示方法を説明するための概略構成図である。この実施形態の位置指示方法は、被指示対象物としてのペットロボットＰＲに対し、指示者が携帯端末ＭＳを指示装置として使用して移動指示を与え、これによりペットロボットＰＲを所望の目標点ＴＧに移動させるものである。
【００２２】
上記移動指示の受信及び目標点ＴＧへの移動を可能にするために、ペットロボットＰＲには無線通信機と自走機構が設けられている。無線通信機は、例えば無線ＬＡＮ（Local Area Network）、又はBluetooth（登録商標）に接続可能である。またペットロボットＰＲの腹部には、二次元コードの一つであるＱＲコードが印刷又はシールの貼付等により表示されている。このＱＲコードは、携帯端末ＭＳにおいてペットロボットＰＲを識別し、かつペットロボットＰＲと携帯電話機ＭＳとの相対位置を検出するために使用されるもので、ＱＲコードの識別番号にはペットロボットＰＲのネットワークアドレスが対応付けられている。
【００２３】
ところで、携帯端末ＭＳは次のように構成される。図２はその機能構成を示すブロック図である。すなわち携帯端末ＭＳは、ＣＰＵ（Central Processing Unit）１と、ディジタルカメラ２と、通信インタフェース（通信Ｉ／Ｆ）３と、メモリ４と、姿勢センサ５と、入力ボタン６とを備えている。
【００２４】
ディジタルカメラ２は、一般には人物や景色等を撮影するために使用されるが、この発明においてはペットロボットＰＲを撮像するために使用される。通信Ｉ／Ｆ３は、移動通信ネットワークを介して相手の通信端末との間で移動通信を行う主たる無線通信機能の他に、第２の無線通信機能を備えている。この第２の無線通信機能は、ペットロボットＰＲとの間で移動制御信号を送受信するためのもので、無線ＬＡＮ又はBluetoothに接続可能である。携帯端末が、無線ＬＡＮ又はBluetoothのインタフェースを標準装備している場合には、この標準インタフェースを本発明に使用できる。
【００２５】
メモリ３は、フラッシュメモリ又はハードディスク等を記憶媒体として使用した不揮発性メモリであり、ＣＰＵ１に実行させる各種アプリケーション・プログラムや制御データ等を記憶する。またメモリ３には、上記ペットロボットＰＲを移動制御するために使用する各種検出データ及び計算データも記憶される。姿勢センサ５は、地磁気センサと加速度センサとを組み合わせたもので、携帯端末ＭＳの姿勢を検出する。入力ボタン６は、ダイヤルキー等の汎用ボタン６１と、ペットロボットＰＲへの移動位置の指示に使用する検出ボタン６２及び指示ボタン６３を有する。
【００２６】
ＣＰＵ１は、携帯端末ＭＳの動作に必要な種々の計算を行う汎用計算手段１１に加え、この発明に係わる演算及び制御機能として、パターン検出手段１２と、第１相対位置算出手段１３と、第２相対位置算出手段１４と、相対的姿勢関係算出手段１５と、目標相対位置算出手段１６とを備えている。これらの手段はいずれも、ＣＰＵ１にアプリケーション・プログラムを実行させることにより実現される。
【００２７】
パターン検出手段１２は、ディジタルカメラ２により撮像されたペットロボットＰＲの画像データ中から、パターン検出処理によりＱＲコードの四隅の点を検出する。  
第１相対位置算出手段１３は、上記パターン検出手段１２により検出された画像データ中におけるＱＲコードの四隅の点の座標値をもとにカメラパラメータを算出する。そして、算出されたカメラパラメータをもとに、ペットロボットＰＲから見た携帯端末ＭＳの相対的な位置情報及び相対的な姿勢情報を算出し、算出された相対的な位置情報及び相対的な姿勢情報を第１相対位置情報としてメモリ４に保存する。
【００２８】
第２相対位置算出手段１４は、携帯端末ＭＳを目標点ＴＧに向けた状態で姿勢センサ５により検出された携帯端末ＭＳの姿勢情報、つまり水平面に対する携帯端末ＭＳの角度と、予めメモリ４に記憶してある指示者の身長とをもとに、目標点ＴＧと携帯端末ＭＳとの相対的な位置関係を算出する。そして、算出された目標点ＴＧと携帯端末ＭＳとの相対的な位置関係を第２相対位置情報としてメモリ４に記憶する。
【００２９】
相対的姿勢関係算出手段１５は、上記第１相対位置算出手段１３により算出されたペットロボットＰＲに対する携帯端末ＭＳの相対的な姿勢情報と、上記第２相対位置算出手段１４により第２相対位置情報を算出する過程で姿勢センサ５により検出された目標点ＴＧに対する携帯端末ＭＳの姿勢情報とに基づいて、これらの姿勢情報間の相対的な姿勢関係を算出する。
【００３０】
目標相対位置算出手段１６は、上記第１相対位置算出手段１３により算出されたペットロボットＰＲと携帯端末ＭＳとの間の相対的な位置情報と、上記第２相対位置算出手段１４により算出された目標点ＴＧと携帯端末ＭＳとの間の相対的な位置情報とをもとに、ペットロボットＰＲと目標点ＴＧとの間の相対的な位置関係、つまり目標相対位置を算出する。
【００３１】
次に、以上のように構成された携帯端末ＭＳを指示装置として使用して、ペットロボットＰＲに対し移動目標点ＴＧの位置を指示する方法を説明する。図４は携帯端末ＭＳの制御手順と制御内容を示すフローチャートである。  
指示者は先ず携帯端末ＭＳをペットロボットＰＲに向け、ペットロボットＰＲの腹部に表示されたＱＲコードがディジタルカメラ２の撮像範囲内に収まるように携帯端末ＭＳの姿勢を調整した後、検出ボタン６２を押下する。このとき携帯端末ＭＳは、ステップＳ４ａにおいて指示者による検出ボタンの押下を監視しており、この状態で上記検出ボタン６２の押下を検出すると、ペットロボットＰＲとの相対位置及び相対姿勢を検出する処理４１に移行する。
【００３２】
この処理４１に移行するとＣＰＵ１は、先ずステップＳ４ｂによりディジタルカメラ２を起動してペットロボットＰＲの撮像を行い、その撮像画像データを取り込む。図７にこの撮像画像データの一例を示す。続いてＣＰＵ１は、ステップＳ３ｃにおいて上記撮像画像データに対しパターン検出処理を行い、これにより撮像画像データ中からＱＲコードを抽出し、当該ＱＲコードが示す識別番号を認識する。またそれと共に、ステップＳ４ｄにより姿勢センサ５を起動し、上記ペットロボットＰＲの撮像時点における携帯端末ＭＳの姿勢（第１姿勢情報）を上記姿勢センサ５から取り込んでメモリ４に保存する。
【００３３】
次にＣＰＵ１は、ステップＳ４ｅにおいて第１相対位置の算出処理を以下のように行う。すなわち、先ず図８に示すように上記撮像画像データ中におけるＱＲコードの四隅４ａ〜４ｄの座標値を検出する。ここで、この撮像画像データ中におけるＱＲコードの四隅４ａ〜４ｄの座標値と、実物のＱＲコードの四隅の点との対応関係には一定の関係があり、かつ実物のＱＲコードの四隅の点はＱＲコードの座標系から見ると一つの平面に属している。したがって、上記撮像画像データ中におけるＱＲコードの四隅４ａ〜４ｄの座標値が分かれば、この座標値をもとに近似したカメラパラメータを算出することができる。そして、このカメラパラメータをもとに、ＱＲコードの座標系から見た携帯端末ＭＳの座標系の相対的な位置情報及び相対的な姿勢情報を算出することができる。
【００３４】
図３は上記相対的な位置情報及び相対的な姿勢情報を説明するための図である。相対的な位置情報は、ＱＲコードの座標系から見た携帯端末ＭＳの三次元ベクトルｘ，ｙ，ｚにより表される。また相対的な姿勢は、ＱＲコードの座標系から見た携帯端末ＭＳの座標系の回転を示す３つの角度パラメータθ，φ，ψにより表される。そして、この算出されたＱＲコードの座標系から見た携帯端末ＭＳの相対的な位置情報及び相対的な姿勢情報は、行列Rcode及び第１相対位置情報としてメモリ４に保存される。
【００３５】
なお、上記ＱＲコードの座標系から見た携帯端末ＭＳの相対的な位置情報及び相対的な姿勢情報の検出方法は、参考文献１「高橋章他、ＶＲインタフェースのための単眼による長方形マーカ−高精度実時間推定法、三次元画像コンファレンス‘96、1996年、pp.167-172、」、又は参考文献２「暦本純一、二次元マトリクスコードを利用した拡張現実感システムの構成手法、インタラクティブシステムとそのソフトウエア４、近代科学社、1996年」に詳しく述べられている。
【００３６】
また、上記第１相対位置情報は、携帯端末ＭＳを原点とした座標系をもとに算出したもので、指示者の座標系とは必ずしも一致しない。このため、上記携帯端末ＭＳの座標系をもとに算出した第１相対位置情報には誤差が発生する。この誤差を縮小するために、予めメモリ４に指示者の身体情報を保存しておき、この身体情報をもとに上記第１相対位置情報を補正することができる。
【００３７】
具体的には、例えば図６に示すように携帯端末ＭＳとこの携帯端末ＭＳを所持する指示者との距離Lerrorをメモリ４に予め記憶しておく。そして、この距離Lerrorを上記第１相対位置に加算することで当該第１相対位置を補正する。このようにすると、ペットロボットＰＲと指示者との相対的な位置関係をさらに高精度に算出することができる。
【００３８】
次に指示者は、上記ペットロボットＰＲを撮像した地点において、図６に示すように自身の体を水平方向に回転させ、ペットロボットＰＲの移動目的地とする目標点ＴＧに向ける。そして、この目標点ＴＧをディジタルカメラ２の撮像範囲の中心に撮らえた状態で、指示ボタン６３を押下する。
【００３９】
携帯端末ＭＳのＣＰＵ１は、ステップＳ４ｆにおいて指示ボタン６３の押下を監視しており、この状態で指示ボタン６３が押下されると、以後目標点ＴＧとの相対情報を検出するための処理４２を次のように実行する。すなわち、ＣＰＵ１は先ずステップＳ４ｇにおいて、現時点での携帯端末ＭＳの姿勢（第２姿勢情報）を上記姿勢センサ５から取り込んでメモリ４に保存する。
【００４０】
ＣＰＵ１は、続いてステップＳ４ｈにより、上記第２姿勢情報をもとに携帯端末ＭＳと目標点ＴＧとの相対位置を算出する。例えば図５に示すように、先ず垂直面に対する携帯端末ＭＳの前方への傾斜角度θ、換言すれば目標点に向けた携帯端末の俯角を上記第２姿勢情報から取り出す。そして、メモリ４から指示者の身長ｈを読み出し、この指示者の身長ｈと上記前傾角度θとをもとに  
ｒ＝ｈ／tan(θ)  
を計算することにより、指示者から目標点ＴＧまでの距離ｒを算出することができる。ＣＰＵ１は、この算出された距離ｒ及び前傾角度θをメモリ４に保存する。
【００４１】
次にＣＰＵ１は、ステップＳ４ｉに移行し、ここで先に求めたペットロボットＰＲに対する携帯端末ＭＳの姿勢（第１姿勢情報）と、上記目標点ＴＧに対する携帯端末ＭＳの姿勢（第２姿勢情報）との相対的な姿勢関係を算出する。この相対的な姿勢関係は、図６に示すように携帯端末ＭＳを、垂直軸Ｙを中心に水平方向に角度φだけ回転したものとして表すことができる。
【００４２】
なお、上記相対的な姿勢関係は、他の方法により算出することも可能である。例えば図１０に示すように、ペットロボットＰＲ及び目標点ＴＧに対する携帯端末ＭＳの相対的な位置関係は３×３行列として表すことができる。そして、この３×３行列を用い、さらに上記第１姿勢情報及び第２姿勢情報を用いることで、ペットロボットＰＲに対する携帯端末ＭＳの姿勢から目標点ＴＧに対する携帯端末ＭＳの姿勢に写像する回転行列Ｒ３を算出する。ＣＰＵ１は、この算出された回転行列Ｒ３を相対的な姿勢関係としてメモリ４に保存する。
【００４３】
次にＣＰＵ１は、ステップＳ４ｊに移行し、ここでペットロボットＰＲから見た目標点ＴＧの相対的な位置関係（目標相対位置）を算出する。目標相対位置は、上記メモリ４に保存された第１相対位置情報及び第２相対位置情報をもとに算出することができる。例えば図９に示すように、ペットロボットＰＲのＱＲコードの座標系Ｅpetから見た指示者の位置を表すベクトルをＰｕとし、指示者の携帯端末ＭＳを目標点ＴＧに向けたときの携帯端末ＭＳの座標系Ｅu2位置から見た目標点ＴＧを表すベクトルをＰt としたとする。そうすると、ペットロボットＰＲＱＲコードの座標系Ｅpetから見た目標点ＴＧの位置を表すベクトルＰは、上記ベクトルＰｕとＰt との和で表される。このベクトル和は、図１０に示すように、Ｐｕを含む行列式Ｒcodeと、上記ステップＳ４ｉで算出した相対的姿勢関係を表す回転行列Ｒ３と、ベクトルＰt との積算により求めることができる。
【００４４】
最後に、ＣＰＵ１はステップＳ４ｋに移行し、ここで上記算出された目標相対位置をもとにペットロボットＰＲに対し移動指示を与え、ペットロボットＰＲを目標点ＴＧへ移動させる。例えば、ＣＰＵ１は先にステップＳ４ｃのパターン検出処理により抽出されたＱＲコードの識別番号をもとに、ペットロボットＰＲのネットワークアドレスを取得する。そして、上記ステップＳ４ｊにて算出された目標相対位置を表す情報を、移動命令と共に通信Ｉ／Ｆ３からペットロボットＰＲに向け送信する。
【００４５】
ペットロボットＰＲは、上記携帯端末ＭＳから自己宛の移動命令が到来すると、この移動命令と共に受信された目標相対位置情報をもとに移動方向を決定し、さらに上記目標相対位置情報により指示された距離だけ移動する。かくして、ペットロボットＰＲは目標点ＴＧへ移動する。
【００４６】
以上説明したように第１の実施形態では、携帯端末ＭＳを指示装置として使用し、先ずこの携帯端末ＭＳのディジタルカメラ２により、ＱＲコードが表示されたペットロボットＰＲを撮像して、その撮像画像データからパターン検出処理によりＱＲコードの座標値を検出し、この座標値をもとに携帯端末ＭＳとペットロボットＰＲとの相対位置（第１相対位置）及び姿勢（第１姿勢情報）を算出する。次に、携帯端末ＭＳをペットロボットＰＲの移動目的地点である目標点ＴＧに向け、このときの携帯端末ＭＳの姿勢（第２姿勢情報）を姿勢センサ５により検出する。そして、この検出された姿勢情報をもとに携帯端末ＭＳと目標点ＴＧとの相対位置（第２相対位置）を算出する。最後に、上記算出された第１及び第２の相対位置と、第１及び第２の姿勢情報とをもとに、ペットロボットＰＲから見た目標点ＴＧの相対的な位置関係（目標相対位置）を算出し、この算出された目標相対位置をペットロボットＰＲに与えてペットロボットＰＲを目標点ＴＧに移動させるようにしている。
【００４７】
したがって、ＧＰＳを利用した位置検出器や圧力センサといった検出デバイス群を使用することなく、ペットロボットＰＲと指示者との相対的な位置関係を検出することが可能となる。このため、簡単かつ安価な装置を使用するだけで、指示者がジェスチャによりペットロボットＰＲに対し移動目標位置を指示することが可能となる。
【００４８】
また、ペットロボットＰＲにＱＲコードを表示し、このＱＲコードを利用してペットロボットＰＲの識別と、携帯端末ＭＳとペットロボットＰＲとの相対位置の算出を行うようにしている。このため、ペットロボットＰＲの識別と、第１相対位置の算出を、別々の検出手段を用いることなく簡易にして正確に行うことができる。
【００４９】
さらに、第１相対位置を算出する際に、携帯端末ＭＳとこの携帯端末ＭＳを所持する指示者との距離Lerrorをメモリ４に予め記憶しておき、この距離Lerrorをもとに上記第１相対位置を補正する。このようにすると、ペットロボットＰＲと指示者との相対的な位置関係をさらに高精度に算出することができる。
【００５０】
（第２の実施形態）  
この発明の第２の実施形態は、指示装置にパターン投影機を設け、このパターン投影機によりペットロボット及び目標点にそれぞれＱＲコードの光学像を投影する。そして、このＱＲコードの光学像を投影した状態で指示装置のカメラによりペットロボット及び目標点を撮像し、その撮像画像データをもとに指示装置とペットロボットとの相対位置及び相対姿勢と、指示装置と目標点との相対位置及び相対姿勢をそれぞれ算出する。そして、これらの算出された相対位置及び相対姿勢をもとに、ペットロボットから見た目標点の目標相対位置を算出し、この目標相対位置をペットロボットに指示することによりペットロボットを目標点へ移動させるものである。
【００５１】
指示装置としての携帯端末ＭＳの背面部には、パターン投影機が設けてある。このパターン投影機は例えばプロジェクタ又はレーザポインタからなり、ＣＰＵ１の制御の下でペットロボットごとに対応付けられたＱＲコードの光学像を投影する。投影タイミングは、検出ボタン及び指示ボタンの押下に同期する。
【００５２】
このようなパターン投影機を用いてペットロボットに移動位置を指示する場合、指示者は先ず携帯端末をペットロボットＰＲに向け、当該ペットロボットＰＲがディジタルカメラの撮像領域内に収まる状態で検出ボタン６２を押下する。そうすると、図１２に示すようにパターン投影機からＱＲコードの光学像がペットロボットＰＲに投影され、この状態でディジタルカメラ２が起動されて上記投影されたＱＲコードを含むペットロボットＰＲが撮像される。この撮像終了後、上記パターン投影機による投影も終了する。
【００５３】
以後、上記撮像された画像データからパターン検出処理によりＱＲコードの四隅の座標が検出され、この検出された座標をもとに携帯端末ＭＳとペットロボットＰＲとの相対位置（第１相対位置）が算出される。その算出方法には、前記第１の実施形態に述べた方法と同じ方法が適用可能である。
【００５４】
次に、指示者は、上記ペットロボットＰＲを撮像した地点において、自身の体を水平方向に回転させ、ペットロボットＰＲの移動目的地とする目標点ＴＧに向ける。そして、この目標点ＴＧをディジタルカメラ２の撮像範囲の中心にとらえた状態で、指示ボタン６３を押下する。そうすると、図１１に示すようにパターン投影機からＱＲコードの光学像が目標点ＴＧに投影され、この状態でディジタルカメラ２が起動されて上記投影されたＱＲコードを含む目標点ＴＧが撮像される。この撮像終了後、上記パターン投影機による投影も終了する。
【００５５】
以後、上記撮像された画像データからパターン検出処理によりＱＲコードの四隅の座標が検出され、この座標をもとに携帯端末ＭＳと目標点ＴＧとの相対位置（第２相対位置）が算出される。その算出方法には、先に述べた第１相対位置の算出方法と同じ方法が使用される。
【００５６】
そして、上記算出された第１及び第２の相対位置と、別途検出された相対的な姿勢関係とにより、ペットロボットＰＲから見た目標点ＴＧの目標相対位置が算出される。そして、この算出された目標相対位置はペットロボットＰＲに与えられ、これによりペットロボットＰＲは目標点ＴＧに向け移動する。
【００５７】
このように第２の実施形態では、携帯端末ＭＳにパターン投影機を設け、ペットロボットＰＲの撮像時に上記パターン投影機によりペットロボットＰＲにＱＲコードを投影するようにしている。したがって、ペットロボットＰＲの表面にＱＲコードを印刷又は貼付しておく必要がなくなり、これにより如何なるペットロボットＰＲに対しても、またペットロボットＰＲの姿勢の制約を受けることなくこの発明を実施可能になる。さらに、第２相対位置についても、第１相対位置と同様にＱＲコードの撮像画像データを基づいて算出されるため、姿勢センサ５の検出値と指示者の身長に基づいて第２相対位置を算出する場合に比べ、第２相対位置を少ない誤差で算出することができる。
【００５８】
（第３の実施形態）  
この発明の第３の実施形態は、カメラを用いずに携帯端末を指示棒として使用して目標点を指示し、指示したときの携帯端末の姿勢を姿勢センサにより検出して第２相対位置を算出するようにしたものである。
【００５９】
図１３はこの実施形態の動作を説明するためのものである。同図において、指示者は携帯端末ＭＳの先端を目標点に向け、この状態で指示ボタン６３を押下する。携帯端末ＭＳのＣＰＵ１は、上記指示ボタン６３が押下されたときの携帯端末ＭＳの姿勢を姿勢センサ５により検出し、この検出された姿勢情報をもとに第２相対位置を算出する。ただし、この場合には、ディジタルカメラ２の撮像範囲に目標点ＴＧを入れて指示する第１の実施形態とは異なり、図１３に示すようにｘ軸回りの回転角度θからオフセット角９０°を差し引いた角度と、指示者の身長ｈをもとに指示者と目標点ＴＧとの間の距離ｒを算出する。同様に、相対的姿勢関係についても上記オフセット角を考慮して算出する。
【００６０】
このように第３の実施形態によれば、携帯端末ＭＳを指示棒として使用して目標点ＴＧを指示することができる。また、検出角度のオフセット値を考慮して第２相対位置及び第２相対姿勢を算出すれば、指示者による携帯端末ＭＳの持ち方及び姿勢の自由度を高めることができる。
【００６１】
なお、携帯端末ＭＳに例えばレーザポインタを設け、このレーザポインタから発生される可視レーザ光を目標点ＴＧに照射するようにしてもよい。このようにすると、目標点ＴＧをさらに正確に指示することができ、これにより携帯端末ＭＳと目標点ＴＧとの相対位置、延いては目標相対位置の精度をさらに高めることが可能となる。
【００６２】
（第４の実施形態）  
前記第１の実施形態では、携帯端末ＭＳの姿勢を検出するために姿勢センサ５を用いた。しかし、姿勢センサ５の代わりにオプティカルフロー検出手段を設け、このオプティカルフロー検出手段によりペットロボットＰＲに対する姿勢と目標点ＴＧに対する姿勢との間の相対的な姿勢関係を算出するようにしてもよい。
【００６３】
オプティカルフローは、ディジタルカメラ２により撮像された画像データ中の特徴点のフレーム間移動量を検出し、このフレーム間移動量をもとにディジタルカメラつまり携帯端末がどの程度動いたかを推測するもので、ＣＰＵ１でアプリケーション・プログラムを実行することにより実現される。  
なお、オプティカルフローについては、参考文献３「コンピュータビジョン−技術評価と将来展望  新技術コミュニケーションズ」、又は参考文献４「コンピュータ画像処理  田村秀行  オーム社」に詳しく述べられている。
【００６４】
このようにオプティカルフロー検出手段を実行するアプリケーション・プログラムを携帯端末ＭＳに追加インストールすることによって、姿勢センサ５を不要にすることができる。したがって、姿勢センサ５を内蔵しない汎用の携帯端末ＭＳをこの発明の指示装置として使用することが可能となる。
【００６５】
（第５の実施形態）  
図１４は、この発明に係わる位置指示方法を実施するためのシステムの概略構成である。なお、前記図１と同一部分には同一符号を付してある。  
この実施形態のシステムは、外部データベースＤＢを備えている。この外部データベースＤＢは、通信手段５１と、位置・情報記憶手段５２とを備えている。位置・情報記憶手段５２には、識別情報ＩＤ５２１に対応付けて、目標絶対位置を表す情報（例えば緯度経度）５２２と、この目標絶対位置に存在する通信装置のアドレス５２３が記憶されている。通信手段５１は、携帯端末ＭＳからの要求を無線チャネルＲＣＨを介して受信すると共に、上記位置・情報記憶手段５２から読み出されたアドレスを上記無線チャネルＲＣＨを介して要求元の携帯端末ＭＳへ送信する。無線インタフェースとしては、例えば無線ＬＡＮ又はBluetoothインタフェースが用いられる。
【００６６】
携帯端末ＭＳは、ＧＰＳ受信機を新たに備え、さらに新たな制御機能として絶対位置検出手段と、アドレス取得制御手段と、情報転送制御機能とを備える。絶対位置検出手段は、上記ＧＰＳ受信機を使用して目標点ＴＧの絶対位置情報を検出する。アドレス取得制御手段は、アドレスの取得要求を上記検出された目標絶対位置情報と共に外部データベースＤＢへ送信し、外部データベースＤＢから上記目標絶対位置情報に対応するアドレスを受信する。情報転送制御機能は、ペットロボットＰＲに対し情報転送要求を上記取得したアドレスと共に送る。
【００６７】
ペットロボットＰＲは、上記携帯端末ＭＳから情報転送要求が送られると、内蔵メモリに記憶されている情報、例えば監視データや移動履歴を読み出す。そして、この読み出された情報を、上記情報転送要求と共に送られたアドレスを宛先として、例えば無線ＬＡＮを介して目標点に存在する通信装置、例えば管理サーバへ送信する。
【００６８】
このように第５の実施形態では、指示者は情報転送先となる目標点ＴＧの絶対位置を検出して、この絶対位置に存在する通信装置のアドレスを外部データベースＤＢから取得し、このアドレスを情報転送要求と共に情報転送元となるペットロボットＰＲに送るようにしている。したがって、携帯端末ＭＳを指示装置として用いて、ジェスチャにより情報の転送を遠隔制御することができる。
【００６９】
なお、以上の説明では、携帯端末ＭＳにより目標点の絶対位置を検出するようにした。しかし、前記第１乃至第４の実施形態で述べたように、携帯端末ＭＳと目標点ＴＧとの相対位置、或いはペットロボットＰＲから見た目標点ＴＧの相対位置を算出し、この相対位置をもとに外部データベースＤＢから対応するアドレスを取得して、このアドレスを情報転送要求と共に情報転送元となるペットロボットＰＲに送るようにしてもよい。
【００７０】
（その他の実施形態）  
前記第１の実施形態では、ペットロボットＰＲの識別及び第１相対位置の算出のためにＱＲコードを使用したが、それ以外にARToolKit等の別の二次元コードや識別パターンを使用するようにしてもよい。
【００７１】
また第２の実施形態では、パターン投影機を使用してペットロボットＰＲ及び目標点ＴＧにそれぞれＱＲコードの光学像を投影し、その撮像画像データをもとに指示装置とペットロボットとの相対位置及び相対姿勢と、指示装置と目標点との相対位置及び相対姿勢をそれぞれ算出するようにした。しかし、ペットロボットＰＲと目標点のいずれか一方に、パターン投影機からＱＲコードを投影するようにしてもよい。
【００７２】
その他、被指示対象物の種類や構成、指示装置の種類とその構成、相対位置及び姿勢の検出方法などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００７３】
【図１】この発明の第１の実施形態に係わる位置指示方法を説明するための概略構成図。
【図２】図１に示した携帯端末の機能構成を示すブロック図。
【図３】図２に示した携帯端末の姿勢を表す図。
【図４】図２に示した携帯端末による位置指示制御手順と制御内容を示すフローチャート。
【図５】図４に示したフローチャートにおける第２相対位置関係の算出処理を説明するための図。
【図６】図４に示したフローチャートにおける相対的姿勢関係の算出処理を説明するための図。
【図７】図１に示したペットロボットに表示されたＱＲコードの一例を示す図。
【図８】図７に示したＱＲコードのパターン検出動作を説明するための図。
【図９】図４に示したフローチャートにおける目標相対位置の算出処理を説明するための図。
【図１０】相対的姿勢関係を算出する別の方法を説明するための図。
【図１１】この発明の第２の実施形態に係わる位置指示方法を説明するための図で、ＱＲコードを目標点に投射した状態を示す図。
【図１２】この発明の第２の実施形態に係わる位置指示方法を説明するための図で、ＱＲコードをペットロボットに投射した状態を示す図。
【図１３】この発明の第３の実施形態に係わる位置指示方法を説明するための図。
【図１４】この発明の第５の実施形態に係わる位置指示方法を実現するための構成を示す図。
【符号の説明】
【００７４】
ＰＲ…ペットロボット、ＭＳ…指示装置、ＴＧ…目標点、ＤＢ…外部データベース、１…ＣＰＵ、２…ディジタルカメラ、３…通信インタフェース（通信Ｉ／Ｆ）、４…メモリ、５…姿勢センサ、６…入力ボタン、１１…汎用計算手段、１２…パターン検出手段、１３…第１相対位置算出手段、１４…第２相対位置算出手段、１５…相対的姿勢関係算出手段、１６…目標相対位置算出手段、５１…外部データベースの通信手段、５２…位置・情報データ記憶手段。
【図１】
2007098555.tif 000003
【図２】
2007098555.tif 000004
【図３】
2007098555.tif 000005
【図４】
2007098555.tif 000006
【図５】
2007098555.tif 000007
【図６】
2007098555.tif 000008
【図７】
2007098555.tif 000009
【図８】
2007098555.tif 000010
【図９】
2007098555.tif 000011
【図１０】
2007098555.tif 000012
【図１１】
2007098555.tif 000013
【図１２】
2007098555.tif 000014
【図１３】
2007098555.tif 000015
【図１４】
2007098555.tif 000016