(57)【特許請求の範囲】
【請求項１】
マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、
当該映像提示装置のデバイスＩＤをエンコードし、異なる２つの符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された異なる２つの符号のうちの一方の符号に従って点滅する第１の赤外線ＬＥＤと、
前記デバイスＩＤエンコード部により生成された異なる２つの符号のうちの他方の符号に従って点滅する第２の赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された異なる符号に従ってそれぞれ点滅する２つの赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記２つの赤外線ＬＥＤの位置を特定し、前記２つの赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位に基づいて、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの方位角を算出し、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記他の映像提示装置に備えた２つの赤外線ＬＥＤ間の予め設定された距離、前記算出した方位角、及び、前記姿勢推定部により推定された当該映像提示装置から見た前記他の映像提示装置の姿勢に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。
【請求項２】
マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、
当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された符号に従って、同じ位相で点滅する第１の赤外線ＬＥＤ及び第２の赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された同じ符号に従って同じ位相で点滅する２つの赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記２つの赤外線ＬＥＤの位置を特定し、前記２つの赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態に基づいて、前記２つの赤外線ＬＥＤの位相差を検出する位相差検出部と、
前記位相差検出部により検出された位相差に基づいて、当該映像提示装置を基点とした前記他の映像提示装置に備えた２つの赤外線ＬＥＤとの間の距離差を推定する距離差推定部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位に基づいて、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの方位角を算出し、
前記他の映像提示装置に備えた２つの赤外線ＬＥＤ間の予め設定された距離、前記算出した方位角、及び前記距離差推定部により推定された距離差に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。
【請求項３】
マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、
当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
全方位距離画像センサーを用いて、前記他の映像提示装置に備えた赤外線ＬＥＤを含む距離画像を取得する距離画像取得部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記距離画像取得部により取得された距離画像に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。
【請求項４】
マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、
当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
レーザーセンサーを用いて、レーザーを発光し、前記他の映像提示装置に備えた再帰性反射部に反射させ、前記反射したレーザーを受光してレーザー距離を計測するレーザー距離計部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記レーザー距離計部により計測されたレーザー距離を、当該映像提示装置と前記他の映像提示装置との間の距離とし、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。
【請求項５】
マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、
当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤのサイズを算出し、
前記算出したサイズ、及び予め設定された前記赤外線ＬＥＤのサイズに基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。
【請求項６】
請求項１から５までのいずれか一項に記載の映像提示装置において、
さらに、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置を操作するユーザの視点位置を推定する視点位置処理部を備え、
前記視点位置処理部は、
カメラを用いて、前記ユーザの顔を含む画像を取得するカメラ画像取得部と、
前記カメラ画像取得部により取得された画像から、前記ユーザの顔の領域を認識して顔画像を抽出する顔画像抽出部と、
前記顔画像抽出部により抽出された顔画像から前記ユーザの目を抽出し、前記カメラ画像取得部により取得された画像上の前記目の位置を検出し、前記画像上の両方の前記目の間隔を算出し、前記画像上の目の位置及び両方の目の間隔、並びに予め設定された両方の目の間隔に基づいて、前記視点位置を推定する視点位置推定部と、を備えたことを特徴とする映像提示装置。
【請求項７】
請求項１から６までのいずれか一項に記載の映像提示装置において、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記赤外線ＬＥＤの点滅状態をデコードし、前記他の映像提示装置のデバイスＩＤを検出するデバイスＩＤデコード部を備え、
前記通信部は、前記デバイスＩＤデコード部により検出された前記他の映像提示装置のデバイスＩＤを用いてネットワークへアクセスし、当該映像提示装置と前記他の映像提示装置との間の通信路を確立する、ことを特徴とする映像提示装置。
【請求項８】
コンピュータを、請求項１から７までのいずれか一項に記載の映像提示装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチスクリーン間の位置及び姿勢を検出し、位置及び姿勢に応じた映像を提示する映像提示装置及びプログラムに関する。
【背景技術】
【０００２】
従来、高精細な表示デバイス（液晶パネル、有機ＥＬパネル等）の低価格化に伴い、表示デバイスを備えた映像提示装置が家庭内へ普及し、また、多くの映像提示装置が商業施設に設置されている。
【０００３】
スマートフォン及びタブレット端末等の映像提示装置には、多機能化に伴って、カメラ、当該映像提示装置の傾きを検出する加速度センサー、指紋を認証するための指紋センサー等の様々なセンサーが設けられている。
【０００４】
また、被写体を全方位に撮影する技術として、ＲＩＣＯＨ  ＴＨＥＴＡ（リコー・シータ）、全方位ＧｏＰｒｏ（登録商標）マウント等が知られており、今後、この全方位撮影技術は、スマートフォン及びタブレット端末等の映像提示装置に採用されていくと予想される。
【０００５】
このような映像提示装置を用いた映像提示サービスには、例えば、複数の映像提示装置を用いた“Ａｕｇｍｅｎｔｅｄ  ＴＶ”がある（例えば、非特許文献１を参照）。“Ａｕｇｍｅｎｔｅｄ  ＴＶ”は、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実感）と呼ばれる技術を、番組映像に対して適用したサービスである。ＡＲは、コンピュータを用いて、現実環境の一部であるかのような情報を付加することで現実環境を拡張する技術である。具体的には、“Ａｕｇｍｅｎｔｅｄ  ＴＶ”では、タブレット端末等の携帯端末のカメラでＴＶ画面を撮影し、カメラ取込み画像に対してＴＶ番組（以下、映像コンテンツという。）に連動した３ＤＣＧ（以下、サブコンテンツという。）をオーバーレイ表示することで、番組演出をＴＶ画面外に拡張することができる。
【０００６】
このような映像提示サービスに用いる技術として、カメラ付き映像提示装置がカメラ取込み画像中の映像コンテンツに対してサブコンテンツをオーバーレイ表示する際に、映像コンテンツを表示している映像提示装置の位置及び姿勢を検出すると共に、カメラ付き映像提示装置の画面内において両コンテンツの表示の同期を確立する手法が知られている（例えば、特許文献１，２を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−３５５７６号公報
【特許文献２】特開２０１４−２３０７２号公報
【非特許文献】
【０００８】
【非特許文献１】Kawakita et al．，“Augmented TV：An Augmented Reality System for TV Programs Beyond the TV Screen”，IEEE ICMCS2014，S−IV（2），ID：144
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前述の特許文献１，２の手法は、映像提示装置の画面に表示されたマーカー等をカメラによって捉えることで、当該映像提示装置の位置及び姿勢を検出するものであり、カメラの撮影範囲内に、マーカー等が表示された画面を必要とする。
【００１０】
しかしながら、映像提示装置の位置または姿勢によっては、カメラの撮影範囲内に、映像提示装置の画面が存在しない場合があり、マーカー等を表示した画面をカメラによって捉えることができず、その位置及び姿勢を検出できないことがあり得る。このため、映像提示装置の位置または姿勢によっては、映像提示サービスを実現することができないという問題があった。
【００１１】
また、映像提示装置の位置及び姿勢を検出するためには、マーカー等を表示する処理、及びマーカー等を解析する処理が必要となり、映像コンテンツの演出を阻害し、処理負荷が高いという問題もあった。
【００１２】
このような問題を解決するために、マーカー等を解析するための画像を取得するカメラを用いることなく、また、負荷の高い画像処理を行うことなく、映像提示装置の位置及び姿勢を検出し、新しい映像表現を可能にする映像提示サービスを実現することが所望されていた。
【００１３】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、複数のセンサーを用いて検出対象の映像提示装置の位置及び姿勢を検出することにより、カメラの撮影範囲内にその映像提示装置の画面が存在しない場合であっても、映像提示サービスを実現可能な映像提示装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
前記目的を達成するために、請求項１の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、異なる２つの符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された異なる２つの符号のうちの一方の符号に従って点滅する第１の赤外線ＬＥＤと、前記デバイスＩＤエンコード部により生成された異なる２つの符号のうちの他方の符号に従って点滅する第２の赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された異なる符号に従ってそれぞれ点滅する２つの赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記２つの赤外線ＬＥＤの位置を特定し、前記２つの赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位に基づいて、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの方位角を算出し、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記他の映像提示装置に備えた２つの赤外線ＬＥＤ間の予め設定された距離、前記算出した方位角、及び、前記姿勢推定部により推定された当該映像提示装置から見た前記他の映像提示装置の姿勢に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。
【００１５】
また、請求項２の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された符号に従って、同じ位相で点滅する第１の赤外線ＬＥＤ及び第２の赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された同じ符号に従って同じ位相で点滅する２つの赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記２つの赤外線ＬＥＤの位置を特定し、前記２つの赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態に基づいて、前記２つの赤外線ＬＥＤの位相差を検出する位相差検出部と、前記位相差検出部により検出された位相差に基づいて、当該映像提示装置を基点とした前記他の映像提示装置に備えた２つの赤外線ＬＥＤとの間の距離差を推定する距離差推定部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位に基づいて、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの方位角を算出し、前記他の映像提示装置に備えた２つの赤外線ＬＥＤ間の予め設定された距離、前記算出した方位角、及び前記距離差推定部により推定された距離差に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。
【００１６】
また、請求項３の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、全方位距離画像センサーを用いて、前記他の映像提示装置に備えた赤外線ＬＥＤを含む距離画像を取得する距離画像取得部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記距離画像取得部により取得された距離画像に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。
【００１７】
また、請求項４の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、レーザーセンサーを用いて、レーザーを発光し、前記他の映像提示装置に備えた再帰性反射部に反射させ、前記反射したレーザーを受光してレーザー距離を計測するレーザー距離計部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記レーザー距離計部により計測されたレーザー距離を、当該映像提示装置と前記他の映像提示装置との間の距離とし、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。
【００１８】
また、請求項５の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤのサイズを算出し、前記算出したサイズ、及び予め設定された前記赤外線ＬＥＤのサイズに基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。
【００１９】
また、請求項６の映像提示装置は、請求項１から５までのいずれか一項に記載の映像提示装置において、さらに、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置を操作するユーザの視点位置を推定する視点位置処理部を備え、前記視点位置処理部が、カメラを用いて、前記ユーザの顔を含む画像を取得するカメラ画像取得部と、前記カメラ画像取得部により取得された画像から、前記ユーザの顔の領域を認識して顔画像を抽出する顔画像抽出部と、前記顔画像抽出部により抽出された顔画像から前記ユーザの目を抽出し、前記カメラ画像取得部により取得された画像上の目の位置を検出し、前記画像上の両方の前記目の間隔を算出し、前記画像上の目の位置及び両方の前記目の間隔、並びに予め設定された両方の目の間隔に基づいて、前記視点位置を推定する視点位置推定部と、を備えたことを特徴とする。
【００２０】
また、請求項７の映像提示装置は、請求項１から６までのいずれか一項に記載の映像提示装置において、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記赤外線ＬＥＤの点滅状態をデコードし、前記他の映像提示装置のデバイスＩＤを検出するデバイスＩＤデコード部を備え、前記通信部が、前記デバイスＩＤデコード部により検出された前記他の映像提示装置のデバイスＩＤを用いてネットワークへアクセスし、当該映像提示装置と前記他の映像提示装置との間の通信路を確立する、ことを特徴とする。
【００２１】
さらに、請求項８のプログラムは、コンピュータを、請求項１から７までのいずれか一項に記載の映像提示装置として機能させることを特徴とする。
【発明の効果】
【００２２】
以上のように、本発明によれば、カメラの撮影範囲内に、検出対象の映像提示装置の画面が存在しない場合であっても、映像提示サービスを実現することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態による映像提示装置の使用形態と表示画面例を説明する図である。
【図２】本発明の実施形態による映像提示装置の構成を示すブロック図である。
【図３】位置・姿勢処理部の処理の概要を示すフローチャートである。
【図４】位置・姿勢処理部の処理の概要を説明する図である。
【図５】映像提示装置の相対方位、距離、傾き値、位置及び姿勢を説明する図である。
【図６】サーバの構成を示すブロック図である。
【図７】デバイスＩＤデータベースのデータ構成を示す図である。
【図８】実施例１の位置・姿勢処理部の構成を示すブロック図である。
【図９】実施例２の位置・姿勢処理部の構成を示すブロック図である。
【図１０】実施例３の位置・姿勢処理部の構成を示すブロック図である。
【図１１】実施例４の位置・姿勢処理部の構成を示すブロック図である。
【図１２】実施例５の位置・姿勢処理部の構成を示すブロック図である。
【図１３】相対方位及びデバイスＩＤ検出処理（実施例１〜５）を示すフローチャートである。
【図１４】通信路確立処理（実施例１〜５）を示すフローチャートである。
【図１５】デバイスＩＤ出力処理（実施例１）を示すフローチャートである。
【図１６】位置・姿勢推定処理（実施例１〜５）を示すフローチャートである。
【図１７】位置・姿勢推定部の構成を示すブロック図である。
【図１８】距離推定部の入出力データ及び処理を説明する図である。
【図１９】実施例１において距離ｄを推定する処理を説明する図である。
【図２０】実施例２において距離ｄを推定する処理を説明する図である。
【図２１】姿勢推定処理（実施例１〜５）を示すフローチャートである。
【図２２】本発明の他の実施形態による映像提示装置の構成を示すブロック図である。
【図２３】視点位置処理部の構成を示すブロック図である。
【図２４】視点位置処理部の処理を示すフローチャートである。
【図２５】姿勢推定処理（実施例１〜５）を説明する図である。
【発明を実施するための形態】
【００２４】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
図１は、本発明の実施形態による映像提示装置の使用形態と表示画面例を説明する図である。この映像提示システムは、２台の映像提示装置１ａ，１ｂ及びサーバ２により構成され、映像提示装置１ａ，１ｂ及びサーバ２は、インターネット等の有線及び無線のネットワークを介して接続される。
【００２５】
映像提示システムは、映像提示装置１ｂが、映像コンテンツを画面表示し、映像提示装置１ａを操作するユーザが、映像提示装置１ａに内蔵されたカメラを用いて映像提示装置１ｂの画面を撮像し、映像提示装置１ａが、カメラ入力の画像に含まれる映像コンテンツに、当該映像コンテンツに関連するサブコンテンツをオーバーレイ表示することを前提とする。
【００２６】
本発明の実施形態では、このような映像提示装置１ａの画面に対し、映像提示装置１ｂに画面表示された映像コンテンツにサブコンテンツをオーバーレイ表示する際に、映像提示装置１ａの画面内に映像提示装置１ｂの画面が存在しない場合であっても、映像コンテンツとの関係でサブコンテンツを継続して表示することができるように、新たな映像表現を可能とする映像提示サービスを実現するために、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定する。
【００２７】
図１では、映像コンテンツが宇宙船の動画像であり、サブコンテンツが星である場合の例を示す。映像提示装置１ｂの画面には、映像コンテンツとして宇宙船の動画像が表示されている。また、ユーザにより操作される映像提示装置１ａの画面には、映像提示装置１ａのカメラから取り込んだ映像提示装置１ｂの画面に表示された宇宙船の動画像と、宇宙船の動画像に同期した星とが表示されている。ここで、映像提示装置１ａは、映像提示装置１ｂの位置及び姿勢を推定し、その後、ユーザにより映像提示装置１ａの向きが変化する等して、映像提示装置１ａの画面内に映像提示装置１ｂの画面が存在しなくなったとしても、表示されていない宇宙船の動画像との関係において、サブコンテンツである星を継続して表示する。
【００２８】
映像提示装置１ａは、例えば、電話機能、カメラによる撮影機能及びインターネット等のネットワークにアクセスする通信機能を有する携帯電話機、タブレット端末等である。また、映像提示装置１ｂは、例えば、映像コンテンツの放送波を受信して復号し、再生する再生装置、ＴＶまたはデジタルサイネージ等である。
【００２９】
尚、映像提示装置１ａ，１ｂは、同じ機能を有する装置であってもよいし、異なる機能を有する装置であってもよい。本発明は、映像提示装置１ａ，１ｂを図１に示した使用形態等に限定するものではない。
【００３０】
〔映像提示装置〕
次に、図１に示した映像提示装置１ａ，１ｂ（総称して、映像提示装置１という。）について説明する。図２は、本発明の実施形態による映像提示装置１の構成を示すブロック図である。この映像提示装置１は、マルチスクリーンの映像コンテンツを画面表示するために、位置・姿勢処理部３及び提示処理部４を備えている。また、図２には図示していないが、映像提示装置１は、さらに、位置・姿勢処理部３にて用いる赤外線カメラ、赤外線ＬＥＤ等を備え、提示処理部４にて用いるカメラを備えている。
【００３１】
映像提示装置１の位置・姿勢処理部３は、図示しない赤外線ＬＥＤから当該映像提示装置１のデバイスＩＤを反映した全方位赤外線を出力し、図示しない赤外線カメラを用いて、検出対象である他の映像提示装置１を撮影した全方位赤外線カメラ画像を取得する等して、当該映像提示装置１から見た他の映像提示装置１（当該映像提示装置１を基準とした他の映像提示装置１）の位置及び姿勢を推定する。
【００３２】
提示処理部４は、図示しないカメラを用いて他の映像提示装置１の画面に表示された映像コンテンツの画像を取得すると共に、位置・姿勢処理部３により推定された他の映像提示装置１の位置及び姿勢に関する情報（位置情報及び姿勢情報）を入力する。そして、提示処理部４は、例えば、図１の映像提示装置１ａの画面に示したように、カメラ入力の画像に含まれる映像コンテンツに、当該映像コンテンツに関連するサブコンテンツをオーバーレイ表示する。
【００３３】
〔位置・姿勢処理部３〕
次に、図２に示した位置・姿勢処理部３の処理の概要について説明する。図３は、位置・姿勢処理部３の処理の概要を示すフローチャートであり、図４は、位置・姿勢処理部３の処理の概要を説明する図であり、図５は、映像提示装置１の相対方位、距離、傾き値、位置及び姿勢を説明する図である。以下、映像提示装置１ａに備えた位置・姿勢処理部３が、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定する場合について説明する。
【００３４】
図３及び図４を参照して、映像提示装置１ａの位置・姿勢処理部３は、まず、赤外線カメラを用いて、映像提示装置１ｂに備えた赤外線ＬＥＤを含む全方位赤外線画像を取得する（ステップＳ３０１）。そして、位置・姿勢処理部３は、全方位赤外線画像に基づいて、当該映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、赤外線ＬＥＤの点滅状態から映像提示装置１ｂのデバイスＩＤを検出する（ステップＳ３０２）。
【００３５】
図５を参照して、映像提示装置１ａに対して予め設定された座標（ｘ軸、ｙ軸及びｚ軸）を想定する。映像提示装置１ａから見た映像提示装置１ｂの相対方位は、ｘｙｚ軸の空間において、映像提示装置１ａに備えた赤外線カメラの位置から、映像提示装置１ｂに備えた赤外線ＬＥＤ（後述する赤外線ＬＥＤ３６等）の位置への向きを示す。
【００３６】
図３及び図４に戻って、映像提示装置１ａの位置・姿勢処理部３は、ステップＳ３０２にて検出した映像提示装置１ｂのデバイスＩＤに基づいてサーバ２へアクセスし、当該映像提示装置１ａとデバイスＩＤが検出された映像提示装置１ｂ（検出済み映像提示装置１ｂ）との間の通信路を確立する（ステップＳ３０３）。
【００３７】
映像提示装置１ａの位置・姿勢処理部３は、映像提示装置１ｂから、映像提示装置１ｂから見た映像提示装置１ａの相対方位を受信する（ステップＳ３０４）。この場合、映像提示装置１ｂは、ステップＳ３０２と同様の処理により、映像提示装置１ｂから見た映像提示装置１ａの相対方位を検出済みであるものとする。
【００３８】
映像提示装置１ａの位置・姿勢処理部３は、映像提示装置１ａに備えた加速度センサー及び地磁気センサーを用いて、映像提示装置１ａの絶対的な傾き値（映像提示装置１ａに備えた加速度センサーによる絶対的な傾き値及び地磁気センサーによる絶対的な傾き値）を検出する（ステップＳ３０５）。そして、位置・姿勢処理部３は、映像提示装置１ｂから、映像提示装置１ｂの絶対的な傾き値（映像提示装置１ｂに備えた加速度センサーによる絶対的な傾き値及び地磁気センサーによる絶対的な傾き値）を受信する（ステップＳ３０６）。
【００３９】
図５を参照して、前述と同様に、映像提示装置１ａに対して予め設定された座標（ｘ軸、ｙ軸及びｚ軸）を想定する。加速度センサーによる絶対的な傾き値は、加速度の強さ及び方向を３次元の加速度ベクトル（ｘg，ｙg，ｚg）として表した値である。尚、映像提示装置１ａが静止している場合、加速度センサーによる絶対的な傾き値は、重力の方向（鉛直方向）を示す。映像提示装置１ａは、映像提示装置１ａが静止しているときの加速度センサーによる絶対的な傾き値を認識するものとし、また、映像提示装置１ｂから、映像提示装置１ｂが静止しているときの加速度センサーによる絶対的な傾き値を受信し、それを認識するものとする。例えば、映像提示装置１ａは、絶対的な傾き値が一定時間変化しないときに（一定時間かつ所定範囲内で変化しているときに）、その値を、鉛直方向の値として認識する。
【００４０】
また、地磁気センサーによる絶対的な傾き値は、加速度の強さ及び方向を３次元の地磁気ベクトル（ｘc，ｙc，ｚc）として表した値である。尚、映像提示装置１ａが静止している場合、地磁気センサーによる絶対的な傾き値は、周囲の磁性体の影響を受けないときに、北磁極（または南磁極）方向を示す。映像提示装置１ａは、映像提示装置１ａが静止しているときの地磁気センサーによる絶対的な傾き値を認識するものとし、また、映像提示装置１ｂから、映像提示装置１ｂが静止しているときの地磁気センサーによる絶対的な傾き値を受信し、それを認識するものとする。映像提示装置１ａは、絶対的な傾き値が一定時間変化しないときに（一定時間かつ所定範囲内で変化しているときに）、その値を、北磁極（または南磁極）方向の値として認識する。以下、映像提示装置１ａが静止しているときの地磁気センサーによる絶対的な傾き値を北磁極方向の値として説明する。
【００４１】
図３及び図４に戻って、映像提示装置１ａの位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定し（ステップＳ３０７）、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定し、映像提示装置１ａから見た映像提示装置１ｂの位置を推定する（ステップＳ３０８）。尚、図３に示した同様の処理により、映像提示装置１ｂの位置・姿勢処理部３は、映像提示装置１ｂから見た映像提示装置１ａの位置及び姿勢を推定することができる。
【００４２】
図５を参照して、映像提示装置１ａと映像提示装置１ｂとの間の距離は、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤとの間の距離ｄを示す。また、映像提示装置１ａから見た映像提示装置１ｂの位置（相対位置）は、ｘｙｚ軸の空間において、映像提示装置１ａが存在する位置を基準として、映像提示装置１ｂに備えた赤外線ＬＥＤ（後述する赤外線ＬＥＤ３６等）の座標（ｘb，ｙb，ｚb）を示す。つまり、映像提示装置１ａから見た映像提示装置１ｂの位置は、映像提示装置１から見た映像提示装置１ｂの相対方位及び距離ｄにより定められる。
【００４３】
また、映像提示装置１ａから見た映像提示装置１ｂの姿勢（相対姿勢）は、ｘｙｚ軸の空間において、例えばオイラー角のように、ｘｙｚ軸回りの回転を繰り返すことにより表した値である。映像提示装置１ａから見た映像提示装置１ｂの姿勢は、映像提示装置１ａの姿勢を基準として（映像提示装置１ａに対して予め設定されたｘｙｚ軸を基準として）、映像提示装置１ｂの傾きであるｘ軸に対する回転角度θxb、ｙ軸に対する回転角度θyb及びｚ軸に対する回転角度θzb、すなわち（θxb，θyb，θzb）を示す。
【００４４】
〔サーバ２〕
次に、図１に示したサーバ２について説明する。図６は、サーバ２の構成を示すブロック図である。このサーバ２は、通信部２１及びデバイスＩＤデータベース２２を備えている。通信部２１は、ネットワークを介して映像提示装置１（映像提示装置１ａ，１ｂ等）と通信を行う。また、通信部２１は、映像提示装置１からのクエリーに基づいて、当該クエリーが示すデバイスＩＤのネットワークアドレスをデバイスＩＤデータベース２２から読み出し、読み出したネットワークアドレスを、クエリーを送信してきた映像提示装置１へ返信する。
【００４５】
図７は、デバイスＩＤデータベース２２のデータ構成を示す図である。デバイスＩＤデータベース２２は、デバイスＩＤ及びネットワークアドレスが対となって構成される。
【００４６】
尚、サーバ２は、映像提示装置１からデバイスＩＤを含むクエリーを受信し、当該クエリーに対応するネットワークアドレスを、クエリーを送信してきた映像提示装置１へ返信するように構成したが、２台の映像提示装置１間の通信を仲介するように構成してもよい。
【００４７】
次に、図２に示した位置・姿勢処理部３について、実施例１〜５を挙げて説明する。以下、映像提示装置１ａに備えた位置・姿勢処理部３が、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定する場合について説明する。
【００４８】
〔実施例１／位置・姿勢処理部３〕
まず、実施例１の位置・姿勢処理部３について説明する。実施例１の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた赤外線ＬＥＤを撮影する赤外線カメラ、並びに、絶対的な傾き値を検出する加速度センサー及び地磁気センサーを用いるものである。
【００４９】
図８は、実施例１の位置・姿勢処理部３の構成を示すブロック図である。この実施例１の位置・姿勢処理部３−１は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６，３７、通信部３８、傾き検出部３９及び位置・姿勢推定部４０を備えている。
【００５０】
図１３は、相対方位及びデバイスＩＤ検出処理を示すフローチャートであり、実施例１〜５共通の処理である。図１４は、通信路確立処理を示すフローチャートであり、実施例１〜５共通の処理である。図１５は、デバイスＩＤ出力処理を示すフローチャートである。図１６は、位置・姿勢推定処理を示すフローチャートであり、実施例１〜５共通の処理である。
【００５１】
（相対方位及びデバイスＩＤ検出処理）
まず、相対方位及びデバイスＩＤ検出処理について説明する。図８及び図１３を参照して、赤外線カメラ画像取得部３１は、赤外線カメラを用いて、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を含む全方位赤外線画像を取得する（ステップＳ１３０１）。
【００５２】
方位検出部３２は、赤外線カメラ画像取得部３１により取得された全方位赤外線画像を入力し、全方位赤外線画像から、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を検出する（ステップＳ１３０２）。映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７は、後述するように、映像提示装置１ｂのデバイスＩＤを反映して点滅する。方位検出部３２は、予め設定されたデバイスＩＤの点滅状態に照らして、所定時間の全方位赤外線画像から、映像提示装置１ｂのデバイスＩＤが反映された点滅状態を捉える。そして、方位検出部３２は、全方位赤外線画像において、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を検出し、その位置を特定する。
【００５３】
方位検出部３２は、ステップＳ１３０２にて検出した映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の位置に基づいて、映像提示装置１ａから見た映像提示装置１ｂの相対方位（映像提示装置１ａに備えた赤外線カメラの位置から、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の位置への向き）を検出する（ステップＳ１３０３）。
【００５４】
例えば、方位検出部３２は、ＬＥＤ識別情報として、映像提示装置１ｂの赤外線ＬＥＤ３６，３７のそれぞれについて、全方位赤外線画像における赤外線ＬＥＤ３６，３７の位置の座標と、映像提示装置１ｂのデバイスＩＤ及びＬＥＤの番号とを対応付けた情報を保持する。また、方位検出部３２は、ＬＥＤ相対方位情報として、映像提示装置１ｂの赤外線ＬＥＤ３６，３７のそれぞれについて、全方位赤外線画像における赤外線ＬＥＤ３６，３７の位置の座標と、相対方位（映像提示装置１ａに備えた赤外線カメラの位置から、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の位置への単位ベクトルまたは角度（水平角及び仰角））を保持する。
【００５５】
以下では、特に断りがない限り、赤外線ＬＥＤ３６，３７の相対方位を単に相対方位と呼ぶことにする。すなわち、実施例１では、相対方位は、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７のそれぞれの相対方位を示し、後述する実施例２も同様である。後述する実施例３，４では、相対方位は、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位を示し、後述する実施例５では、相対方位は、映像提示装置１ａから見た映像提示装置１ｂに備えた球型赤外線ＬＥＤ４９の相対方位を示す。
【００５６】
通信部３８は、方位検出部３２により検出された相対方位を入力し、映像提示装置１ｂからの要求（映像提示装置１ｂからデバイスＩＤを受信する等の要求）に従い、入力した相対方位を、ネットワーク（後述する図１４のステップＳ１４０２にて確立した通信路）を介して映像提示装置１ｂへ送信する。
【００５７】
デバイスＩＤデコード部３３は、赤外線カメラ画像取得部３１により取得された全方位赤外線画像を入力し、所定時間の全方位赤外線画像から、予め設定されたデバイスＩＤの点滅状態に照らして、映像提示装置１ｂのデバイスＩＤが反映された、映像提示装置１ｂに備えた赤外線ＬＥＤ３６の点滅状態を捉える。そして、デバイスＩＤデコード部３３は、点滅状態をデコードすることで、そのデバイスＩＤ（検出済みデバイスＩＤ）を検出する（ステップＳ１３０４）。
【００５８】
また、デバイスＩＤデコード部３３は、全方位赤外線画像から、映像提示装置１ｂに備えた赤外線ＬＥＤ３６に加え、赤外線ＬＥＤ３７も検出し、赤外線ＬＥＤ３６，３７の位置をそれぞれ特定する。そして、デバイスＩＤデコード部３３は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を識別するためのＬＥＤ識別情報（全方位赤外線画像内の位置を特定可能な識別情報）を生成し、ＬＥＤ識別情報を後述する位置・姿勢推定部４０に出力する。
【００５９】
（通信路確立処理）
次に、通信路確立処理について説明する。図８及び図１４を参照して、通信部３８は、デバイスＩＤデコード部３３により検出された検出済みデバイスＩＤを含むクエリーを生成し、当該クエリーをサーバ２へ送信することで、サーバ２へアクセスする（ステップＳ１４０１）。
【００６０】
通信部３８は、サーバ２から、検出済みデバイスＩＤに対応するネットワークアドレス（映像提示装置１ｂのネットワークアドレス）を受信し、当該映像提示装置１ａと検出済み映像提示装置１ｂとの間の通信路を確立する（ステップＳ１４０２）。これにより、映像提示装置１ａと映像提示装置１ｂとの間で、必要なときに必要なデータを送受信することができる。映像提示装置１ａと映像提示装置１ｂとの間のデータ送受信は、サーバ２を介して行うようにしてもよいし、両装置間で直接行うようにしてもよい。
【００６１】
（デバイスＩＤ出力処理）
次に、デバイスＩＤ出力処理について説明する。図８及び図１５を参照して、デバイスＩＤエンコード部３５は、デバイスＩＤ記憶部３４から当該映像提示装置１ａのデバイスＩＤを読み出す（ステップＳ１５０１）。デバイスＩＤ記憶部３４には、当該映像提示装置１ａを識別するためのデバイスＩＤが格納されているものとする。そして、デバイスＩＤエンコード部３５は、デバイスＩＤをエンコードし、異なる２つの符号Ａ，Ｂを生成する（ステップＳ１５０２）。
【００６２】
デバイスＩＤエンコード部３５は、ステップＳ１５０２にて生成した符号Ａを反映したパルス信号を赤外線ＬＥＤ３６に出力し、赤外線ＬＥＤ３６を点滅させる（ステップＳ１５０３）。これにより、映像提示装置１ａのデバイスＩＤは、赤外線ＬＥＤ３６から、当該デバイスＩＤの符号Ａに従って点滅する赤外線パルスとして出力される。
【００６３】
デバイスＩＤエンコード部３５は、ステップＳ１５０２にて生成した符号Ｂを反映したパルス信号を赤外線ＬＥＤ３７に出力し、赤外線ＬＥＤ３７を点滅させる（ステップＳ１５０４）。これにより、映像提示装置１ａのデバイスＩＤは、赤外線ＬＥＤ３７から、当該デバイスＩＤの符号Ｂに従って点滅する赤外線パルスとして出力される。
【００６４】
尚、映像提示装置１ｂは映像提示装置１ａと同じ構成であるから、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７からも同様に、映像提示装置１ｂのデバイスＩＤの符号Ａ，Ｂが反映された赤外線パルスがそれぞれ出力される。
【００６５】
（位置・姿勢推定処理）
次に、位置・姿勢推定処理について説明する。図８及び図１６を参照して、通信部３８は、デバイスＩＤ記憶部３４から当該映像提示装置１ａのデバイスＩＤを読み出し（ステップＳ１６０１）、読み出した映像提示装置１ａのデバイスＩＤを検出済み映像提示装置１ｂへ送信する（ステップＳ１６０２）。検出済み映像提示装置１ｂは、図１３に示したステップＳ１３０４にてデバイスＩＤが検出された装置である。
【００６６】
通信部３８は、映像提示装置１ｂからネットワーク（図１４のステップＳ１４０２にて確立した通信路）を介して、映像提示装置１ｂから見た映像提示装置１ａの相対方位を受信する（ステップＳ１６０３）。この場合、映像提示装置１ｂは、ステップＳ１６０２に対応して映像提示装置１ａのデバイスＩＤを受信することで、相対方位の送信要求を受けたものと判断し、映像提示装置１ｂから見た映像提示装置１ａの相対方位を映像提示装置１ａへ送信する。尚、映像提示装置１ｂは、映像提示装置１ｂによる図１３に示したステップＳ１３０３の処理にて、既に相対方位を検出済みであるものとする。
【００６７】
傾き検出部３９は、加速度センサー及び地磁気センサーを備えており、加速度センサーを用いて、映像提示装置１ａの加速度センサーによる絶対的な傾き値を検出すると共に、地磁気センサーを用いて、映像提示装置１ａの地磁気センサーによる絶対的な傾き値を検出する（ステップＳ１６０４）。また、通信部３８は、傾き検出部３９により検出された絶対的な傾き値を入力し、映像提示装置１ｂからの要求（映像提示装置１ｂからデバイスＩＤを受信する等の要求）に従い、入力した絶対的な傾き値（映像提示装置１ａの絶対的な傾き値）を、ネットワーク（図１４のステップＳ１４０２にて確立した通信路）を介して映像提示装置１ｂへ送信する。
【００６８】
通信部３８は、映像提示装置１ｂからネットワーク（図１４のステップＳ１４０２にて確立した通信路）を介して、映像提示装置１ｂの絶対的な傾き値を受信する（ステップＳ１６０５）。この場合、映像提示装置１ｂは、ステップＳ１６０２に対応して映像提示装置１ａのデバイスＩＤを受信することで、絶対的な傾き値の送信要求を受けたものと判断し、映像提示装置１ｂの絶対的な傾き値を映像提示装置１ａへ送信する。尚、映像提示装置１ｂは、当該映像提示装置１ｂによるステップＳ１６０４の処理にて、既に絶対的な傾き値を検出済みであるものとする。
【００６９】
位置・姿勢推定部４０は、赤外線カメラ画像取得部３１から全方位赤外線画像を、方位検出部３２から相対方位（映像提示装置１ａから見た映像提示装置１ｂの相対方位）を、デバイスＩＤデコード部３３からＬＥＤ識別情報を、傾き検出部３９から傾き値（映像提示装置１ａの絶対的な傾き値）を、通信部３８から相対方位（映像提示装置１ｂから見た映像提示装置１ａの相対方位）及び絶対的な傾き値（映像提示装置１ｂの絶対的な傾き値）をそれぞれ入力する。
【００７０】
位置・姿勢推定部４０は、映像提示装置１ａから見た映像提示装置１ｂの相対方位、映像提示装置１ｂから見た映像提示装置１ａの相対方位、映像提示装置１ａ，１ｂの絶対的な傾き値に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する（ステップＳ１６０６）。詳細については後述する。
【００７１】
位置・姿勢推定部４０は、全方位赤外線画像、ＬＥＤ識別情報、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び映像提示装置１ａから見た映像提示装置１ｂの姿勢に基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。詳細については後述する。そして、位置・姿勢推定部４０は、距離ｄ、及び映像提示装置１ａから見た映像提示装置１ｂの相対方位に基づいて、映像提示装置１ａから見た映像提示装置１ｂの位置を推定する（ステップＳ１６０７）。詳細については後述する。
【００７２】
図１７は、位置・姿勢推定部４０の構成を示すブロック図である。この図１７は、後述する実施例２の位置・姿勢推定部４３、実施例３の位置・姿勢推定部４５、実施例４の位置・姿勢推定部４８及び実施例５の位置・姿勢推定部５０の構成についても示している。位置・姿勢推定部４０は、距離推定部５１、位置推定部５６及び姿勢推定部５７を備えている。
【００７３】
尚、後述する実施例２の位置・姿勢推定部４３は、距離推定部５２、位置推定部５６及び姿勢推定部５７を備え、後述する実施例３の位置・姿勢推定部４５は、距離推定部５３、位置推定部５６及び姿勢推定部５７を備えている。後述する実施例４の位置・姿勢推定部４８は、位置推定部５６及び姿勢推定部５７を備え、距離推定部５１等に対応する構成部を備えていない。後述する実施例５の位置・姿勢推定部５０は、距離推定部５５、位置推定部５６及び姿勢推定部５７を備えている。
【００７４】
（姿勢推定処理）
次に、姿勢推定処理について説明する。姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位、映像提示装置１ｂから見た映像提示装置１ａの相対方位、映像提示装置１ａの絶対的な傾き値及び映像提示装置１ｂの絶対的な傾き値を入力し、これらのデータに基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。
【００７５】
図２１は、姿勢推定部５７による姿勢推定処理を示すフローチャートである。このフローチャートは、実施例１〜５共通の処理である。姿勢推定部５７は、方位検出部３２から、映像提示装置１ａから見た映像提示装置１ｂの相対方位を入力すると共に（ステップＳ２１０１）、通信部３８から、映像提示装置１ｂから見た映像提示装置１ａの相対方位を入力する（ステップＳ２１０２）。映像提示装置１ｂから見た映像提示装置１ａの相対方位は、映像提示装置１ｂから受信したデータである。
【００７６】
姿勢推定部５７は、傾き検出部３９から、映像提示装置１ａの絶対的な傾き値（加速度センサーによる絶対的な傾き値及び地磁気センサーによる絶対的な傾き値）を入力する（ステップＳ２１０３）。この場合、姿勢推定部５７は、映像提示装置１ａが静止しているときの加速度センサーによる絶対的な傾き値を、映像提示装置１ａの鉛直方向として認識する。また、姿勢推定部５７は、映像提示装置１ａが静止しているときの地磁気センサーによる絶対的な傾き値を、映像提示装置１ａの北磁極方向として認識する。例えば、姿勢推定部５７は、入力した加速度センサーによる絶対的な傾き値が所定時間変化しない場合に、その絶対的な傾き値を鉛直方向として認識し、入力した地磁気センサーによる絶対的な傾き値が所定時間変化しない場合に、その絶対的な傾き値を北磁極方向として認識する。尚、映像提示装置１ａが動いている場合であっても、映像提示装置１ａが静止しているときの映像提示装置１ｂの姿勢を推定する必要があることから、絶対的な傾き値は、所定時間の変化に対してローパスフィルターをかけた値としてもよい。
【００７７】
姿勢推定部５７は、通信部３８から、映像提示装置１ｂの絶対的な傾き値（加速度センサーによる絶対的な傾き値及び地磁気センサーによる絶対的な傾き値）を入力する（ステップＳ２１０４）。この場合、姿勢推定部５７は、映像提示装置１ｂが静止しているときの加速度センサーによる絶対的な傾き値を、映像提示装置１ｂの鉛直方向として認識する。また、姿勢推定部５７は、映像提示装置１ｂが静止しているときの地磁気センサーによる絶対的な傾き値を、映像提示装置１ｂの北磁極方向として認識する。例えば、姿勢推定部５７は、映像提示装置１ｂから通信部３８を介して入力した加速度センサーによる絶対的な傾き値が所定時間変化しない場合に、その絶対的な傾き値を鉛直方向として認識し、映像提示装置１ｂから通信部３８を介して入力した地磁気センサーによる絶対的な傾き値が所定時間変化しない場合に、その絶対的な傾き値を北磁極方向として認識する。
【００７８】
姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向でないか否かを判定する（ステップＳ２１０５）。すなわち、姿勢推定部５７は、ステップＳ２１０１にて入力した相対方位が、ステップＳ２１０３にて認識した鉛直方向（映像提示装置１ａの鉛直方向）でないか否かを判定する。
【００７９】
姿勢推定部５７は、ステップＳ２１０５において、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向でないと判定した場合（ステップＳ２１０５：Ｙ）、映像提示装置１ａ，１ｂの鉛直方向、映像提示装置１ａから見た映像提示装置１ｂの相対方位（例えば、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位）、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位（例えば、映像提示装置１ｂから見た映像提示装置１ａに備えた赤外線ＬＥＤ３６の相対方位）に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する（ステップＳ２１０６）。
【００８０】
ここで、姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する際に、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢のうち、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度以外の角度を推定することができる。これは、映像提示装置１ａから見た映像提示装置１ｂの相対方位が、映像提示装置１ａの基本姿勢を基準とした場合における映像提示装置１ｂの向きであり、映像提示装置１ｂから見た映像提示装置１ａの相対方位が、映像提示装置１ｂの基本姿勢を基準とした場合における映像提示装置１ａの向きだからである。
【００８１】
しかし、姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの姿勢のうち、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度を推定することができない。そこで、姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向でないことから、映像提示装置１ａ，１ｂの鉛直方向の情報を用いることで、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度を推定することができる。これにより、映像提示装置１ａから見た映像提示装置１ｂの姿勢が推定される。
【００８２】
姿勢推定部５７は、ステップＳ２１０５において、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向であると判定した場合（ステップＳ２１０５：Ｎ）、映像提示装置１ａ，１ｂの北磁極方向、映像提示装置１ａから見た映像提示装置１ｂの相対方位（例えば、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位）、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位（例えば、映像提示装置１ｂから見た映像提示装置１ａに備えた赤外線ＬＥＤ３６の相対方位）に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する（ステップＳ２１０７）。
【００８３】
ここで、姿勢推定部５７は、前述のとおり、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢のうち、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度以外の角度を推定できるが、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度を推定できない。そこで、姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向であることから、映像提示装置１ａ，１ｂの鉛直方向の情報を用いる代わりに、映像提示装置１ａ，１ｂの北磁極方向の情報を用いることで、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度を推定することができる。これにより、映像提示装置１ａから見た映像提示装置１ｂの姿勢が推定される。
【００８４】
図２５は、姿勢推定部５７による姿勢推定処理を説明する図である。この処理は、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する処理であり、実施例１〜５に共通である。図２５を参照して、映像提示装置１ａの中心を原点としたｘ，ｙ，ｚ軸の座標系、及び、映像提示装置１ｂの中心を原点としたｘ’，ｙ’，ｚ’軸の座標系を想定する。映像提示装置１ａにおいて、すなわちｘ，ｙ，ｚ軸の座標系において、映像提示装置１ａから見た映像提示装置１ｂの相対方位の単位ベクトルをｅ１、映像提示装置１ａの絶対的な傾き値を示す加速度ベクトルをＧ１とし、映像提示装置１ｂにおいて、すなわちｘ’，ｙ’，ｚ’軸の座標系において、映像提示装置１ｂから見た映像提示装置１ａの相対方位の単位ベクトルをｅ２、映像提示装置１ｂの絶対的な傾き値を示す加速度ベクトルをＧ２とする。
【００８５】
姿勢推定部５７は、ｘ，ｙ，ｚ軸の座標系において、映像提示装置１ａから見た映像提示装置１ｂの相対方位の単位ベクトルｅ１、及び映像提示装置１ａの加速度ベクトルＧ１と同じ平面に存在するベクトルであって、単位ベクトルｅ１と直交し、かつ加速度ベクトルＧ１と同じ向きの単位ベクトルｇ１を求める。そして、姿勢推定部５７は、単位ベクトルｅ１及び単位ベクトルｇ１の外積を演算し、その演算結果の符号を反転した単位ベクトルｈ１を求める。
【００８６】
姿勢推定部５７は、ｘ’，ｙ’，ｚ’軸の座標系において、映像提示装置１ｂから見た映像提示装置１ａの相対方位の単位ベクトルｅ２、及び映像提示装置１ｂの加速度ベクトルＧ２と同じ平面に存在するベクトルであって、単位ベクトルｅ２と直交し、かつ加速度ベクトルＧ２と同じ向きの単位ベクトルｇ２を求める。そして、姿勢推定部５７は、単位ベクトルｅ２及び単位ベクトルｇ２の外積を演算し、その演算結果の単位ベクトルｈ２を求める。
【００８７】
姿勢推定部５７は、ｅ１，ｇ１，ｈ１軸の座標系と、−ｅ２，ｇ２，ｈ２軸の座標系とを同一の座標系とみなし、ｘ，ｙ，ｚ軸の座標系からｘ’，ｙ’，ｚ’軸の座標系への変換情報、すなわち、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。
【００８８】
このように、映像提示装置１ａ，１ｂの鉛直方向、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位を示す各ベクトルに基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢が推定される。
【００８９】
尚、図２５において、映像提示装置１ａの加速度ベクトルＧ１の代わりに、映像提示装置１ａの地磁気ベクトルＧ１を用い、映像提示装置１ｂの加速度ベクトルＧ２の代わりに、映像提示装置１ｂの地磁気ベクトルＧ２を用いることにより、映像提示装置１ａ，１ｂの北磁極方向、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位を示す各ベクトルに基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢が推定される。
【００９０】
（距離推定処理）
次に、距離推定処理について説明する。図１８は、図１７に示した距離推定部５１〜５３，５５の入出力データ及び処理を説明する図である。図１７及び図１８（１）を参照して、実施例１の距離推定部５１は、全方位赤外線画像、ＬＥＤ識別情報、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、姿勢推定部５７により推定された映像提示装置１ａから見た映像提示装置１ｂの姿勢（姿勢情報）を入力し、これらのデータに基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。尚、図１７において、実線の矢印は、実施例１におけるデータの流れを示す。
【００９１】
図１９は、実施例１において距離ｄを推定する処理を説明する図である。映像提示装置１ｂに備えた赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の距離をａ、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の距離（映像提示装置１ａと映像提示装置１ｂとの間の距離）をｄ、赤外線カメラを基点とした赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の角度である方位角をθとする。また、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の線分に対して垂直となる線分を、赤外線ＬＥＤ３６を起点として、赤外線カメラと赤外線ＬＥＤ３７との間の線分に下ろして、その交点をＰとした場合に、赤外線ＬＥＤ３６と交点Ｐとの間の距離をｅとし、赤外線ＬＥＤ３６を基点とした赤外線ＬＥＤ３７と交点Ｐとの間の角度をφとする。ａは、予め設定された距離であり、ｄは、距離推定部５１により推定される距離である。
【００９２】
距離推定部５１は、全方位赤外線画像から、赤外線ＬＥＤ３６，３７の点滅状態を捉えてこれらを検出し、ＬＥＤ識別情報に基づいて、全方位赤外線画像における赤外線ＬＥＤ３６，３７の位置をそれぞれ特定する。ＬＥＤ識別情報は、前述のとおり、全方位赤外線画像内の位置を特定可能な赤外線ＬＥＤ３６，３７の識別情報である。
【００９３】
距離推定部５１は、全方位赤外線画像における赤外線ＬＥＤ３６の相対方位と赤外線ＬＥＤ３７の相対方位との間の差分を求めることにより、方位角θを算出する。前述のとおり、映像提示装置１ａから見た映像提示装置１ｂの相対方位には、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位、及び映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３７の相対方位が含まれる。
【００９４】
そして、距離推定部５１は、予め設定された計算式により、映像提示装置１ａから見た映像提示装置１ｂの相対方位、予め設定された赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の距離ａ、算出した方位角θ、及び姿勢推定部５７により推定された姿勢（映像提示装置１ａから見た映像提示装置１ｂの姿勢）に基づいて、距離ｄを推定する。
【００９５】
具体的には、距離推定部５１は、映像提示装置１ａから見た映像提示装置１ｂの相対方位及び姿勢に基づいて、図１９に示すように、赤外線カメラ及び赤外線ＬＥＤ３６，３７を頂点とした３次元空間上の三角形を形成し、赤外線ＬＥＤ３６を基点とした赤外線カメラと赤外線ＬＥＤ３７との間の角度を求める。そして、距離推定部５１は、この角度から９０°を減算して角度φを求め、距離ａ及び角度φから距離ｅを求め、距離ｅ及び方位角θから距離ｄを推定する。
【００９６】
（位置推定処理）
次に、位置推定処理について説明する。図１７に戻って、位置推定部５６は、距離推定部５１から、映像提示装置１ａと映像提示装置１ｂとの間の距離、すなわち映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の距離ｄを入力すると共に、映像提示装置１ａから見た映像提示装置１ｂの相対方位を入力する。そして、位置推定部５６は、入力した距離ｄ及び相対方位に基づいて、図５に示したとおり、映像提示装置１ａから見た映像提示装置１ｂの位置を推定する。
【００９７】
以上のように、実施例１の位置・姿勢処理部３−１を備えた映像提示装置１ａによれば、位置・姿勢処理部３−１のデバイスＩＤエンコード部３５は、映像提示装置１ａのデバイスＩＤをエンコードした符号Ａにて赤外線ＬＥＤ３６を点滅させ、符号Ｂにて赤外線ＬＥＤ３７を点滅させるようにした。また、赤外線カメラ画像取得部３１は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を含む全方位赤外線カメラ画像を取得し、方位検出部３２は、全方位赤外線カメラ画像から、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出するようにした。また、デバイスＩＤデコード部３３は、全方位赤外線カメラ画像から映像提示装置１ｂのデバイスＩＤを検出し、通信部３８は、映像提示装置１ｂのデバイスＩＤに基づいて、ネットワークを介してサーバ２へアクセスし、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立するようにした。また、傾き検出部３９は、映像提示装置１ａの絶対的な傾き値を検出するようにした。また、通信部３８は、映像提示装置１ｂから、映像提示装置１ｂから見た映像提示装置１ａの相対方位及び映像提示装置１ｂの絶対的な傾き値を受信するようにした。
【００９８】
そして、位置・姿勢推定部４０は、映像提示装置１ａから見た映像提示装置１ｂの相対方位、映像提示装置１ｂから見た映像提示装置１ａの相対方位、映像提示装置１ａ，１ｂの絶対的な傾き値に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部４０は、全方位赤外線画像から赤外線ＬＥＤ３６，３７の位置を特定し、赤外線ＬＥＤ３６，３７の相対方位に基づいて方位角θを算出し、映像提示装置１ａから見た映像提示装置１ｂの相対方位、予め設定された赤外線ＬＥＤ３６，３７の実際の距離ａ、方位角θ、及び映像提示装置１ａから見た映像提示装置１ｂの姿勢に基づいて、映像提示装置１ａ，１ｂの距離ｄを推定する。また、位置・姿勢推定部４０は、映像提示装置１ａ，１ｂの距離ｄ、及び映像提示装置１ａから見た映像提示装置１ｂの相対方位に基づいて、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
【００９９】
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、カメラ（映像提示サービスを実現する画像を取得するための提示処理部４にて用いるカメラ）の撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、赤外線カメラが映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を撮影することができれば、映像提示装置１ｂの位置及び姿勢を推定することができる。したがって、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
【０１００】
また、カメラ（映像提示サービスを実現する画像を取得するための提示処理部４にて用いるカメラ）を用いることなく、赤外線カメラ等の複数のセンサーを用いることで、映像提示装置１ｂの位置及び姿勢を推定するようにしたから、前述の特許文献１,２のような複雑な画像処理（マーカー等が含まれる画像に対して行う処理）が不要になる。したがって、低負荷の処理にて、例えば“Ａｕｇｍｅｎｔｅｄ  ＴＶ”等の映像提示サービスを実現することが可能となる。
【０１０１】
また、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢が推定されるから、例えば、映像提示装置１ｂの画面を周囲に延長して映像コンテンツを提示することができ、映像提示装置１ａ，１ｂの位置関係を考慮したインタラクションの映像コンテンツを提示することができる。
【０１０２】
また、例えば、ユーザが操作する映像提示装置１ａをルーペのように扱って、映像提示装置１ａの画面に表示された映像提示装置１ｂの映像コンテンツの一部を拡大したり、等倍で見易くしたりするサービスが考えられる。具体的には、映像提示装置１ａの提示処理部４は、カメラにより取得した画面である映像提示装置１ｂの映像コンテンツの一部を特定し、その一部のデータを、ネットワークを介して映像提示装置１ｂから受信し、拡大表示等する。
【０１０３】
〔実施例２／位置・姿勢処理部３〕
次に、実施例２の位置・姿勢処理部３について説明する。実施例２の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた赤外線ＬＥＤを撮影する赤外線カメラ、絶対的な傾き値を検出する加速度センサー及び地磁気センサー、並びに、映像提示装置１ｂに備えた２つの赤外線ＬＥＤが点滅する位相差を検出する赤外線受光センサーを用いるものである。
【０１０４】
図９は、実施例２の位置・姿勢処理部３の構成を示すブロック図である。この実施例２の位置・姿勢処理部３−２は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６，３７、通信部３８、傾き検出部３９、位相差検出部４１、距離差推定部４２及び位置・姿勢推定部４３を備えている。
【０１０５】
尚、赤外線カメラ画像取得部３１に備えた赤外線カメラと、位相差検出部４１に備えたセンサーとは、距離ｄを推定する処理等を行う上で所定誤差に収まるように、十分に近い位置に設けられているものとする。後述する実施例３等においても、赤外線カメラと各種センサーとは十分に近い位置に設けられているものとする。
【０１０６】
実施例２の位置・姿勢処理部３−２と図８に示した実施例１の位置・姿勢処理部３−１とを比較すると、実施例２の位置・姿勢処理部３−２は、実施例１と同様に、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６，３７、通信部３８及び傾き検出部３９を備えているが、実施例１の位置・姿勢推定部４０の代わりに、位相差検出部４１、距離差推定部４２及び位置・姿勢推定部４３を備えている点で相違する。
【０１０７】
（相対方位及びデバイスＩＤ検出処理、通信路確立処理）
位置・姿勢処理部３−２は、図１３に示した実施例１の相対方位及びデバイスＩＤ検出処理と同様の処理を行い、図１４に示した実施例１の通信路確立処理と同様の処理を行う。
【０１０８】
（デバイスＩＤ出力処理）
位置・姿勢処理部３−２は、図１５に示した実施例１のデバイスＩＤ出力処理とは異なる処理を行う。図１５に示した実施例１のデバイスＩＤ出力処理では、異なる符号Ａ，Ｂに基づいて赤外線ＬＥＤ３６，３７を点滅させるようにしたが、実施例２のデバイスＩＤ出力処理では、同じ符号Ａに基づいて赤外線ＬＥＤ３６，３７を点滅させる。
【０１０９】
具体的には、位置・姿勢処理部３−２のデバイスＩＤエンコード部３５は、図１５のステップＳ１５０１と同様に、デバイスＩＤ記憶部３４から当該映像提示装置１ａのデバイスＩＤを読み出し、デバイスＩＤをエンコードし、符号Ａを生成する。そして、デバイスＩＤエンコード部３５は、符号Ａを反映したパルス信号を赤外線ＬＥＤ３６，３７に出力し、赤外線ＬＥＤ３６，３７を同じ位相にて点滅させる。これにより、映像提示装置１ａのデバイスＩＤは、赤外線ＬＥＤ３６，３７から、当該デバイスＩＤの符号Ａに従って同じ位相で点滅する赤外線パルスとして出力され、赤外線ＬＥＤ３６，３７は、当該映像提示装置１ａにおいて同じタイミングの点滅状態となる。
【０１１０】
（位置・姿勢推定処理）
位置・姿勢処理部３−２は、全体として、図１６に示した実施例１の位置・姿勢推定処理と同様の処理を行うが、詳細には、図１６のステップＳ１６０７における距離推定手法とは異なる手法にて距離ｄを推定する。
【０１１１】
（距離推定処理）
図９を参照して、位相差検出部４１は、図示しない赤外線受光センサーを備えており、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７から出力される赤外線を受光し、両赤外線の点滅状態に基づいて、そのタイミング差を求め、両信号の位相差を検出する。映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７は、同じ符号Ａ（映像提示装置１ｂのデバイスＩＤから生成された符号Ａ）に基づいて点滅しており、位相差検出部４１は、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の位置（映像提示装置１ａに備えた位相差検出部４１から映像提示装置１ｂに備えた赤外線ＬＥＤ３６までの距離、及び映像提示装置１ａに備えた位相差検出部４１から映像提示装置１ｂに備えた赤外線ＬＥＤ３７までの距離）に応じて、赤外線ＬＥＤ３６，３７から異なる位相の赤外線を受光する。したがって、位相差検出部４１は、位相差を検出することができる。
【０１１２】
距離差推定部４２は、位相差検出部４１により検出された位相差を入力し、位相差に基づいて、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７との間の距離差（後述する図２０に示す距離差ｆ）を推定する。位相差と距離差とは、位相差が大きい場合は距離差も大きくなり、位相差が小さい場合は距離差も小さくなる関係にある。距離差推定部４２は、位相差と距離差とが定義されたテーブルまたは計算式を用いて、位相差から距離差を推定する。
【０１１３】
図１７を参照して、実施例２の位置・姿勢推定部４３は、距離推定部５２、位置推定部５６及び姿勢推定部５７を備えている。位置推定部５６及び姿勢推定部５７の処理は、実施例１と同様であるから、ここでは説明を省略する。
【０１１４】
図１７及び図１８（２）を参照して、実施例２の距離推定部５２は、全方位赤外線画像、ＬＥＤ識別情報、及び映像提示装置１ａから見た映像提示装置１ｂの相対方位を入力すると共に、距離差推定部４２により推定された距離差を入力し、これらのデータに基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。
【０１１５】
尚、デバイスＩＤデコード部３３がＬＥＤ識別情報を生成するために、赤外線ＬＥＤ３６，３７は、同じ符号Ａに基づいて点滅する時間内の所定時間間隔において、異なる符号Ａ，Ｂに基づいて点滅するものとする。
【０１１６】
図２０は、実施例２において距離ｄを推定する処理を説明する図である。映像提示装置１ｂに備えた赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の距離をａ、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の距離（映像提示装置１ａと映像提示装置１ｂとの間の距離）をｄ、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３７との間の距離を（ｄ＋ｆ）、赤外線カメラを基点とした赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の角度である方位角をθとする。ａは、予め設定された距離であり、ｆは、距離差推定部４２により推定される距離差であり、ｄは、距離推定部５２により推定される距離である。
【０１１７】
距離推定部５２は、全方位赤外線画像から、赤外線ＬＥＤ３６，３７の点滅状態を捉えてこれらを検出し、ＬＥＤ識別情報に基づいて、赤外線ＬＥＤ３６，３７の位置をそれぞれ特定する。
【０１１８】
距離推定部５１は、全方位赤外線画像における赤外線ＬＥＤ３６の相対方位と赤外線ＬＥＤ３７の相対方位との間の差分を求めることにより、方位角θを算出する。
【０１１９】
そして、距離推定部５２は、以下の式により、予め設定された赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の距離ａ、算出した方位角θ、及び入力した距離差ｆに基づいて、距離ｄを推定する。
ａ２＝ｄ２＋（ｄ＋ｆ）２−２ｄ（ｄ＋ｆ）ｃｏｓθ    ・・・（１）
【０１２０】
以上のように、実施例２の位置・姿勢処理部３−２を備えた映像提示装置１ａによれば、位置・姿勢処理部３−２は、符号Ａにて赤外線ＬＥＤ３６，３７を点滅させ、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を含む全方位赤外線カメラ画像を取得し、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、映像提示装置１ｂのデバイスＩＤを検出し、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立し、映像提示装置１ａの絶対的な傾き値を検出し、映像提示装置１ｂから、映像提示装置１ｂの絶対的な傾き値を受信するようにした。
【０１２１】
そして、位相差検出部４１は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の点滅の位相差を検出し、距離差推定部４２は、位相差から赤外線ＬＥＤ３６，３７の距離差ｆを推定するようにした。位置・姿勢推定部４３は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部４３は、全方位赤外線画像から赤外線ＬＥＤ３６，３７の位置を特定し、赤外線ＬＥＤ３６の相対方位と赤外線ＬＥＤ３７の相対方位とに基づいて方位角θを算出し、予め設定された赤外線ＬＥＤ３６，３７の実際の距離ａ、方位角θ、距離差ｆに基づいて、前記（１）式により、距離ｄを推定する。また、位置・姿勢推定部４３は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
【０１２２】
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、実施例１と同様の効果を奏する。特に、映像提示装置１ａが、映像提示装置１ｂから見た映像提示装置１ａの相対方位を映像提示装置１ｂから受信することができないタイミングがあっても、距離ｄを推定することができる。したがって、カメラの撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、映像提示装置１ｂの位置及び姿勢を推定することができ、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
【０１２３】
〔実施例３／位置・姿勢処理部３〕
次に、実施例３の位置・姿勢処理部３について説明する。実施例３の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた赤外線ＬＥＤを撮影する赤外線カメラ、絶対的な傾き値を検出する加速度センサー及び地磁気センサー、並びに、映像提示装置１ｂの距離画像を取得する全方位距離画像センサーを用いるものである。
【０１２４】
図１０は、実施例３の位置・姿勢処理部３の構成を示すブロック図である。この実施例３の位置・姿勢処理部３−３は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６、通信部３８、傾き検出部３９、距離画像取得部４４及び位置・姿勢推定部４５を備えている。
【０１２５】
実施例３の位置・姿勢処理部３−３と図８に示した実施例１の位置・姿勢処理部３−１とを比較すると、実施例３の位置・姿勢処理部３−３は、実施例１と同様に、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６、通信部３８及び傾き検出部３９を備えているが、実施例１の赤外線ＬＥＤ３７を備えておらず、実施例１の位置・姿勢推定部４０の代わりに、距離画像取得部４４及び位置・姿勢推定部４５を備えている点で相違する。
【０１２６】
（相対方位及びデバイスＩＤ検出処理、通信路確立処理）
位置・姿勢処理部３−３は、図１３に示した実施例１の相対方位及びデバイスＩＤ検出処理と同様の処理を行い、図１４に示した実施例１の通信路確立処理と同様の処理を行う。
【０１２７】
（デバイスＩＤ出力処理）
位置・姿勢処理部３−３は、図１５に示した実施例１のデバイスＩＤ出力処理とは異なる処理を行う。図１５に示した実施例１のデバイスＩＤ出力処理では、２つの赤外線ＬＥＤ３６，３７を点滅させるようにしたが、実施例３のデバイスＩＤ出力処理では、１つの赤外線ＬＥＤ３６を点滅させる。
【０１２８】
具体的には、位置・姿勢処理部３−３のデバイスＩＤエンコード部３５は、図１５のステップＳ１５０１と同様に、デバイスＩＤ記憶部３４から当該映像提示装置１ａのデバイスＩＤを読み出し、デバイスＩＤをエンコードし、符号Ａを生成する。そして、デバイスＩＤエンコード部３５は、符号Ａを反映したパルス信号を赤外線ＬＥＤ３６に出力し、赤外線ＬＥＤ３６を点滅させる。これにより、映像提示装置１ａのデバイスＩＤは、赤外線ＬＥＤ３６から、当該デバイスＩＤの符号Ａに従って点滅する赤外線パルスとして出力される。
【０１２９】
（位置・姿勢推定処理）
位置・姿勢処理部３−３は、全体として、図１６に示した実施例１の位置・姿勢推定処理と同様の処理を行うが、詳細には、図１６のステップＳ１６０７における距離推定手法とは異なる手法にて距離ｄを推定する。
【０１３０】
（距離推定処理）
図１０を参照して、距離画像取得部４４は、図示しない全方位距離画像センサーを備えており、映像提示装置１ｂに備えた赤外線ＬＥＤ３６を含む全方位距離画像を取得する。全方位距離画像センサーは、赤外線を対象物に照射し、反射して帰ってくるまでの時間を測定することで得られた距離の画像を得る測定器である。
【０１３１】
図１７を参照して、実施例３の位置・姿勢推定部４５は、距離推定部５３、位置推定部５６及び姿勢推定部５７を備えている。位置推定部５６及び姿勢推定部５７の処理は、実施例１と同様であるから、ここでは説明を省略する。尚、実施例３の位置・姿勢推定部４５は、ＬＥＤ識別情報を入力しない。後述する実施例４の位置・姿勢推定部４８及び実施例５の位置・姿勢推定部５０についても同様である。
【０１３２】
図１７及び図１８（３）を参照して、実施例３の距離推定部５３は、映像提示装置１ａから見た映像提示装置１ｂの相対方位（映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位）を入力すると共に、距離画像取得部４４により取得された全方位距離画像を入力する。そして、距離推定部５３は、全方位距離画像から、映像提示装置１ｂまでの間の距離を特定する。そして、距離推定部５３は、映像提示装置１ｂまでの間の距離のうち、映像提示装置１ａから見た映像提示装置１ｂの相対方位が示す方向の距離を、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄとして推定する。
【０１３３】
以上のように、実施例３の位置・姿勢処理部３−３を備えた映像提示装置１ａによれば、位置・姿勢処理部３−３は、符号Ａにて赤外線ＬＥＤ３６を点滅させ、映像提示装置１ｂに備えた赤外線ＬＥＤ３６を含む全方位赤外線カメラ画像を取得し、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、映像提示装置１ｂのデバイスＩＤを検出し、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立し、映像提示装置１ａの絶対的な傾き値を検出し、映像提示装置１ｂから、映像提示装置１ｂから見た映像提示装置１ａの相対方位及び映像提示装置１ｂの絶対的な傾き値を受信するようにした。
【０１３４】
そして、距離画像取得部４４は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６を含む全方位距離画像を取得するようにした。そして、位置・姿勢推定部４５は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部４５は、映像提示装置１ｂから見た映像提示装置１ａの相対方位、及び全方位距離画像から得た映像提示装置１ｂまでの間の距離に基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。そして、位置・姿勢推定部４５は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
【０１３５】
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、実施例１と同様の効果を奏する。したがって、カメラの撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、映像提示装置１ｂの位置及び姿勢を推定することができ、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
【０１３６】
〔実施例４／位置・姿勢処理部３〕
次に、実施例４の位置・姿勢処理部３について説明する。実施例４の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた赤外線ＬＥＤを撮影する赤外線カメラ、絶対的な傾き値を検出する加速度センサー及び地磁気センサー、並びに、映像提示装置１ｂとの間の距離を計測するレーザーセンサーを用いるものである。
【０１３７】
図１１は、実施例４の位置・姿勢処理部３の構成を示すブロック図である。この実施例４の位置・姿勢処理部３−４は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６、通信部３８、傾き検出部３９、再帰性反射部４６、レーザー距離計部４７及び位置・姿勢推定部４８を備えている。
【０１３８】
実施例４の位置・姿勢処理部３−４と図１０に示した実施例３の位置・姿勢処理部３−３とを比較すると、実施例４の位置・姿勢処理部３−４は、実施例３と同様に、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６、通信部３８及び傾き検出部３９を備えているが、実施例３の距離画像取得部４４及び位置・姿勢推定部４５の代わりに、再帰性反射部４６、レーザー距離計部４７及び位置・姿勢推定部４８を備えている点で相違する。
【０１３９】
（相対方位及びデバイスＩＤ検出処理、通信路確立処理、デバイスＩＤ出力処理）
位置・姿勢処理部３−４は、図１３に示した実施例１の相対方位及びデバイスＩＤ検出処理と同様の処理を行い、図１４に示した実施例１の通信路確立処理と同様の処理を行う。また、位置・姿勢処理部３−４は、実施例３のデバイスＩＤ出力処理と同様の処理を行う。
【０１４０】
（位置・姿勢推定処理）
位置・姿勢処理部３−４は、全体として、図１６に示した実施例１の位置・姿勢推定処理と同様の処理を行うが、詳細には、図１６のステップＳ１６０７における距離推定手法とは異なる手法にて距離ｄを推定する。
【０１４１】
（距離推定処理）
図１１を参照して、レーザー距離計部４７は、図示しないレーザーセンサーを備えており、方位検出部３２から、映像提示装置１ａから見た映像提示装置１ｂの相対方位（映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位）を入力し、入力した相対方位に基づいて、映像提示装置１ｂに備えた再帰性反射部４６の方向を特定し、レーザーセンサーから、特定した方向へレーザーを発光し、映像提示装置１ｂに備えた再帰性反射部４６に反射させる。レーザー距離計部４７は、レーザーセンサーにて、映像提示装置１ｂに備えた再帰性反射部４６に反射したレーザーを受光し、発光してから受光するための間の時間を測定することで、レーザー距離を計測する。レーザー距離計部４７により計測されたレーザー距離は、位置・姿勢推定部４８において、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄとして用いられる。
【０１４２】
図１７を参照して、実施例４の位置・姿勢推定部４８は、位置推定部５６及び姿勢推定部５７を備えている。実施例４の位置・姿勢推定部４８は、実施例１〜４の位置・姿勢推定部４０，４３，４５及び後述する実施例５の位置・姿勢推定部５０と異なり、距離推定部５１〜５３，５５に相当する構成部を備えていない。このため、図１８には、実施例４について示していない。
【０１４３】
図１７を参照して、実施例４の位置推定部５６は、距離ｄの代わりにレーザー距離を入力し、入力したレーザー距離を距離ｄとして扱う。実施例４の位置推定部５６におけるその他の処理は、実施例１と同様であり、また、実施例４の姿勢推定部５７における処理は、実施例１と同様であるから、ここでは説明を省略する。
【０１４４】
以上のように、実施例４の位置・姿勢処理部３−４を備えた映像提示装置１ａによれば、位置・姿勢処理部３−４は、符号Ａにて赤外線ＬＥＤ３６を点滅させ、映像提示装置１ｂに備えた赤外線ＬＥＤ３６を含む全方位赤外線カメラ画像を取得し、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、映像提示装置１ｂのデバイスＩＤを検出し、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立し、映像提示装置１ａの絶対的な傾き値を検出し、映像提示装置１ｂから、映像提示装置１ｂから見た映像提示装置１ａの相対方位及び映像提示装置１ｂの絶対的な傾き値を受信するようにした。
【０１４５】
そして、レーザー距離計部４７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位が示す方向へレーザーを発光し、映像提示装置１ｂに備えた再帰性反射部４６に反射させ、反射したレーザーを受光し、レーザー距離を計測するようにした。そして、位置・姿勢推定部４８は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部４８は、レーザー距離を、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄとして入力し、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
【０１４６】
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、実施例１と同様の効果を奏する。したがって、カメラの撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、映像提示装置１ｂの位置及び姿勢を推定することができ、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
【０１４７】
〔実施例５／位置・姿勢処理部３〕
次に、実施例５の位置・姿勢処理部３について説明する。実施例５の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた球型赤外線ＬＥＤを撮影する赤外線カメラ、並びに、絶対的な傾き値を検出する加速度センサー及び地磁気センサーを用いるものである。
【０１４８】
図１２は、実施例５の位置・姿勢処理部３の構成を示すブロック図である。この実施例５の位置・姿勢処理部３−５は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、通信部３８、傾き検出部３９、球型赤外線ＬＥＤ４９及び位置・姿勢推定部５０を備えている。
【０１４９】
実施例５の位置・姿勢処理部３−５と図１０に示した実施例３の位置・姿勢処理部３−３とを比較すると、実施例５の位置・姿勢処理部３−５は、実施例３と同様に、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、通信部３８及び傾き検出部３９を備えているが、実施例３の赤外線ＬＥＤ３６の代わりに球型赤外線ＬＥＤ４９を備え、実施例３の距離画像取得部４４及び位置・姿勢推定部４５の代わりに、位置・姿勢推定部５０を備えている点で相違する。
【０１５０】
（相対方位及びデバイスＩＤ検出処理、通信路確立処理、デバイスＩＤ出力処理）
位置・姿勢処理部３−５は、図１３に示した実施例１の相対方位及びデバイスＩＤ検出処理と同様の処理を行い、図１４に示した実施例１の通信路確立処理と同様の処理を行う。また、位置・姿勢処理部３−５は、赤外線ＬＥＤ３６の代わりに球型赤外線ＬＥＤ４９を用いて、実施例３のデバイスＩＤ出力処理と同様の処理を行う。
【０１５１】
球型赤外線ＬＥＤ４９は、赤外線ＬＥＤ３６よりもサイズが大きい。また、当該映像提示装置１ａにより取得される全方位赤外線画像に含まれる球型赤外線ＬＥＤ４９のサイズ（例えば直径）は、他の映像提示装置１ｂとの間の距離に応じて変化する。
【０１５２】
（位置・姿勢推定処理）
位置・姿勢処理部３−５は、全体として、図１６に示した実施例１の位置・姿勢推定処理と同様の処理を行うが、詳細には、図１６のステップＳ１６０７における距離推定手法とは異なる手法にて距離ｄを推定する。
【０１５３】
（距離推定処理）
図１７を参照して、実施例５の位置・姿勢推定部５０は、距離推定部５５、位置推定部５６及び姿勢推定部５７を備えている。位置推定部５６及び姿勢推定部５７の処理は、実施例１と同様であるから、ここでは説明を省略する。
【０１５４】
図１７及び図１８（４）を参照して、実施例５の距離推定部５５は、全方位赤外線画像、及び映像提示装置１ａから見た映像提示装置１ｂの相対方位（映像提示装置１ｂに備えた球型赤外線ＬＥＤ４９の相対方位）を入力する。そして、距離推定部５５は、全方位赤外線画像から、球型赤外線ＬＥＤ４９の点滅状態を捉えて球型赤外線ＬＥＤ４９を検出し、球型赤外線ＬＥＤ４９の画像上のサイズ（例えば直径のピクセル数）を算出する。
【０１５５】
距離推定部５５は、算出した球型赤外線ＬＥＤ４９の画像上のサイズ、及び予め設定された球型赤外線ＬＥＤ４９の実際のサイズ（例えば直径）に基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。算出した球型赤外線ＬＥＤ４９の画像上のサイズと、推定する距離ｄとの間の関係は、球型赤外線ＬＥＤ４９の画像上のサイズが大きいほど距離ｄは短くなり、球型赤外線ＬＥＤ４９の画像上のサイズが小さいほど距離ｄは長くなる。例えば、距離推定部５５は、予め設定された球型赤外線ＬＥＤ４９の実際のサイズに対する、算出した球型赤外線ＬＥＤ４９の画像上のサイズの比率と、距離ｄとの関係を定義したテーブルまたは計算式を用いて、距離ｄを推定する。
【０１５６】
以上のように、実施例５の位置・姿勢処理部３−５を備えた映像提示装置１ａによれば、位置・姿勢処理部３−５は、符号Ａにて球型赤外線ＬＥＤ４９を点滅させ、映像提示装置１ｂに備えた球型赤外線ＬＥＤ４９を含む全方位赤外線カメラ画像を取得し、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、映像提示装置１ｂのデバイスＩＤを検出し、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立し、映像提示装置１ａの絶対的な傾き値を検出し、映像提示装置１ｂから、映像提示装置１ｂの絶対的な傾き値を受信するようにした。
【０１５７】
そして、位置・姿勢推定部５０は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部５０は、全方位赤外線画像から球型赤外線ＬＥＤ４９を検出して球型赤外線ＬＥＤ４９の画像上のサイズを算出し、球型赤外線ＬＥＤ４９の画像上のサイズ、及び予め設定された球型赤外線ＬＥＤ４９の実際のサイズに基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。また、位置・姿勢推定部５０は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
【０１５８】
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、実施例１と同様の効果を奏する。特に、映像提示装置１ａが、映像提示装置１ｂから見た映像提示装置１ａの相対方位を映像提示装置１ｂから受信することができないタイミングがあっても、距離ｄを推定することができる。したがって、カメラの撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、映像提示装置１ｂの位置及び姿勢を推定することができ、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
【０１５９】
〔映像提示装置／他の実施形態〕
次に、本発明の他の実施形態による映像提示装置１’について説明する。本発明の他の実施形態による映像提示装置１’を含む映像提示システムは、図１と同じ使用形態及び構成の下で、映像提示装置１’ｂが、第１の映像コンテンツを画面表示し、映像提示装置１’ａを操作するユーザが、映像提示装置１’ａに内蔵されたカメラを用いて映像提示装置１’ｂの画面を撮像し、映像提示装置１’ａが、カメラ入力の画像に含まれる第１の映像コンテンツに、第１の映像コンテンツに関連する第２の映像コンテンツを組み合わせることにより、１つの映像コンテンツを構成することを前提とする。
【０１６０】
本発明の他の実施形態では、このような新たな映像表現を可能とする映像提示サービスを実現するために、２つの画面を組み合わせて１つの映像コンテンツを構成する際に、映像提示装置１’ａから見た映像提示装置１’ｂの位置及び姿勢を推定すると共に、映像提示装置１’ａを操作するユーザの視点位置を推定する。
【０１６１】
図２２は、本発明の他の実施形態による映像提示装置１’の構成を示すブロック図である。この映像提示装置１’は、位置・姿勢処理部３、視点位置処理部５及び提示処理部６を備えている。また、図２２には図示していないが、映像提示装置１’は、さらに、図２と同様に、位置・姿勢処理部３にて用いる赤外線カメラ、赤外線ＬＥＤ等を備え、提示処理部６にて用いるカメラを備え、そして、これらに加え、視点位置処理部５にて用いる前面カメラを備えている。
【０１６２】
映像提示装置１’の位置・姿勢処理部３は、図２に示した位置・姿勢処理部３と同様であるから、ここでは説明を省略する。
【０１６３】
視点位置処理部５は、図示しない前面カメラを用いて、当該映像提示装置１’を操作するユーザの顔を含む画像を取得して、当該ユーザの視点位置（目の位置）を推定する。
【０１６４】
提示処理部６は、図２に示した提示処理部４の処理に加え、さらに、視点位置処理部５により推定されたユーザの視点位置に関する情報（視点位置情報）を入力する。すなわち、提示処理部６は、図示しないカメラを用いて他の映像提示装置１’の画面に表示された映像コンテンツの画像を取得すると共に、位置・姿勢処理部３から、当該映像提示装置１’から見た他の映像提示装置１’の位置情報及び姿勢情報を入力し、さらに、視点位置処理部５から、当該映像提示装置１’を操作するユーザの視点位置情報を入力する。
【０１６５】
そして、提示処理部６は、例えば、他の映像提示装置１’の画面に表示された映像コンテンツの画像と、当該映像提示装置１’の画面に表示された映像コンテンツの画像とが、ユーザの視点から見て１つの画像になるように、当該映像提示装置１’の画面表示を行うと共に、ネットワークを介して他の映像提示装置１’に画面表示を行わせる。具体的には、提示処理部６は、当該映像提示装置１’の画面及び他の映像提示装置１’の画面を用いて、ユーザが１つの映像コンテンツの画像を見ることができるように、当該映像提示装置１’から見た他の映像提示装置１’の位置及び姿勢並びにユーザの視点位置に応じた画面表示指示（映像コンテンツの画像のうち画面表示する領域等を示す指示）を、当該映像提示装置１’用及び他の映像提示装置１’用に生成する。そして、提示処理部６は、当該映像提示装置１’用の画面表示指示に従った画面の表示を行い、他の映像提示装置１’用の画面表示指示を、ネットワークを介して他の映像提示装置１’へ送信し、他の映像提示装置１’に、他の映像提示装置１’用の画面の表示を行わせる。
【０１６６】
〔視点位置処理部５〕
次に、図２２に示した視点位置処理部５について説明する。図２３は、視点位置処理部５の構成を示すブロック図である。この視点位置処理部５は、前面カメラ画像取得部６１、顔画像抽出部６２及び視点位置推定部６３を備えている。
【０１６７】
図２４は、図２３に示した視点位置処理部５の処理を示すフローチャートである。図２３及び図２４を参照して、まず、視点位置処理部５の前面カメラ画像取得部６１は、図示しない前面カメラを用いて、映像提示装置１’を操作するユーザの顔を含む画像（前面カメラ画像）を取得する（ステップＳ２４０１）。
【０１６８】
顔画像抽出部６２は、前面カメラ画像取得部６１により取得された画像を入力し、既知の顔認識手法を用いて、画像から顔領域を認識し、顔画像を抽出する（ステップＳ２４０２）。
【０１６９】
視点位置推定部６３は、顔画像抽出部６２により抽出された顔画像を入力し、既知の眼球認識手法を用いて顔画像からユーザの目を抽出し、画像上の目の位置を検出すると共に、画像上の両目の間隔（距離）を算出する。そして、視点位置推定部６３は、画像上の目の位置及び両目の間隔、並びに予め設定された実際の両目の間隔等に基づいて、前面カメラから見た目（視点）の相対方位、及び前面カメラから視点までの間の距離、すなわちユーザの視点位置を推定する（ステップＳ２４０３）。ここで、視点位置は、映像提示装置１’の位置を基準としたｘｙｚ軸の空間（図５を参照。映像提示装置１’は映像提示装置１ａに相当する。）におけるユーザの視点の座標である。
【０１７０】
尚、ユーザは、映像提示装置１’に対して正対しているものとする。また、映像提示装置１’に備えた赤外線カメラと前面カメラとは、十分に近い位置に設けられているものとする。
【０１７１】
また、２つの前面カメラ（ステレオカメラ）を用いてユーザの視点位置を推定する手法は既知であり、詳細については以下の文献を参照されたい。
鈴木他、“ステレオ法を用いた視点位置検出による仮想展示の検討”、電子情報通信学会技術研究報告、ＭＶＥ、マルチメディア・仮想環境基礎105（683）、55−60、2006−03−15
【０１７２】
以上のように、本発明の他の実施形態による映像提示装置１’によれば、位置・姿勢処理部３は、当該映像提示装置１’から見た他の映像提示装置１’の位置及び姿勢を推定し、視点位置処理部５は、映像提示装置１’を操作するユーザの顔を含む画像を取得して、ユーザの視点位置を推定するようにした。そして、提示処理部６は、他の映像提示装置１’の画面に表示された映像コンテンツの画像と、映像提示装置１’の画面に表示された映像コンテンツの画像とが、視点位置から見て１つの画像になるように、当該映像提示装置１’の画面表示を行うと共に、ネットワークを介して他の映像提示装置１’に画面表示を行わせるようにした。
【０１７３】
これにより、実施例１と同様の効果に加え、映像提示装置１’と他の映像提示装置１’との間の位置関係を考慮した、マルチスクリーンに跨って連続した演出を実現することができる。つまり、他の映像提示装置１’の位置及び姿勢、並びに視点位置の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
【０１７４】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、映像提示装置１ａの画面に映像提示装置１ｂの映像コンテンツをオーバーレイ表示する場合、及び映像提示装置１’の画面及び他の映像提示装置１’の画面を組み合わせて表示する場合の例を挙げて説明した。本発明は、映像提示装置１ａの画面に複数の映像提示装置１ｂ等の映像コンテンツをオーバーレイ表示する場合、映像提示装置１’の画面に複数の他の映像提示装置１’の画面を組み合わせて表示する場合にも適用がある。
【０１７５】
また、前記実施形態では、オーバーレイ表示及び組み合わせて表示する場合について説明したが、本発明は、複数の映像コンテンツ、画面等を用いて映像を表現する他の表示形態にも適用がある。
【０１７６】
また、前記実施例１，２では、方位検出部３２は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６の位置に基づいて、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出するようにしたが、映像提示装置１ｂに備えた赤外線ＬＥＤ３７の位置に基づいて、相対方位を検出するようにしてもよい。また、位置・姿勢推定部４０，４３は、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の距離ｄを推定するようにしたが、赤外線ＬＥＤ３７との間の距離ｄを推定するようにしてもよい。
【０１７７】
尚、本発明の実施形態による映像提示装置１及び本発明の他の実施形態による映像提示装置１’のハードウェア構成としては、通常のコンピュータを使用することができる。映像提示装置１，１’は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。映像提示装置１に備えた位置・姿勢処理部３及び提示処理部４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。映像提示装置１’に備えた位置・姿勢処理部３、視点位置処理部５及び提示処理部６についても同様である。
【０１７８】
また、実施例１の位置・姿勢処理部３−１に備えた構成部（図８を参照）の各機能、実施例２の位置・姿勢処理部３−２に備えた構成部（図９を参照）の各機能、実施例３の位置・姿勢処理部３−３に備えた構成部（図１０を参照）の各機能、実施例４の位置・姿勢処理部３−４に備えた構成部（図１１を参照）の各機能、及び、実施例５の位置・姿勢処理部３−５に備えた構成部（図１２を参照）の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。
【０１７９】
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【０１８０】
１  映像提示装置
２  サーバ
３  位置・姿勢処理部
４，６  提示処理部
５  視点位置処理部
２１，３８  通信部
２２  デバイスＩＤデータベース
３１  赤外線カメラ画像取得部
３２  方位検出部
３３  デバイスＩＤデコード部
３２  方位検出部
３４  デバイスＩＤ記憶部
３５  デバイスＩＤエンコード部
３６，３７  赤外線ＬＥＤ
３９  傾き検出部
４０，４３，４５，４８，５０  位置・姿勢推定部
４１  位相差検出部
４２  距離差推定部
４４  距離画像取得部
４６  再帰性反射部
４７  レーザー距離計部
４９  球型赤外線ＬＥＤ
５１，５２，５３，５５  距離推定部
５６  位置推定部
５７  姿勢推定部
６１  前面カメラ画像取得部
６２  顔画像抽出部
６３  視点位置推定部
【図１】
0006360389.tif 000002
【図２】
0006360389.tif 000003
【図３】
0006360389.tif 000004
【図４】
0006360389.tif 000005
【図５】
0006360389.tif 000006
【図６】
0006360389.tif 000007
【図７】
0006360389.tif 000008
【図８】
0006360389.tif 000009
【図９】
0006360389.tif 000010
【図１０】
0006360389.tif 000011
【図１１】
0006360389.tif 000012
【図１２】
0006360389.tif 000013
【図１３】
0006360389.tif 000014
【図１４】
0006360389.tif 000015
【図１５】
0006360389.tif 000016
【図１６】
0006360389.tif 000017
【図１７】
0006360389.tif 000018
【図１８】
0006360389.tif 000019
【図１９】
0006360389.tif 000020
【図２０】
0006360389.tif 000021
【図２１】
0006360389.tif 000022
【図２２】
0006360389.tif 000023
【図２３】
0006360389.tif 000024
【図２４】
0006360389.tif 000025
【図２５】
0006360389.tif 000026