(57)【特許請求の範囲】
【請求項１】
仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得する映像取得部と、
前記映像取得部が取得した前記第１撮像素子が撮像する映像に含まれるマーカを検出するマーカ検出部とを含み、
前記映像取得部は、第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像も取得し、
前記マーカ検出部は、前記第１撮像素子が撮像する映像に前記マーカが撮像されていない場合、前記第２撮像素子が撮像する映像中の前記マーカを検出することを特徴とする映像処理装置。
【請求項２】
前記マーカ検出部が検出したマーカに紐付けて、前記光学透過型ＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成する映像生成部をさらに含むことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記マーカ検出部は、前記第１撮像素子が撮像する映像と前記第２撮像素子が撮像する映像とのいずれにも前記マーカが撮像されている場合、前記第２撮像素子が撮像する映像をもとに前記マーカの傾きを検出し、
前記映像生成部は、前記マーカの傾きに応じて前記ＡＲイメージを傾けて生成することを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記第２撮像素子は、前記第１撮像素子を備える光学透過型ＨＭＤを装着するユーザとは異なるユーザが装着している、前記光学透過型ＨＭＤとは別の光学透過型ＨＭＤが備える撮像素子であることを特徴とする請求項２または３に記載の映像処理装置。
【請求項５】
前記映像生成部は、前記第１撮像素子と前記第２撮像素子との少なくともいずれか一方が撮像する被写体をマーカとして、前記第１撮像素子を備える光学透過型ＨＭＤと前記第２撮像素子を備える光学透過型ＨＭＤとのいずれにも提示させるＡＲイメージを生成することを特徴とする請求項４に記載の映像処理装置。
【請求項６】
仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得するステップと、
前記第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像を取得するステップと、
取得した前記第１撮像素子が撮像する映像に含まれるマーカを検出するステップと、
前記第１撮像素子が撮像する映像にマーカが撮像されていない場合、前記第２撮像素子が撮像する映像中のマーカを検出するステップと、をプロセッサに実行させることを特徴とする映像処理方法。
【請求項７】
仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得する機能と、
前記第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像を取得する機能と、
取得した前記第１撮像素子が撮像する映像に含まれるマーカを検出する機能と、
前記第１撮像素子が撮像する映像にマーカが撮像されていない場合、前記第２撮像素子が撮像する映像中のマーカを検出する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項８】
仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、
前記光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する、前記光学透過型ＨＭＤに備えられた第１撮像素子と、
第１撮像素子の画角と少なくとも一部を共有する画角を持つ第２撮像素子と、
前記第１撮像素子と前記第２撮像素子との少なくともいずれか一方が撮像する被写体をマーカとして、前記光学透過型ＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成する映像生成部と、
前記映像生成部が生成する映像を表示するモニタを含み、
前記第２撮像素子は、前記光学透過型ＨＭＤを装着するユーザが前記モニタに対して正対したときに、当該ユーザに対して正対するように設置されていることを特徴とする映像処理システム。
【請求項９】
仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、
前記光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する、前記光学透過型ＨＭＤに備えられた第１撮像素子と、
第１撮像素子の画角と少なくとも一部を共有する画角を持つ第２撮像素子と、
前記第１撮像素子が撮像する映像に含まれるマーカを検出し、前記第１撮像素子が撮像する映像にマーカが撮像されていない場合、前記第２撮像素子が撮像する映像中のマーカを検出するマーカ検出部とを含むことを特徴とする映像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理方法、および映像処理システムに関する。
【背景技術】
【０００２】
近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display; 以下「ＨＭＤ」と記載する。）が普及してきている。このようなＨＭＤの中には、ホログラフィック素子やハーフミラー等を用いて、立体映像をユーザに提示しつつ、かつユーザがＨＭＤの外の様子をシースルーで見ることができる光学透過型ＨＭＤも開発されている。
【０００３】
一方、カメラ等の撮像素子で撮像した実世界の映像にＣＧ（Computer Graphics）等の映像を付加した映像を生成し、ユーザに提示する実世界の映像の一部に修正を加えるＡＲ（Augmented Reality）技術も実用段階に入りつつある。ＡＲ技術では、バーコード等の識別可能な特定の情報（以下、「マーカ」という。）を認識し、その情報に紐付けて画像を生成する場合もある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
光学透過型ＨＭＤに撮像素子を取り付ければ、ユーザの視界に映るマーカを撮像できる。そのマーカに紐付けてＡＲイメージを生成し、ＨＭＤに提示することもできる。しかしながら、光学透過型ＨＭＤに取り付けられた撮像素子は、ユーザの頭の動きと連動してその画角が変動する。このため、例えばユーザがマーカを所持して動かすような場合などにおいて、撮像素子の視野にマーカが入りにくくなる場合があり、マーカの位置をより精度よく特定することが望まれている。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、位置を識別可能な特定の情報の位置特定の精度を向上する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は映像処理装置である。この装置は、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得する映像取得部と、前記映像取得部が取得した前記第１撮像素子が撮像する映像に含まれるマーカを検出するマーカ検出部とを含む。ここで前記映像取得部は、第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像も取得し、前記マーカ検出部は、前記第１撮像素子が撮像する映像に前記マーカが撮像されていない場合、前記第２撮像素子が撮像する映像中の前記マーカを検出する。
【０００７】
本発明の別の態様は、映像処理方法である。この方法は、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられ、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域を撮像する第１撮像素子が撮像する映像を取得するステップと、前記第１撮像素子の画角と少なくとも一部が重なる画角を持つ第２撮像素子が撮像する映像を取得するステップと、前記第１撮像素子が撮像する映像または前記第２撮像素子の少なくともいずれか一方が撮像する映像に含まれるマーカを検出するステップとをプロセッサに実行させる。
【０００８】
本発明のさらに別の態様は、映像処理システムである。このシステムは、仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤと、前記光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する、前記光学透過型ＨＭＤに備えられた第１撮像素子と、第１撮像素子の画角と少なくとも一部を共有する画角を持つ第２撮像素子と、前記第１撮像素子と前記第２撮像素子との少なくともいずれか一方が撮像する被写体をマーカとして、前記光学透過型ＨＭＤに提示させるＡＲ（Augmented Reality）イメージを生成する映像生成部とを含む。
【０００９】
本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。
【００１０】
このプログラムは、ビデオやオーディオのデコーダ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。
【００１１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１２】
本発明によれば、位置を識別可能な特定の情報の位置特定の精度を向上する技術を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る立体映像観察デバイスの外観の一例を模式的に示す図である。
【図２】実施の形態に係る映像提示システムの全体構成を模式的に示す図である。
【図３】実施の形態に係る映像処理装置の内部構成を模式的に示す図である。
【図４】実施の形態に係るマーカとＡＲイメージとの一例を示す図である。
【図５】図５（ａ）−（ｂ）は、第１撮像素子の画角とマーカとの位置関係、およびそのときの光学透過型ＨＭＤの映像を例示する図である。
【図６】第１撮像素子の画角と第２撮像素子の画角との関係を例示する図である。
【図７】実施の形態に係る立体映像観察デバイスを２台使用する場合の利用シーンを例示する図である。
【図８】実施の形態に係る映像処理装置における映像処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
図１は、実施の形態に係る立体映像観察デバイス２００の外観の一例を模式的に示す図である。立体映像観察デバイス２００は、立体映像を提示する提示部２０２、第１撮像素子２０４、および種々のモジュールを収納する筐体２０６を含む。なお、図示はしないが、立体映像観察デバイス２００は音声を出力するためのイヤホンを備えている。
【００１５】
提示部２０２は、ユーザの目に立体映像を提示する光学透過型ＨＭＤと、光学透過型ＨＭＤを透過する外界の光の透過率を変更する液晶シャッタとを含む。第１撮像素子２０４は、立体映像観察デバイス２００を装着するユーザの視野を含む領域にある被写体を撮像する。このため、第１撮像素子２０４は、立体映像観察デバイス２００をユーザが装着したとき、ユーザの眉間のあたりに配置されるように設置されている。第１撮像素子２０４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。
【００１６】
筐体２０６は、めがね形状の立体映像観察デバイス２００におけるフレームの役割を果たすとともに、立体映像観察デバイス２００が利用する様々なモジュール（図示せず）を収納する。立体映像観察デバイス２００が利用するモジュールとは、光学透過型ＨＭＤを実現するためのホログラム導光板を含む光学エンジン、液晶シャッタを駆動するためのドライバや同期信号受信部、その他Ｗｉ−Ｆｉ（登録商標）モジュール等の通信モジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、３Ｇ（3rd. Generation）モジュール、および照度センサ等である。これらのモジュールは例示であり、また立体映像観察デバイス２００はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、立体映像観察デバイス２００が想定する利用シーンに応じて決定すればよい。
【００１７】
図１は、めがね型の立体映像観察デバイス２００を例示する図である。立体映像観察デバイス２００の形状は、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられるが、いずれの形状の立体映像観察デバイス２００も本発明の実施の形態に含まれることは、当業者であれば容易に理解されよう。
【００１８】
図２は、実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００は、立体映像観察デバイス２００、モニタ３００、第２撮像素子３０２、および情報処理装置４００を含む。
【００１９】
モニタ３００は、コンテンツの再生画面の少なくとも一部を再生する。モニタ３００は一般的なテレビモニタを用いて実現できるが、フレームシーケンシャル方式で立体映像を表示する３次元モニタであることが好ましく、以下本明細書においては、モニタ３００は３次元モニタであることを前提とする。なお、３次元モニタは、２次元画像を表示する一般的なテレビモニタの機能も合わせ持つ。
【００２０】
人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。モニタ３００は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する。モニタ３００は、液晶テレビやプラズマディスプレイ、有機ＥＬモニタ等の既知の提示デバイスを用いて実現できる。
【００２１】
第２撮像素子３０２は、モニタ３００の全面中央部に設置され、モニタと正対する方向を撮像する。なお、第２撮像素子３０２はモニタ３００に組み込まれていてもよいし、モニタ３００の全面に据え置かれていてもよい。第２撮像素子３０２の詳細は後述する。
【００２２】
立体映像観察デバイス２００は、光学透過型ＨＭＤである。上述したとおり、立体映像観察デバイス２００は、モニタ３００を観察するための光学シャッタ（図示せず）を備える。光学シャッタはモニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。光学シャッタは、例えば既知の液晶シャッタを用いて実現できる。
【００２３】
液晶シャッタ２１０は、モニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。
【００２４】
立体映像観察デバイス２００は、シャッタ切替のための同期信号を受信する。同期信号は、モニタ３００または情報処理装置４００に設けられた図示しない信号送信部から、例えば赤外光等を用いて無線で伝達される。
【００２５】
情報処理装置４００は、映像提示システム１００で提示するための立体映像や上述した同期信号を取得する。情報処理装置４００の例としては、例えば据置型のゲーム機や携帯ゲーム機等である。情報処理装置４００は内蔵するプロセッサを用いて立体映像や同期信号を生成したり、図示しないネットワークインタフェースを介して、サーバ等の他の情報処理装置から立体映像を取得したりする。
【００２６】
図３は、実施の形態に係る映像処理装置５００の内部構成を模式的に示す図である。実施の形態に係る映像処理装置５００は、上述した情報処理装置４００の一部として実現される。あるいは、インターネット等のネットワークを介して情報処理装置４００に送信するための立体映像を生成するサーバ内に実現されてもよいし、立体映像観察デバイス２００やモニタ３００に内蔵されてもよい。あるいはさらに、映像処理装置５００は独立したひとつの装置であってもよい。以下では、実施の形態に係る映像処理装置５００は、上述した情報処理装置４００の一部として実現されることを前提に説明する。
【００２７】
映像取得部５０２は、立体映像観察デバイス２００を装着するユーザの視野を含む領域を撮像する第１撮像素子２０４が撮像する映像を取得する。マーカ検出部５０４は、映像取得部５０２が取得した、第１撮像素子２０４が撮像する映像に含まれるマーカを検出する。映像生成部５０６は、マーカ検出部５０４が検出したマーカに紐付けて、立体映像観察デバイス２００中の光学透過型ＨＭＤに提示させるＡＲイメージを生成する。映像生成部５０６は生成したＡＲイメージを立体映像観察デバイス２００に送信し、光学透過型ＨＭＤはＡＲイメージを表示する。
【００２８】
ここで「マーカ」とは、映像生成部５０６が利用する情報であって、仮想的な３次元空間に生成する画像の位置および向きを特定できる情報である。また「ＡＲイメージ」とは、例えばマーカと関連づけて映像生成部５０６が生成する画像であり、そのマーカの位置および向きの変化に連動して位置および向きを変化させる画像である。
【００２９】
図４は、実施の形態に係るマーカとＡＲイメージとの一例を示す図である。図４は、ユーザの腕７０２が握っている棒状の握り部および球状の物体からなるマーカの一例を図示している。図４に示す例では、マーカ７１０は実在する物体である。第１撮像素子２０４は、ユーザの視野を含む領域中に存在するマーカ７１０を流し撮りして、映像取得部５０２に送信する。マーカ検出部５０４は、映像取得部５０２が取得した映像からマーカ７１０の位置および向きを特定し、仮想的な３次元空間の対応する位置にマーカ７１０に関連づけてＡＲイメージ７１２を生成する。図４に示す例では、ＡＲイメージ７１２は炎を表現するオブジェクトである。
【００３０】
映像生成部５０６は、ＡＲイメージ７１２を関連づけるマーカ７１０の位置を原点として設定された座標系７１４にしたがって、ＡＲイメージ７１２を生成する。このため、ユーザがマーカ７１０の位置および向きを変更すると、ＡＲイメージ７１２が基準とする座標系７１４も変更される。座標系７１４が変更されると、それに伴ってＡＲイメージ７１２の位置および向きも変更される。なお、ＡＲイメージ７１２が基準とする座標系７１４の原点は、必ずしも関連するマーカと重なる位置になくてもよいが、いずれにしても、マーカと、マーカに関連づけて生成されるＡＲイメージとは、３次元空間上の異なる位置座標に存在する。このため、例えばユーザの視線がマーカ７１０からはずれ、第１撮像素子２０４の画角からマーカ７１０がはずれるが、マーカ７１０に関連づけられたＡＲイメージ７１２は立体映像観察デバイス２００の光学透過型ＨＭＤの表示領域に留まるという状態も起こり得る。
【００３１】
図５（ａ）−（ｂ）は、第１撮像素子２０４の画角とマーカ７１０との位置関係、およびそのときの光学透過型ＨＭＤの映像２０８を例示する図である。
【００３２】
図５（ａ）は、第１撮像素子２０４の画角にマーカ７１０が含まれる場合を示す図である。第１撮像素子２０４の画角にマーカ７１０が含まれるため、マーカ検出部５０４は、映像取得部５０２が取得した映像中においてマーカ７１０を検出することができる。このため、光学透過型ＨＭＤの映像２０８中に、第１撮像素子２０４が撮像しているマーカ７１０と、マーカ７１０に紐付けて映像生成部５０６が生成したＡＲイメージ７１２とが表示される。
【００３３】
図５（ｂ）は、第１撮像素子２０４の画角からマーカ７１０がはずれている場合を示す図である。第１撮像素子２０４の画角にマーカ７１０が含まれないため、マーカ検出部５０４は、映像取得部５０２が映像取得部得した映像中においてマーカ７１０を検出することができない。図５（ｂ）においては、光学透過型ＨＭＤの映像２０８中におけるＡＲイメージ７１２と、ＡＲイメージ７１２を紐付けるマーカ７１０とを破線で図示しているが、映像生成部５０６は、マーカ検出部５０４がマーカ７１０を検出できないため、ＡＲイメージ７１２を生成することができす、光学透過型ＨＭＤの映像２０８にはＡＲイメージ７１２が表示されないことになる。
【００３４】
ユーザの視線、すなわち第１撮像素子２０４の撮像方向が図５（ａ）に示す位置から図５（ｂ）示す位置に至るまで移動すると、その途中でマーカ７１０が第１撮像素子２０４の画角からはずれる。このとき、ユーザにとっては光学透過型ＨＭＤの映像２０８から突然ＡＲイメージ７１２が消失するように見えるため、ユーザに違和感を与えかねない。この違和感は、例えば映像生成部５０６またはマーカ検出部５０４が第１撮像素子２０４の画角からはずれた後もマーカ７１０の位置を推定し、その推定位置に基づいて映像生成部５０６がＡＲイメージ７１２を生成することで緩和できるが、ＡＲイメージ７１２を生成すべき位置の精度が落ちる可能性がある。
【００３５】
そこで映像取得部５０２は、第１撮像素子２０４の画角と少なくとも一部が重なる画角を持つ第２撮像素子３０２が撮像する映像も取得する。マーカ検出部５０４は、第１撮像素子２０４が撮像する映像または第２撮像素子３０２の少なくともいずれか一方が撮像する映像に含まれるマーカを検出する。より具体的には、マーカ検出部５０４は、第１撮像素子２０４が撮像する映像にマーカが撮像されていない場合、第２撮像素子３０２が撮像する映像中のマーカを検出する。
【００３６】
図５（ａ）−（ｂ）に示す例では、モニタ３００の手前に第２撮像素子３０２が設置されている。図５（ｂ）に示す例のように、第１撮像素子２０４の画角からマーカ７１０がはずれたとしても、第２撮像素子３０２の画角にマーカ７１０が含まれていれば、マーカ検出部５０４はマーカ７１０を検出することができる。これにより、映像生成部５０６は、光学透過型ＨＭＤの映像２０８中にＡＲイメージ７１２またはその一部を表示することが可能となる。
【００３７】
図６は、第１撮像素子２０４の画角と第２撮像素子３０２の画角との関係を例示する図である。図６において、符号２１０ａおよび符号２１０ｂで示されるふたつの線分に挟まれた領域が第１撮像素子２０４の画角を表す。また、符号３０４ａおよび符号３０４ｂで示されるふたつの線分に挟まれた領域が第２撮像素子３０２の画角を表す。また、図６において符号２０８で表される線分は、光学透過型ＨＭＤの映像２０８が提示される領域である。
【００３８】
図６には、第１マーカ７１０ａと第２マーカ７１０ｂとのふたつのマーカが図示されている。ここで第１マーカ７１０ａのうち少なくとも球状の物体については、第１撮像素子２０４の画角と第２撮像素子３０２の画角との両方に含まれている。一方、第２マーカ７１０ｂは、第１撮像素子２０４の画角には含まれず、第２撮像素子３０２の画角にのみ含まれる。
【００３９】
第２マーカ７１０ｂに紐付けて映像生成部５０６によって生成されるＡＲイメージが光学透過型ＨＭＤの映像２０８中に含まれる場合、映像生成部５０６は、マーカ検出部５０４によって第２撮像素子３０２が撮像した映像から検出された第２マーカ７１０ｂの位置をもとにして、ＡＲイメージを生成する。
【００４０】
これに対して、第１マーカ７１０ａは第１撮像素子２０４の画角と第２撮像素子３０２の画角との両方に含まれる。このため、映像生成部５０６は第１撮像素子２０４の映像中に含まれる第１マーカ７１０ａの情報と、第２撮像素子３０２の映像中に含まれる第１マーカ７１０ａの情報とのふたつの情報を統合することにより、第１マーカ７１０ａの位置精度を向上することができる。
【００４１】
上述したとおり、第１撮像素子２０４はユーザの頭部に装着される立体映像観察デバイス２００に備えられており、ユーザが頭を傾けると、ユーザの頭の動きに連動して第１撮像素子２０４も移動する。このため、例えばユーザが頭を傾けない状態で第１マーカ７１０ａを傾けたときに第１撮像素子２０４が撮像する場合と、ユーザが第１マーカ７１０ａを傾けない状態で頭を傾けたときに第１撮像素子２０４が撮像する場合とでは、撮像される映像は似た映像となる。つまり、第１撮像素子２０４が撮像する映像だけでは、ユーザが頭を傾けているのか、第１マーカ７１０ａが傾いているのかを判別することが難しい。
【００４２】
一方、第２撮像素子３０２はユーザの頭部とは独立して存在しているため、第２撮像素子３０２が撮像した映像を解析すれば、ユーザが頭を傾けているのか、第１マーカ７１０ａが傾いているのかを判断することができる。そこでマーカ検出部５０４は、第１撮像素子２０４が撮像する映像と第２撮像素子３０２が撮像する映像とのいずれにもマーカが撮像されている場合、第２撮像素子３０２が撮像する映像をもとに、マーカの傾きを検出する。映像生成部５０６は、マーカ検出部５０４が検出したマーカの傾きに応じて、そのマーカに紐付けられたＡＲイメージを傾けて生成する。
【００４３】
これにより、例えば第１マーカ７１０ａに紐付けられたＡＲイメージがスープの満たされた皿であるような場合、第１マーカ７１０ａの傾きを正確に判断できるため、映像生成部５０６は、第１マーカ７１０ａの傾きに応じて、皿からスープがこぼれ出す映像を生成することが可能となる。
【００４４】
このように、マーカが第１撮像素子２０４の画角からはずれた場合に、そのマーカを第２撮像素子３０２が撮像できれば、映像生成部５０６はそのマーカに紐付けてＡＲイメージを生成することができる。この意味で、第２撮像素子３０２の画角は、第１撮像素子２０４の画角と少なくとも一部が重なっていればいずれの位置に設置されていてもよい。一方で、図２に示すように実施の形態に係る映像提示システム１００においては、ユーザは立体映像観察デバイス２００中の光学透過型ＨＭＤを通してモニタ３００の映像を観察することが前提となっており、映像生成部５０６が生成する映像の少なくとも一部は、モニタ３００にも表示される。このため、ユーザはモニタ３００を見ている機会が比較的多いと考えられる。
【００４５】
そこで、第２撮像素子３０２は、光学透過型ＨＭＤを装着するユーザがモニタ３００に対して正対したときに、そのユーザに対して正対するように設置されていることが好ましい。具体的には、モニタ３００のフレームの中央上部または下部に取り付けられるか、据え置かれることが好ましい。これにより、ユーザが所持するマーカが第２撮像素子３０２の画角に入る確率を高めることができる。
【００４６】
以上、第２撮像素子３０２が立体映像観察デバイス２００と独立して単独で存在する場合について説明した。第２撮像素子３０２は立体映像観察デバイス２００と独立していることには限られず、例えば第１の立体映像観察デバイス２００ａを装着する第１ユーザとは異なるユーザである、第２ユーザが装着する第２の立体映像観察デバイス２００ｂが備える撮像素子であってもよい。以下、この場合について説明する。
【００４７】
図７は、実施の形態に係る立体映像観察デバイス２００を２台使用する場合の利用シーンを例示する図である。図７に示す例では、第１ユーザ６００ａと第２ユーザ６００ｂとのふたりのユーザが、それぞれ第１の立体映像観察デバイス２００ａと第２の立体映像観察デバイス２００ｂとを装着している。また、第１ユーザ６００ａは第１マーカ７１０ａを所持しており、第２ユーザ６００ｂは第２マーカ７１０ｂを所持している。
【００４８】
第１の立体映像観察デバイス２００ａに備えられた第１撮像素子２０４と、第２の立体映像観察デバイス２００ｂに備えられた第２撮像素子３０２との、少なくともいずれか一方が撮像した映像中に、第１マーカ７１０ａまたは第２マーカ７１０ｂが含まれていることを、マーカ検出部５０４が検出したとする。このとき、映像生成部５０６は、第１マーカ７１０ａに紐付けて、刀身を表す第１のＡＲイメージ７１２ａを生成する。また、映像生成部５０６は、第２マーカ７１０ｂに紐付けて、刀身を表す第２のＡＲイメージ７１２ｂも生成する。このように、図７に示す例では第１ユーザ６００ａと第２ユーザ６００ｂとが、ＡＲイメージで生成された仮想的な刀身を用いてチャンバラゲームをする場合を図示している。
【００４９】
図７に示す例のように、複数のユーザが相互に関わり合いながらゲームが進行するような場合、ユーザは自分が所持するマーカではなく、他のユーザの動向に注目している期間が長くなることが多いと考えられる。例えば図７に示す例では、第１ユーザ６００ａは第２ユーザ６００ｂが操る刀身のＡＲイメージ７１２ｂに注目しつつ、視界の中で自身が操る刀身のＡＲイメージ７１２ａを捉えるが、柄の部分に相当する第１マーカ７１０ａまでは常に見ているとは限らない。一方で、第１ユーザ６００ａが装着している第１の立体映像観察デバイス２００ａに備えられた第１撮像素子２０４の画角には、第２ユーザ６００ｂが所持する第２マーカ７１０ｂが含まれる期間が長くなる。
【００５０】
そこで映像生成部５０６は、第１撮像素子２０４と第２撮像素子３０２との少なくともいずれか一方が撮像する被写体をマーカとして、第１撮像素子２０４を備える第１の立体映像観察デバイス２００ａ中の光学透過型ＨＭＤと、第２撮像素子を備える第２の立体映像観察デバイス２００ｂ中の光学透過型ＨＭＤとのいずれにも提示させるＡＲイメージを生成する。これにより、第１ユーザ６００ａが装着している光学透過型ＨＭＤに提示される第１のＡＲイメージ７１２ａは、第２撮像素子３０２が撮像した映像からマーカ検出部５０４が検出した第１マーカ７１０ａに紐付けて、映像生成部５０６が生成することが可能となる。また映像生成部５０６が生成した第１マーカ７１０ａは第１ユーザ６００ａが装着している光学透過型ＨＭＤと第２ユーザ６００ｂが装着している光学透過型ＨＭＤとの両方に提示されるため、複数のユーザが相互に関わり合いながらゲームが進行することが実現できる。
【００５１】
さらに、例えば第２ユーザ６００ｂの体に遮蔽されることが原因で、第１撮像素子２０４から第２マーカ７１０ｂが撮像できなくなったとしても、第２撮像素子３０２が第２マーカ７１０ｂを撮像していれば、映像生成部５０６は、第２ユーザ６００ｂが操る刀身のＡＲイメージ７１２ｂは第１ユーザの装着する光学透過型ＨＭＤに表示させることができる。
【００５２】
図８は、実施の形態に係る映像処理装置５００における映像処理の流れを示すフローチャートである。本フローチャートにおける処理は、例えば映像処理装置５００の電源が投入されたときに開始する。
【００５３】
映像取得部５０２は、第１撮像素子２０４が流し撮りする映像Ａを取得する（Ｓ２）。映像取得部５０２はまた、第２撮像素子３０２が流し撮りする映像Ｂも取得する（Ｓ４）。
【００５４】
マーカ検出部５０４が、第１撮像素子２０４が流し撮りする映像Ａ中にマーカを検出した場合であって（Ｓ６のＹ）、かつ第２撮像素子３０２が流し撮りする映像Ｂ中にも同じマーカを検出した場合（Ｓ８のＹ）、映像生成部５０６は、映像Ａから検出したマーカの情報と映像Ｂから検出したマーカの情報とを統合してＡＲイメージを生成する（Ｓ１０）。
【００５５】
マーカ検出部５０４が、第１撮像素子２０４が流し撮りする映像Ａ中にマーカを検出した場合であって（Ｓ６のＹ）、かつ第２撮像素子３０２が流し撮りする映像Ｂ中からはそのマーカを検出できない場合（Ｓ８のＮ）、映像生成部５０６は、映像Ａから検出したマーカをもとにＡＲイメージを生成する（Ｓ１２）。
【００５６】
マーカ検出部５０４が、第１撮像素子２０４が流し撮りする映像Ａ中にマーカを検出できない場合であって（Ｓ６のＮ）、かつ第２撮像素子３０２が流し撮りする映像Ｂ中からマーカを検出した場合（Ｓ１４のＹ）、映像生成部５０６は、映像Ｂから検出したマーカをもとにＡＲイメージを生成する（Ｓ１２）。マーカ検出部５０４が、第１撮像素子２０４が流し撮りする映像Ａ中にマーカを検出できない場合であって（Ｓ６のＮ）、かつ第２撮像素子３０２が流し撮りする映像Ｂ中からもマーカを検出できない場合（Ｓ１４のＮ）、映像生成部５０６は特段の処理をしない。
【００５７】
映像生成部５０６がＡＲイメージを生成するか、あるいは映像Ａおよび映像Ｂのいずれからもマーカが検出されない場合、本フローチャートにおける処理は終了する。
【００５８】
以上の構成による映像処理装置５００の利用シーンは以下のとおりである。ユーザが装着している立体映像観察デバイス２００に備えられた第１撮像素子２０４の画角からマーカがはずれても、第１撮像素子２０４の画角の少なくとも一部を共有する第２撮像素子３０２がそのマーカを撮像していれば、マーカ検出部５０４はマーカを検出できる。映像生成部５０６は、マーカ検出部５０４が検出したマーカに紐付けて生成したＡＲイメージを、ユーザが装着している立体映像観察デバイス２００中の光学透過型ＨＭＤに提示する。
【００５９】
以上述べたように、実施の形態に係る映像処理装置５００によれば、位置を識別可能な特定の情報の位置特定の精度を向上する技術を提供することができる。特に、立体映像観察デバイス２００にジャイロセンサ等の傾きを検出するモジュールを搭載しなくても、ユーザが頭を傾けているのか、あるいはマーカが傾いているのかを切り分けることができる。
【００６０】
一般に、ひとたび認識したマーカを追跡するための計算コストと、映像中から新たにマーカを検出するための計算コストとを比較すると、マーカを検出するためのコストの方が大きい。そのため、複数の撮像素子でマーカを撮像することによってマーカを見失う可能性が下がり、マーカの再検出に係る計算コストを抑制することが可能となる。
【００６１】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６２】
（第１の変形例）
上記では、第２撮像素子３０２を、第１撮像素子２０４と同様にマーカの撮像に使用する場合について説明した。これに代えて、あるいはこれと加えて、第２撮像素子３０２はユーザの視線を検出することに利用してもよい。具体的には、第２撮像素子３０２がユーザの目を撮像し、映像処理装置５００中の図示しない視線検出部がユーザの視線方向を解析する。これにより、例えばユーザが頭を傾けずに眼球だけを動かして視点を変更した場合であっても、ユーザの視界を特定することが可能となる。
【００６３】
（第２の変形例）
上記では、マーカを撮像する撮像素子がふたつ存在する場合について主に説明したが、撮像素子の数はふたつに限られず、３つ以上あってもよい。撮像素子の数を増やすことで、マーカを見失う可能性を下げ、かつマーカの検出精度を向上することができる。
【符号の説明】
【００６４】
１００  映像提示システム、  ２００  立体映像観察デバイス、  ２０２  提示部、  ２０４  第１撮像素子、  ２０６  筐体、  ２０８  映像、  ２１０  液晶シャッタ、  ３００  モニタ、  ３０２  第２撮像素子、  ４００  情報処理装置、  ５００  映像処理装置、  ５０２  映像取得部、  ５０４  マーカ検出部、  ５０６  映像生成部、  ６００ａ  第１ユーザ、  ６００ｂ  第２ユーザ、  ７０２  腕、  ７１０  マーカ、  ７１２  ＡＲイメージ、  ７１４  座標系。
【図１】
0005538483.tif 000002
【図２】
0005538483.tif 000003
【図３】
0005538483.tif 000004
【図４】
0005538483.tif 000005
【図５】
0005538483.tif 000006
【図６】
0005538483.tif 000007
【図７】
0005538483.tif 000008
【図８】
0005538483.tif 000009