(57)【要約】  実世界の場面に関連するビデオ画像のような動画情報を、利用者の視点による実世界と関連付けて提供できる情報提供システムを提供する。カメラは、利用者に装着されて実世界を撮影する。位置姿勢推定手段は、カメラが撮影した映像から、実世界の位置及び姿勢を推定する。ビデオ映像変形手段は、実世界の場面を予め撮影した映像であるビデオ映像を、推定された実世界の位置及び姿勢に合わせて変形させる。重畳手段は、カメラが撮影した映像と、ビデオ映像変形手段が変形したビデオ映像とを重畳する。
2011132382.tif 000002
【特許請求の範囲】
【請求項１】
利用者に装着されて実世界を撮影するカメラと、
前記カメラが撮影した映像から、実世界の位置及び姿勢を推定する位置姿勢推定手段と、
実世界の場面を予め撮影した映像であるビデオ映像を、推定された実世界の位置及び姿勢に合わせて変形させるビデオ映像変形手段と、
前記カメラが撮影した映像と、前記ビデオ映像変形手段が変形したビデオ映像とを重畳する重畳手段とを備えた
ことを特徴とする情報提示システム。
【請求項２】
ビデオ映像中の区切りとして予め定められた情報である区切り情報と、カメラが撮影した映像とを比較して、利用者の動作の区切りを判定する区切り判定手段と、
前記判定結果にしたがって、前記区切り情報により特定される区間のビデオ映像の再生を制御する再生制御手段とを備えた
請求項１記載の情報提示システム。
【請求項３】
区切り判定手段は、区切り情報が示すビデオ映像中の状態と、カメラにより撮影された映像が示す状態とが同じ状態か否かを判定して、利用者の動作の区切りを判定し、
再生制御手段は、前記区切り判定手段が同じ状態であると判定した場合に、前記区切り情報により特定される区切りの次の区間のビデオ映像を再生するように制御し、前記区切り判定手段が同じ状態でないと判定した場合に、前記区切り情報により特定される区切りまでの区間のビデオ映像を繰り返し再生するように制御する
請求項２記載の情報提示システム。
【請求項４】
再生制御手段は、区切り情報により特定される区間のビデオ映像を繰り返し再生するように制御し、当該区間のビデオ映像を繰り返し再生する際に、再生速度を変化させるように制御する
請求項２または請求項３記載の情報提示システム。
【請求項５】
ビデオ映像と区切り情報とを組にした情報であるビデオ情報を複数記憶するビデオ情報記憶手段と、
前記複数のビデオ情報の中から、カメラが撮影した映像に最も類似したビデオ映像を含むビデオ情報を選択するビデオ情報選択手段とを備えた
請求項２から請求項４のうちのいずれか１項に記載の情報提示システム。
【請求項６】
重畳手段は、ビデオ映像をカメラが撮影した映像と区別可能な態様に加工する
請求項１から請求項５のうちのいずれか１項に記載の情報提示システム。
【請求項７】
利用者に装着されて実世界を撮影するカメラと、
実世界を撮影した映像から当該実世界の位置及び姿勢を推定するサーバ装置に、前記カメラが撮影した実世界の映像を送信する送信手段と、
前記カメラが撮影した映像をもとに前記サーバ装置が推定した実世界の位置及び姿勢に合わせて実世界の場面を予め撮影した映像であるビデオ映像を変形させるビデオ映像変形手段と、
前記カメラが撮影した映像と、前記ビデオ映像変形手段が変形したビデオ映像とを重畳する重畳手段とを備えた
ことを特徴とする映像表示用端末。
【請求項８】
実世界を撮影した映像を送信する端末装置から受信した当該映像から、実世界の位置及び姿勢を推定する位置姿勢推定手段と、
実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして予め定められた情報である区切り情報と、前記端末装置から受信した映像とを比較して、利用者の動作の区切りを判定する区切り判定手段と、
前記判定結果にしたがって、前記区切り情報により特定される区間のビデオ映像の再生を制御する信号である再生制御信号を生成する再生制御信号生成手段と、
前記位置姿勢推定手段が推定した実世界の位置及び姿勢を示す情報と、前記再生制御信号とを前記端末装置に送信する情報送信手段とを備えた
ことを特徴とする映像再生制御装置。
【請求項９】
利用者に装着されて実世界を撮影するカメラが撮影した映像から、実世界の位置及び姿勢を推定し、
実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして定められた情報である区切り情報と、前記カメラが撮影した映像とを比較して、利用者の動作の区切りを判定し、
前記判定結果にしたがって、前記区切り情報により特定される区間のビデオ映像の再生を制御し、
推定された実世界の位置及び姿勢に合わせてビデオ映像を変形させ、
前記カメラが撮影した映像と、変形したビデオ映像とを重畳する
ことを特徴とする情報提示方法。
【請求項１０】
利用者に装着されて実世界を撮影するカメラを備えたコンピュータに適用される情報提示用プログラムであって、
前記コンピュータに、
前記カメラが撮影した映像から、実世界の位置及び姿勢を推定する位置姿勢推定処理、
実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして定められた情報である区切り情報と、前記カメラが撮影した映像とを比較して、利用者の動作の区切りを判定する区切り判定処理、
前記判定結果にしたがって、前記区切り情報により特定される区間のビデオ映像の再生を制御する再生制御処理、
推定された実世界の位置及び姿勢に合わせてビデオ映像を変形させるビデオ映像変形処理、および、
前記カメラが撮影した映像と、変形されたビデオ映像とを重畳する重畳処理
を実行させるための情報提示用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提供システム、映像表示用端末、映像再生制御装置、情報提供方法および情報提供用プログラムに関し、特にカメラで撮影した対象に関連付けられた情報を分かり易く提供する情報提供システム、映像表示用端末、映像再生制御装置、情報提示方法および情報提示用プログラムに関する。
【背景技術】
【０００２】
実世界に関連付けられた情報を提供する方法として、利用者の視点からの実世界をカメラで撮影し、撮影された実世界の内容に関連する情報を映像に重ねて提供する拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）と呼ばれる技術がある。拡張現実を利用した装置の一例が、特許文献１に記載されている。特許文献１に記載された作業情報提供装置は、カメラで撮影した作業対象の空間的配置を同定し、作業者が行うべき作業に関する情報を作業対象と関連付けて重畳表示する。このような方法を用いることで、作業者にとって理解し易い情報を提供することが可能になる。【０００３】
特許文献２には、撮影映像を地図上に重ね合わせて表示する撮影映像処理システムが記載されている。特許文献２に記載された撮影映像処理システムでは、空中における撮影位置を３次元的に特定し、さらに、カメラと機体の地表面に対する姿勢を特定して撮影画枠を計算し、その撮影画枠に合わせて映像変形を行う。【０００４】
また、特許文献３には、ユーザの視点位置からの現実世界の映像と、仮想世界の映像とを合成した映像を画像表示装置に出力する情報提示装置が記載されている。特許文献３に記載された情報提示装置は、ユーザの視点位置姿勢情報に基づき、仮想世界におけるユーザの視野を算出する。そして、上記情報提示装置は、ユーザの視野に入る部分のデータをもとに、ユーザの視野に重なるＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８２３４９号公報
【特許文献２】特開２００３−３１６２５９号公報
【特許文献３】特開２００５−１７４０２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実世界の場面に関連付けられる情報の中には、ビデオ映像も存在する。しかし、一般的な装置では、ビデオ映像を実世界と関連付けて表示する方法が考慮されていない。そのため、特許文献１に記載された作業情報提供装置では、簡便に作成可能なビデオ映像を、実世界と関連付けて表示することができないという課題がある。【０００７】
また、特許文献２に記載されたシステムは、地表面に対するカメラの姿勢に基づいてカメラが撮影している画像そのものを変形し、変形した画像を重ね合わせるものである。すなわち、特許文献２に記載されたシステムでは、実世界に関連付けられた情報に合わせて撮影された映像が変形される。そのため、利用者の視点からの実世界に対して関連する情報が提供されているとは言い難い。【０００８】
また、特許文献３に記載された情報提示装置では、ユーザの視野（実世界）とＣＧとを単純に重畳した映像を表示装置に出力しているに過ぎず、重畳する情報（ＣＧ）と実世界との関連性はない。そのため、特許文献３に記載された情報提示装置を用いても、ビデオ映像を実世界と関連付けて表示することはできない。【０００９】
そこで、本発明は、実世界の場面に関連する動画情報を、利用者の視点による実世界と関連付けて提供できる情報提供システム、映像表示用端末、映像再生制御装置、情報提示方法および情報提示用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明による情報提供システムは、利用者に装着されて実世界を撮影するカメラと、カメラが撮影した映像から、実世界の位置及び姿勢を推定する位置姿勢推定手段と、実世界の場面を予め撮影した映像であるビデオ映像を、推定された実世界の位置及び姿勢に合わせて変形させるビデオ映像変形手段と、カメラが撮影した映像と、ビデオ映像変形手段が変形したビデオ映像とを重畳する重畳手段とを備えたことを特徴とする。【００１１】
本発明による映像表示用端末は、利用者に装着されて実世界を撮影するカメラと、実世界を撮影した映像からその実世界の位置及び姿勢を推定するサーバ装置に、カメラが撮影した実世界の映像を送信する送信手段と、実世界の場面を予め撮影した映像であるビデオ映像を、カメラが撮影した映像をもとにサーバ装置が推定した実世界の位置及び姿勢に合わせて変形させるビデオ映像変形手段と、カメラが撮影した映像と、ビデオ映像変形手段が変形したビデオ映像とを重畳する重畳手段とを備えたことを特徴とする。【００１２】
本発明による映像再生制御装置は、実世界を撮影した映像を送信する端末装置から受信したその映像から、実世界の位置及び姿勢を推定する位置姿勢推定手段と、実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして予め定められた情報である区切り情報と、端末装置から受信した映像とを比較して、利用者の動作の区切りを判定する区切り判定手段と、判定結果にしたがって、区切り情報により特定される区間のビデオ映像の再生を制御する信号である再生制御信号を生成する再生制御信号生成手段と、位置姿勢推定手段が推定した実世界の位置及び姿勢を示す情報と、再生制御信号とを端末装置に送信する情報送信手段とを備えたことを特徴とする。【００１３】
本発明による情報提示方法は、利用者に装着されて実世界を撮影するカメラが撮影した映像から、実世界の位置及び姿勢を推定し、実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして定められた情報である区切り情報と、カメラが撮影した映像とを比較して、利用者の動作の区切りを判定し、判定結果にしたがって、区切り情報により特定される区間のビデオ映像の再生を制御し、推定された実世界の位置及び姿勢に合わせてビデオ映像を変形させ、カメラが撮影した映像と、変形したビデオ映像とを重畳することを特徴とする。【００１４】
本発明による情報提示用プログラムは、利用者に装着されて実世界を撮影するカメラを備えたコンピュータに適用される情報提示用プログラムであって、コンピュータに、カメラが撮影した映像から、実世界の位置及び姿勢を推定する位置姿勢推定処理、実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして定められた情報である区切り情報と、カメラが撮影した映像とを比較して、利用者の動作の区切りを判定する区切り判定処理、判定結果にしたがって、区切り情報により特定される区間のビデオ映像の再生を制御する再生制御処理、推定された実世界の位置及び姿勢に合わせてビデオ映像を変形させるビデオ映像変形処理、および、カメラが撮影した映像と、変形されたビデオ映像とを重畳する重畳処理を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、実世界の場面に関連するビデオ画像のような動画情報を、利用者の視点による実世界と関連付けて提供できる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態における情報提供システムの例を示すブロック図である。
【図２】第１の実施形態における動作の例を示すフローチャートである。
【図３】本発明の第２の実施形態における情報提供システムの例を示すブロック図である。
【図４】第２の実施形態における動作の例を示すフローチャートである。
【図５】特定の作業環境において作業支援を行う具体例を示す説明図である。
【図６】ビデオ映像中の１場面の例を示す説明図である。
【図７】本発明による情報提供システムの最小構成の例を示すブロック図である。
【図８】本発明による映像表示用端末の最小構成の例を示すブロック図である。
【図９】本発明による映像再生制御装置の最小構成の例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図面を参照して説明する。
【００１８】
実施形態１．
図１は、本発明の第１の実施形態における情報提供システムの例を示すブロック図である。本実施形態における情報提供システムは、カメラ１と、表示装置２と、位置姿勢推定部３と、区切り推定部４と、区切り情報記憶部５と、ビデオ映像記憶部６と、再生制御部７と、位置姿勢情報記憶部８と、ビデオ映像変形部９と、重畳部１０とを備えている。
【００１９】
カメラ１は、利用者の目線から見た実世界を撮影する。カメラ１は、利用者の目線に近い位置に設置され、利用者が見ている実世界と同様の映像を撮影する。
【００２０】
表示装置２は、実世界に関連付けられた情報を、実世界の映像と重畳して表示する。表示装置２は、例えば、カメラ１が撮影した映像に、後述する重畳部１０が実世界に関連付けられた映像を重畳した映像を利用者に提示する。なお、このような機構は、ビデオシースルーと呼ばれている。また、表示装置２がハーフミラーを具備している場合、表示装置２は、カメラ１が撮影した映像ではなく、ハーフミラーを通して見える実際の映像に、関連付けられた情報だけが重畳された映像を利用者に提示してもよい。なお、この場合、カメラ１が撮影した映像は、後述する位置姿勢推定部３が実世界の空間的位置等を推定する際に用いられる。
【００２１】
位置姿勢推定部３は、カメラ１が撮影する実世界の空間的な位置及び姿勢を推定する。具体的には、位置姿勢推定部３は、カメラ１が撮影した実世界の画像を解析して、撮影している実世界の相対的な空間位置及び姿勢を推定する。ここで、実世界の空間的な位置とは、カメラ１から見た実世界の位置のことを意味し、カメラ１の向き、及び、カメラ１と実世界との距離で表すことができる。また、実世界の姿勢とは、カメラ１から見た実世界の姿勢のことを意味し、実世界全体を回転させる度合いを示す。
【００２２】
位置姿勢推定部３が実世界の位置及び姿勢を推定する方法には、実世界中に配置したマーカを利用する方法や、実世界の映像から抽出される画像特徴を用いる方法などが挙げられる。ここで、マーカとは、識別しやすいように設計された図形のことを意味する。
【００２３】
例えば、撮影対象とする実世界中に、識別しやすいように設計された図形（以下、マーカと記す。）を予め配置しておき、位置姿勢推定部３は、カメラ１が撮影した画像におけるマーカの種類や、位置、態様をもとに、実世界の位置及び姿勢を推定してもよい。なお、このような図形マーカによる方式は、例えば、ＡＲＴｏｏｌＫｉｔと呼ばれるソフトウエアを用いて実現できる。なお、ＡＲＴｏｏｌＫｉｔについては、以下の参考文献１で紹介されている。
〔参考文献１〕http://www.artoolworks.com/ARToolKit_Professional.html
【００２４】
マーカを配置しない場合、位置姿勢推定部３は、例えば、実世界の映像から画像特徴を抽出し、抽出した画像特徴を予め登録しておいた画像特徴の位置と照合することで、実世界の位置及び姿勢を推定してもよい。なお、このようなマーカレス方式を実現するソフトウエアとして、ＰＴＡＭが知られている。なお、ＰＴＡＭについては、以下の参考文献２に記載されている。
〔参考文献２〕http://www.robots.ox.ac.uk/~gk/PTAM/
【００２５】
ビデオ映像記憶部６は、実世界の場面を予め撮影した映像を記憶する。実世界の場面を予め撮影した映像とは、いわゆる動画であり、例えば、実世界で行われる動作を予め撮影したビデオ映像などが挙げられる。また、ビデオ映像の具体例として、家具の組み立て方や魚のさばき方など、作業の手本となる教師ビデオ映像などが挙げられる。以下、実世界の場面を予め撮影した映像として、ビデオ映像を例に説明する。
【００２６】
ビデオ映像は、カメラ１が撮影している実世界の映像と関連性を有する映像である。具体的には、ビデオ映像は、利用者が映像に合わせて作業できるように、カメラ１が撮影している実世界の映像に重ねて表示する情報である。例えば、カメラ１及び表示装置２を装着した利用者が家具の組み立て作業を行う場合、表示装置２は、カメラ１が家具の組み立て作業中の様子を撮影した映像に、家具の組み立て方を示すビデオ映像を重ねて表示する。なお、表示装置２が表示するビデオ映像は、利用者が行う作業に応じて予め選択しておけばよい。
【００２７】
位置姿勢情報記憶部８は、ビデオ映像として撮影された実世界の空間的な位置及び姿勢として予め解析された情報を記憶する。以下、撮影されたビデオ映像における実世界の空間的な位置及び姿勢を示す情報を位置姿勢情報と記す。
【００２８】
位置姿勢情報は、例えば、カメラ１が撮影した現在の実世界における位置及び姿勢を位置姿勢推定部３が推定する方法と同様の方法を用いて解析される。ただし、位置姿勢情報の解析方法は、上記方法に限定されない。例えば、ビデオ映像を撮影する際に、実世界の位置及び姿勢を検知できるセンサをカメラに取り付けておき、そのセンサによって検知された情報を位置姿勢情報として用いてもよい。このように、位置姿勢情報記憶部８には、任意の方法を用いて解析された位置姿勢情報が記憶される。
【００２９】
位置姿勢情報として、例えば、映像を変換する変換行列が挙げられる。例えば、カメラが固定された状態でビデオ映像が撮影された場合、位置姿勢情報記憶部８、その状態の間については、同一の変換行列を記憶しておけばよい。また、カメラが動く状態でビデオ映像が撮影された場合、位置姿勢情報記憶部８は、時間ごとに変化する変換行列を記憶しておけばよい。ただし、位置姿勢情報は、変換行列に限定されない。
【００３０】
ビデオ映像変形部９は、推定された実世界の位置及び姿勢に合うようにビデオ映像を変形させる。すなわち、ビデオ映像変形部９は、位置姿勢推定部３が推定した実世界の位置及び姿勢に応じてビデオ映像を変形させる。
【００３１】
具体的には、撮影された対象物の実世界における位置及び姿勢（すなわち、位置姿勢情報）をビデオ映像から予め求めておき、その位置姿勢情報を位置姿勢情報記憶部８に記憶しておく。そして、ビデオ映像変形部９は、位置姿勢情報と、カメラ１が撮影している実世界の位置及び姿勢（すなわち、位置姿勢推定部３が推定した実世界の位置及び姿勢）に一致するように、ビデオ映像を変形させる。ビデオ映像変形部９は、例えば、透視投影変換によりビデオ映像を変形させてもよい。ただし、ビデオ映像の変形方法は、透視投影変換に限定されない。
【００３２】
このようにビデオ映像を変形させることにより、現在の実世界とビデオ映像とが同じ見た目になる。そのため、利用者は、実世界に関連付けられた情報として非常に直感的で分かり易いビデオ映像を見ることが可能になる
【００３３】
重畳部１０は、カメラ１が撮影した映像に、ビデオ映像変形部９が変形したビデオ映像を重畳する。
【００３４】
重畳部１０は、例えば、半透過にしたビデオ映像を実世界と全く同じ位置に重畳してもよい。なお、実世界の映像と半透過にしたビデオ画像とを重畳した場合に、いずれの画像も見づらくなることを防止するため、重畳部１０は、映像を見やすくなるようにビデオ映像を加工してもよい。すなわち、重畳部１０は、カメラ１が撮影した実世界の映像と区別可能な態様にビデオ映像を加工してもよい。重畳部１０は、例えば、ビデオ映像の色を変える、ビデオ映像のエッジを強調してエッジ以外を透明化する、半透過の度合いを時間に応じて変化させる、などの方法を用いてビデオ映像を加工してもよい。
【００３５】
また、重畳部１０は、ビデオ映像を、向きや大きさは揃えつつ、表示する位置を若干ずらすように重畳してもよい。さらに、重畳部１０は、ビデオ映像が常に画面端に表示されるように重畳してもよい。
【００３６】
区切り情報記憶部５は、区切り情報を記憶する。ここで、区切り情報とは、ビデオ映像記憶部６に記憶されたビデオ映像中の区切りとして予め定められた情報である。区切り情報記憶部５は、区切り情報として、例えば、その区切りにおける映像を記憶してもよい。ただし、区切り情報は、映像に限定されない。ビデオ映像の中から区切りを判断できる情報であれば、他の情報であってもよい。例えば、映像そのものではなく、映像から得られる特徴を区切り情報としてもよい。なお、映像から得られる特徴を区切り情報にする場合、ビデオ映像との照合に利用しやすい特徴を抽出することが望ましい。
【００３７】
区切り推定部４は、実世界の映像と区切り情報とを比較することで、利用者が行う動作の区切りを判定する。そして、区切り推定部４は、利用者の動作が区切りに到達したと判定すると、その旨の情報を再生制御部７へ送出する。
【００３８】
具体的には、まず、区切り推定部４は、位置姿勢推定部３が推定した実世界の位置及び姿勢と、ビデオ映像に対応する位置姿勢情報とから、カメラ１が撮影した実世界の映像をビデオ映像に合わせるように変形する。その後、区切り推定部４は、変形された実世界の映像と、区切り情報記憶部５に記憶された区切り情報とを比較して、利用者の動作の進捗状況を推定する。なお、以下の説明では、区切り情報を、最終状態と記すこともある。
【００３９】
例えば、ビデオ映像が、予め何らかの動作単位ごとに区切られており、位置姿勢情報記憶部８が、動作単位に区切られたビデオ映像の最終状態を示す映像を区切り情報として記憶しているものとする。このとき、区切り推定部４は、現時点での動作が含まれた区間内の最終状態を示す映像と、カメラ１が撮影した実世界の映像とを比較する。そして、区切り推定部４は、これらの映像が一致したと判断した場合、現在の区間内の動作は終了したものとし、次の区間へと処理を進めるための信号（以下、再生制御信号と記す。）を再生制御部７へ送出する。
【００４０】
なお、上記説明では、区切り推定部４が、最終状態を示す映像と、カメラ１が撮影した実世界の映像とを比較する場合を説明した。ただし、区切り推定部４が、実世界の映像と比較する対象は、映像に限定されない。区切り推定部４は、最終状態の特徴を示す情報と、実世界の映像とを比較して区切りを判定してもよい。
【００４１】
再生制御部７は、区切り推定部４が判定した区切りにしたがい、区切り情報により特定される区間のビデオ映像の再生を制御する。例えば、再生制御部７は、現在判定されている区切りまでの区間に対応するビデオ映像を繰り返し再生する。
【００４２】
具体的には、区切り推定部４が区切り情報とカメラ１が撮影した映像とが一致したと判定すると、再生制御部７は、次の区間のビデオ映像を再生するように制御する。一方、区切り推定部４が区切り情報とカメラ１が撮影した映像とが一致していないと判定すると、再生制御部７は、再生している区間のビデオ映像を繰り返し再生する。
【００４３】
なお、対応する区間のビデオ映像を繰り返し再生する際、再生制御部７は、巻き戻しのたびに（すなわち、再生が完了するたびに）再生しない時間を一定時間置いてからビデオ映像を再生しても良い。また、再生制御部７は、再生を繰り返すごとに再生速度を変化させて（例えば、速度を落として、ゆっくり）再生するようにしてもよい。例えば、再生の繰り返し回数が増えるにしたがって、再生速度を低下させることにより、ビデオ映像が早すぎるような場合は、速度を徐々に低下させることができる。そのため、利用者は、提供される情報を理解しやすくなる。
【００４４】
このように、実世界とビデオ映像との位置及び姿勢の違いを、位置姿勢推定部３とビデオ映像変形部９が同調させ、作業動作の進捗を区切り推定部４が判定しながら、再生制御部７がビデオ映像の再生制御を行う。そのため、簡便に作成可能なビデオ映像を用いて、実世界と関連付けた作業手順などの情報を拡張現実で表示できる。
【００４５】
なお、区切り情報記憶部５と、ビデオ映像記憶部６と、位置姿勢情報記憶部７とは、それぞれ、磁気ディスク等により実現される。
【００４６】
また、位置姿勢推定部３と、区切り推定部４と、再生制御部７と、ビデオ映像変形部９とは、プログラム（情報提供用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、情報提供システム内の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、位置姿勢推定部３、区切り推定部４、再生制御部７およびビデオ映像変形部９として動作してもよい。
【００４７】
また、情報提供システムが、映像を表示する映像表示用端末と、再生する映像を制御する映像再生制御装置とを備える構成であってもよい。この場合、例えば、映像表示用端末が、カメラ１と、表示装置２と、ビデオ映像変形部９と、重畳部１０とを備え、映像再生制御装置が、位置姿勢推定部３と、区切り推定部４と、再生制御部７と、区切り情報記憶部５と、ビデオ映像記憶部６と、位置姿勢情報記憶部８とを備えていてもよい。
【００４８】
このとき、映像再生制御装置の制御部（図示せず）は、カメラ１が撮影した実世界の映像を映像再生制御装置に送信して、実世界の位置及び姿勢を推定させてもよい。さらに、このとき、再生制御部７は、ビデオ映像の再生を制御する信号（すなわち、再生制御信号）を生成し、生成した再生制御信号を映像表示用端末に送信してもよい。
【００４９】
さらに、位置姿勢推定部３と、区切り推定部４と、再生制御部７と、ビデオ映像変形部９とは、それぞれが専用のハードウェアで実現されていてもよい。
【００５０】
次に、動作について説明する。図２は、第１の実施形態における動作の例を示すフローチャートである。
【００５１】
まず、位置姿勢推定部３は、カメラ１が撮影した画像を解析することで、利用者に対する実世界の相対的な位置及び姿勢を推定する（ステップＳ１）。次に、区切り推定部４は、位置姿勢推定部３が推定した実世界の位置及び姿勢と、ビデオ映像に対応する位置姿勢情報とから、カメラ１が撮影した実世界の映像をビデオ映像に合わせるように変形する。その後、区切り推定部４は、変形された実世界の映像と、区切り情報記憶手段５に蓄積された現在の区間内における最終状態とを比較して、利用者の動作の進捗状況が区間内の最後（すなわち、区切り）に到達しているかどうかを判定する（ステップＳ２）。
【００５２】
利用者の動作が区切り内の最後に到達していると判定された場合（ステップＳ２のＹｅｓ）、再生制御部７は、ビデオ映像の再生位置を次の区切りまでの区間へと進める（ステップＳ３）。再生制御部７が現在の区切りまでの区間内のビデオ映像を再生する際、ビデオ映像変形部９は、位置姿勢推定部３が推定した実世界の位置及び姿勢に合わせてビデオ映像を変形する（ステップＳ４）。最後に、重畳部１０は、カメラ１が撮影した映像に、変形されたビデオ映像を重畳して、表示装置２に表示させる（ステップＳ５）。
【００５３】
一方、ステップＳ２において、利用者の動作が区切り内の最後に到達していないと判定された場合（ステップＳ２のＮｏ）、再生制御部７は、再生している区間のビデオ映像を繰り返し再生するステップＳ４以降の処理を行う。
【００５４】
次に、本実施形態の効果を説明する。本実施形態によれば、位置姿勢推定部３が、カメラ１が撮影した映像から実世界の位置及び姿勢を推定する。また、区切り判定部４が、区切り情報とカメラが撮影した映像とを比較して、利用者の動作の区切りを判定する。そして、再生制御部７は、判定結果にしたがって、区切り情報により特定される区間のビデオ映像の再生を制御する。ビデオ映像変形部９は、推定された実世界の位置及び姿勢に合わせてビデオ映像を変形させ、重畳部１０は、カメラ１が撮影した映像と、変形したビデオ映像とを重畳する。よって、実世界の場面に関連するビデオ映像のような動画情報を、利用者の視点による実世界と関連付けて提供できる。
【００５５】
すなわち、本実施形態では、位置姿勢推定部３が利用者から見た実世界の位置及び姿勢を推定し、ビデオ映像変形部９及び再生制御部７が、その位置及び姿勢に合わせてビデオ映像を変形しながら再生する。そのため、利用者は、教師となるビデオ映像を実世界と容易に見比べながら作業を行うことができる。
【００５６】
さらに、本実施形態では、ビデオ映像を一連の動作ごとに区切っておき、区切り推定部４及び再生制御部７が、動作の進捗に合わせて区切られた区間ごとに再生を行う。そのため、動作に応じてビデオ映像を区切った間隔で、そのビデオ映像と実際の動作との時間的な同期をとることが可能になる。また、拡張現実で提供される情報に、既存のビデオ映像をそのまま利用することも可能である。
【００５７】
実施形態２．
図３は、本発明の第２の実施形態における情報提供システムの例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。本実施形態における情報提供システムは、第１の実施形態における区切り情報記憶部５、ビデオ映像記憶部６及び位置姿勢情報記憶部８の代わりに、第１ビデオ情報記憶部１２と、第２ビデオ情報記憶部１３とを備えている。また、本実施形態における情報提供システムは、第１の実施形態における情報提供システムに加え、ビデオ情報選択部１１を備えている。
【００５８】
第１ビデオ情報記憶部１２は、ビデオ映像と、そのビデオ映像に対応する区切り情報と、位置姿勢情報との組からなる情報を記憶する。以下、この情報をビデオ情報と記し、第１ビデオ情報記憶部１２が記憶するビデオ情報を、第１のビデオ情報と記す。
【００５９】
第２ビデオ情報記憶部１３は、第１のビデオ情報とは異なるビデオ映像と、そのビデオ映像に対応する区切り情報と、位置姿勢情報との組からなる情報を記憶する。以下、第２ビデオ情報記憶部１３が記憶するビデオ情報を、第２のビデオ情報と記す。
【００６０】
なお、第１ビデオ情報記憶部１２及び第２ビデオ情報記憶部１３には、それぞれ、第１の実施形態における区切り情報記憶部５、ビデオ映像記憶部６及び位置姿勢情報記憶部８が含まれる。また、第１ビデオ情報記憶部１２及び第２ビデオ情報記憶部１３が記憶するビデオ情報には、それぞれ異なる場面で提供される情報が含まれる。第１ビデオ情報記憶部１２と、第２ビデオ情報記憶部１３とは、それぞれ、磁気ディスク等により実現される。
【００６１】
なお、図３に示す例では、各ビデオ情報がそれぞれ異なる記憶装置（具体的には、第１ビデオ情報記憶部１２と第２ビデオ情報記憶部１３）に記憶されている。ただし、各ビデオ情報は、それぞれ異なる記憶装置に記憶されていなくてもよく、１つの記憶装置に記憶されていてもよい。
【００６２】
ビデオ情報選択部１１は、実世界の映像と、複数のビデオ情報におけるビデオ映像とを比較し、より適したビデオ情報を選択する。具体的には、ビデオ情報選択部１１は、複数のビデオ情報の中から、カメラ１が撮影した映像に最も類似したビデオ映像を含むビデオ情報を選択する。例えば、ビデオ情報選択部１１は、第１のビデオ情報及び第２のビデオ情報に含まれるビデオ映像を実世界の映像と比較し、ビデオ映像の中からより適したビデオ映像を含むビデオ情報を選択する。なお、ビデオ情報選択部１１は、例えば、プログラムに従って動作するＣＰＵにより実現される。
【００６３】
以下、ビデオ情報選択部１１が、実世界の映像に類似したビデオ映像を選択する方法を説明する。まず、ビデオ情報選択部１１は、位置姿勢推定部３が推定した実世界の位置及び姿勢と、第１のビデオ情報における位置姿勢情報および第２のビデオ情報における位置姿勢情報とから、カメラ１が撮影した実世界の映像を、それぞれ（すなわち、第１のビデオ情報及び第２のビデオ情報）のビデオ映像に合わせるように変形する。そして、ビデオ情報選択部１１は、変形した実世界の映像と、それぞれのビデオ映像とを比較し、より類似しているビデオ映像を選択する。
【００６４】
なお、上記説明では、ビデオ情報選択部１１が、変形した実世界の映像と、ビデオ映像とを比較する場合について説明した。ただし、ビデオ情報選択部１１が、変形した実世界の映像と比較する対象は、映像に限定されない。ビデオ情報選択部１１は、ビデオ映像の特徴を示す情報と、変形した実世界の映像とを比較してより適したビデオ情報を選択してもよい。
【００６５】
なお、以下の説明では、図３に例示するように、ビデオ情報選択部１１が比較するビデオ情報が、第１のビデオ情報及び第２のビデオ情報の２種類の場合について説明する。ただし、ビデオ情報は、２種類に限定されず、３種類以上であってもよい。この場合、ビデオ情報選択部１１は、最も類似しているビデオ映像を含むビデオ情報を選択すればよい。
【００６６】
次に、動作について説明する。図４は、第２の実施形態における動作の例を示すフローチャートである。まず、第１の実施形態と同様に、位置姿勢推定部３は、カメラ１が撮影した画像を解析することで、利用者に対する実世界の相対的な位置及び姿勢を推定する（ステップＳ１）。その後、ビデオ情報選択部１１は、第１のビデオ情報と第２のビデオ情報のうち、より実世界の映像に類似しているビデオ映像を含むビデオ情報を選択する（ステップＳ１０）。
【００６７】
以降、選択されたビデオ映像を変形し、実世界の映像に重畳して表示させるまでの処理は、図２におけるステップＳ２〜Ｓ５までの処理と同様である。
【００６８】
次に、本実施形態の効果を説明する。本実施形態によれば、ビデオ情報選択部１１が、複数のビデオ情報の中から、カメラ１が撮影した映像（すなわち、現在の実世界の映像）に最も類似したビデオ映像を含むビデオ情報を選択する。そのため、様々なビデオ映像を準備しておくだけで、実世界に適した映像を自動的に表示できる。
【実施例】
【００６９】
以下、具体的な実施例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。【００７０】
図５は、特定の作業環境において作業支援を行う具体例を示す説明図である。図５に例示する環境において、利用者１１０は、装着型カメラ１１１及び装着型表示装置１１２を装着している。ここで、装着型カメラ１１１は、図１におけるカメラ１に対応し、装着型表示装置１１２は、図１における表示装置２に対応する。【００７１】
なお、本実施例における情報提供システムは、装着型カメラ１１１、装着型表示装置１１２、及び、ＣＰＵやメモリを搭載した小型のパーソナルコンピュータにより実現される。本実施例における情報提供システムには、装着型カメラ１１１及び装着型表示装置１１２の他、第１の実施形態における位置姿勢推定部３と、区切り推定部４と、区切り情報記憶部５と、ビデオ映像記憶部６と、再生制御部７と、位置姿勢情報記憶部８と、ビデオ映像変形部９と、重畳部１０とが含まれる。ただし、図５に示す例では、装着型カメラ１１１及び装着型表示装置１１２以外の構成については、記載を省略する。【００７２】
また、本実施例では、作業の教師ビデオ映像をビデオ映像として使用するものとし、このビデオ映像を用いて作業支援を行う方法を説明する。【００７３】
まず、装着型表示装置１１２の上部に取り付けられた装着型カメラ１１１が、利用者１１０が見ている環境と同様の映像を撮影する。撮影された映像は、マーカ１０１〜１０４や、作業対象１２０を含む画像である。【００７４】
位置姿勢推定部３は、撮影した映像の中からマーカを検出する。そして、位置姿勢推定部３は、撮影した映像中の情報から得られたマーカ１０１〜１０４それぞれの位置及び姿勢を表す情報を統合して、利用者１１０に対する実世界の位置及び姿勢を推定する。ここで、マーカの姿勢とは、実世界に対するマーカが回転している度合いを示す。【００７５】
なお、マーカを複数配置することにより、例えば、複数のマーカの位置及び姿勢の平均を算出することにより、実世界の位置及び姿勢に対する誤差を減少させることが出来る。さらに、一部のマーカが見えていない状況でも、実世界の位置及び姿勢を推定できるようになる。【００７６】
図６は、ビデオ映像記憶部６に記憶されたビデオ映像中の１場面の例を示す説明図である。図６に例示するビデオ映像では、図５に例示するマーカ１０１〜１０４及び作業対象１２０に対応するマーカ２０１〜２０４及び作業対象２２０が撮影されていることを示す。このビデオ映像を動作手順の区切りごとに予め分割しておき、ビデオ映像を区切った情報（すなわち、区切り情報）を区切り情報記憶部５に記憶しておく。【００７７】
さらに、図６に例示するマーカ２０１〜２０４を検出して位置姿勢情報を解析し、解析した情報を予め位置姿勢情報記憶部８に記憶しておく。さらに、図６に例示する以外の場面の位置姿勢情報についても同様に解析し、解析した情報を位置姿勢情報記憶部８に記憶しておく。【００７８】
区切り推定部４は、図５に例示するマーカ１０１〜１０４によって推定された実世界の位置及び姿勢をもとに、図６に例示するビデオ映像の区切り（最終状態）において、マーカ２０１〜２０４によって推定された実世界の位置及び姿勢に合わせるように実世界の映像を変形する。そして、区切り推定部４は、区切り（最終状態）を示すビデオ映像と、変形された実世界の映像とを比較して、利用者の動作の進捗状況が区間内の最後に到達しているかどうかを判定する。【００７９】
利用者の動作の進捗状況が区間内の最後に到達していると判定された場合、再生制御部７は、ビデオ映像の再生位置を次の区切りまでの区間へと進める。再生制御部７は、現在の区間内のビデオ映像を再生する。その際、ビデオ映像変形部９は、位置姿勢推定部３が推定した実世界の位置及び姿勢にビデオ映像を合わせるように変形する。そして、重畳部１０は、カメラ１が撮影した映像に対して変形されたビデオ映像を重畳し、装着型表示装置１１２にその映像を表示させる。【００８０】
なお、上記説明では、作業の教師ビデオ映像をビデオ映像として使用し、このビデオ映像を用いて作業支援を行う方法を説明した。本発明における情報提示システムは、例えば、道案内を行う場面にも適用可能である。【００８１】
道案内に本発明における情報提示システムを用いる場合、例えば、手持ちカメラで歩きながら道順を予め撮影しておき、目印となる建物などを音声や字幕などで説明するような映像を教師ビデオ映像として準備しておく。この場合、位置姿勢推定部３は、映像中に存在する特徴点の情報（建物、看板、景色など）を利用して現在の位置姿勢を推定する。さらに、ビデオ映像を、一定の距離を歩く、角を曲がるといった動作ごとに区切ってもよい。このとき、区間内の最終場面に到達すると、次の区間のビデオ映像が、見ている景色に合わせて変形されて表示される。【００８２】
次に、本発明の最小構成を説明する。図７は、本発明による情報提供システムの最小構成の例を示すブロック図である。図８は、本発明による映像表示用端末の最小構成の例を示すブロック図である。図９は、本発明による映像再生制御装置の最小構成の例を示すブロック図である。【００８３】
本発明による情報提供システムは、利用者に装着されて実世界を撮影するカメラ８１（例えば、カメラ１）と、カメラ８１が撮影した映像から、実世界の位置及び姿勢（例えば、カメラの向き、カメラの距離、回転の度合い）を推定する位置姿勢推定手段８２（例えば、位置姿勢推定部３）と、実世界の場面を予め撮影した映像であるビデオ映像（例えば、ビデオ映像記憶部６に記憶されたビデオ映像）を、推定された実世界の位置及び姿勢に合わせて変形させるビデオ映像変形手段８３（例えば、ビデオ映像変形部９）と、カメラ８１が撮影した映像と、ビデオ映像変形手段８３が変形したビデオ映像とを重畳する重畳手段８４（例えば、重畳部１０）とを備えている。【００８４】
そのような構成により、実世界の場面に関連するビデオ画像のような動画情報を、利用者の視点による実世界と関連付けて提供できる。【００８５】
また、情報提示システムは、ビデオ映像中の区切りとして予め定められた情報である区切り情報（例えば、区切り情報記憶部５に記憶された区切り情報、最終状態）と、カメラ８１が撮影した映像とを比較して、利用者の動作の区切りを判定する区切り判定手段（例えば、区切り推定部４）と、判定結果にしたがって、区切り情報により特定される区間のビデオ映像の再生を制御する再生制御手段（例えば、再生制御部７）とを備えていてもよい。【００８６】
また、区切り判定手段が、区切り情報が示すビデオ映像中の状態と、カメラ８１により撮影された映像が示す状態とが同じ状態か否かを判定して、利用者の動作の区切りを判定し、再生制御手段が、区切り判定手段が同じ状態であると判定した場合に、区切り情報により特定される区切りの次の区間のビデオ映像を再生するように制御し、区切り判定手段が同じ状態でないと判定した場合に、区切り情報により特定される区切りまでの区間のビデオ映像を繰り返し再生するように制御してもよい。【００８７】
また、再生制御手段が、区切り情報により特定される区間のビデオ映像を繰り返し再生するように制御し、その区間のビデオ映像を繰り返し再生する際に、再生速度を変化させるように（例えば、再生の繰り返し回数が増えるにしたがって、再生速度を低下させるように）制御してもよい。このようにすることで、利用者は、提供される情報を理解しやすくなる。【００８８】
また、情報提示システムが、ビデオ映像と区切り情報とを組にした情報であるビデオ情報を複数記憶するビデオ情報記憶手段（例えば、第１ビデオ情報記憶部１２及び第２ビデオ情報記憶部１３）と、複数のビデオ情報の中から、カメラ８１が撮影した映像に最も類似したビデオ映像を含むビデオ情報を選択するビデオ情報選択手段（例えば、ビデオ情報選択部１１）とを備えていてもよい。このような構成により、様々なビデオ映像を準備しておくだけで、実世界に適した映像を自動的に表示できる。【００８９】
また、重畳手段８４が、ビデオ映像をカメラ８１が撮影した映像と区別可能な態様に加工してもよい（例えば、ビデオ映像の色を変える、ビデオ映像のエッジを強調してエッジ以外を透明化する、半透過の度合いを時間に応じて変化させる）。【００９０】
また、本発明による映像表示用端末は、利用者に装着されて実世界を撮影するカメラ７１（例えば、カメラ１）と、実世界を撮影した映像からその実世界の位置及び姿勢を推定するサーバ装置６０（例えば、映像再生制御装置）に、カメラ７１が撮影した映像を送信する映像送信手段７２（例えば、映像再生制御装置の制御部）と、カメラ７１が撮影した映像をもとにサーバ装置６０が推定した実世界の位置及び姿勢に合わせて、実世界の場面を予め撮影した映像であるビデオ映像を変形させるビデオ映像変形手段７３（例えば、ビデオ映像変形部９）と、カメラ７１が撮影した映像と、ビデオ映像変形手段７３が変形したビデオ映像とを重畳する重畳手段７４とを備えている。【００９１】
また、本発明による映像再生制御装置は、実世界を撮影した映像を送信する端末装置７０（例えば、映像表示用端末）から受信したその映像から、実世界の位置及び姿勢を推定する位置姿勢推定手段６１（例えば、位置姿勢推定部３）と、実世界の場面を予め撮影した映像であるビデオ映像（例えば、ビデオ映像記憶部６に記憶されたビデオ映像）中の区切りとして予め定められた情報である区切り情報（例えば、区切り情報記憶部５に記憶された区切り情報）と、端末装置７０から受信した映像とを比較して、利用者の動作の区切りを判定する区切り判定手段６２（例えば、区切り推定部４）と、判定結果にしたがって、区切り情報により特定される区間のビデオ映像の再生を制御する信号である再生制御信号を生成する再生制御信号生成手段６３（例えば、再生制御部７）と、位置姿勢推定手段が推定した実世界の位置及び姿勢を示す情報と、再生制御信号とを端末装置７０に送信する情報送信手段６４（例えば、再生制御部７）とを備えている。【００９２】
これらの構成であっても、実世界の場面に関連するビデオ画像のような動画情報を、利用者の視点による実世界と関連付けて提供できる。【００９３】
なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。【００９４】
（付記１）利用者に装着されて実世界を撮影するカメラと、前記カメラが撮影した映像から、実世界の位置及び姿勢を推定する位置姿勢推定手段と、実世界の場面を予め撮影した映像であるビデオ映像を、推定された実世界の位置及び姿勢に合わせて変形させるビデオ映像変形手段と、前記カメラが撮影した映像と、前記ビデオ映像変形手段が変形したビデオ映像とを重畳する重畳手段とを備えたことを特徴とする情報提示システム。【００９５】
（付記２）ビデオ映像中の区切りとして予め定められた情報である区切り情報と、カメラが撮影した映像とを比較して、利用者の動作の区切りを判定する区切り判定手段と、前記判定結果にしたがって、前記区切り情報により特定される区間のビデオ映像の再生を制御する再生制御手段とを備えた付記１記載の情報提示システム。【００９６】
（付記３）区切り判定手段は、区切り情報が示すビデオ映像中の状態と、カメラにより撮影された映像が示す状態とが同じ状態か否かを判定して、利用者の動作の区切りを判定し、再生制御手段は、前記区切り判定手段が同じ状態であると判定した場合に、前記区切り情報により特定される区切りの次の区間のビデオ映像を再生するように制御し、前記区切り判定手段が同じ状態でないと判定した場合に、前記区切り情報により特定される区切りまでの区間のビデオ映像を繰り返し再生するように制御する付記２記載の情報提示システム。【００９７】
（付記４）再生制御手段は、区切り情報により特定される区間のビデオ映像を繰り返し再生するように制御し、当該区間のビデオ映像を繰り返し再生する際に、再生速度を変化させるように制御する付記２または付記３記載の情報提示システム。【００９８】
（付記５）ビデオ映像と区切り情報とを組にした情報であるビデオ情報を複数記憶するビデオ情報記憶手段と、前記複数のビデオ情報の中から、カメラが撮影した映像に最も類似したビデオ映像を含むビデオ情報を選択するビデオ情報選択手段とを備えた付記２から付記４のうちのいずれか１つに記載の情報提示システム。【００９９】
（付記６）重畳手段は、ビデオ映像をカメラが撮影した映像と区別可能な態様に加工する付記１から付記５のうちのいずれか１つに記載の情報提示システム。【０１００】
（付記７）ビデオ映像変形手段は、ビデオ映像における実世界の位置及び姿勢を示す情報である位置姿勢情報と、推定された実世界の位置及び姿勢とが整合するように、ビデオ映像を変形させる付記１から付記６のうちのいずれか１つに記載の情報提示システム。【０１０１】
（付記８）位置姿勢推定手段は、カメラが撮影した映像からマーカ位置を抽出して実世界の位置及び姿勢を推定する付記１から付記７のうちのいずれか１つに記載の情報提示システム。【０１０２】
（付記９）位置姿勢推定手段は、カメラが撮影した映像から抽出される特徴点をもとに実世界の位置及び姿勢を推定する付記１から付記７のうちのいずれか１つに記載の情報提示システム。【０１０３】
（付記１０）利用者に装着されて実世界を撮影するカメラと、実世界を撮影した映像から当該実世界の位置及び姿勢を推定するサーバ装置に、前記カメラが撮影した実世界の映像を送信する送信手段と、前記カメラが撮影した映像をもとに前記サーバ装置が推定した実世界の位置及び姿勢に合わせて、実世界の場面を予め撮影した映像であるビデオ映像を変形させるビデオ映像変形手段と、前記カメラが撮影した映像と、前記ビデオ映像変形手段が変形したビデオ映像とを重畳する重畳手段とを備えたことを特徴とする映像表示用端末。【０１０４】
（付記１１）重畳手段は、ビデオ映像をカメラが撮影した映像と区別可能な態様に加工する付記１０記載の映像表示用端末。【０１０５】
（付記１２）実世界を撮影した映像を送信する端末装置から受信した当該映像から、実世界の位置及び姿勢を推定する位置姿勢推定手段と、実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして予め定められた情報である区切り情報と、前記端末装置から受信した映像とを比較して、利用者の動作の区切りを判定する区切り判定手段と、前記判定結果にしたがって、前記区切り情報により特定される区間のビデオ映像の再生を制御する信号である再生制御信号を生成する再生制御信号生成手段と、前記位置姿勢推定手段が推定した実世界の位置及び姿勢を示す情報と、前記再生制御信号とを前記端末装置に送信する情報送信手段とを備えたことを特徴とする映像再生制御装置。【０１０６】
（付記１３）区切り判定手段は、区切り情報が示すビデオ映像中の状態と、カメラにより撮影された映像が示す状態とが同じ状態か否かを判定して、利用者の動作の区切りを判定し、再生制御手段は、前記区切り判定手段が同じ状態であると判定した場合に、前記区切り情報により特定される区切りの次の区間のビデオ映像を再生する制御を行う再生制御信号を生成し、前記区切り判定手段が同じ状態でないと判定した場合に、前記区切り情報により特定される区切りまでの区間のビデオ映像を繰り返し再生する制御を行う再生制御信号を生成する付記１２記載の映像再生制御装置。【０１０７】
（付記１４）利用者に装着されて実世界を撮影するカメラが撮影した映像から、実世界の位置及び姿勢を推定し、実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして定められた情報である区切り情報と、前記カメラが撮影した映像とを比較して、利用者の動作の区切りを判定し、前記判定結果にしたがって、前記区切り情報により特定される区間のビデオ映像の再生を制御し、推定された実世界の位置及び姿勢に合わせてビデオ映像を変形させ、前記カメラが撮影した映像と、変形したビデオ映像とを重畳することを特徴とする情報提示方法。【０１０８】
（付記１５）区切り情報により特定される区間のビデオ映像を繰り返し再生するように制御し、前記区間のビデオ映像を繰り返し再生する際に、再生速度を変化させるように制御する付記１４記載の情報提示方法。【０１０９】
（付記１６）利用者に装着されて実世界を撮影するカメラを備えたコンピュータに適用される情報提示用プログラムであって、前記コンピュータに、前記カメラが撮影した映像から、実世界の位置及び姿勢を推定する位置姿勢推定処理、実世界の場面を予め撮影した映像であるビデオ映像中の区切りとして定められた情報である区切り情報と、前記カメラが撮影した映像とを比較して、利用者の動作の区切りを判定する区切り判定処理、前記判定結果にしたがって、前記区切り情報により特定される区間のビデオ映像の再生を制御する再生制御処理、推定された実世界の位置及び姿勢に合わせてビデオ映像を変形させるビデオ映像変形処理、および、前記カメラが撮影した映像と、変形されたビデオ映像とを重畳する重畳処理を実行させるための情報提示用プログラム。【０１１０】
（付記１７）再生制御処理で、区切り情報により特定される区間のビデオ映像を繰り返し再生するように制御させ、前記区間のビデオ映像を繰り返し再生する際に、再生速度を変化させるように制御させる付記１６記載の情報提示用プログラム。【０１１１】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０１１２】
この出願は、２０１０年４月１９日に出願された日本特許出願２０１０−９６０５５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１１３】
本発明は、カメラで撮影した対象に関連付けられた情報を分かり易く提供する情報提供システムに好適に適用される。具体的には、本発明を、教師用のビデオ映像を実世界の対象に合わせて変形し、その映像を再生する情報提示システムや、情報提供用プログラムといった用途に適用できる。本発明を、動作毎に区切られたビデオ映像を進捗に合わせて再生する情報提示システムや、情報提供用プログラムといった用途にも適用可能である。
【符号の説明】
【０１１４】
１  カメラ
２  表示装置
３  位置姿勢推定部
４  区切り推定部
５  区切り情報記憶部
６  ビデオ映像記憶部
７  再生制御部
８  位置姿勢情報記憶部
９  ビデオ映像変形部
１０  重畳部
１１  ビデオ情報選択部
１２  第１ビデオ情報記憶部
１３  第２ビデオ情報記憶部
１０１〜１０４，２０１〜２０４  マーカ
１２０，２２０  作業対象
【図１】
2011132382.tif 000003
【図２】
2011132382.tif 000004
【図３】
2011132382.tif 000005
【図４】
2011132382.tif 000006
【図５】
2011132382.tif 000007
【図６】
2011132382.tif 000008
【図７】
2011132382.tif 000009
【図８】
2011132382.tif 000010
【図９】
2011132382.tif 000011
【国際調査報告】
2011132382.tif 000012
2011132382.tif 000013