(57)【要約】  第三者の映像酔い及び拡張現実感の低下を防ぐことが可能な拡張現実感提供装置を提供する。  ＨＭＤ１００は、測位部１１で算出された世界座標の測位信頼性が第一の閾値以上かつ角速度センサ１６で検出されたＨＭＤ１００の動きが第二の閾値未満のときは、表示部３Ｒ，３Ｌに表示するのと同じ仮想合成映像を外部表示装置に出力する。ＨＭＤ１００は、測位信頼性が第一の閾値未満又はＨＭＤ１００の動きが第二の閾値以上になったときは、表示部３Ｒ，３Ｌに表示するのと同じ仮想合成映像を外部表示装置に出力するのではなく、映像記憶部１７に記憶していた過去に表示部３Ｒ，３Ｌに表示した仮想合成映像を外部表示装置に出力する。
2012063542.tif 000002
【特許請求の範囲】
【請求項１】
フレーム期間毎に撮像を行う撮像部を有する拡張現実感提供装置であって、
現実世界と対応する仮想空間を定義する世界座標系において仮想物体を重畳させるべき位置を示す世界座標を、前記撮像部により撮像して得られる現実映像に基づいて算出する世界座標算出部と、
前記世界座標算出部で算出された前記世界座標を用いて仮想物体映像と前記現実映像とを合成した仮想合成映像を生成する仮想映像合成部と、
前記現実映像及び前記仮想合成映像のいずれかを表示する表示部と、
前記拡張現実感提供装置の動き量を検出する動き量検出部と、
前記世界座標算出部で算出される前記世界座標の信頼性が第一の閾値以上かつ前記動き量検出部で検出される前記動き量が第二の閾値未満となるフレーム期間（以下、第一のフレーム期間という）においては、当該第一のフレーム期間において前記仮想映像合成部によって生成された前記仮想合成映像を外部に設置される外部表示装置に出力する通常出力制御を行い、前記世界座標の信頼性が前記第一の閾値より低くなる、又は、前記動き量が前記第二の閾値より大きくなるフレーム期間（以下、第二のフレーム期間という）においては、当該第二のフレーム期間よりも前のフレーム期間において前記仮想映像合成部により生成されて記憶された過去の前記仮想合成映像を前記外部表示装置に出力するホールド出力制御を行う出力制御部とを備える拡張現実感提供装置。
【請求項２】
請求項１記載の拡張現実感提供装置であって、
前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後に実施されるフレーム期間のうち移行直後のフレーム期間を含む連続する少なくとも１つのフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該第二のフレーム期間において前記外部表示装置に出力されていた前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記少なくとも１つのフレーム期間の後のフレーム期間において前記通常出力制御を行う拡張現実感提供装置。
【請求項３】
請求項２記載の拡張現実感提供装置であって、
前記出力制御部は、前記加重平均する対象となる前記仮想映像合成部で生成される前記仮想合成映像の重み係数を、前記少なくとも１つのフレーム期間の後のフレーム期間に近づくほど大きくする拡張現実感提供装置。
【請求項４】
請求項１記載の拡張現実感提供装置であって、
前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後に実施されるフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間の各々において前記仮想映像合成部により生成された少なくとも１つの前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記複数のフレーム期間の後のフレーム期間において前記通常出力制御を行う拡張現実感提供装置。
【請求項５】
請求項４記載の拡張現実感提供装置であって、
前記出力制御部は、加重平均後の映像に含まれる、生成時刻の新しい前記仮想合成映像の割合が徐々に増えるように、前記加重平均時の重み係数をフレーム期間毎に変化させる拡張現実感提供装置。
【請求項６】
請求項１、４、又は５記載の拡張現実感提供装置であって、
前記出力制御部は、前記第一のフレーム期間から前記信頼性が前記第一の閾値以上かつ前記動き量が前記第二の閾値以上になるフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の後のフレーム期間において前記ホールド出力制御を行い、当該ホールド出力制御では、前記複数のフレーム期間のうちの最後のフレーム期間を除くフレーム期間のいずれかのフレーム期間（以下、第三のフレーム期間という）において前記仮想映像合成部で生成される前記仮想合成映像を前記外部表示装置に出力し、
前記複数のフレーム期間のうち、前記第三のフレーム期間以前のフレーム期間においては、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間の各々において前記仮想映像合成部により生成された少なくとも１つの前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力し、前記第三のフレーム期間より後のフレーム期間においては、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像と、前記第三のフレーム期間の１つ前のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行う拡張現実感提供装置。
【請求項７】
請求項１記載の拡張現実感提供装置であって、
前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記複数のフレーム期間の後のフレーム期間において前記通常出力制御を行う拡張現実感提供装置。
【請求項８】
請求項１又は７記載の拡張現実感提供装置であって、
前記出力制御部は、前記第一のフレーム期間から前記信頼性が前記第一の閾値以上かつ前記動き量が前記第二の閾値以上になるフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の後のフレーム期間において前記ホールド出力制御を行い、当該ホールド出力制御では、前記複数のフレーム期間のうちの最後のフレーム期間を除くフレーム期間のいずれかのフレーム期間（以下、第三のフレーム期間という）において前記仮想映像合成部で生成される前記仮想合成映像を前記外部表示装置に出力し、
前記複数のフレーム期間のうち、前記第三のフレーム期間以前のフレーム期間においては、前記仮想映像合成部で生成される前記１フレーム分の仮想合成映像と、当該フレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力し、前記第三のフレーム期間より後のフレーム期間においては、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像と、前記第三のフレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行う拡張現実感提供装置。
【請求項９】
請求項８記載の拡張現実感提供装置であって、
前記出力制御部は、加重平均後の映像に含まれる、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像の割合が徐々に大きくなるように、前記第三のフレーム期間より後のフレーム期間において行う前記加重平均時の重み係数をフレーム期間毎に変化させる拡張現実感提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者と当該使用者以外の第三者に拡張現実感を提供する拡張現実感提供装置に関する。
【背景技術】
【０００２】
カメラで撮影した画像（実写画像）に仮想物体画像を重畳させた合成画像を表示部に表示することで、当該表示部を観察する観察者に拡張現実感を提供する装置が普及してきている。このような装置としては、例えば、カメラ付のヘッドマウントディスプレイ（ＨＭＤ）を利用したものが知られている（例えば特許文献１参照）。【０００３】
特許文献１は、カメラ付のＨＭＤと、これとは別に設けられた据え置き型のディスプレイとによって、ＨＭＤを装着する観察者だけでなく、ディスプレイを見ている第三者にも拡張現実感を提供するシステムを開示している。このシステムは、カメラで撮影した実写画像に仮想物体画像を重畳させた合成画像をＨＭＤに表示させると共に、当該合成画像を外部のディスプレイに送信し、当該ディスプレイにて当該合成画像を表示している。【０００４】
このようなシステムにおいて、ＨＭＤを装着する観察者は、自身の頭部の動きに応じた映像を観察することができる。このため、ＨＭＤに表示される映像が揺れる、傾く等しても観察者にとって違和感はない。【０００５】
しかし、同じ映像をディスプレイによって見ている第三者にとっては、自身の意図とは関係なく映像が変化するために、映像酔いを引き起こす可能性がある。そこで、このシステムでは、ＨＭＤに表示される映像に傾きがあるときには、ディスプレイに表示させる映像の傾きを補正することで、第三者に違和感のない映像を提供するようにしている。【０００６】
また、特許文献２には、映像酔いを軽減するために、入力映像から動きベクトルを算出し、当該動きベクトルの大きさ及び向きが大きいときには、外部に出力する映像をホールドする方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】日本国特開２００７−２９９３２６号公報
【特許文献２】日本国特開２０１０−５０６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載のシステムにおいて、観察者の頭部の動きが激しい場合等には、仮想物体画像の合成に必要な測位情報の信頼性が低下し、仮想物体画像の合成に失敗する場合がある。この結果、ＨＭＤ及びディスプレイに表示される映像は、仮想物体画像が消えたり現れたりするものとなり、拡張現実感が低下してしまうという課題がある。【０００９】
特許文献１では、この課題について特に考慮されていない。また、特許文献２は、拡張現実感を提供する技術ではないため、当然ながら当該課題についての記載はない。【００１０】
ＨＭＤと外部のディスプレイで拡張現実感を共有できるシステムにおいては、外部のディスプレイを見る第三者に与える違和感を如何に軽減するかが重要であり、従来の方法だけではこの違和感の軽減には不十分であった。【００１１】
本発明は、上記事情に鑑みてなされたものであり、第三者の映像酔い及び拡張現実感の低下を防ぐことが可能な拡張現実感提供装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の拡張現実感提供装置は、フレーム期間毎に撮像を行う撮像部を有する拡張現実感提供装置であって、現実世界と対応する仮想空間を定義する世界座標系において仮想物体を重畳させるべき位置を示す世界座標を、前記撮像部により撮像して得られる現実映像に基づいて算出する世界座標算出部と、前記世界座標算出部で算出された前記世界座標を用いて仮想物体映像と前記現実映像とを合成した仮想合成映像を生成する仮想映像合成部と、前記現実映像及び前記仮想合成映像のいずれかを表示する表示部と、前記拡張現実感提供装置の動き量を検出する動き量検出部と、前記世界座標算出部で算出される前記世界座標の信頼性が第一の閾値以上かつ前記動き量検出部で検出される前記動き量が第二の閾値未満となるフレーム期間（以下、第一のフレーム期間という）においては、当該第一のフレーム期間において前記仮想映像合成部によって生成された前記仮想合成映像を外部に設置される外部表示装置に出力する通常出力制御を行い、前記世界座標の信頼性が前記第一の閾値より低くなる、又は、前記動き量が前記第二の閾値より大きくなるフレーム期間（以下、第二のフレーム期間という）においては、当該第二のフレーム期間よりも前のフレーム期間において前記仮想映像合成部により生成されて記憶された過去の前記仮想合成映像を前記外部表示装置に出力するホールド出力制御を行う出力制御部とを備えるものである。
【発明の効果】
【００１３】
本発明によれば、第三者の映像酔い及び拡張現実感の低下を防ぐことが可能な拡張現実感提供装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態を説明するための拡張現実感提供装置としてのヘッドマウントディスプレイ（ＨＭＤ）１００の外観を示す図
【図２】図１に示すＨＭＤ１００の内部構成を示すブロック図
【図３】図１に示したＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャート
【図４】図１に示したＨＭＤ１００の動作を説明するための状態遷移図
【図５】図１に示したＨＭＤ１００の動作を説明するための状態遷移図
【図６】図１に示したＨＭＤ１００の動作を説明するための状態遷移図
【図７】図１に示したＨＭＤ１００の動作を説明するための状態遷移図
【図８】ＨＭＤ１００の第一の変形例における出力制御部１５の内部構成を示すブロック図
【図９】第一の変形例のＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャート
【図１０】第一の変形例のＨＭＤ１００の動作を説明するための状態遷移図
【図１１】第二の変形例のＨＭＤ１００の出力制御部１５の内部構成を示す図
【図１２】第二の変形例のＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャート
【図１３】第二の変形例のＨＭＤ１００の動作を説明するための状態遷移図
【図１４】第二の変形例のＨＭＤ１００の動作を説明するための状態遷移図
【図１５】第三の変形例のＨＭＤ１００の動作を説明するための状態遷移図
【図１６】第三の変形例のＨＭＤ１００の動作を説明するための状態遷移図
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照して説明する。
【００１６】
図１は、本発明の一実施形態を説明するための拡張現実感提供装置としてのヘッドマウントディスプレイ（ＨＭＤ）１００の外観を示す図である。
【００１７】
図１に示すＨＭＤ１００は、眼鏡型の筐体１と、筐体１に設けられた右眼用の撮像部２Ｒ及び左眼用の撮像部２Ｌと、ＨＭＤ１００を装着する装着者の右眼と対向する筐体部分４Ｒに設けられた右眼用の表示部３Ｒと、ＨＭＤ１００を装着する装着者の左眼と対向する筐体部分４Ｌに設けられた左眼用の表示部３Ｌとを備える。
【００１８】
図２は、図１に示すＨＭＤ１００の内部構成を示すブロック図である。
【００１９】
ＨＭＤ１００は、図１に示した撮像部２Ｒ，２Ｌ及び表示部３Ｒ，３Ｌに加えて、現実映像処理部１０Ｒ，１０Ｌと、測位部１１と、仮想映像記憶部１２と、仮想映像処理部１３と、仮想映像合成部１４Ｒ，１４Ｌと、出力制御部１５と、ＨＭＤ１００の動き量を検出する角速度センサ１６と、映像記憶部１７とを備える。
【００２０】
撮像部２Ｒ，２Ｌは、撮像素子で撮像して得られる撮像信号をアナログ処理し、アナログ処理後の撮像信号をデジタル変換し、デジタル化された撮像信号を現実映像処理部１０Ｒ，１０Ｌに出力する。
【００２１】
現実映像処理部１０Ｒは、撮像部２Ｒから出力された撮像信号に、周知のデジタル信号処理を施して右眼用の撮像画像データ（右眼用の現実映像）を生成する。
【００２２】
現実映像処理部１０Ｌは、撮像部２Ｌから出力された撮像信号に、周知のデジタル信号処理を施して左眼用の撮像画像データ（左眼用の現実映像）を生成する。
【００２３】
測位部１１は、現実映像処理部１０Ｒで生成された右眼用の現実映像と、現実映像処理部１０Ｌで生成された左眼用の現実映像とを用いて、現実世界と対応する仮想空間を定義する世界座標系において仮想物体を重畳させるべき位置を示す座標である世界座標を算出する。
【００２４】
例えば、測位部１１は、右眼用の現実映像と左眼用の現実映像とに共通に含まれる特徴点を抽出し、当該特徴点に基づいて世界座標を算出する。又は、測位部１１は、右眼用の現実映像と左眼用の現実映像とに共通に含まれるマーカーをパターンマッチングにて検出し、検出したマーカーの位置に応じて世界座標を算出する。
【００２５】
測位部１１は、世界座標の算出と共に、当該算出した世界座標の算出精度（信頼性）が第一の閾値以上か否かを判定する。例えば、特徴点に基づいて世界座標を算出した場合には、当該特徴点の数を、信頼性を評価するための評価値とする。マーカーに応じて世界座標を算出した場合には、パターンマッチングした際の誤差二乗和を、信頼性を評価するための評価値とする。測位部１１は、信頼性の判定結果を、仮想映像処理部１３及び出力制御部１５に入力する。
【００２６】
仮想映像記憶部１２は、現実映像処理部１０Ｒ，１０Ｌにより生成された現実映像に合成する三次元の仮想物体映像を複数種類記憶している。
【００２７】
仮想映像処理部１３は、測位部１１で算出された世界座標に応じて、仮想映像記憶部１２から読み出した任意の三次元仮想物体映像を二次元化する。この際、仮想映像処理部１３は、表示部３Ｒ，３Ｌそれぞれの視点に応じた二次元化を行う。
【００２８】
仮想映像処理部１３は、測位部１１で算出された世界座標の信頼性（上記評価値と同義）が第一の閾値以上であった場合は、二次元化した右眼用の仮想物体映像を仮想映像合成部１４Ｒに出力し、二次元化した左眼用の仮想物体映像を仮想映像合成部１４Ｌに出力する。一方、仮想映像処理部１３は、測位部１１で算出された世界座標の信頼性が第一の閾値未満であった場合は、二次元化した仮想物体映像を仮想映像合成部１４Ｒ及び仮想映像合成部１４Ｌに出力しない。
【００２９】
仮想映像合成部１４Ｒは、二次元化された右眼用の仮想物体映像が仮想映像処理部１３から入力された場合は、現実映像処理部１０Ｒから出力された右眼用の現実映像と、当該右眼用の仮想物体映像とを合成して、右眼用の仮想合成映像を生成し、当該仮想合成映像を表示部３Ｒ及び出力制御部１５に出力する。一方、仮想映像合成部１４Ｒは、右眼用の仮想物体映像が仮想映像処理部１３から入力されなかった場合は、仮想合成映像を生成せずに、右眼用の現実映像を表示部３Ｒ及び出力制御部１５に出力する。
【００３０】
仮想映像合成部１４Ｌは、二次元化された左眼用の仮想物体映像が仮想映像処理部１３から入力された場合は、現実映像処理部１０Ｌから出力された左眼用の現実映像と、当該左眼用の仮想物体映像とを合成して、左眼用の仮想合成映像を生成し、当該仮想合成映像を表示部３Ｌ及び出力制御部１５に出力する。一方、仮想映像合成部１４Ｌは、左眼用の仮想物体映像が仮想映像処理部１３から入力されなかった場合は、仮想合成映像を生成せずに、左眼用の現実映像を表示部３Ｌ及び出力制御部１５に出力する。
【００３１】
表示部３Ｒは、仮想映像合成部１４Ｒから出力された現実映像又は仮想合成映像を表示する。
【００３２】
表示部３Ｌは、仮想映像合成部１４Ｌから出力された現実映像又は仮想合成映像を表示する。
【００３３】
出力制御部１５は、ＨＭＤ１００の外部に設置された外部表示装置に仮想合成映像を出力する。この外部表示装置は、左眼用の映像と右眼用の映像を表示して、その観察者に立体映像を見せられるものとなっている。
【００３４】
出力制御部１５は、外部表示装置に出力した仮想合成映像を映像記憶部１７に記憶する。映像記憶部１７には、常に最新の仮想合成映像だけが上書きされて記憶される。出力制御部１５は、角速度センサ１６で検出されるＨＭＤ１００の動き量に基づき、必要と判断したときには、映像記憶部１７に記憶されている仮想合成映像の上書き（更新）を停止する。
【００３５】
出力制御部１５は、仮想映像合成部１４Ｒ，１４Ｌにより生成された仮想合成映像を外部表示装置に出力する通常出力制御と、映像記憶部１７に記憶されている仮想合成映像を外部表示装置に出力するホールド出力制御とを、測位部１１による世界座標の信頼性の判定結果と、角速度センサ１６で検出されるＨＭＤ１００の動き量とに基づいて切り替えて実施する。
【００３６】
図３は、図１に示したＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャートである。
【００３７】
ステップＳ１で撮像部２Ｒ，２Ｌにより撮像が行われると、出力制御部１５は、角速度センサ１６からの情報により、ＨＭＤ１００の動き量（現フレーム期間とその１つ前のフレーム期間との間の動き量）を検出する（ステップＳ２）。
【００３８】
次に、現実映像処理部１０Ｒ，１０Ｌにおいて、撮像部２Ｒ，２Ｌからそれぞれ出力された撮像信号から撮像画像データ（現実映像）が生成される（ステップＳ３）。
【００３９】
次に、測位部１１において、ステップＳ３で生成された２つの現実映像に基づいて世界座標の算出（測位）が行われる（ステップＳ４）。
【００４０】
次に、測位部１１において世界座標の信頼性（測位信頼性）の判定が行われ、測位信頼性が第一の閾値以上であった場合（ステップＳ５：ＹＥＳ）はステップＳ６以降の処理が行われ、測位信頼性が第一の閾値未満であった場合（ステップＳ５：ＮＯ）はステップＳ１２以降の処理が行われる。
【００４１】
ステップＳ６では、ステップＳ４において算出された世界座標に応じて仮想物体映像が二次元化され、この二次元化された仮想物体映像とステップＳ３で生成された現実映像とを合成した仮想合成映像が生成され（ステップＳ７）、当該仮想合成映像が表示部３Ｒ，３Ｌに表示される（ステップＳ８）。
【００４２】
ステップＳ８の後、出力制御部１５が、ステップＳ２で検出した動き量が第二の閾値以上か否かを判定し、当該動き量が第二の閾値以上のときはステップＳ１３の処理を行い、当該動き量が第二の閾値未満のときはステップＳ１０の処理を行う。
【００４３】
ステップＳ１０では、出力制御部１５が、ステップＳ８にて表示部３Ｒ，３Ｌに表示された仮想合成映像を映像記憶部１７に記憶する（映像記憶部１７に記憶されている仮想合成映像を上書きして更新する）。その後、出力制御部１５は、ステップＳ８にて表示部３Ｒ，３Ｌに表示された仮想合成映像を外部表示装置に出力して（ステップＳ１１）、１フレーム期間の処理を終了する。
【００４４】
ステップＳ１３では、出力制御部１５が、ステップＳ８で表示部３Ｒ，３Ｌに表示された仮想合成映像を映像記憶部１７に記憶せずに（映像記憶部１７に記憶された仮想合成映像の更新を行わずに）、映像記憶部１７に記憶されている仮想合成映像を読み出す。次に、この読み出した仮想合成映像を外部表示装置に出力して（ステップＳ１４）、１フレーム分の処理を終了する。
【００４５】
ステップＳ５の説明に戻り、測位信頼性が第一の閾値未満であった場合（ステップＳ５：ＮＯ）は、ステップＳ３で生成された現実映像が表示部３Ｒ，３Ｌに表示される（ステップＳ１２）。ステップＳ１２の後は、ステップＳ１３及びステップＳ１４の処理が行われて、外部表示装置には、映像記憶部１７に記憶されている仮想合成映像が表示される。
【００４６】
以上が１フレーム期間におけるＨＭＤ１００の動作であるが、以下では、複数フレーム期間に渡るＨＭＤ１００の動作を、図４〜７を参照して説明する。
【００４７】
図４は、図１に示したＨＭＤ１００の動作を説明するための状態遷移図である。図４では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態に変化したときの動作を示している。
【００４８】
図４において、横軸はフレーム期間の開始時刻を表す。各時刻Ｔ０〜Ｔ５の上には、当該各時刻で開始されるフレーム期間終了後の、表示部３Ｒに表示されている仮想合成映像（ＨＭＤ表示映像）、映像記憶部１７に記憶されている仮想合成映像（記憶映像）、及び外部表示装置に出力されている外部出力映像を図示している。
【００４９】
図４において、ＨＭＤ表示映像、記憶映像、及び外部出力映像には、それぞれ符号を内部に記してあり、同一の映像には同一符号を付してある。なお、図４では、右眼に対応する映像についてのみ図示している。
【００５０】
時刻Ｔ０〜Ｔ２の各々にて開始されたフレーム期間では、ＨＭＤ１００の動き量が第二の閾値未満であるため、撮像後に生成された仮想合成映像が表示部３Ｒに表示され、当該仮想合成映像が外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像が映像記憶部１７に記憶される。
【００５１】
したがって、時刻Ｔ０〜Ｔ２の間、外部表示装置では、ＨＭＤ１００の表示部に表示される映像と同じ映像が表示されることとなり、ＨＭＤ１００の装着者と、外部表示装置の観察者とで、人物の現実映像に星の仮想映像が重畳された拡張現実感を共有することができる。
【００５２】
時刻Ｔ３にてＨＭＤ１００の動き量が第二の閾値以上になると、時刻Ｔ３にて開始されたフレーム期間では、撮像後に生成された仮想合成映像（４）が表示部３Ｒに表示されるが、当該仮想合成映像（４）は外部表示装置には出力されない。その代わりに、映像記憶部１７に記憶されている記憶映像（３）が外部表示装置に出力される（ホールド出力制御が実施される）。
【００５３】
時刻Ｔ４及び時刻Ｔ５でも、ＨＭＤ１００の動き量が第二の閾値未満になっていないため、外部表示装置には記憶映像（３）が出力される（ホールド出力制御が実施される）。
【００５４】
したがって、時刻Ｔ３以降、ＨＭＤ１００の表示部には、仮想合成映像（４）〜（６）が順次切り替わって表示されるものの、外部表示装置には、ＨＭＤ１００の動きが第二の閾値以上になる直前に表示されていた仮想合成映像（３）が表示され続けることになる。このため、外部表示装置の観察者は、仮想合成映像（４）〜（６）のように大きく変化する映像を見なくてすむようになり、映像酔いを防ぐことができる。
【００５５】
図５は、図１に示したＨＭＤ１００の動作を説明するための状態遷移図である。図５では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化したときの動作を示している。図５に示した標記は図４に示したものと同じである。
【００５６】
時刻Ｔ１０及びＴ１１の各々にて開始されたフレーム期間では、ＨＭＤ１００の動き量が第二の閾値以上となっているため、撮像後に生成された仮想合成映像が表示部３Ｒに表示される。しかし、当該仮想合成映像は外部表示装置には出力されず、代わりに、映像記憶部１７に記憶されている記憶映像Ａが外部表示装置に出力される（ホールド出力制御が実施される）。
【００５７】
時刻Ｔ１２にてＨＭＤ１００の動き量が第二の閾値未満になると、時刻Ｔ１２にて開始されたフレーム期間では、撮像後に生成された仮想合成映像（３）が表示部３Ｒに表示され、当該仮想合成映像（３）が外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像（３）が映像記憶部１７に記憶される。
【００５８】
時刻Ｔ１３〜Ｔ１５の各々でも、ＨＭＤ１００の動き量が第二の閾値未満になっているため、外部表示装置には、各フレーム期間で生成される仮想合成映像（４）〜（６）が出力される（通常出力制御が実施される）。
【００５９】
このように、外部表示装置に出力される映像がホールドされた後でも、ＨＭＤ１００の動き量が小さくなれば、ＨＭＤ１００にて表示されているのと同じ仮想合成映像を外部表示装置に表示させることができる。
【００６０】
図６は、図１に示したＨＭＤ１００の動作を説明するための状態遷移図である。図６では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値未満の状態に変化したときの動作を示している。図６に示した標記は図４に示したものと同じである。
【００６１】
時刻Ｔ０〜Ｔ２の各々にて開始されたフレーム期間では、測位信頼性が第一の閾値以上になっているため、撮像後に生成された仮想合成映像が表示部３Ｒに表示され、当該仮想合成映像が外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像が映像記憶部１７に記憶される。
【００６２】
したがって、時刻Ｔ０〜Ｔ２の間、外部表示装置では、ＨＭＤ１００の表示部に表示される映像と同じ映像が表示されることとなり、ＨＭＤ１００の装着者と、外部表示装置の観察者とで、人物の現実映像に星の仮想映像が重畳された拡張現実感を共有することができる。
【００６３】
時刻Ｔ３にて測位信頼性が第一の閾値未満になると、時刻Ｔ３にて開始されたフレーム期間では、撮像後に生成された現実映像（４）が表示部３Ｒに表示されるが、当該現実映像（４）は外部表示装置には出力されない。その代わりに、映像記憶部１７に記憶されている記憶映像（３）が外部表示装置に出力される（ホールド出力制御が実施される）。
【００６４】
時刻Ｔ４及び時刻Ｔ５でも、測位信頼性が第一の閾値未満になっているため、外部表示装置には記憶映像（３）が出力される（ホールド出力制御が実施される）。
【００６５】
したがって、時刻Ｔ３以降、ＨＭＤ１００の表示部には、現実映像（４）〜（６）が順次切り替わって表示されるものの、外部表示装置には、測位信頼性が第一の閾値未満になる直前に表示されていた仮想合成映像（３）が表示され続けることになる。
【００６６】
このような動作により、時刻Ｔ２において外部表示装置に表示されていた星の仮想映像が、時刻Ｔ３以降に突然消えてしまうといったことがなくなる。このため、外部表示装置の観察者にとっては、仮想映像が突然消失することによる拡張現実感の低下を防ぐことができる。また、ＨＭＤ１００の装着者は、表示部３Ｒ，３Ｌに表示される現実映像によって視界を確保することができ、安全性を確保することができる。
【００６７】
図７は、図１に示したＨＭＤ１００の動作を説明するための状態遷移図である。図７では、測位信頼性が第一の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化したときの動作を示している。図７に示した標記は図４に示したものと同じである。
【００６８】
時刻Ｔ１０及びＴ１１の各々にて開始されたフレーム期間では、測位信頼性が第一の閾値未満となっているため、撮像後に生成された現実映像が表示部３Ｒに表示されるが、当該現実映像は外部表示装置には出力されない。その代わりに、映像記憶部１７に記憶されている記憶映像Ａが外部表示装置に出力される（ホールド出力制御が実施される）。
【００６９】
時刻Ｔ１２にて測位信頼性が第一の閾値以上になりかつ動き量が第二の閾値未満になると、時刻Ｔ１２にて開始されたフレーム期間では、撮像後に生成された仮想合成映像（３）が表示部３Ｒに表示され、当該仮想合成映像（３）が外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像（３）が映像記憶部１７に記憶される。
【００７０】
時刻Ｔ１３〜Ｔ１５の各々でも、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満になっているため、外部表示装置には、各フレーム期間で生成される仮想合成映像（４）〜（６）が出力される（通常出力制御が実施される）。
【００７１】
以上のように、ＨＭＤ１００によれば、測位信頼性が第一の閾値以上かつＨＭＤ１００の動き量が第二の閾値未満の場合に、出力制御部１５が通常出力制御を行う。このため、この場合には、ＨＭＤ１００の装着者と外部表示装置の観察者とで拡張現実感を共有させることができる。
【００７２】
また、ＨＭＤ１００によれば、動き量に関わらず、測位信頼性が第一の閾値未満であって、仮想合成映像の生成が成功しないような場合には、出力制御部１５がホールド出力制御を行う。このため、このような場合であっても、外部表示装置には映像記憶部１７に記憶中の仮想合成映像を表示させ続けることができる。この結果、外部表示装置の観察者に与える拡張現実感の低下を防ぐことができる。
【００７３】
また、ＨＭＤ１００によれば、測位信頼性が第一の閾値以上であっても、ＨＭＤ１００の動き量が第二の閾値以上の場合には、出力制御部１５がホールド出力制御を行うため、映像記憶部１７に記憶中の仮想合成映像を外部表示装置に表示させ続けることができる。この結果、外部表示装置の観察者が映像酔いしてしまうのを防ぐことができる。
【００７４】
以下では、ＨＭＤ１００の変形例について説明する。
【００７５】
（第一の変形例）
ＨＭＤ１００の第一の変形例の内部ブロック構成は、出力制御部１５の構成が異なる点を除いては、図２に示した構成と同じである。
【００７６】
図８は、ＨＭＤ１００の第一の変形例における出力制御部１５の内部構成を示すブロック図である。
【００７７】
図８に示した出力制御部１５は、加重平均部１５１と、出力判定部１５２と、フォーマット変換部１５３とを備える。
【００７８】
加重平均部１５１は、仮想映像合成部１４Ｒ，１４Ｌで生成された仮想合成映像（ＨＭＤ表示映像）と、映像記憶部１７に記憶されている仮想合成映像（記憶中映像）とを加重平均して、外部表示装置に出力する外部出力映像を生成する。具体的には、｛（ＨＭＤ表示映像）×α＋（記憶映像）×β｝／（α＋β）の演算を行って、外部出力映像を生成する。
【００７９】
出力判定部１５２は、測位部１１からの測位信頼性の判定結果と角速度センサ１６で検出されたＨＭＤ１００の動き量とに基づいて、３つの制御を切り替えて実施する。１つ目の制御は、仮想映像合成部１４Ｒ，１４Ｌにより生成された仮想合成映像をフォーマット変換部１５３を介して外部表示装置に出力する通常出力制御である。２つ目の制御は、映像記憶部１７に記憶されている仮想合成映像をフォーマット変換部１５３を介して外部表示装置に出力するホールド出力制御である。３つ目の制御は、加重平均部１５１で生成された外部出力映像を、フォーマット変換部１５３を介して外部表示装置に出力する移行出力制御である。
【００８０】
出力判定部１５２は、ホールド出力制御を行ったときには、外部表示装置の表示を固定（ホールド）したことを示すホールドフラグを内部メモリに記憶する。また、出力判定部１５２は、通常出力制御を行ったときには内部メモリ内の全てのフラグを消去する。また、出力判定部１５２は、移行出力制御を行ったときには、外部表示装置の表示を固定表示から通常表示に移行していることを示すホールドアウト移行中フラグを内部メモリに記憶する。出力判定部１５２は、移行出力制御を行う毎に、ホールドアウト移行中フラグの本数を増加させていく。出力判定部１５２は、ホールドフラグについては、通常出力制御を行う毎にフラグの本数は増やさない。
【００８１】
フォーマット変換部１５３は、入力された映像を外部表示装置用のデータに変換して、外部表示装置に送信する。
【００８２】
図９は、第一の変形例のＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャートである。図９において、図３と同じ処理には同一符号を付してある。図９のステップＳ９、ステップＳ１０、ステップＳ１１、ステップＳ１３、及びステップＳ１４の処理は出力判定部１５２が行う。
【００８３】
ステップＳ１４の後、出力判定部１５２は、内部メモリにホールドフラグを記憶してから（ステップＳ２２）、処理を終了する。また、ステップＳ１１の後、出力判定部１５２は、内部メモリの全てのフラグを消去してから（ステップＳ２１）、処理を終了する。
【００８４】
ステップＳ９の判定で、ＨＭＤ１００の動き量が第二の閾値未満であった場合（ステップＳ９：ＮＯ）、出力判定部１５２は、内部メモリにホールドフラグが記憶されているか否かを判定し（ステップＳ２３）、ホールドフラグが記憶されていない場合はステップＳ１０の処理を行い、ホールドフラグが記憶されていた場合はステップＳ２４の処理を行う。
【００８５】
ステップＳ２４では、出力判定部１５２が、内部メモリにホールドアウト移行中フラグがｎ個（ｎは１以上の自然数）記憶されているか否かを判定する。
【００８６】
次に、出力判定部１５２は、ホールドアウト移行中フラグがｎ本であった場合にはステップＳ１０の処理を行い、ホールドアウト移行中フラグがｎ本未満であった場合にはステップＳ２５の処理（移行出力制御）を行う。
【００８７】
ステップＳ２５では、出力判定部１５２が、ステップＳ８で表示中の仮想合成映像と、映像記憶部１７に記憶されている仮想合成映像とを加重平均した外部出力映像を加重平均部１５１にて生成させ、この外部出力映像をフォーマット変換部１５３でフォーマット変換後、外部表示装置に出力させる。
【００８８】
ステップＳ２５が終了すると、出力判定部１５２は、内部メモリにホールドアウト移行中フラグを１つ記憶し（ステップＳ２６）、処理を終了する。
【００８９】
以上が第一の変形例のＨＭＤ１００の１フレーム期間における動作であるが、以下では、複数フレーム期間に渡る第一の変形例のＨＭＤ１００の動作を、図１０を参照して説明する。
【００９０】
図１０は、第一の変形例のＨＭＤ１００の動作を説明するための状態遷移図である。図１０では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化したときの動作を示している。
【００９１】
なお、図１０に示した標記は、図４に示したものと同じである。また、図１０では、右眼に対応する映像についてのみ図示している。また、図１０では、ｎ＝３、重み係数α，β＝１／２のときの動作を例示している。
【００９２】
また、測位信頼性が第一の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化したときの状態遷移は、図１０において、時刻Ｔ１２で測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満になるものとし、時刻Ｔ１０，Ｔ１１のＨＭＤ表示映像が、仮想合成映像ではなく現実映像になるだけであり、基本的な動作は同じである。
【００９３】
また、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値未満又は動き量が第二の閾値以上の状態に変化したときの動作は、図４及び図６に示したものと同じである。
【００９４】
時刻Ｔ１０及びＴ１１の各々にて開始されたフレーム期間では、ＨＭＤ１００の動き量が第二の閾値以上となっているため、撮像後に生成された仮想合成映像が表示部３Ｒに表示されるが、当該仮想合成映像は外部表示装置には出力されない。当該仮想合成映像の代わりに、映像記憶部１７に記憶されている記憶映像Ａが外部表示装置に出力される（ホールド出力制御が実施される）。時刻Ｔ１０，Ｔ１１の各々にて開始されたフレーム期間の終了後は、出力判定部１５２の内部メモリにホールドフラグのみが記憶されている。
【００９５】
時刻Ｔ１２にてＨＭＤ１００の動き量が第二の閾値未満になると、時刻Ｔ１２の時点では出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは１つも記憶されていない。このため、時刻Ｔ１２にて開始されるフレーム期間では、ＨＭＤ表示中の仮想合成映像（１）と映像記憶部１７に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが外部表示装置に出力される（１回目の移行出力制御が実施される）。映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリには移行中フラグが１つ記憶される。
【００９６】
次の時刻Ｔ１３では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは１つ記憶されている。
【００９７】
このため、時刻Ｔ１３にて開始されるフレーム期間では、ＨＭＤ表示中の仮想合成映像（２）と映像記憶部１７に記憶中の仮想合成映像Ａとを足して２で割った映像Ｃが外部表示装置に出力される（２回目の移行出力制御が実施される）。
【００９８】
映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。
【００９９】
次の時刻Ｔ１４では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは２つ記憶されている。
【０１００】
このため、時刻Ｔ１４にて開始されるフレーム期間では、ＨＭＤ表示中の仮想合成映像（３）と映像記憶部１７に記憶中の仮想合成映像Ａとを足して２で割った映像Ｄが外部表示装置に出力される（３回目の移行出力制御が実施される）。
【０１０１】
映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。
【０１０２】
次の時刻Ｔ１５では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは３つ（＝ｎ）記憶されている。
【０１０３】
このため、時刻Ｔ１５にて開始されるフレーム期間では、ＨＭＤ表示中の仮想合成映像（４）が映像記憶部１７に上書きされると共に、当該仮想合成映像（４）が外部表示装置に出力される（通常出力制御が実施される）。
【０１０４】
仮想合成映像（４）が外部表示装置に出力されると、出力判定部１５２の内部メモリに記憶されたホールドフラグとホールドアウト移行中フラグが全て消去される。このため、時刻Ｔ１５以降は、ＨＭＤ表示中の仮想合成映像がそのまま外部表示装置に表示される。
【０１０５】
このように、第一の変形例では、ＨＭＤ１００の動き量が第二の閾値以上の状態から、ＨＭＤ１００の動き量が第二の閾値未満の状態に変化したときに、出力制御部１５が行う制御を、ホールド出力制御から通常出力制御にすぐに切り替えるのではなく、仮想映像合成部１４Ｒ，１４Ｌで生成される仮想合成映像と映像記憶部１７に記憶されている仮想合成映像とを加重平均して得た外部出力映像を外部表示装置に出力する移行出力制御をｎ回行ってから、通常出力制御に切り替えている。
【０１０６】
この移行出力制御を行うことで、外部表示装置に表示させる映像を、仮想合成映像Ａから仮想合成映像（４）に突然切り替えるのではなく、仮想合成映像Ａから仮想合成映像（４）に向かって徐々に変化させていくことができる。
【０１０７】
このため、映像の大きな変化による映像刺激を、外部表示装置の観察者に与えてしまうのを防ぐことができる。また、移行出力制御中に外部表示装置に表示される映像（Ｂ，Ｃ，Ｄ）は、図１０に示したように、ホールド出力制御時と通常出力制御時に表示される映像（Ａ、（４））とは見た目が全く異なるものとなるため、ホールド状態から通常状態への復帰タイミングが分かりやすくなる。
【０１０８】
なお、以上の説明では、加重平均部１５１で用いる重み係数をｎ回の移行出力制御ですべて同じにしているが、これに限らない。
【０１０９】
例えば、ＨＭＤ表示中の仮想合成映像の重み係数を、出力判定部１５２の内部メモリに記憶されている移行中フラグの数に比例して大きくしてもよい。
【０１１０】
具体的には、図１０の時刻Ｔ１３にて開始されるフレーム期間では、ＨＭＤ表示映像の重み係数を２／３にし、記憶映像の重み係数を１／３にし、時刻Ｔ１４にて開始されるフレーム期間では、ＨＭＤ表示映像の重み係数を３／４にし、記憶映像の重み係数を１／４にする。
【０１１１】
このようにすることで、外部表示装置に表示される映像に含まれる記憶映像の割合を徐々に減らしていくことができ、より自然に映像を変化させることができる。
【０１１２】
（第二の変形例）
第二の変形例のＨＭＤ１００は、図９に示したステップＳ２５における加重平均映像の生成方法が異なる点と、映像記憶部１７が複数の仮想合成映像を記憶できるようになっている点と、図９に示したステップＳ１２以降の処理が異なる点を除いては、第一の変形例と同じ構成である。
【０１１３】
図１１は、第二の変形例のＨＭＤ１００の出力制御部１５の内部構成を示す図である。図１１に示す出力制御部１５は、加重平均部１５１を加重平均部１５１ａに変更した点を除いては、図８に示した構成と同じである。
【０１１４】
加重平均部１５１ａは、映像記憶部１７に記憶されている仮想合成映像と、仮想映像合成部１４Ｒ，１４Ｌにより生成される仮想合成映像を加重平均して外部出力映像を生成したり、映像記憶部１７に記憶されている複数の仮想合成映像を加重平均して外部出力映像を生成したりする。
【０１１５】
図１２は、第二の変形例のＨＭＤ１００の１フレーム期間における動作を説明するためのフローチャートである。図１２において、図９と同じ処理には同一符号を付してある。
【０１１６】
図１２に示したフローチャートは、図９において、ステップＳ２５をステップＳ３５に変更し、ステップＳ９：ＹＥＳの後にステップＳ３０〜Ｓ３３を追加し、ステップＳ３０及びステップＳ３１の判定がＹＥＳのときにステップＳ１３以降の処理を行うようにしたものである。
【０１１７】
ステップＳ３５では、出力判定部１５２が、仮想映像生成部１４Ｒ，１４Ｌで生成される仮想合成映像と、その仮想合成映像が生成されるよりも前に生成された過去の仮想合成映像のうちの少なくとも１つとの加重平均により、外部表示装置に出力する外部出力映像を加重平均部１５１ａにて生成させ、この外部出力映像をフォーマット変換部１５３を介して外部表示装置に出力する第一の移行出力制御を行う。
【０１１８】
ステップＳ３０では、出力判定部１５２が、内部メモリにホールドフラグが記憶されているか否かを判定し、ホールドフラグが記憶されていなければステップＳ３１に処理を移行し、記憶されていればステップＳ１３に処理を移行する。
【０１１９】
ステップＳ３１では、出力判定部１５２が、内部メモリにホールドイン移行中フラグがｎ本記憶されているか否かを判定する。出力判定部１５２は、ステップＳ３１の判定がＹＥＳのときはステップＳ１３の処理を行い、ステップＳ３１の判定がＮＯのときは、ステップＳ３２の処理を行う。
【０１２０】
ステップＳ３２では、出力判定部１５２が、仮想映像生成部１４Ｒ，１４Ｌで生成される仮想合成映像と、その仮想合成映像が生成されるよりも前に生成された過去の仮想合成映像とから選ばれる、複数の仮想合成映像を加重平均部１５１ａにて加重平均して外部出力映像を生成し、この外部出力映像をフォーマット変換部１５３を介して外部表示装置に出力する第二の移行出力制御を行う。
【０１２１】
ステップＳ３２の後、出力判定部１５２は、内部メモリにホールドイン移行中フラグを１つ記憶して（ステップＳ３３）、処理を終了する。
【０１２２】
以下では、第一の移行出力制御時の加重平均部１５１ａでの外部出力映像の生成方法の詳細を、図１３を参照して説明し、第二の移行出力制御時の加重平均部１５１ａでの外部出力映像の生成方法の詳細を、図１４を参照して説明する。
【０１２３】
図１３は、第二の変形例のＨＭＤ１００の動作を説明するための状態遷移図である。図１３では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化するときの動作を示している。
【０１２４】
図１３に示した標記は、図４に示したものと同じである。また、図１３では、右眼に対応する映像についてのみ図示している。また、図１３では、ｎ＝５のときの動作を例示している。
【０１２５】
なお、測位信頼性が第一の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態に変化するときの動作については、図１３において、時刻Ｔ１２で測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満になり、時刻Ｔ１０，Ｔ１１のＨＭＤ表示映像が、仮想合成映像ではなく現実映像になるだけであり、基本的な動作は同じである。
【０１２６】
時刻Ｔ１０及びＴ１１の各々では、ＨＭＤ１００の動き量が第二の閾値以上となっており、また、出力判定部１５２の内部メモリにはホールドフラグが記憶されている。
【０１２７】
このため、時刻Ｔ１０及びＴ１１の各々にて開始されるフレーム期間では、撮像後に生成された仮想合成映像が表示部３Ｒに表示されるが、当該仮想合成映像は外部表示装置には出力されない。当該仮想合成映像の代わりに、映像記憶部１７の「記憶領域１」に記憶されている記憶映像Ａが外部表示装置に出力される（ホールド出力制御が実施される）。
【０１２８】
時刻Ｔ１２にてＨＭＤ１００の動き量が第二の閾値未満になると、時刻Ｔ１２の時点では出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは１つも記憶されていない。このため、時刻Ｔ１２にて開始されるフレーム期間では加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（１回目の第一の移行出力制御が実施される）。
【０１２９】
具体的には、ＨＭＤ表示中の仮想合成映像（１）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが外部表示装置に出力される。
【０１３０】
映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ記憶される。また、映像Ｂが外部表示装置に出力されると、映像記憶部１７の「記憶領域２」に仮想合成映像（１）が記憶される。
【０１３１】
次の時刻Ｔ１３では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが１つ記憶されている。
【０１３２】
このため、時刻Ｔ１３にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（２回目の第一の移行出力制御が実施される）。
【０１３３】
具体的には、ＨＭＤ表示中の仮想合成映像（２）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（１）とを足して３で割った映像Ｃが、外部表示装置に出力される。
【０１３４】
映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｃが外部表示装置に出力されると、映像記憶部１７の「記憶領域３」に仮想合成映像（２）が記憶される。
【０１３５】
次の時刻Ｔ１４では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが２つ記憶されている。
【０１３６】
このため、時刻Ｔ１４にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（３回目の第一の移行出力制御が実施される）。
【０１３７】
具体的には、ＨＭＤ表示中の仮想合成映像（３）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（１）と、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）とを足して４で割った映像Ｄが、外部表示装置に出力される。
【０１３８】
映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｄが外部表示装置に出力されると、映像記憶部１７の「記憶領域４」に仮想合成映像（３）が記憶される。
【０１３９】
次の時刻Ｔ１５では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが３つ記憶されている。
【０１４０】
このため、時刻Ｔ１５にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（４回目の第一の移行出力制御が実施される）。
【０１４１】
具体的には、ＨＭＤ表示中の仮想合成映像（４）と、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）と、映像記憶部１７の「記憶領域４」に記憶中の仮想合成映像（３）とを足して３で割った映像Ｅが、外部表示装置に出力される。
【０１４２】
映像Ｅが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｅが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」に仮想合成映像（４）が上書きされると共に、「記憶領域２」の仮想合成映像（１）が消去される。
【０１４３】
次の時刻Ｔ１６では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが４つ記憶されている。
【０１４４】
このため、時刻Ｔ１６にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（５回目の第一の移行出力制御が実施される）。
【０１４５】
具体的には、ＨＭＤ表示中の仮想合成映像（５）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像（４）とを足して２で割った映像Ｆが、外部表示装置に出力される。
【０１４６】
映像Ｆが外部表示装置に出力されると、出力判定部１５２の内部メモリには移行中フラグが１つ追加される。また、映像Ｆが外部表示装置に出力されると、映像記憶部１７の「記憶領域３」及び「記憶領域４」の仮想合成映像（２），（３）が消去される。
【０１４７】
次の時刻Ｔ１７では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが５つ記憶されている。
【０１４８】
このため、ＨＭＤ表示中の仮想合成映像（６）が映像記憶部１７の「記憶領域１」に上書きされ、当該仮想合成映像（６）が外部表示装置に出力される（通常出力制御が実施される）。
【０１４９】
仮想合成映像（６）が外部表示装置に出力されると、出力判定部１５２の内部メモリに記憶されたホールドフラグとホールドアウト移行中フラグが全て消去される。このため、時刻Ｔ１７以降は、ＨＭＤ表示中の仮想合成映像が、そのまま外部表示装置に表示される。
【０１５０】
図１４は、第二の変形例のＨＭＤ１００の動作を説明するための状態遷移図である。図１４では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値以上かつ動き量が第二の閾値以上の状態に変化するときの動作を示している。
【０１５１】
図１４に示した標記は、図４に示したものと同じである。また、図１４では、右眼に対応する映像についてのみ図示している。また、図１４では、ｎ＝５のときの動作を例示している。
【０１５２】
なお、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満の状態から、測位信頼性が第一の閾値未満の状態に変化するときの動作は、図６に示したものと同じである。
【０１５３】
時刻Ｔ０にて開始されたフレーム期間では、測位信頼性が第一の閾値以上かつ動き量が第二の閾値未満であり、ホールドフラグは記憶されていない。このため、撮像後に生成された仮想合成映像Ａが表示部３Ｒに表示され、当該仮想合成映像Ａが外部表示装置に出力され（通常出力制御が実施され）、当該仮想合成映像Ａが映像記憶部１７の「記憶領域１」に記憶される。
【０１５４】
時刻Ｔ１にて測位信頼性が第一の閾値以上かつＨＭＤ１００の動き量が第二の閾値以上になると、時刻Ｔ１の時点では出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つも記憶されていないため、時刻Ｔ１にて開始されるフレーム期間では加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（１回目の第二の移行出力制御が実施される）。
【０１５５】
具体的には、ＨＭＤ表示中の仮想合成映像（１）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが外部表示装置に出力される。
【０１５６】
映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｂが外部表示装置に出力されると、映像記憶部１７の「記憶映像２」に仮想合成映像（１）が記憶される。
【０１５７】
次の時刻Ｔ２では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが１つとなっている。
【０１５８】
このため、時刻Ｔ２にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（２回目の第二の移行出力制御が実施される）。
【０１５９】
具体的には、ＨＭＤ表示中の仮想合成映像（２）を１／２倍したものと、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａを１／４倍したものと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（１）を１／４倍したものとを加算した映像Ｃが外部表示装置に出力される。
【０１６０】
映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｃが外部表示装置に出力されると、映像記憶部１７の「記憶映像３」に仮想合成映像（２）が記憶される。
【０１６１】
次の時刻Ｔ３では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが２つとなっている。
【０１６２】
このため、時刻Ｔ３にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（３回目の第二の移行出力制御が実施される）。
【０１６３】
具体的には、ＨＭＤ表示中の仮想合成映像（３）を１／２倍したものと、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａを１／８倍したものと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（１）を１／８倍したものと、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）を１／４倍したものとを加算した映像Ｄが外部表示装置に出力される。
【０１６４】
映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｄが外部表示装置に出力されると、映像記憶部１７の「記憶映像４」に仮想合成映像（３）が記憶される。
【０１６５】
次の時刻Ｔ４では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが３つとなっている。
【０１６６】
このため、時刻Ｔ４にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（４回目の第二の移行出力制御が実施される）。
【０１６７】
具体的には、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）を１／４倍したものと、映像記憶部１７の「記憶領域４」に記憶中の仮想合成映像（３）を３／４倍したものとを加算した映像Ｅが外部表示装置に出力される。
【０１６８】
映像Ｅが外部表示装置に出力されると、出力判定部１５２の内部メモリには移行中フラグが１つ記憶される。また、映像Ｅが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」及び「記憶領域２」のデータは消去される。
【０１６９】
次の時刻Ｔ５では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが４つとなっている。
【０１７０】
このため、時刻Ｔ５にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（５回目の第二の移行出力制御が実施される）。
【０１７１】
具体的には、映像記憶部１７の「記憶領域３」に記憶中の仮想合成映像（２）を１／８倍したものと、映像記憶部１７の「記憶領域４」に記憶中の仮想合成映像（３）を７／８倍したものとを加算した映像Ｆが外部表示装置に出力される。
【０１７２】
映像Ｆが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｆが外部表示装置に出力されると、映像記憶部１７の「記憶領域３」のデータが消去される。
【０１７３】
次の時刻Ｔ６では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが５つ（＝ｎ）になっている。
【０１７４】
このため、時刻Ｔ６にて開始されるフレーム期間では、映像記憶部１７の「記憶領域４」に記憶された仮想合成映像（３）が外部表示装置に出力される（ホールド出力制御が実施される）。
【０１７５】
そして、時刻Ｔ６以降は、「記憶領域４」に記憶されている仮想合成映像（３）が外部表示装置に表示され続ける。
【０１７６】
以上のように、第二の変形例では、ＨＭＤ１００の動き量が第二の閾値以上の状態から第二の閾値未満の状態に変化したときに、出力制御部１５が行う制御を、ホールド出力制御から通常出力制御にすぐに切り替えるのではなく、第一の移行出力制御をｎ回行ってから通常出力制御に切り替えている。
【０１７７】
第一の移行出力制御は、仮想映像合成部１４Ｒ，１４Ｌで生成される仮想合成映像と映像記憶部１７に記憶されている少なくとも１つの過去の仮想合成映像とを加重平均して得た外部出力映像を外部表示装置に出力する制御である。そして、第二の変形例では、第一の移行出力制御を行う各フレーム期間にて設定する重み係数をフレーム期間毎に変えることで、外部出力映像に含まれる仮想合成映像Ａの割合を徐々に減らしていくと共に、外部出力映像に含まれる時系列的に新しい仮想合成映像の割合を徐々に増やすことを可能にしている。
【０１７８】
この第一の移行出力制御を行うことで、外部表示装置に表示させる映像を、仮想合成映像Ａから仮想合成映像（６）に突然切り替えるのではなく、仮想合成映像Ａから仮想合成映像（６）に向かって徐々に変化させていくことができる。
【０１７９】
このため、映像の大きな変化による映像刺激を、外部表示装置の観察者に与えてしまうのを防ぐことができる。また、移行出力制御中に外部表示装置に表示される映像（Ｂ〜Ｆ）は、図１３に示したように、ホールド出力制御時と通常出力制御時に表示される映像（Ａ、（６））とは見た目が全く異なるものとなるため、ホールド状態から通常状態への復帰タイミングが分かりやすくなる。
【０１８０】
また、第二の変形例では、ＨＭＤ１００の動き量が第二の閾値未満の状態から第二の閾値以上の状態に変化したときに、出力制御部１５が行う制御を、通常出力制御からホールド出力制御にすぐに切り替えるのではなく、第二の移行出力制御をｎ回行ってからホールド出力制御に切り替えている。
【０１８１】
第二の移行出力制御は、仮想映像生成部１４Ｒ，１４Ｌで生成される仮想合成映像と、その仮想合成映像が生成されるよりも前に生成された過去の仮想合成映像とから選ばれる複数の仮想合成映像の加重平均により、外部表示装置に出力する外部出力映像を生成し、これを外部表示装置に出力する制御である。
【０１８２】
図１４の例では、第二の移行出力制御を行う５個のフレーム期間のうちの３つ目のフレーム期間（時刻Ｔ３で開始されるフレーム期間）をホールドフレーム期間に設定し、このホールドフレーム期間で生成される仮想合成映像を、通常出力制御を行うフレーム期間（時刻Ｔ６で開始されるフレーム期間）において外部表示装置に出力する映像としている。
【０１８３】
そして、ホールドフレーム期間以前のフレーム期間（図１４の時刻Ｔ１〜Ｔ３の各々で開始されるフレーム期間）では、フレーム期間中に生成される仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間にて仮想映像合成部１４Ｒ，１４Ｌによって生成された少なくとも１つの仮想合成映像とを加重平均して外部出力映像を生成している。
【０１８４】
また、ホールドフレーム期間よりも後のフレーム期間（図１４の時刻Ｔ４、Ｔ５で開始されるフレーム期間）では、映像記憶部１７に記憶されている、ホールドフレーム期間において生成された仮想合成映像（３）とホールドフレーム期間の１つ前のフレーム期間で生成された仮想合成映像（２）、の加重平均によって外部出力映像を生成している。
【０１８５】
また、ｎ回のフレーム期間では、加重平均を行う対象となる仮想合成映像のうち、新しいものの割合が、時刻が経過するにしたがって徐々に多くなるように、フレーム期間毎に重み係数を変更している。
【０１８６】
このようなｎ回の第二の移行出力制御を行うことで、外部表示装置に表示させる映像を、仮想合成映像Ａから仮想合成映像（３）に突然切り替えるのではなく、仮想合成映像Ａから仮想合成映像（３）に向かって徐々に変化させていくことができる。
【０１８７】
このため、外部表示装置において、仮想合成映像Ａから仮想合成映像（３）に表示映像が突然変化してしまうことによる違和感をなくすことができる。
【０１８８】
なお、ホールド出力制御から通常出力制御に切り替えるときに行う第二の移行出力制御の回数ｎは、第二の変形例においては２以上の自然数である必要がある。また、第二の移行出力制御を行うｎ回のフレーム期間のうち、１回目から（ｎ−１）回目までのフレーム期間のいずれかを、ホールドフレーム期間として設定する必要がある。
【０１８９】
（第三の変形例）
以下では、図１３の時刻Ｔ１２〜Ｔ１６の各時刻におけるＨＭＤ１００の動作の変形例を、図１５を参照して説明し、図１４の時刻Ｔ１〜Ｔ５の各時刻におけるＨＭＤ１００の動作の変形例を、図１６を参照して説明する。
【０１９０】
図１５は、第三の変形例のＨＭＤ１００の動作を説明するための状態遷移図である。図１５において、時刻Ｔ１２〜Ｔ１６以外の状態は、図１３に示した状態と同じである。
【０１９１】
時刻Ｔ１２にてＨＭＤ１００の動き量が第二の閾値未満になると、時刻Ｔ１２の時点では出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグは１つも記憶されていない。
【０１９２】
このため、時刻Ｔ１２にて開始されるフレーム期間では加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（１回目の第一の移行出力制御が実施される）。
【０１９３】
具体的には、ＨＭＤ表示中の仮想合成映像（１）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが、外部表示装置に出力される。
【０１９４】
映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ記憶される。また、映像Ｂが外部表示装置に出力されると、映像記憶部１７の「記憶領域２」に映像Ｂが記憶される。
【０１９５】
次の時刻Ｔ１３では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが１つ記憶されている。
【０１９６】
このため、時刻Ｔ１３にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（２回目の第一の移行出力制御が実施される）。
【０１９７】
具体的には、ＨＭＤ表示中の仮想合成映像（２）と、映像記憶部１７の「記憶領域２」に記憶中の映像Ｂとを足して２で割った映像Ｃが、外部表示装置に出力される。
【０１９８】
映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｃが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」に映像Ｃが上書きされる。
【０１９９】
次の時刻Ｔ１４では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが２つ記憶されている。
【０２００】
このため、時刻Ｔ１４にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（３回目の第一の移行出力制御が実施される）。
【０２０１】
具体的には、ＨＭＤ表示中の仮想合成映像（３）と、映像記憶部１７の「記憶領域１」に記憶中の映像Ｃとを足して２で割った映像Ｄが、外部表示装置に出力される。
【０２０２】
映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｄが外部表示装置に出力されると、映像記憶部１７の「記憶領域２」に映像Ｄが上書きされる。
【０２０３】
次の時刻Ｔ１５では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが３つ記憶されている。
【０２０４】
このため、時刻Ｔ１５にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（４回目の第一の移行出力制御が実施される）。
【０２０５】
具体的には、ＨＭＤ表示中の仮想合成映像（４）を２／３倍したものと、映像記憶部１７の「記憶領域２」に記憶中の映像Ｄを１／３倍したものを加算して得られる映像Ｅが、外部表示装置に出力される。
【０２０６】
映像Ｅが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｅが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」に映像Ｅが上書きされる。
【０２０７】
次の時刻Ｔ１６では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが４つ記憶されている。
【０２０８】
このため、時刻Ｔ１６にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（５回目の第一の移行出力制御が実施される）。
【０２０９】
具体的には、ＨＭＤ表示中の仮想合成映像（５）を３／４倍したものと、映像記憶部１７の「記憶領域１」に記憶中の映像Ｅを１／４倍したものを加算して得られる映像Ｆが、外部表示装置に出力される。
【０２１０】
映像Ｆが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドアウト移行中フラグが１つ追加される。また、映像Ｆが外部表示装置に出力されると、映像記憶部１７の「記憶領域２」の映像Ｄが消去される。
【０２１１】
次の時刻Ｔ１７では、出力判定部１５２の内部メモリにはホールドフラグが記憶されており、かつ、ホールドアウト移行中フラグが５つ記憶されている。
【０２１２】
このため、ＨＭＤ表示中の仮想合成映像（６）が映像記憶部１７の「記憶領域１」に上書きされ、当該仮想合成映像（６）が外部表示装置に出力される（通常出力制御が実施される）。
【０２１３】
仮想合成映像（６）が外部表示装置に出力されると、出力判定部１５２の内部メモリに記憶されたホールドフラグとホールドアウト移行中フラグが全て消去される。このため、時刻Ｔ１７以降は、ＨＭＤ表示中の仮想合成映像が、そのまま外部表示装置に表示される。
【０２１４】
図１６は、第三の変形例のＨＭＤ１００の動作を説明するためのイメージ図である。図１６において、時刻Ｔ１〜Ｔ５以外の状態は、図１４に示した状態と同じである。
【０２１５】
時刻Ｔ１にてＨＭＤ１００の動き量が第二の閾値以上になると、時刻Ｔ１の時点では出力判定部１５２の内部メモリにはホールドフラグが記憶されておらず、また、ホールドイン移行中フラグが１つも記憶されていない。
【０２１６】
このため、時刻Ｔ１にて開始されるフレーム期間では加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（１回目の第二の移行出力制御が実施される）。
【０２１７】
具体的には、ＨＭＤ表示中の仮想合成映像（１）と、映像記憶部１７の「記憶領域１」に記憶中の仮想合成映像Ａとを足して２で割った映像Ｂが、外部表示装置に出力される。
【０２１８】
映像Ｂが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｂが外部表示装置に出力されると、映像記憶部１７の「記憶映像２」に映像Ｂが記憶される。
【０２１９】
次の時刻Ｔ２では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが１つとなっている。
【０２２０】
このため、時刻Ｔ２にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（２回目の第二の移行出力制御が実施される）。
【０２２１】
具体的には、ＨＭＤ表示中の仮想合成映像（２）と映像記憶部１７の「記憶領域２」に記憶中の映像Ｂを足して２で割って得られる映像Ｃが外部表示装置に出力される。
【０２２２】
映像Ｃが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｃが外部表示装置に出力されると、映像記憶部１７の「記憶映像１」に映像Ｃが上書きされる。
【０２２３】
次の時刻Ｔ３では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが２つとなっている。
【０２２４】
このため、時刻Ｔ３にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（３回目の第二の移行出力制御が実施される）。
【０２２５】
具体的には、ＨＭＤ表示中の仮想合成映像（３）と映像記憶部１７の「記憶領域１」に記憶中の映像Ｃを足して２で割って得られる映像Ｄが外部表示装置に出力される。
【０２２６】
映像Ｄが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｄが外部表示装置に出力されると、映像記憶部１７の「記憶映像２」に仮想合成映像（３）が記憶される。
【０２２７】
次の時刻Ｔ４では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが３つとなっている。
【０２２８】
このため、時刻Ｔ４にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（４回目の第二の移行出力制御が実施される）。
【０２２９】
具体的には、映像記憶部１７の「記憶領域１」に記憶中の映像Ｃを１／４倍したものと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（３）を３／４倍したものとを加算した映像Ｅが外部表示装置に出力される。
【０２３０】
映像Ｅが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。
【０２３１】
次の時刻Ｔ５では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが４つとなっている。
【０２３２】
このため、時刻Ｔ５にて開始されるフレーム期間では、加重平均処理により外部出力映像が生成され、この外部出力映像が外部表示装置に出力される（５回目の第二の移行出力制御が実施される）。
【０２３３】
具体的には、映像記憶部１７の「記憶領域１」に記憶中の映像Ｃを１／８倍したものと、映像記憶部１７の「記憶領域２」に記憶中の仮想合成映像（３）を７／８倍したものとを加算した映像Ｆが外部表示装置に出力される。
【０２３４】
映像Ｆが外部表示装置に出力されると、出力判定部１５２の内部メモリにはホールドイン移行中フラグが１つ記憶される。また、映像Ｆが外部表示装置に出力されると、映像記憶部１７の「記憶領域１」のデータが消去される。
【０２３５】
次の時刻Ｔ６では、出力判定部１５２の内部メモリに記憶されているホールドイン移行中フラグが５つ（＝ｎ）になっている。
【０２３６】
このため、時刻Ｔ６にて開始されるフレーム期間では、映像記憶部１７の「記憶領域２」に記憶された仮想合成映像（３）が外部表示装置に出力される（ホールド出力制御が実施される）。
【０２３７】
時刻Ｔ６以降は、「記憶領域２」に記憶されている仮想合成映像（３）が外部表示装置に表示され続ける。
【０２３８】
図１５に示した時刻Ｔ１２〜Ｔ１６の各々で開始されるフレーム期間中に行われる第一の移行出力制御は、フレーム期間中に生成された仮想合成映像と、当該フレーム期間の１つ前のフレーム期間で外部表示装置に出力されていた仮想合成映像とを加重平均して外部出力用映像を生成し、この外部出力用映像を外部表示装置に出力する制御である。
【０２３９】
この第一の移行出力制御によれば、映像記憶部１７には記憶領域１と記憶領域２の２つの領域があればよいため、第二の変形例のときよりもメモリ容量を削減することができる。
【０２４０】
図１６に示した時刻Ｔ１〜Ｔ５の各々で開始されるフレーム期間中に行われる第二の移行出力制御は、フレーム期間中に生成される仮想合成映像と、当該フレーム期間よりも前のフレーム期間にて生成された過去の仮想合成映像と、当該フレーム期間よりも前のフレーム期間にて外部表示装置に出力された仮想合成映像とから選ばれる複数の仮想合成映像の加重平均により、外部表示装置に出力する外部出力映像を生成し、これを外部表示装置に出力する制御である。
【０２４１】
図１６の例では、出力制御部１５が、第二の移行出力制御を行うｎ回のフレーム期間のうちの３回目のフレーム期間をホールドフレーム期間とし、ホールドフレーム期間以前のフレーム期間（時刻Ｔ１〜Ｔ３の各々で開始されるフレーム期間）では、当該フレーム期間で生成した仮想合成映像と、当該フレーム期間の１つ前のフレーム期間にて外部表示装置に出力された仮想合成映像とを加重平均して外部出力映像を生成する。また、出力制御部１５は、ホールドフレーム期間より後のフレーム期間（時刻Ｔ４，Ｔ５の各々で開始されるフレーム期間）では、ホールドフレーム期間で生成された仮想合成映像と、ホールドフレーム期間の１つ前のフレーム期間にて外部表示装置に出力された仮想合成映像とを加重平均して外部出力映像を生成している。
【０２４２】
なお、ホールドフレーム期間より後のフレーム期間では、外部出力映像に含まれる仮想合成映像（３）の割合が、通常出力制御を行うフレーム期間に近づくにしたがって増えるように、重み係数がフレーム期間毎に変更される。
【０２４３】
このようなｎ回の第二の移行出力制御によれば、映像記憶部１７には映像領域１と映像領域２の２つの領域があればよいため、第二の変形例のときよりもメモリ容量を削減することができる。
【０２４４】
なお、第三の変形例においても、ホールド出力制御から通常出力制御に切り替えるときに行う第二の移行出力制御の回数ｎは２以上の自然数とし、第二の移行出力制御を行うｎ回のフレーム期間のうち、１回目から（ｎ−１）回目までのフレーム期間のいずれかをホールドフレーム期間として設定する必要がある。
【０２４５】
以上のように、本明細書には次の事項が開示されている。
【０２４６】
開示された拡張現実感提供装置は、フレーム期間毎に撮像を行う撮像部を有する拡張現実感提供装置であって、現実世界と対応する仮想空間を定義する世界座標系において仮想物体を重畳させるべき位置を示す世界座標を、前記撮像部により撮像して得られる現実映像に基づいて算出する世界座標算出部と、前記世界座標算出部で算出された前記世界座標を用いて仮想物体映像と前記現実映像とを合成した仮想合成映像を生成する仮想映像合成部と、前記現実映像及び前記仮想合成映像のいずれかを表示する表示部と、前記拡張現実感提供装置の動き量を検出する動き量検出部と、前記世界座標算出部で算出される前記世界座標の信頼性が第一の閾値以上かつ前記動き量検出部で検出される前記動き量が第二の閾値未満となるフレーム期間（以下、第一のフレーム期間という）においては、当該第一のフレーム期間において前記仮想映像合成部によって生成された前記仮想合成映像を外部に設置される外部表示装置に出力する通常出力制御を行い、前記世界座標の信頼性が前記第一の閾値より低くなる、又は、前記動き量が前記第二の閾値より大きくなるフレーム期間（以下、第二のフレーム期間という）においては、当該第二のフレーム期間よりも前のフレーム期間において前記仮想映像合成部により生成されて記憶された過去の前記仮想合成映像を前記外部表示装置に出力するホールド出力制御を行う出力制御部とを備えるものである。
【０２４７】
開示された拡張現実感提供装置は、前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後に実施されるフレーム期間のうち移行直後のフレーム期間を含む連続する少なくとも１つのフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該第二のフレーム期間において前記外部表示装置に出力されていた前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記少なくとも１つのフレーム期間の後のフレーム期間において前記通常出力制御を行うものである。
【０２４８】
開示された拡張現実感提供装置は、前記出力制御部は、前記加重平均する対象となる前記仮想映像合成部で生成される前記仮想合成映像の重み係数を、前記少なくとも１つのフレーム期間の後のフレーム期間に近づくほど大きくするものである。
【０２４９】
開示された拡張現実感提供装置は、前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後に実施されるフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間の各々において前記仮想映像合成部により生成された少なくとも１つの前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記複数のフレーム期間の後のフレーム期間において前記通常出力制御を行うものである。
【０２５０】
開示された拡張現実感提供装置は、前記出力制御部は、加重平均後の映像に含まれる、生成時刻の新しい前記仮想合成映像の割合が徐々に増えるように、前記加重平均時の重み係数をフレーム期間毎に変化させるものである。
【０２５１】
開示された拡張現実感提供装置は、前記出力制御部は、前記第一のフレーム期間から前記信頼性が前記第一の閾値以上かつ前記動き量が前記第二の閾値以上になるフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の後のフレーム期間において前記ホールド出力制御を行い、当該ホールド出力制御では、前記複数のフレーム期間のうちの最後のフレーム期間を除くフレーム期間のいずれかのフレーム期間（以下、第三のフレーム期間という）において前記仮想映像合成部で生成される前記仮想合成映像を前記外部表示装置に出力し、
前記複数のフレーム期間のうち、前記第三のフレーム期間以前のフレーム期間においては、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間よりも前の少なくとも１つのフレーム期間の各々において前記仮想映像合成部により生成された少なくとも１つの前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力し、前記第三のフレーム期間より後のフレーム期間においては、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像と、前記第三のフレーム期間の１つ前のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行うものである。
【０２５２】
開示された拡張現実感提供装置は、前記出力制御部は、前記第二のフレーム期間から前記第一のフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の各々において、前記仮想映像合成部で生成される前記仮想合成映像と、当該フレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行った後、前記複数のフレーム期間の後のフレーム期間において前記通常出力制御を行うものである。
【０２５３】
開示された拡張現実感提供装置は、前記出力制御部は、前記第一のフレーム期間から前記信頼性が前記第一の閾値以上かつ前記動き量が前記第二の閾値以上になるフレーム期間に移行した場合に、移行後のフレーム期間のうち移行直後のフレーム期間を含む連続する複数のフレーム期間の後のフレーム期間において前記ホールド出力制御を行い、当該ホールド出力制御では、前記複数のフレーム期間のうちの最後のフレーム期間を除くフレーム期間のいずれかのフレーム期間（以下、第三のフレーム期間という）において前記仮想映像合成部で生成される前記仮想合成映像を前記外部表示装置に出力し、
前記複数のフレーム期間のうち、前記第三のフレーム期間以前のフレーム期間においては、前記仮想映像合成部で生成される前記１フレーム分の仮想合成映像と、当該フレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力し、前記第三のフレーム期間より後のフレーム期間においては、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像と、前記第三のフレーム期間の１つ前のフレーム期間において前記外部表示装置に出力された映像とを加重平均して得た映像を前記外部表示装置に出力する制御を行うものである。
【０２５４】
開示された拡張現実感提供装置は、前記出力制御部は、加重平均後の映像に含まれる、前記第三のフレーム期間において前記仮想映像合成部で生成される前記仮想合成映像の割合が徐々に大きくなるように、前記第三のフレーム期間より後のフレーム期間において行う前記加重平均時の重み係数をフレーム期間毎に変化させるものである。
【産業上の利用可能性】
【０２５５】
本発明によれば、第三者の映像酔い及び拡張現実感の低下を防ぐことが可能な拡張現実感提供装置を提供することができる。【０２５６】
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１０年１１月９日出願の日本出願（特願２０１０−２５１３０４）に基づくものであり、その内容はここに参照として取り込まれる。
【符号の説明】
【０２５７】
１００  ＨＭＤ
３Ｒ，３Ｌ  表示部
１１  測位部
１６  角速度センサ
【図１】
2012063542.tif 000003
【図２】
2012063542.tif 000004
【図３】
2012063542.tif 000005
【図４】
2012063542.tif 000006
【図５】
2012063542.tif 000007
【図６】
2012063542.tif 000008
【図７】
2012063542.tif 000009
【図８】
2012063542.tif 000010
【図９】
2012063542.tif 000011
【図１０】
2012063542.tif 000012
【図１１】
2012063542.tif 000013
【図１２】
2012063542.tif 000014
【図１３】
2012063542.tif 000015
【図１４】
2012063542.tif 000016
【図１５】
2012063542.tif 000017
【図１６】
2012063542.tif 000018
【国際調査報告】
2012063542.tif 000019
2012063542.tif 000020