(57)【要約】【課題】カメラが揺れても、観察者にとって自然な表示を可能にする画像表示装置、画像表示方法、および画像表示プログラムを提供する。【解決手段】観察者に装着して利用される画像表示装置１０は、本体部分（フレーム１１）の第一位置Ａに設置され、観察者の揺れを検出する慣性センサー１４と、本体部分の第一位置Ａとは異なる第二位置Ｂに設置され、外界を撮像して撮像画像を生成する撮像装置１３と、慣性センサー１４によって検出された揺れ量に基づいて、撮像装置１３の揺れ量を算出する揺れ量算出部と、揺れ量算出部によって算出された撮像装置１３の揺れ量に基づいて、撮像画像における所定の対象を追跡する追跡部と、を備える。【選択図】図１
2015061200.tif 000002
【特許請求の範囲】
【請求項１】
観察者に装着して利用される画像表示装置であって、
本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、
前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、
前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出する揺れ量算出部と、
前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡する追跡部と、
を備える画像表示装置。
【請求項２】
前記撮像部は、撮像時にカメラレンズを使用するカメラであって、
前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正する歪補正部を、さらに備える請求項１に記載の画像表示装置。
【請求項３】
前記歪補正部は、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、請求項２に記載の画像表示装置。
【請求項４】
前記追跡部は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、請求項１〜３のいずれか一項に記載の画像表示装置。
【請求項５】
前記追跡部は、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、請求項４に記載の画像表示装置。
【請求項６】
前記歪補正部による歪みの補正と、前記追跡部による追跡とが並行して行われる、請求項２〜５のいずれか一項に記載の画像表示装置。
【請求項７】
観察者に装着して利用される画像表示装置の本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、
前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、を備える画像表示装置における画像表示方法であって、
（ａ）前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出するステップと、
（ｂ）前記ステップ（ａ）によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡するステップと、
を行う画像表示方法。
【請求項８】
前記撮像部は、撮像時にカメラレンズを使用するカメラであって、
（ｃ）前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正するステップを、さらに行う請求項７に記載の画像表示方法。
【請求項９】
前記ステップ（ｃ）は、前記ステップ（ａ）において算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、請求項８に記載の画像表示方法。
【請求項１０】
前記ステップ（ｂ）は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、請求項７〜９のいずれか一項に記載の画像表示方法。
【請求項１１】
前記ステップ（ｂ）は、前記ステップ（ａ）において算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、請求項１０に記載の画像表示方法。
【請求項１２】
前記ステップ（ｃ）における歪みの補正と、前記ステップ（ｂ）による追跡とが並行して行われる、請求項８〜１１のいずれか一項に記載の画像表示方法。
【請求項１３】
観察者に装着して利用される画像表示装置の本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、
前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、を備える画像表示装置として機能するコンピューターに、
（ａ）前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出するステップと、
（ｂ）前記ステップ（ａ）によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡するステップと、
を実行させるための画像表示プログラム。
【請求項１４】
前記撮像部は、撮像時にカメラレンズを使用するカメラであって、
（ｃ）前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正するステップを、さらに前記コンピューターに実行させる請求項１３に記載の画像表示プログラム。
【請求項１５】
前記ステップ（ｃ）は、前記ステップ（ａ）において算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、請求項１４に記載の画像表示プログラム。
【請求項１６】
前記ステップ（ｂ）は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、請求項１３〜１５のいずれか一項に記載の画像表示プログラム。
【請求項１７】
前記ステップ（ｂ）は、前記ステップ（ａ）において算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、請求項１６に記載の画像表示プログラム。
【請求項１８】
前記ステップ（ｃ）における歪みの補正と、前記ステップ（ｂ）による追跡とが並行して行われる、請求項１４〜１７のいずれか一項に記載の画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法、および画像表示プログラムに関する。
【背景技術】
【０００２】
現実空間の撮像画像に、付加的な情報やコンピューターグラフィックス（ＣＧ）描画された仮想物体を重畳させて表示する表示システムがある。このような表示システムによれば、観察者に対して、付加的な情報やＣＧ描画された仮想物体が現実空間に存在しているかのように見せることが可能になる。一般的に、このような技術は、複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）、拡張現実感（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）等と呼ばれるが、以下では、ＡＲ技術と呼ぶ。ＡＲ技術を用いた代表的な装置としては、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）等がある。
【０００３】
ヘッドマウントディスプレイの中には、カメラレンズの特性によって生じる歪みを補正するための歪補正を行うものがある（たとえば、特許文献１）。そのうえで、観察者の視野範囲を撮像するカメラにより得られる撮像画像を使用して、観察者の目前に存在する対象（たとえば、人）に対して物体認識やトラッキング等を行うものもある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−９１８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ヘッドマウントディスプレイは、観察者（たとえば、頭部）に装着されて使用されるため、観察者が揺れると、カメラも揺れてしまう。このとき、カメラの揺れを考慮せずに、歪補正などが行われると、物体認識やトラッキングの対象を精度良く認識できない。たとえば、観察者が、歩行しながらヘッドマウントディスプレイを使用する場合などには、物体認識やトラッキングの対象を正確に認識し続けることが難しい。
【０００６】
物体認識やトラッキングの対象を誤って認識すると、その対象の近くにポップアップ画像を表示させたときに、不自然な画像となってしまう。ましてや、撮像画像から特定の対象の領域を除く処理（キャンセル画像処理）のような、その対象の位置や形状を正確に認識する必要がある処理を行ったときには、より不自然な画像となってしまう。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、カメラが揺れても、観察者にとって自然な表示を可能にする画像表示装置、画像表示方法、および画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１）観察者に装着して利用される画像表示装置であって、本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出する揺れ量算出部と、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡する追跡部と、を備える画像表示装置。
【０００９】
（２）前記撮像部は、撮像時にカメラレンズを使用するカメラであって、前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正する歪補正部を、さらに備える上記（１）に記載の画像表示装置。
【００１０】
（３）前記歪補正部は、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、上記（２）に記載の画像表示装置。
【００１１】
（４）前記追跡部は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、上記（１）〜（３）のいずれかに記載の画像表示装置。
【００１２】
（５）前記追跡部は、前記揺れ量算出部によって算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、上記（４）に記載の画像表示装置。
【００１３】
（６）前記歪補正部による歪みの補正と、前記追跡部による追跡とが並行して行われる、上記（２）〜（５）のいずれかに記載の画像表示装置。
【００１４】
（７）観察者に装着して利用される画像表示装置の本体部分の第一位置に設置されて前記観察者の揺れを検出する揺れ検出部と、前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、を備える画像表示装置における画像表示方法であって、（ａ）前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出するステップと、（ｂ）前記ステップ（ａ）によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡するステップと、を行う画像表示方法。
【００１５】
（８）前記撮像部は、撮像時にカメラレンズを使用するカメラであって、（ｃ）前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正するステップを、さらに行う上記（７）に記載の画像表示方法。
【００１６】
（９）前記ステップ（ｃ）は、前記ステップ（ａ）において算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、上記（８）に記載の画像表示方法。
【００１７】
（１０）前記ステップ（ｂ）は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、上記（７）〜（９）のいずれかに記載の画像表示方法。
【００１８】
（１１）前記ステップ（ｂ）は、前記ステップ（ａ）において算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、上記（１０）に記載の画像表示方法。
【００１９】
（１２）前記ステップ（ｃ）における歪みの補正と、前記ステップ（ｂ）による追跡とが並行して行われる、上記（８）〜（１１）のいずれかに記載の画像表示方法。
【００２０】
（１３）観察者に装着して利用される画像表示装置の本体部分の第一位置に設置され、前記観察者の揺れを検出する揺れ検出部と、前記本体部分の前記第一位置とは異なる第二位置に設置され、外界を撮像して撮像画像を生成する撮像部と、を備える画像表示装置として機能するコンピューターに、（ａ）前記揺れ検出部によって検出された揺れ量に基づいて、前記撮像部の揺れ量を算出するステップと、（ｂ）前記ステップ（ａ）によって算出された前記撮像部の揺れ量に基づいて、前記撮像画像における所定の対象を追跡するステップと、を実行させるための画像表示プログラム。
【００２１】
（１４）前記撮像部は、撮像時にカメラレンズを使用するカメラであって、（ｃ）前記カメラレンズの特性によって前記撮像画像に生じる歪みを補正するステップを、さらに前記コンピューターに実行させる上記（１３）に記載の画像表示プログラム。
【００２２】
（１５）前記ステップ（ｃ）は、前記ステップ（ａ）において算出された前記撮像部の揺れ量に基づいて、歪みを補正する前記撮像画像の範囲を限定する、上記（１４）に記載の画像表示プログラム。
【００２３】
（１６）前記ステップ（ｂ）は、異なるタイミングで撮像された複数枚の前記撮像画像を比較して、前記所定の対象を追跡する、上記（１３）〜（１５）のいずれかに記載の画像表示プログラム。
【００２４】
（１７）前記ステップ（ｂ）は、前記ステップ（ａ）において算出された前記撮像部の揺れ量に基づいて、前記所定の対象を追跡するために比較する前記撮像画像の範囲を限定する、上記（１６）に記載の画像表示プログラム。
【００２５】
（１８）前記ステップ（ｃ）における歪みの補正と、前記ステップ（ｂ）による追跡とが並行して行われる、上記（１４）〜（１７）のいずれかに記載の画像表示プログラム。
【発明の効果】
【００２６】
本発明によれば、観察者の揺れを検出したとき撮像部の揺れ量を算出し、この揺れ量に基づいて撮像画像内における特定の対象（たとえば、人など）を追跡する。これにより、撮像画像内における特定の対象の位置および形状を精度良く認識可能になる。その結果、ポップアップ画像の表示やキャンセル画像処理を行ったときでも、観察者にとって自然な表示が可能になる。
【図面の簡単な説明】
【００２７】
【図１】本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）装置の外観例を示す図である。
【図２】ＨＭＤ装置のハードウェア構成例を示すブロック図である。
【図３】ＨＭＤ装置の機能構成例を示すブロック図である。
【図４】ＡＲ画像表示処理の手順を示すフローチャートである。
【図５】観察者の頭部に装着されたＨＭＤ装置と、初期設定により設定される座標系の例を示す図である。
【図６】撮像画像の例を示す図である。
【図７】撮像装置の揺れ量を算出する方法について説明するための図である。
【図８】歪補正について説明するための図である。
【図９】追跡処理について説明するための図である。
【図１０】撮像画像の一部の画素に対して歪補正および追跡処理を行う方法について説明するための図である。
【図１１】ＡＲ画像の表示例を示す図である。
【図１２】キャンセル画像の例を示す図である。
【発明を実施するための形態】
【００２８】
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【００２９】
図１は、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）装置の外観例を示す図である。図２は、ＨＭＤ装置のハードウェア構成例を示すブロック図である。
【００３０】
以下、図１、図２を参照して、ＨＭＤ装置１０の概略構成、特にハードウェア構成について説明する。
【００３１】
＜ＨＭＤ装置１０（ハードウェア構成）＞
本実施形態に係るＨＭＤ装置１０は、ユーザー（以下「観察者」とも称する）の頭部に装着して使用される画像表示装置である。たとえば、ＨＭＤ装置１０は、外界からの光を透過しつつ、提示したいコンテンツ情報に応じた画像光をＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）画像として観察者の眼に投射するシースルー型の画像表示装置である。ＡＲ画像は、観察者が観察している現実の環境（現実空間）に、あたかも存在しているかのように表示される。
【００３２】
図１に示すとおり、ＨＭＤ装置１０は、フレーム１１と、透明部材１２と、撮像装置１３と、慣性センサー１４と、ＡＲ提供装置２０と、本体部３０とを有している。
【００３３】
フレーム１１は、ＨＭＤ装置１０を観察者の頭部に装着可能にする形状を有しており、たとえば、メガネ型の形状を有する。
【００３４】
透明部材１２は、ＨＭＤ装置１０を装着した観察者が外界を観察できるように、外界からの光を透過して観察者の眼に届けることが可能な透明な材料（ガラス、プラスチック、フィルムなど）により形成される。透明部材１２は、フレーム１１のリム（透明部材１２を支える部分）にはめ込まれて固定される。なお、フレーム１１のリムに透明部材１２を設けず、外界からの光がダイレクトに観察者の眼に届くようにしてもよい。
【００３５】
撮像装置１３は、カメラレンズの光軸方向（以下では、「撮像方向」とも称する）の外界を撮像する。たとえば、撮像装置１３は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサーを備えたデジタルカメラあるいはビデオカメラである。撮像装置１３の撮像によって、たとえば、ＪＰＥＧ、ＭＰＥＧ２／４等の撮像画像（動画）が生成される。
【００３６】
慣性センサー１４は、ＨＭＤ装置１０の揺れを検出し、そのときの撮像装置１３の揺れ量の算出に必要なデータを提供するセンサーである。たとえば、慣性センサー１４は、加速度センサー、ジャイロセンサー等により構成される。なお、慣性センサー１４は、撮像装置１３の揺れ量の算出に必要なデータを提供可能なものであれば、どのような形態、名称、構造のものであってもよい。
【００３７】
本実施形態の撮像装置１３および慣性センサー１４は、本体部分（たとえば、図１に示すようなフレーム１１部分）に設置される。たとえば、慣性センサー１４は、図１に示す第一位置Ａに設置され、撮像装置１３は、第一位置Ａとは異なる第二位置Ｂに設置される。
【００３８】
ＡＲ提供装置２０は、外界からの光に付加的に重畳させる画像（ＡＲ画像）を表示する。たとえば、ＡＲ提供装置２０は、観察者の視線方向に存在する人物の近くに、名前、勤務先などの情報を含むポップアップ画像があたかも存在するかのように表示する。このような表示は、ＡＲ画像の位置、サイズ、向き、形状、色（彩度、明度、コントラストなど）、陰影などを調整することによって実現される。なお、ＡＲ提供装置２０は、図１に示すような単眼式ではなく、双眼式でもよい。
【００３９】
本体部３０は、撮像装置１３と、慣性センサー１４と、ＡＲ提供装置２０とを制御し、全体としてヘッドマウントディスプレイとして機能させるために必要な構成を有する。本体部３０の具体的な構成については後述する。
【００４０】
（本体部３０の具体的な構成）
次に、本体部３０の具体的な構成について説明する。
【００４１】
図２に示すとおり、本体部３０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１と、メモリー３２と、ストレージ３３と、入力装置３４と、駆動装置３５と、表示コントローラー３６とを備える。
【００４２】
ＣＰＵ３１は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するプロセッサ等から構成される制御回路であり、ＨＭＤ装置１０の各機能は、それに対応するプログラムをＣＰＵ３１が実行することにより発揮される。
【００４３】
メモリー３２は、作業領域として一時的にプログラムおよびデータを記憶する高速アクセス可能な主記憶装置である。メモリー３２には、たとえば、ＤＲＡＭ（Ｄｙｍａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｍａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等が採用される。
【００４４】
ストレージ３３は、オペレーティングシステムを含む各種プログラムや各種データを格納する大容量の補助記憶装置である。ストレージ１３には、たとえば、フラッシュメモリー等が採用される。
【００４５】
入力装置３４は、ＨＭＤ装置１０の電源投入などの指示を入力するための物理的なキーやボタンにより構成される。また、入力装置３４として、外部のコントローラー（たとえば、スマートフォン、リモートコントローラーなど）を利用してもよい。
【００４６】
駆動装置３５は、表示装置２１およびレンズ２２を光軸方向に移動させる装置である。駆動装置３５には、たとえば、ステッピングモータ、ボイスコイルモータ等が採用される。
【００４７】
表示コントローラー３６は、ＡＲ画像などを表示装置２１に表示させる。たとえば、表示コントローラー３６は、所定の表示周期毎にメモリー３２からＡＲ画像を読み出して、表示装置２１へ入力するための信号に変換するとともに、水平同期信号、垂直同期信号などのパルス信号を生成する。
【００４８】
以上のようなハードウェア構成を有するＨＭＤ装置１０は、以下の機能構成を有する。
【００４９】
図３は、ＨＭＤ装置の機能構成例を示すブロック図である。
【００５０】
＜ＨＭＤ装置１０（機能構成）＞
図３に示すとおり、ＨＭＤ装置１０は、機能構成として、制御部４１と、揺れ検出部４２と、撮像制御部４３と、揺れ量算出部４４と、追跡部４５と、歪補正部４６と、表示制御部４７と、アプリケーション部４８とを有する。
【００５１】
以下、各機能部４１〜４８について具体的に説明する。なお、各機能部４１〜４８は、ＣＰＵ３１が、ストレージ３３にインストールされているプログラムをメモリー３２に読み出して実行することにより実現される。また、これに限らず、ＡＳＩＣ等のハードウェアにより実現されてもよい。
【００５２】
制御部４１は、ＨＭＤ装置１０全体を制御する。
【００５３】
揺れ検出部４２は、ＨＭＤ装置１０を装着している観察者の揺れを検出する。たとえば、揺れ検出部４２は、第一位置Ａに設置された慣性センサー１４のセンサー値を取得して、観察者の揺れを検出する。
【００５４】
撮像制御部４３は、第二位置Ｂに設置された撮像装置１３を制御して、外界を撮像する。これにより、撮像画像が生成される。
【００５５】
揺れ量算出部４４は、揺れ検出部４２によって検出された揺れ量に基づいて、撮像装置１３の揺れ量を算出する。
【００５６】
追跡部４５は、揺れ量算出部４４によって算出された撮像装置１３の揺れ量に基づいて、撮像画像における所定の対象（たとえば、人など）を追跡する。
【００５７】
歪補正部４６は、撮像装置１３のカメラレンズの特性によって撮像画像に生じる歪みを補正する。
【００５８】
表示制御部４７は、表示装置２１およびレンズ２２の位置を移動させると共に、表示装置２１の表示内容を変更することによって、観察者の視界範囲内の任意の位置にＡＲ画像が存在しているかのような表示を行う。
【００５９】
アプリケーション部４８は、ＡＲ画像の表示を伴う各種機能を提供する。たとえば、アプリケーション部４８は、追跡部４５によって追跡されている所定の対象（たとえば、人など）の近傍に、ＡＲ画像（名前、勤務先などの情報を含むポップアップ画像など）が存在するように表示する。
【００６０】
各機能部４１〜４８の詳細な動作については以下に詳述する。
【００６１】
＜ＨＭＤ装置１０の動作＞
図４は、ＨＭＤ装置において実行されるＡＲ画像表示処理の手順を示すフローチャートである。図５は、観察者の頭部に装着されたＨＭＤ装置と、初期設定により設定される座標系の例を示す図である。図６は、撮像画像の例を示す図である。図７は、撮像装置の揺れ量を算出する方法について説明するための図である。図７（Ａ）は、観察者が揺れる前のＨＭＤ装置の状態を示す図であり、図７（Ｂ）は、観察者が揺れた後のＨＭＤ装置の状態を示す図である。図８は、歪補正について説明するための図である。図９は、追跡処理について説明するための図である。図１０は、撮像画像の一部の画素に対して歪補正および追跡処理を行う方法について説明するための図である。図１０（Ａ）は、歪補正および追跡処理の対象となる領域の例を示す図であり、図１０（Ｂ）は、歪補正および追跡処理の対象となる領域の補正例を示す図である。図１１は、ＡＲ画像の表示例を示す図である。
【００６２】
以下、図４〜図１１を参照して、ＡＲ画像表示処理の手順について説明する。
【００６３】
（ＡＲ画像表示処理）
たとえば、ＨＭＤ装置１０は、本体の電源が投入されると、図４に示すＡＲ画像表示処理を開始する。ただし、ＡＲ画像表示処理を開始するタイミングは、これに限定されず、入力装置３４に対してＡＲ画像表示処理を開始するための操作がなされたときに、ＡＲ画像表示処理を開始してもよい。また、ＨＭＤ装置１０が観察者の頭部に装着されたことを検知したときにＡＲ画像表示処理を開始してもよい。
【００６４】
［ステップＳ１０１］
ＡＲ画像表示処理を開始すると、ＨＭＤ装置１０は、制御部４１として機能し、ＨＭＤ装置１０の初期設定を行う。たとえば、ＨＭＤ装置１０は、図５に示す例のように、ＨＭＤ装置１０を頭部に装着した観察者が、外界に実在する立方体形状の物体を観察しているとする。このとき、ＨＭＤ装置１０は、たとえば、観察者の視野の中心を座標原点（０，０，０）として、観察者が直立したときの水平軸をＸ軸とし、垂直軸をＹ軸とし、撮像装置１３の光軸（撮像方向）をＺ軸とする。なお、観察者の視野の中心を座標原点としているのは、ＨＭＤ装置１０がＸ軸、Ｙ軸、Ｚ軸周りに回転したときの中心点となりやすいからである。また、このような座標系を、観察者基準の座標系ＸＹＺと称する。
【００６５】
［ステップＳ１０２］
次に、ＨＭＤ装置１０は、撮像制御部４３として機能し、外界を撮像する。具体的には、ＨＭＤ装置１０は、撮像装置１３を制御して撮像を開始することにより、カメラレンズの光軸方向の撮像画像を生成する。たとえば、図５に示すような状況において、撮像装置１３によりカメラレンズの光軸方向（Ｚ方向）の風景が撮像されると、図６に示す例のような撮像画像が生成される。そして、ＨＭＤ装置１０は、生成した撮像画像をメモリー３２やストレージ３３に記憶する。
【００６６】
［ステップＳ１０３］
続いて、ＨＭＤ装置１０は、揺れ検出部４２として機能し、慣性センサー１４からセンサー値を取得する。たとえば、ＨＭＤ装置１０は、慣性センサー１４の位置におけるＸＹＺ軸の三方向の加速度を取得する。
【００６７】
［ステップＳ１０４］
次に、ＨＭＤ装置１０は、揺れ検出部４２として機能し、ＨＭＤ装置１０を装着している観察者の揺れを検出する。具体的には、ＨＭＤ装置１０は、観察者が揺れているか否か判別する。たとえば、ＨＭＤ装置１０は、ステップＳ１０３において取得されたセンサー値が、所定閾値を超えている場合には観察者が揺れていると判別し、所定閾値未満である場合には観察者は揺れていないと判別する。
【００６８】
ＨＭＤ装置１０は、以上のように観察者が揺れていると判別した場合には（ステップＳ１０４：ＹＥＳ）、処理をステップＳ１０５に進める。また、ＨＭＤ装置１０は、観察者が揺れていないと判別した場合には（ステップＳ１０４：ＮＯ）、処理をステップＳ１０２に戻し、観察者の揺れが検出されるまでは、ステップＳ１０２、Ｓ１０３の処理を繰り返す。
【００６９】
［ステップＳ１０５］
ＨＭＤ装置１０は、揺れ量算出部４４として機能し、ステップＳ１０４において検出された観察者の揺れ量に基づいて、撮像装置１３の揺れ量を算出する。
【００７０】
たとえば、揺れる前の慣性センサー１４の第一位置Ａの座標を（ＸＡ，ＹＡ，ＺＡ）とすると（図７（Ａ））、観察者の頭部の揺れにより、慣性センサー１４はＡ’（ＸＡ’，ＹＡ’，ＺＡ’）へと移動する（図７（Ｂ））。
【００７１】
このとき、ＨＭＤ装置１０は、Ａ’＝ＲＺ・Ａの関係式が満たされると仮定して、ＲＺを求める。ただし、ＲＺは、Ｚ軸周りにα（ｄｅｇ）回転させる回転行列であり、以下の行列式（数式１）で表される。
【００７２】
【数１】
2015061200.tif 000003
【００７３】
ここで、Ｚ軸周りの回転角α（ｄｅｇ）は、ステップＳ１０３において取得されたセンサー値（ＸＹＺ軸の三方向の加速度）を用いて求めることができる。具体的には、ＨＭＤ装置１０は、ＸＹＺ軸の三方向の加速度をそれぞれ積分することにより、慣性センサー１４のＸＹ平面での移動量（ＸＹ平面内においてＡからＡ’へ向かう方向ベクトル）を求める。そして、ＨＭＤ装置１０は、揺れる前の慣性センサー１４の第一位置Ａの座標に、求めた移動量（方向ベクトル）を加えて、揺れた後の慣性センサー１４の位置の座標Ａ’を求める。次に、ＨＭＤ装置１０は、ＡとＡ’の位置関係に基づき（たとえば、Ａ・Ａ’＝｜Ａ｜｜Ａ’｜・ｃｏｓαなどの関係式により）、Ｚ軸周りの回転角α（ｄｅｇ）を求める。このようにＺ軸周りの回転角α（ｄｅｇ）が求められ、上記のＲＺが求まる。
【００７４】
そして、以上のように慣性センサー１４が回転すると、これに伴い、撮像装置１３もＲＺ回転する。そのため、揺れる前の撮像装置１３の第二位置Ｂの座標を（ＸＢ，ＹＢ，ＺＢ）とし（図７（Ａ））、揺れた後にＢ’（ＸＢ’，ＹＢ’，ＺＢ’）へ移動する（図７（Ｂ））としたとき、Ｂ’＝ＲＺ・Ｂの関係式が成立する。そこで、ＨＭＤ装置１０は、揺れる前の撮像装置１３の第二位置Ｂの座標（ＸＢ，ＹＢ，ＺＢ）にＲＺを乗じて、揺れた後の撮像装置１３の位置Ｂ’を求めることができる。
【００７５】
また、ＨＭＤ装置１０は、上記のようなＺ軸周りの回転に限らず、Ｘ軸周り、Ｙ軸周りにも回転する。そのため、上記のＲＺと同様の方法により、Ｘ軸周りにβ（ｄｅｇ）回転させる回転行列ＲＸ、Ｙ軸周りにγ（ｄｅｇ）回転させる回転行列ＲＹについても求められる。ただし、ＲＸは、以下の行列式（数式２）で表され、ＲＹは、以下の行列式（数式３）で表される。
【００７６】
【数２】
2015061200.tif 000004
【００７７】
【数３】
2015061200.tif 000005
【００７８】
そして、ＨＭＤ装置１０は、ＸＹＺ軸方向の回転行列ＲＸ、ＲＹ、ＲＺをそれぞれＢに乗じれば、揺れた後の撮像装置１３の三次元空間での位置Ｂ’が求められる。すなわち、ＨＭＤ装置１０は、Ｂ’＝ＲＸ・ＲＹ・ＲＺ・Ｂの演算を実行すればよい。その後、ＨＭＤ装置１０は、撮像装置１３の揺れ量として、Ｂ−Ｂ’間の距離（方向ベクトル）を求める。そして、ＨＭＤ装置１０は、求めた撮像装置１３の揺れ量をメモリー３２やストレージ３３に記憶する。
【００７９】
［ステップＳ１０６］
次に、ＨＭＤ装置１０は、歪補正部４６として機能し、撮像装置１３のカメラレンズの特性によって撮像画像に生じる歪みを補正する。たとえば、ＨＭＤ装置１０は、図８（Ａ）に示すような歪みのある撮像画像から一画素ずつ読み出し、図８（Ｂ）に示す歪みのない画像となるように所定の位置に移動させる補正を行う。
【００８０】
ただし、本実施形態では、歪補正の高速化、ＣＰＵ３１にかかる負荷の軽減、メモリー３２の使用率低下などを目的として、撮像装置１３の揺れ量に基づいて、歪みを補正する撮像画像の範囲を限定する。すなわち、撮像画像の全ての画素に対して歪補正せず、一部の画素に対してのみ歪補正を実施する。たとえば、ＨＭＤ装置１０は、図１０（Ａ）に示すように、所定の対象（たとえば、立方体形状の物体など）の全体が含まれる領域（破線内）Ｍを撮像画像の中から抽出して、歪補正を実施する。また、ステップＳ１０４において観察者の揺れが検出された場合には、図１０（Ｂ）に示すように、撮像画像内において立方体形状の物体は移動しているため、上記の領域Ｍも移動させる。具体的には、ＨＭＤ装置１０は、ステップＳ１０５において求めた撮像装置１３の揺れ量分、領域Ｍを領域Ｍ’（実線内）へ移動させる。そして、ＨＭＤ装置１０は、歪補正により領域Ｍ’内に収まる可能性がある画素に対してのみ歪補正を実施する。
【００８１】
［ステップＳ１０７］
その後、ＨＭＤ装置１０は、追跡部４５として機能し、揺れ量算出部４４によって算出された撮像装置１３の揺れ量に基づいて、撮像画像における所定の対象（たとえば、図６に示す立方体形状の物体や人など）を追跡する。具体的には、ＨＭＤ装置１０は、異なるタイミングで撮像された複数枚の撮像画像を比較して、所定の対象を追跡する。たとえば、図９に示す例のように、ＨＭＤ装置１０は、連続して撮像された二枚の撮像画像を読み出して比較（マッチング）し、先に撮像された撮像画像内に存在していた所定の対象が、後で撮像された撮像画像内のどこに移動したのか特定する。
【００８２】
ただし、追跡処理の高速化、ＣＰＵ３１にかかる負荷の軽減、メモリー３２の使用率低下などを目的として、撮像装置１３の揺れ量に基づいて、所定の対象を追跡するために比較する撮像画像の範囲を限定する。すなわち、撮像画像全体から追跡の対象を検索せず、撮像画像の一部の領域から検索する。具体的には、ＨＭＤ装置１０は、図１０（Ｂ）に示すように、上記の領域Ｍ’から追跡の対象を検索する。
【００８３】
［ステップＳ１０８］
次に、ＨＭＤ装置１０は、アプリケーション部４８および表示制御部４７として機能し、ステップＳ１０７において追跡された所定の対象の近傍にＡＲ画像が存在しているかのように表示装置２１に表示する。たとえば、図１１に示すように、追跡の対象となっている人物の横に名前（「Ａさん」というポップアップ画像）を表示することも可能である。
【００８４】
［ステップＳ１０９］
その後、ＨＭＤ装置１０は、制御部４１として機能し、ＡＲ画像表示処理を終了する指示が観察者よりなされたか否か判別する。具体的には、ＨＭＤ装置１０は、入力装置３４に対してＡＲ画像表示処理を終了する操作がなされたか否かに応じて判別すればよい。
【００８５】
ＨＭＤ装置１０は、ＡＲ画像表示処理を終了する指示がなされていない場合には（ステップＳ１０９：ＮＯ）、処理をステップＳ１０２に戻し、ＡＲ画像表示処理を継続する。一方、ＨＭＤ装置１０は、ＡＲ画像表示処理を終了する指示がなされた場合には（ステップＳ１０９：ＹＥＳ）、ＡＲ画像表示処理を終了する。
【００８６】
以上のＡＲ画像表示処理がＨＭＤ装置１０において実行されることにより、観察者の揺れを検出したとき撮像装置１３の揺れ量を算出し、この揺れ量に基づいて撮像画像内における特定の対象（たとえば、人など）を追跡する。このとき、慣性センサー１４の揺れ量をそのまま用いるのではなく、慣性センサー１４の揺れ量に対する撮像装置１３の相対的な揺れ量を算出している。これにより、慣性センサー１４と撮像装置１３の取り付け位置（相対位置）によらず、撮像装置１３の揺れ量を正確に算出できる。そして、このように正確に算出された撮像装置１３の揺れ量に基づいて撮像画像内の特定の対象を追跡しているため、特定の対象の位置および形状を精度良く認識可能になる。その結果、図１１に示すようなポップアップ画像の表示を行ったときでも、観察者にとって自然な表示が可能になる。また、撮像装置１３の揺れ量を考慮しているため、歪補正および追跡処理の範囲を撮像画像内の一部の領域に限定できる。そのため、処理を高速化でき、ＣＰＵにかかる負荷を軽減でき、さらにメモリー効率も向上できる。
【００８７】
上記したフローチャートの各処理単位は、ＨＭＤ装置１０の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。ＨＭＤ装置１０で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。
【００８８】
＜変形例＞
なお、上記の実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。多くの代替物、修正、変形例は当業者にとって明らかである。
【００８９】
たとえば、上記実施形態では、ＨＭＤ装置１０は、ステップＳ１０８において、追跡の対象となっている人物の横に名前（「Ａさん」というポップアップ画像）を表示している（図１１）。しかし、本発明は、これに限定されない。たとえば、ＨＭＤ装置１０は、追跡の対象にＡＲ画像（「キャンセル画像」と称する）を重ねて表示して、観察者からは追跡の対象が見えないようにすることもできる。
【００９０】
図１２は、キャンセル画像の例を示す図である。図１２（Ａ）は、キャンセル画像が表示されていない状態における観察者の視界を示す図であり、図１２（Ｂ）は、キャンセル画像が重ねて表示された状態における観察者の視界を示す図である。
【００９１】
図１２（Ａ）に示す樹木のように追跡の対象が複雑な形状をしている場合には、キャンセル画像を正確に重ねることが難しい。しかし、上記実施形態のように、正確に算出された撮像装置１３の揺れ量に基づいて撮像画像内の特定の対象を追跡していれば、樹木のような複雑な形状であっても、キャンセル画像を正確に重ねることができる（図１２（Ｂ））。
【００９２】
また、上記実施形態および変形例では、ＨＭＤ装置１０は、シースルー型の画像表示装置としている。しかし、本発明は、これに限定されず、ＨＭＤ装置１０は、非透過型の画像表示装置であってもよい。
【００９３】
また、上記実施形態および変形例では、歪補正（ステップＳ１０６）と追跡処理（ステップＳ１０７）を逐次的に処理している。しかし、本発明は、これに限定されず、歪補正と追跡処理を並行して行ってもよい。この場合には、ＨＭＤ装置１０は、撮像画像から一画素読み出す毎に、歪補正と、所定の対象を追跡するために他の撮像画像と比較（マッチング）する処理と、を共に行う。
【００９４】
また、上記実施形態では、回転行列ＲＸ、ＲＹ、ＲＺを用いて、慣性センサー１４に対する撮像装置１３の相対的な位置を求めている。しかし、本発明は、これに限定されず、撮像装置１３の正確な位置が求められるならば、他の計算方法により求めてもよい。
【００９５】
以上のＨＭＤ装置１０の構成は、上記の実施形態および変形例の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。また、一般的なＨＭＤ装置１０が備える構成を排除するものではない。
【００９６】
また、上記したＨＭＤ装置１０の各機能構成は、各機能構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。各機能構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、一つの構成要素がさらに多くの処理を実行するように分類することもできる。
【００９７】
また、上記したＨＭＤ装置１０の各機能構成の処理は、専用のハードウェア回路によっても実現することもできる。この場合には、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。
【００９８】
また、ＨＭＤ装置１０を動作させるプログラムは、ＵＳＢメモリー、フレキシブルディスク、ＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリー３２やストレージ３３等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、ＨＭＤ装置１０の一機能としてその各装置のソフトウェアに組み込んでもよい。
【符号の説明】
【００９９】
１０  ＨＭＤ装置、
１１  フレーム、
１２  透明部材、
１３  撮像装置、
１４  慣性センサー、
２０  ＡＲ提供装置、
２１  表示装置、
２２  レンズ、
３０  本体部、
３１  ＣＰＵ、
３２  メモリー、
３３  ストレージ、
３４  入力装置、
３５  駆動装置、
３６  表示コントローラー、
４１  制御部、
４２  揺れ検出部、
４３  撮像制御部、
４４  揺れ量算出部、
４５  追跡部、
４６  歪補正部、
４７  表示制御部、
４８  アプリケーション部。
【図１】
2015061200.tif 000006
【図２】
2015061200.tif 000007
【図３】
2015061200.tif 000008
【図４】
2015061200.tif 000009
【図５】
2015061200.tif 000010
【図６】
2015061200.tif 000011
【図７】
2015061200.tif 000012
【図８】
2015061200.tif 000013
【図９】
2015061200.tif 000014
【図１０】
2015061200.tif 000015
【図１１】
2015061200.tif 000016
【図１２】
2015061200.tif 000017