(57)【要約】【課題】カメラによって撮像された対象物の姿勢を短時間で推定する。【解決手段】対象物の三次元モデルの情報を処理する情報処理装置は；予め用意された前記三次元モデルが特定の視点に基づいて仮想平面に写像された場合の輪郭に含まれる複数の位置を表す特徴情報と、複数の位置に対応する三次元における位置情報と、を対応付けたテンプレートを、複数の特定の視点ごとに複数のテンプレートとして作成するテンプレート作成部を備える。【選択図】図１
2017182274.tif 000002
【特許請求の範囲】
【請求項１】
対象物に対応する三次元モデルの情報を処理する情報処理装置であって、
前記三次元モデルが特定の視点に基づいて仮想平面に写像された場合の輪郭に含まれる複数の位置を表す特徴情報と、前記複数の位置に対応する三次元における位置と、を対応付けたテンプレートを、複数の前記特定の視点ごとに複数の前記テンプレートとして作成するテンプレート作成部を備える、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記テンプレート作成部は、一の前記特定の視点に対応する特定の前記テンプレートと、前記複数の特定の視点の内の前記一の視点とは異なる視点に対応する前記テンプレートと、を対応付けたスーパーテンプレートを作成する、情報処理装置。
【請求項３】
情報処理装置であって、
対象物を撮像する撮像部と通信可能な通信部と、
前記対象物に対応する三次元モデルが特定の視点に基づいて仮想平面に写像された場合の輪郭に含まれる複数の第１の位置を表す第１の特徴情報と、前記複数の第１の位置に対応する三次元における位置と、前記特定の視点と、を対応付けたテンプレートを取得するテンプレート取得部と、
前記撮像部によって撮像された前記対象物の撮像画像におけるエッジを表す第２の特徴情報を特定し、前記第１の特徴情報と前記第２の特徴情報とに少なくとも基づいて、前記第１の位置と、前記撮像画像における第２の位置と、を対応付ける位置対応付部と、
前記第１の位置に対応する三次元における位置と、前記前記位置対応付部によって前記第１の位置に対応付けられた前記第２の位置と、を用いて、前記撮像部によって撮像された前記対象物の三次元での位置および姿勢を導出する最適化部と、を備える、情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記位置対応付部は、
前記第１の位置を中心とする領域において、前記第１の位置と複数の前記第２の位置との間でそれぞれの同様性スコアを導出し、
前記領域において導出されたそれぞれの前記同様性スコアを、前記第１の位置に隣り合う他の前記第１の位置を中心とする前記領域において導出されたそれぞれの前記同様性スコアを用いて平滑化し、
前記平滑化されたそれぞれの前記同様性スコアに基づいて、前記領域において前記第２の位置と前記第１の位置とを対応付ける、情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記第１の特徴情報は、前記第１の位置での輪郭の向きを表す輪郭情報を含み、
前記位置対応付部は、前記第１の位置を中心とする領域において、前記第１の位置と、前記輪郭に垂直な第１の線分に重なる前記第２の位置と、の間でそれぞれの前記同様性スコアを導出する、情報処理装置。
【請求項６】
請求項４に記載の情報処理装置であって、
前記第１の特徴情報は、前記第１の位置での輪郭の向きを表す情報を含み、
前記位置対応付部は、
前記第１の位置を中心とする領域において、前記第１の位置と、前記輪郭に垂直な第１の線分に重なる前記第２の位置と、の間でそれぞれの前記同様性スコアを導出し、
前記第１の位置を中心とする領域において、前記第１の位置と、前記第１の線分に垂直な第２の線分に重なる前記第２の位置と、の間で、前記第１の線分と前記第２の線分との交点を中心とするガウス関数に基づいて、それぞれの前記同様性スコアを導出する、情報処理装置。
【請求項７】
請求項３から請求項６までのいずれか一項に記載の情報処理装置であって、
前記三次元モデルは３次元ＣＡＤモデルである、情報処理装置。
【請求項８】
対象物に対応する三次元モデルの情報を処理する情報処理装置のためのコンピュータープログラムであって、
前記三次元モデルが特定の視点に基づいて仮想平面に写像された場合の輪郭に含まれる複数の位置を表す特徴情報と、前記複数の位置に対応する三次元における位置と、を対応付けたテンプレートを、複数の前記特定の視点ごとに複数の前記テンプレートとして作成する機能を、コンピューターに実現させるためのコンピュータープログラム。
【請求項９】
対象物を撮像する撮像部と通信可能な情報処理装置のためのコンピュータープログラムであって、
前記対象物に対応する三次元モデルが特定の視点に基づいて仮想平面に写像された場合の輪郭に含まれる複数の第１の位置を表す第１の特徴情報と、前記複数の第１の位置に対応する三次元における位置と、前記視点と、を対応付けたテンプレートを取得する機能と、
前記撮像部によって撮像された前記対象物の撮像画像におけるエッジを表す第２の特徴情報を特定し、前記第１の特徴情報と前記第２の特徴情報とに少なくとも基づいて、前記第１の位置と、前記撮像画像における第２の位置と、を対応付ける機能と、
前記第１の位置に対応する三次元における位置と、前記第１の位置に対応付けられた前記第２の特徴情報と、を用いて、前記撮像部によって撮像された前記対象物の三次元での位置および姿勢を導出する機能と、をコンピューターに実現させるためのコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の三次元モデルの情報を処理する情報処理装置の技術に関する。
【背景技術】
【０００２】
カメラによって撮像された物体の姿勢を推定する方法として、特許文献１には、物体の画像を含む入力画像の２値マスクを作成し、２値マスクから物体の内側および外側輪郭内にある点としてのシングレットを抽出し、シングレットのセットを連結してデュプレックス行列として表されるメッシュにすることで、物体の姿勢を推定する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−５０９４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された技術では、カメラによって撮像された物体の姿勢を推定するまでの処理の時間が長く、短時間で物体の姿勢を推定したいという課題があった。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００６】
（１）本発明の一形態によれば、対象物に対応する三次元モデルの情報を処理する情報処理装置が提供される。この情報処理装置は、前記三次元モデルが特定の視点に基づいて仮想平面に写像された場合の輪郭に含まれる複数の位置を表す特徴情報と、前記複数の位置に対応する三次元における位置と、を対応付けたテンプレートを、複数の前記特定の視点ごとに複数の前記テンプレートとして作成するテンプレート作成部を備える。この形態の情報処理装置によれば、カメラなどに対象物が撮像された場合に、テンプレートが用いられることで、撮像された対象物の姿勢が短時間で推定される。
【０００７】
（２）上記形態の情報処理装置において、前記テンプレート作成部は、一の前記特定の視点に対応する特定の前記テンプレートと、前記複数の特定の視点の内の前記一の視点とは異なる視点に対応する前記テンプレートと、を対応付けたスーパーテンプレートを作成してもよい。この形態の情報処理装置によれば、カメラなどによって対象物が撮像された場合に、スーパーテンプレートに含まれる複数のテンプレートから、撮像された対象物に最も近い姿勢を含むテンプレートが選択される。選択されたテンプレートが用いられることで、より短時間で、撮像された対象物の姿勢が精度良く推定される。
【０００８】
（３）本発明の他の形態によれば、情報処理装置が提供される。この情報処理装置は、対象物を撮像する撮像部と通信可能な通信部と；前記対象物に対応する三次元モデルが特定の視点に基づいて仮想平面に写像された場合の輪郭に含まれる複数の第１の位置を表す第１の特徴情報と、前記複数の第１の位置に対応する三次元における位置と、前記特定の視点と、を対応付けたテンプレートを取得するテンプレート取得部と；前記撮像部によって撮像された前記対象物の撮像画像におけるエッジを表す第２の特徴情報を特定し、前記第１の特徴情報と前記第２の特徴情報とに少なくとも基づいて、前記第１の位置と、前記撮像画像における第２の位置と、を対応付ける位置対応付部と；前記第１の位置に対応する三次元における位置と、前記前記位置対応付部によって前記第１の位置に対応付けられた前記第２の位置と、を用いて、前記撮像部によって撮像された前記対象物の三次元での位置および姿勢を導出する最適化部と、を備える。この形態の情報処理装置によれば、位置対応付部が撮像部によって撮像された対象物の第１の特徴情報が特定されれば、最適化部は、対象物の姿勢を短時間で推定できる。
【０００９】
（４）上記形態の情報処理装置において、前記位置対応付部は；前記第１の位置を中心とする領域において、前記第１の位置と複数の前記第２の位置との間でそれぞれの同様性スコアを導出し；前記領域において導出されたそれぞれの前記同様性スコアを、前記第１の位置に隣り合う他の前記第１の位置を中心とする前記領域において導出されたそれぞれの前記同様性スコアを用いて平滑化し；前記平滑化されたそれぞれの前記同様性スコアに基づいて、前記領域において前記第２の位置と前記第１の位置とを対応付けてもよい。この形態の情報処理装置によれば、位置対応付部は、同様性スコアを高くすることで、第１の特徴情報と第２の特徴情報とを精度良く一致させる。その結果、最適化部は、撮像された対象物の姿勢を精度良く推定できる。
【００１０】
（５）上記形態の情報処理装置において、前記第１の特徴情報は、前記第１の位置での輪郭の向きを表す輪郭情報を含み；前記位置対応付部は、前記第１の位置を中心とする領域において、前記第１の位置と、前記輪郭に垂直な第１の線分に重なる前記第２の位置と、の間でそれぞれの前記同様性スコアを導出してもよい。
この形態の情報処理装置によれば、同様性スコアをより高くでき、最適化部は、撮像された対象物の姿勢をより精度良く推定できる。
【００１１】
（６）上記形態の情報処理装置において、前記第１の特徴情報は、前記第１の位置での輪郭の向きを表す情報を含み；前記位置対応付部は；前記第１の位置を中心とする領域において、前記第１の位置と、前記輪郭に垂直な第１の線分に重なる前記第２の位置と、の間でそれぞれの前記同様性スコアを導出し；前記第１の位置を中心とする領域において、前記第１の位置と、前記第１の線分に垂直な第２の線分に重なる前記第２の位置と、の間で、前記第１の線分と前記第２の線分とを交点を中心とするガウス関数に基づいて、それぞれの前記同様性スコアを導出してもよい。この形態の情報処理装置によれば、第１の線分と第２の線分との交点を中心とするガウス関数を用いることで、同様性スコアをより高くでき、最適化部は、撮像された対象物の姿勢をより精度良く推定できる。
【００１２】
（７）上記形態の情報処理装置において、前記三次元モデルは３次元ＣＡＤモデルであってもよい。この形態の情報処理装置によれば、既存のＣＡＤモデルを用いることで、使用者の利便性が向上する。
【００１３】
本発明は、情報処理装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置、表示装置、情報処理装置および表示装置の制御方法、情報処理システム、情報処理装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態における情報処理装置としてのパーソナルコンピューターの機能的な構成を示すブロック図である。
【図２】テンプレート作成部が実行するテンプレート作成処理のフローチャートである。
【図３】式（１）を用いて算出した三次元モデルの対象物を表す２次元におけるＮ個の点のセットの説明図である。
【図４】３ＤＣＡＤと２Ｄモデルと２Ｄモデルを元に作成された３Ｄモデルとの関係を表す概略図である。
【図５】テンプレートを用いて撮像した対象物の姿勢を最適化する頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。
【図６】本実施形態におけるＨＭＤの構成を機能的に示すブロック図である。
【図７】対象物の姿勢推定処理のフローチャートである。
【図８】１つのモデル点が多数の画像点と合わせられることを示す説明図である。
【図９】モデル点が誤った画像点と合わせられた一例を示す説明図である。
【図１０】ＣＦ同様性の計算の一例を示す説明図である。
【図１１】ＣＦ同様性の計算の一例を示す説明図である。
【図１２】ＣＦ同様性の計算の一例を示す説明図である。
【図１３】撮像された対象物のＣＦ法による姿勢推定の結果を表す説明図である。
【図１４】撮像された対象物のＭＡ法による姿勢推定の結果を表す説明図である。
【図１５】撮像された対象物のＣＦ法による姿勢推定の結果を表す説明図である。
【図１６】撮像された対象物のＭＡ法による姿勢推定の結果を表す説明図である。
【図１７】撮像された対象物のＣＦ法による姿勢推定の結果を表す説明図である。
【図１８】撮像された対象物のＭＡ法による姿勢推定の結果を表す説明図である。
【図１９】第２実施形態におけるＣＦ同様性の計算の一例を示す説明図である。
【図２０】第２実施形態におけるＣＦ同様性の計算の一例を示す説明図である。
【図２１】第２実施形態におけるＣＦ同様性の計算の一例を示す説明図である。
【発明を実施するための形態】
【００１５】
本明細書では、以下の項目に沿って順番に説明する。
Ａ．第１実施形態：
Ａ−１．情報処理装置の構成：
Ａ−２．テンプレートの作成（トレーニング）：
Ａ−２−１．２Ｄモデル点の選択：
Ａ−２−２．３Ｄモデル点の決定およびテンプレートの作成：
Ａ−２．３．トレーニングのための面内回転最適化：
Ａ−２−４．スーパーテンプレート：
Ａ−３．頭部装着型表示装置（ＨＭＤ）の構成：
Ａ−４．対象物の姿勢推定の実行：
Ａ−４−１．エッジ検出：
Ａ−４−２．テンプレートの選択：
Ａ−４−３．２Ｄモデル点の対応付け：
Ａ−４−４．姿勢の最適化：
Ａ−４−５．サブピクセルの対応付け：
Ｂ．比較例：
Ｃ．第２実施形態：
Ｄ．第３実施形態：
Ｅ．変形例：
【００１６】
Ａ．第１実施形態：
Ａ−１．情報処理装置の構成：
図１は、本実施形態における情報処理装置としてのパーソナルコンピューターＰＣの機能的な構成を示すブロック図である。パーソナルコンピューターＰＣは、ＣＰＵ１と、表示部２と、電源３と、操作部４と、記憶部５と、ＲＯＭと、ＲＡＭとを備えている。電源３は、パーソナルコンピューターＰＣの各部に電力を供給する。電源３としては、例えば二次電池を用いることができる。操作部４は、ユーザーからの操作を受け付けるユーザーインターフェース（ＵＩ）である。操作部４は、キーボードとマウスとで構成されている。
【００１７】
記憶部５は、各種データを記憶し、ハードディスクドライブなどによって構成されている。記憶部５は、３Ｄモデル記憶部７と、テンプレート記憶部８とを有している。３Ｄモデル記憶部７は、ＣＡＤ（computer-aided design）によって作成された対象物の三次元モデルを記憶している。テンプレート記憶部８は、テンプレート作成部６によって作成されたテンプレートを記憶している。テンプレート作成部６が作成するテンプレートの詳細については、後述する。
【００１８】
ＣＰＵ１は、ＲＯＭから各種プログラムを読み出し、ＲＡＭに展開することで、各種プログラムを実行する。ＣＰＵ１は、テンプレートの作成のプログラムを実行するテンプレート作成部６を有している。テンプレートは、３Ｄモデル記憶部７に記憶されている１つの三次元モデル（本実施形態では３ＤＣＡＤ）について、仮想的な特定の視点（以下、単に「ビュー」とも呼ぶ）に基づいて仮想平面に写像して得られた２Ｄモデルの外形を表す輪郭線（以下、単に「輪郭」とも呼ぶ）に含まれる点（２Ｄモデル点）の座標値と、当該特定のビューに基づいて２Ｄモデル点をオブジェクト座標系へ変換して得られた３Ｄモデル点と、特定のビューと、を対応付けたデータとして定義される。本実施形態の当該仮想的な視点は、オブジェクト座標系から仮想的なカメラ座標系への剛体変換行列であって当該カメラ座標系で表わされた剛体変換行列と、３次元座標を仮想平面上の座標へ写像する透視写像変換行列とによって表されている。剛体変換行列は、直交する３軸の回りの回転行列と当該３軸に沿った並進ベクトルとによって表されている。また、透視写像変換行列は、上記仮想平面が、表示装置の表示面またはカメラの撮像面に相当するように適切に調整されている。３Ｄモデルとして、後述するように、ＣＡＤモデルが利用できる。以下では、ビューに基づいて剛体変換と透視写像とを施すことを単に「写像する」とも呼ぶ。
【００１９】
Ａ−２．テンプレートの作成（トレーニング）：
図２は、テンプレート作成部６が実行するテンプレート作成処理のフローチャートである。テンプレート作成部６は、３Ｄモデル記憶部７に記憶された三次元モデルの対象物について、Ｔ個のビューから見た場合のＴ個のテンプレートを作成する。なお、本実施形態では、テンプレートの作成をトレーニングとも呼ぶ。
【００２０】
テンプレート作成処理では、初めに、テンプレート作成部６は、３Ｄモデル記憶部７に記憶された三次元モデルを用意する（ステップＳ１１）。次に、テンプレート作成部６は、異なるＴ個のビューのセットについて、全ての可能な面内回転（１．．．Ｐ）からＣＡＤモデルをレンダリングして、それぞれの２Ｄモデルを得る。なお、ビューは、請求項における特定の視点に相当する。そして、テンプレート作成部６は、それぞれの２Ｄモデルについて、エッジ検出を行ない、エッジ特徴要素を取得する（ステップＳ１３）。
【００２１】
テンプレート作成部６は、さらに、Ｔ個のビューのセットについて、エッジ特徴要素に基づいて、２次元モデル（２Ｄモデル）の輪郭を表す輪郭特徴要素（Contour Features：ＣＦ）を計算する（ステップＳ１５）。十分に密にサンプリングされたビューのセットが与えられると、後述する画像点に一致する輪郭特徴要素を有するビューが得られる。なお、２Ｄモデル点とは、上記２Ｄモデルの輪郭を表す座標点または輪郭に含まれる座標点である。テンプレート作成部６は、それぞれのサンプルビューについて、次のセクションにおいて説明するように、二次元における輪郭の座標値の内の代表的な２Ｄモデル点を選択し、選択した特徴要素の記述子を計算する。なお、輪郭特徴要素、またはエッジ特徴要素は、特徴記述子と表記されることもあり、請求項における特徴情報の一例でもある。
【００２２】
テンプレート作成部６は、２次元における輪郭特徴要素を計算すると、二次元上の輪郭特徴要素を選択する（ステップＳ１７）。次に、テンプレート作成部６は、オブジェクト座標系での特徴要素の記述子に対応する３Ｄ座標となる３Ｄ点を計算する（ステップＳ１９）。
【００２３】
Ａ−２−１．２Ｄモデル点の選択（ステップＳ１７）：
テンプレート作成部６は、全てのサンプルビューについても、輪郭に含まれる点のうち、高いスカラー場の輝度勾配値（以下、「グラディエントの大きさ」とも言う）を有する場所に位置し、かつ十分に離れて存在するＮ個の点を選択する。具体的には、テンプレート作成部６は、十分に大きいグラディエントの大きさを有する全ての点の内から、下記の式（１）で与えられるスコアを最大化する複数の点を選択する。
【数１】
2017182274.tif 000003
式（１）において、Ｅｉは、点ｉのグラディエントの大きさであり、Ｄｉｊは、点ｉと点ｊとの間の距離である。本実施形態では、テンプレート作成部６は、式（１）のスコアを最大化するために、第１に、最大のグラディエントの大きさを有する点を第１の点として選択する。次に、テンプレート作成部６は、Ｅ２Ｄ２１２を最大化する第２の点を選択する。次に、テンプレート作成部６は、下記の式（２）を最大化するような第３の点を選択する。そして、テンプレート作成部６は、同様に、第４の点、第５の点・・・第Ｎの点まで選択する。
【数２】
2017182274.tif 000004
【００２４】
図３は、式（１）を用いて算出したＮ個の２Ｄモデル点のセットＰＭｎの説明図である。図３では、２Ｄモデル点のセットＰＭｎを、対象物ＯＢｍの撮像画像に重ねて表示している。ここで、対象物ＯＢｍの撮像画像と２ＤモデルのセットＰＭｎとを区別するために、対象物ＯＢｍの位置とセットＰＭｎの位置とをずらして表している。図３に示すように、式（１）を用いて算出されたドットの集合である２Ｄモデル点のセットＰＭｎは、対象物ＯＢｍの撮像画像の輪郭にほぼ一致するように分布している。テンプレート作成部６は、２Ｄモデル点のセットＰＭｎを算出したら、２Ｄモデル点の位置と、その位置での輝度のグラディエント（ベクトル）と、を互いに対応付けて、これらをその位置での輪郭特徴要素として記憶する。
【００２５】
Ａ−２−２．３Ｄモデル点の決定およびテンプレートの作成（ステップＳ１９，２０）：
テンプレート作成部６は、算出した２Ｄモデル点のセットＰＭｎから、それらに対応する３Ｄモデル点を算出する。３Ｄモデル点および輪郭特徴要素は、ビューの座標値に依存する。
【００２６】
テンプレート作成部６は、２Ｄモデル点とビューＶとが与えられると、以下の３つのステップを実行して３Ｄモデル点ＰＯＢＪを計算する。
１．ビューＶでの３ＤＣＡＤモデルのデプスマップを当該仮想平面に描画（レンダリング）する。
２．２Ｄモデル点ｐのデプス値が得られたら、カメラ座標系で表された３Ｄモデル座標ＰＣＡＭを計算する。
３．ビューＶについて逆３Ｄ変換を行ない、オブジェクト座標系（３Ｄモデルに原点が固定された座標系）における３Ｄモデル点の座標ＰＯＢＪを計算する。
テンプレート作成部６は、以上の３つのステップを実行した結果、下記の式（３）で表されるそれぞれのビューｔについて、ビューマトリクスＶｔ、下記の式（４）で表すビューに依存するオブジェクト座標系の３Ｄモデル点、および、下記の式（５）で表すオブジェクト座標系の３Ｄモデル点に対応する２Ｄの特徴要素記述子（以下では輪郭特徴要素とも表記する）を１つのテンプレートとして作成する。
【数３】
2017182274.tif 000005
【数４】
2017182274.tif 000006
【数５】
2017182274.tif 000007
【００２７】
図４は、３ＤＣＡＤと、３ＤＣＡＤが写像されて得られる２Ｄモデルと、２Ｄモデルを元に作成された３Ｄモデルとの関係を表す概略図である。以上で説明したテンプレート作成処理のイメージ図として、図４に示すように、（１）テンプレート作成部６は、三次元モデルとしての３ＤＣＡＤをビューＶｎに基づいて、（２）仮想平面に二次元におけるモデルをレンダリングする。テンプレート作成部６は、レンダリングによって得られた像に対してエッジ検出を行ない、さらに輪郭を導出し、式（１）、式（２）を参照して説明した方法に基づいて輪郭に含まれる複数の２Ｄモデル点を選択する。以下では、選択された２Ｄモデル点の位置と、当該２Ｄモデル点の位置でのグラディエント（輝度の勾配ベクトル）とを、輪郭特徴要素ＣＦと表する。（３）テンプレート作成部６は、二次元における輪郭特徴要素ＣＦによって表される２Ｄモデル点ｐｉを逆変換することで、輪郭特徴要素ＣＦｉに対応する三次元での３Ｄモデル点Ｐｉを得る。ここで、この３Ｄモデル点Ｐｉは、オブジェクト座標系で表わされている。ビューＶｎのテンプレートは、下記の式（６）で表される要素を含んでいる。
【数６】
2017182274.tif 000008
式（６）におけるテンプレートでは、同じ添え字が付された輪郭特徴要素と３Ｄモデル点（たとえば、ＣＦ１ｎと３ＤＰ１ｎ）が互いに対応付けられている。なお、ビューＶｎにおいて検出されなかった３Ｄモデル点は、ビューＶｎとは異なるビューＶｍなどにおいて検出されうる。
【００２８】
なお、本実施形態では、テンプレート作成部６は、整数としての２Ｄモデル点ｐが与えられると、この２Ｄモデル点ｐを当該ピクセルの隅として扱う。従って、上述の得られた２Ｄモデル点ｐのデプス値は、（ｐ＋０．５）の座標に対応する。その結果、テンプレート作成部６は、２Ｄ点ｐを逆写像する場合には、（ｐ＋０．５）の座標を用いる。テンプレート作成部６は、リカバーされた３Ｄモデル点を写像するとき、浮動小数点座標を切り捨てることで、整数の座標を得ている。
【００２９】
Ａ−２−３．トレーニングのための面内回転最適化：
１つのビューが与えられれば、１つのビューからほぼ同じ特徴要素が視認可能であるため、テンプレート作成部６は、１つのビューに対して、面内回転を実行することで、複数のテンプレートを作成する。テンプレート作成部６は、面内回転を実行したテンプレートを作成することで、より少ない処理で複数のテンプレートを作成できる。具体的には、テンプレート作成部６は、式（４）および式（５）を元に、ビューｔでの面内回転０度に対する３Ｄ点およびＣＦ特徴要素記述子のそれぞれを下記の式（７）および式（８）として定義する。
【数７】
2017182274.tif 000009
【数８】
2017182274.tif 000010
テンプレート作成部６は、面内回転α度のテンプレートについて、式（７）および式（８）を用いて、３Ｄモデル点および輪郭特徴要素記述子を計算する。面内回転によっては視認性が変わらず、式（７）の３Ｄモデル点は、オブジェクト座標系で表されている。このことから、面内回転α度の３Ｄモデル点は、単に、面内回転０度の３Ｄモデル点の点座標をコピーすればよく、下記の式（９）のように表される。
【数９】
2017182274.tif 000011
面内角度α度の輪郭特徴要素は、２Ｄ座標系で格納されているため、面内角度０度の輪郭特徴要素を角度α回転させなければならない。この回転は、それぞれのベクトルＣＦｉに２×２の回転行列をかけることで、式（１０）のように表される。
【数１０】
2017182274.tif 000012
式（１０）における回転は、時計回りの回転であり、トレーニングのための現在のビューサンプリング方法に対応している。なお、ビューｔは、請求項における特定の視点に相当する。また、２Ｄモデル点のセットＰＭｎは、複数の特徴点の二次元における位置に相当し、３Ｄモデル点は、オブジェクト座標系で表わされた複数の特徴点の三次元における位置に相当する。
【００３０】
Ａ−２−４．スーパーテンプレート：
テンプレート作成部６は、Ｋ個（例えば、４個）の異なるビューｔのテンプレートを選択し、選択したＫ個のテンプレートを１つのスーパーテンプレートとして併合する。テンプレート作成部６は、Ｋ個のテンプレートとして、ビューｔが最も近いテンプレート同士を選択する。そのため、スーパーテンプレートは、オブジェクト上で視認可能な対象物のエッジを全て含んでいる可能性が高い。これにより、検出した対象物の姿勢が最適化される場合に、正しい姿勢へと収束する可能性が高くなる。
【００３１】
以上説明したように、本実施形態のパーソナルコンピューターＰＣでは、テンプレート作成部６は、対象物を表す三次元のＣＡＤモデルを特定のビューから見た場合の二次元における複数のエッジを検出する。テンプレート作成部６は、複数のエッジの輪郭特徴要素を変換して得た３Ｄモデル点を計算する。テンプレート作成部６は、二次元における複数のエッジと、変換した３Ｄモデル点と、特定のビューと、を対応付けたテンプレートを作成する。そのため、本実施形態では、パーソナルコンピューターＰＣによって作成されたテンプレートが用いられると、対象物がカメラなどによって撮像された場合に、撮像された対象物の画像の姿勢と最も近い姿勢を表すテンプレートとが選択されることで、撮像された対象物の姿勢が短時間で推定される。
【００３２】
Ａ−３．頭部装着型表示装置（ＨＭＤ）の構成：
図５は、テンプレートを用いて撮像した対象物の姿勢を最適化する頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、後述するカメラ６０によって対象物を撮像すると、スーパーテンプレートと撮像された対象物の画像とを用いて、撮像された対象物の位置および姿勢を最適化して推定する。
【００３３】
ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。
【００３４】
ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。
【００３５】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６０と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
【００３６】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
【００３７】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
【００３８】
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図６参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図６参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
【００３９】
カメラ６０は、外景を撮像する。カメラ６０は、右光学像表示部２６の一端と左光学像表示部２８の一端とが接続される位置に配置されている。詳細については、後述するが、カメラ６０が撮像した外景に含まれる対象物の画像と、記憶部１２０に記憶されたスーパーテンプレートと、を用いて、外景に含まれる対象物の姿勢が推定される。なお、カメラ６０は、請求項における撮像部に相当する。
【００４０】
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
【００４１】
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
【００４２】
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。
【００４３】
図６は、本実施形態におけるＨＭＤ１００の構成を機能的に示すブロック図である。図６に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。
【００４４】
記憶部１２０は、コンピュータープログラムを格納しているＲＯＭと、ＣＰＵ１４０が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるＲＡＭと、テンプレート記憶部１２１と、を有する。テンプレート記憶部１２１は、パーソナルコンピューターＰＣのテンプレート作成部６によって作成されたスーパーテンプレートを記憶している。テンプレート記憶部１２１は、インターフェイス１８０に接続されたＵＳＢメモリを介して、スーパーテンプレートを取得する。テンプレート記憶部１２１は、請求項におけるテンプレート取得部に相当する。
【００４５】
ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出し、記憶部１２０のＲＡＭに書き込みおよび読み取りを実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、画像設定部１６５、位置対応付部１６８、および、最適化部１６６として機能する。
【００４６】
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。
【００４７】
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
【００４８】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
【００４９】
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
【００５０】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して音声信号を供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
【００５１】
位置対応付部１６８は、対象物を含む外景がカメラ６０によって撮像された場合に、対象物の撮像画像を用いて、撮像画像内における対象物の画像の位置を特定する。具体的には、位置対応付部１６８は、撮像画像内の二次元上の対象物の輪郭特徴要素となるエッジを検出する。位置対応付部１６８は、特定した対象物の画像の位置（輪郭特徴要素）と、テンプレート記憶部１２１に記憶された対象物のテンプレートの二次元における位置と、を対応付ける。本実施形態では、特定の対象物（例えば、特定の部品）が予め設定された対象物として、複数のテンプレートが作成されて記憶されている。そのため、撮像画像の中に予め設定された対象物の画像が含まれると、位置対応付部１６８は、対象物の画像の位置（エッジの座標値）と、ビューが異なる複数のテンプレートから選択したテンプレートに含まれる二次元における位置（２Ｄモデル点の座標値）と、を対応付ける。なお、対象物の画像の位置と、対象物のテンプレートの二次元における位置と具体的な対応付けの処理については後述する。
【００５２】
最適化部１６６は、対象物のテンプレートを用いて、画像点に対応付けられた２Ｄモデル点に対応する３Ｄモデル点を出力し、画像点と、３Ｄモデル点と、および当該ビューに含まれる位置および姿勢とに基づいて式（１４）のコスト関数を最小化することで、カメラ６０によって撮像された外景に含まれる対象物の三次元での位置および姿勢を推定する。なお、撮像された対象物の位置および姿勢の推定および最適化については、位置の具体的な対応付けと合わせて後述する。
【００５３】
画像設定部１６５は、画像表示部２０に表示させる画像（表示画像）の各種設定を行なう。例えば、画像設定部１６５は、表示画像の表示位置や表示画像の大きさや表示画像の輝度などを設定したり、表示画像を三次元画像として、使用者に立体的（３Ｄ）に視認させるために両眼視差（単に、「視差」ともいう）を形成するように右眼用画像データと左眼用画像データとを設定する。また、画像設定部１６５は、撮像画像に対してパターンマッチング等を用いることで、撮像画像の中から予め設定された検出対象の画像を検出する。
【００５４】
画像設定部１６５は、位置対応付部１６８および最適化部１６６が各種処理を実行している場合および実行し終わった場合に、最適化部１６６が推定および最適化した対象物の姿勢で、対象物に対応する３Ｄモデルを光学像表示部２６，２８に表示（レンダリング）させる。操作部１３５が使用者の操作を受け付けることで、使用者は、推定された対象物の姿勢が、光学像表示部２６，２８を透過した外景に含まれる対象物に一致しているか判定できる。
【００５５】
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
【００５６】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６０と、を備えている。
【００５７】
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。
【００５８】
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００５９】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
【００６０】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
【００６１】
Ａ−４．対象物の姿勢推定の実行（Ｒｕｎ−ｔｉｍｅ）：
図７は、対象物の姿勢推定処理のフローチャートである。姿勢推定処理では、初めに、位置対応付部１６８は、カメラ６０を用いて対象物を含む外景を撮像する（ステップＳ２１）。位置対応付部１６８は、撮像された対象物の画像に対して、以下に述べるエッジ検出を実行する（ステップＳ２３）。
【００６２】
Ａ−４−１．エッジ検出（ステップＳ２３）：
位置対応付部１６８は、撮像された対象物と対象物に対応するテンプレートとを対応付けるために、対象物の画像のエッジを検出する。位置対応付部１６８は、撮像画像のピクセルに基づいて、エッジとなる特徴要素を計算する。本実施形態では、位置対応付部１６８は、対象物の撮像画像のピクセルごとの輝度のグラディエントを計算することで、特徴要素を決定する。撮像画像からエッジを検出するにあたり、外景に対象物以外の物体があること、影が異なっていること、照明が異なっていること、および外景に含まれる物体の材質が異なっていることが、検出されるエッジに影響を与える場合がある。そのため、撮像画像の中からエッジを検出することは、３ＤＣＡＤモデルからエッジを検出することよりも難しいことがある。本実施形態では、位置対応付部１６８は、より容易にエッジを検出するために、カニーエッジ検出方法において行なわれる手続きと同様に、単に、エッジを閾値と比較し、最大でないものを抑制する（non-maxima suppression）。
【００６３】
Ａ−４−２．テンプレートの選択（ステップＳ２５）：
位置対応付部１６８は、対象物の画像の中からエッジ検出を実行すると、テンプレート記憶部１２１に記憶された対象物のテンプレートの中から、撮像された対象物の画像の姿勢に最も近いビューを有するテンプレートを選択する（ステップＳ２５）。この選択のために、対象物の大まかな姿勢を推定する既存の３次元姿勢推定アルゴリズムが別途利用されてもよい。位置対応付部１６８は、選択したトレーニングビューに対応するテンプレートに含まれる輪郭特徴要素と、輪郭特徴要素に含まれる２Ｄモデル点に対応した３Ｄモデル点と、を用いて、対象物の３Ｄ姿勢を高精度に導出する。なお、位置対応付部１６８は、３Ｄ姿勢の高精度化を行なう際に、既に選択したトレーニングビューよりも、対象物の画像の姿勢に近い新たなトレーニングビューを見つけることがある。位置対応付部１６８は、新たなトレーニングビューを見つけた場合には、新たなトレーニングビューの３Ｄ姿勢の高精度化を行なう。本実施形態では、ビューが異なると、３Ｄモデルにおいて視認可能なエッジのセットとしての輪郭特徴要素が異なるため、新たなトレーニングビューが見つかる場合がある。位置対応付部１６８は、このような視認可能なエッジのセットが異なる課題について、スーパーテンプレートを用いることでなるべく多くの視認可能なエッジを抽出している。なお、他の実施形態では、位置対応付部１６８は、予め作成されたテンプレートを用いるのではなく、対象物を撮像すると共に、その場で(on the fly)、しかも必要であれば照明などの撮像環境をレンダリングに反映しながら、３ＤＣＡＤデータからテンプレートを作成することで、なるべく多くの視認可能なエッジを抽出してもよい。
【００６４】
Ａ−４−３．２Ｄ点の対応付け（ステップＳ２７）：
位置対応付部１６８は、ステップＳ２５の処理を実行すると、対象物の画像のエッジと、テンプレートに含まれる２Ｄモデル点との対応付けを実行する（ステップＳ２７）。
【００６５】
図８は、１つの２Ｄモデル点が、あるエッジに含まれた多数の画像点と合わせられることを示す説明図である。図９は、２Ｄモデル点が誤った画像点と合わせられた一例を示す説明図である。図８および図９には、図３で示した三次元モデルに対応する対象物ＯＢｍがカメラ６０によって撮像された場合に、撮像された対象物ＯＢｍの画像ＩＭＧおよび２Ｄモデル点のセットＰＭｎの一部の拡大図と、複数の矢印ＣＳとが示されている。図８に示すように、テンプレートに含まれる２Ｄモデル点の１つである２Ｄモデル点ＰＭ１が、対象物ＯＢｍの画像ＩＭＧとして検出されたエッジのどの部分に対応付けられるのかは、矢印ＣＳ１〜ＣＳ５のように複数の選択肢が存在する。図９には、テンプレートに含まれる順番に並んだ複数の２Ｄモデル点ＰＭ１〜ＰＭ５が、対象物ＯＢｍの画像ＩＭＧとして検出されたエッジ（に含まれる画像点）に誤って合わせられた一例が示されている。この場合、例えば、図９において、上側から２Ｄモデル点ＰＭ２，ＰＭ３，ＰＭ１，ＰＭ４，ＰＭ５と並んでいるにも関わらず、対象物ＯＢｍの画像ＩＭＧのエッジとしては、矢印ＣＳ７，ＣＳ６，ＣＳ８，ＣＳ１０，ＣＳ９の順に並んでいる。そのため、矢印ＣＳ８と矢印ＣＳ６、および、矢印ＣＳ９と矢印ＣＳ１０が入れ替わっている。以上説明したように、位置対応付部１６８は、撮像された対象物ＯＢｍの姿勢を正しく推定するために、テンプレートに含まれる２Ｄモデル点と、対象物ＯＢｍの画像ＩＭＧのエッジに含まれる画像点とを、正しく対応付ける必要がある。
【００６６】
本実施形態では、位置対応付部１６８は、それぞれの写像された２Ｄモデル点の周囲の局所的近隣に含まれる全ての画像点について、下記の式（１１）を用いた同様性スコアを計算する。
【数１１】
2017182274.tif 000013
式（１１）で示す同様性スコアの指標は、テンプレートに含まれる２Ｄモデル点の輝度のグラディエントベクトル（以下単にグラディエントとも表記する）と、画像点のグラディエントベクトルとの一致に基づくが、式（１１）では一例として当該２つのベクトルの内積に基づいている。式（１１）におけるＥｐのベクトルは、２Ｄモデル点（エッジ点）ｐの単位長さグラディエントベクトルである。位置対応付部１６８は、同様性スコアを求める際に、画像点ｐ’の特徴要素を計算するために、テスト画像（入力画像）のグラディエントである▽Ｉを用いる。式（１１）の分母に示されるグラディエントの大きさの局所最大値による規格化は、局所的に強度の高いエッジに対して優先度が与えられることを確実にする。この規格化は、微弱で雑音となるエッジに対して照合することを防止する。位置対応付部１６８は、同様性スコアを求める際に、対応付けが探索される近隣範囲の大きさＮ（ｐ）を強化しえる。例えば、連続する繰り返し計算の中で、写像された２Ｄモデル点の位置変位の平均が小さくなった場合に、Ｎ（ｐ）が小さくされえる。以下では、式（１１）を用いた具体的な対応付けの方法について説明する。
【００６７】
図１０ないし図１２は、同様性スコアの計算の一例を示す説明図である。図１０には、カメラ６０によって撮像された対象物の画像ＩＭＧＯＢ（実線）と、対象物の画像ＩＭＧＯＢに近いテンプレートに基づく２ＤモデルＭＤ（一点差線）と、２ＤモデルＭＤにおける複数の輪郭特徴要素ＣＦｍとしての２Ｄモデル点と、が示されている。また、図１０には、格子状に配置された複数のピクセルｐｘと、輪郭特徴要素ＣＦｍのそれぞれを中心とする３ピクセル×３ピクセルで形成された領域（例えば、領域ＳＡ１）と、が示されている。図１０では、後述する輪郭特徴要素ＣＦ１を中心とする領域ＳＡ１と、輪郭特徴要素ＣＦ２を中心とする領域ＳＡ２と、輪郭特徴要素ＣＦ３を中心とする領域ＳＡ３と、が示されている。輪郭特徴要素ＣＦ１と輪郭特徴要素ＣＦ２とは、互いに隣り合う輪郭特徴要素であり、輪郭特徴要素ＣＦ１と輪郭特徴要素ＣＦ３も、互いに隣り合う輪郭特徴要素である。換言すると、輪郭特徴要素ＣＦ２、輪郭特徴要素ＣＦ１、輪郭特徴要素ＣＦ３の順に、輪郭特徴要素が並んでいる。
【００６８】
図１０に示すように、対象物の画像ＩＭＧＯＢと２ＤモデルＭＤとが一致していないため、位置対応付部１６８は、式（１１）を用いて、対象物の画像ＩＭＧＯＢのエッジに含まれる画像点と、２ＤモデルＭＤの複数の輪郭特徴要素ＣＦｍによって表されるそれぞれの２Ｄモデル点と、を対応付ける。初めに、位置対応付部１６８は、複数の輪郭特徴要素ＣＦｍの内の１つの輪郭特徴要素ＣＦ１を選択し、輪郭特徴要素ＣＦ１を含むピクセルｐｘを中心とする３ピクセル×３ピクセルの領域ＳＡ１を抽出する。次に、位置対応付部１６８は、輪郭特徴要素ＣＦ１と互いに隣り合うする２つの輪郭特徴要素ＣＦ２および輪郭特徴要素ＣＦ３を中心とする３ピクセル×３ピクセルの領域ＳＡ２および領域ＳＡ３を抽出する。位置対応付部１６８は、領域ＳＡ１，ＳＡ２，ＳＡ３のそれぞれを構成するピクセルｐｘごとに式（１１）によりスコアを算出する。この段階では、領域ＳＡ１、ＳＡ２、ＳＡ３は、いずれも同じ形状および同じ大きさを有するマトリクスである。
【００６９】
図１１には、領域ＳＡ１，ＳＡ２，ＳＡ３のそれぞれの拡大図と、領域ＳＡ１，ＳＡ２，ＳＡ３を構成するピクセルごとに算出された同様性スコアと、が示されている。位置対応付部１６８は、抽出した領域の内、輪郭特徴要素としての２Ｄモデル点と、９つの画像点のそれぞれと、の間で算出される同様性スコアを算出する。位置対応付部１６８は、例えば、図１１下部に示す領域ＳＡ３において、ピクセルｐｘ３３，ｐｘ３６のスコアが０．８となり、ピクセルｐｘ３９のスコアが０．５となり、残り６つのピクセルが０になる例を示している。ピクセルｐｘ３３，ｐｘ３６のスコアが０．８に対して、ピクセルｐｘ３９のスコアが０．５と異なるは、ピクセルｐｘ３９において対象物の画像ＩＭＧＯＢが曲がっており、グラディエントが異なるためである。位置対応付部１６８は、以上説明したように、抽出した領域ＳＡ１，ＳＡ２，ＳＡ３を構成する各ピクセル（画像点）について、同じような方法で同様性スコアを算出する。
【００７０】
以下、輪郭特徴要素ＣＦ１に注目して説明を進める。位置対応付部１６８は、領域ＳＡ１を構成する各ピクセルの修正スコアを算出する。具体的には、領域ＳＡ１を構成するピクセルのそれぞれについて、領域ＳＡ２，ＳＡ３のそれぞれにおいて同じマトリクス位置にあるピクセルを用いて、同様性スコアを重み係数付きで平均化する。位置対応付部１６８は、同様性スコアのこのような修正を、輪郭特徴要素ＣＦ１だけでなく、他の輪郭特徴要素ＣＦ２、ＣＦ３のそれぞれに関して行なう。そうすることで、２Ｄモデル点と画像点との対応付けが平滑化される効果が得られる。図１１に示す例において、位置対応付部１６８は、領域ＳＡ１の各ピクセルｐｘのスコアの重み係数を０．５、領域ＳＡ２の各ピクセルｐｘのスコアの重み係数を０．２、領域ＳＡ３の各ピクセルｐｘのスコアの重み係数を０．３として、修正スコアを算出する。例えば、図１２に示すピクセルｐｘ１９の修正スコアとしての０．５５は、領域ＳＡ１のピクセルｐｘ１９のスコア０．８に重み係数０．５を乗じた値と、領域ＳＡ２のピクセルｐｘ２９のスコア０に重み係数０．２を乗じた値と、領域ＳＡ３のピクセルｐｘ３９のスコア０．５に重み係数０．３を乗じた値と、を加えた値である。上記重み係数は、処理対象となっている輪郭特徴要素ＣＦ１と、他の輪郭特徴要素ＣＦ２、ＣＦ３との間の距離に反比例する。位置対応付部１６８は、領域ＳＡ１を構成するピクセルの修正スコアの中から、最大のスコアを有する画像点を、輪郭特徴要素ＣＦ１に対応付けられた画像点として決定する。図１２に示す例であれば、修正スコアの最大値は、ピクセルｐｘ１３，ｐｘ１６の０．６４となる。複数のピクセルが同じ修正スコアを有する場合には、位置対応付部１６８は、輪郭特徴要素ＣＦ１からの距離が最も短いピクセルｐｘ１６を選び、位置対応付部１６８は、輪郭特徴要素ＣＦ１にピクセルｐｘ１６の画像点を対応付ける。位置対応付部１６８は、カメラ６０によって撮像された複数の対象物の画像において検出されたエッジと、対象物の画像と近いビューのテンプレートにおける２Ｄモデル点と比較することで、２Ｄモデル点（輪郭特徴要素ＣＦ）に対応する対象物の画像点を決定していく。
【００７１】
位置対応付部１６８が図７のステップＳ２７の処理を実行すると、最適化部１６６は、テンプレート記憶部１２１に記憶された対象物のテンプレートから、画像点に対応付けられた２Ｄモデル点に対応する３Ｄモデル点と、当該２Ｄモデル点を作成したときのビューの情報と、を取得する（ステップＳ２９）。最適化部１６６は、取り出した３Ｄモデル点と、ビューの情報と、画像点と、を元に、カメラ６０によって撮像された対象物の姿勢を最適化する（ステップＳ３３）。最適化の詳細は、以下の通りである。
【００７２】
Ａ−４−４．姿勢の最適化（ステップＳ３３）：
本実施形態では、最適化部１６６は、式（１４）を最小化する最適化計算を行うことにより、対象物の姿勢を導出する。
【００７３】
位置対応付部１６８が所定のビューについて、２Ｄモデル点と画像点との間の対応付けを終了すると、当該ビューに対応するテンプレートから、当該２Ｄモデル点（または輪郭特徴要素ＣＦｉ）に対応する３Ｄモデル点Ｐｉを読み出す。本実施形態では上述の通り、テンプレートにおいて、２Ｄモデル点に対応する３Ｄモデル点Ｐｉが記憶されている。ただし、テンプレートに３Ｄモデル点Ｐｉを記憶していることは必ずしも必要ではなく、位置対応付部１６８が、画像点への対応付けが終了した２Ｄモデル点を、当該ビューに基づいて、都度逆変換して３Ｄモデル点Ｐｉを得てもよい。
【００７４】
最適化部１６６は、得られた３Ｄモデル点Ｐｉの位置を、式（１２）に基づいて２Ｄの仮想平面へ再写像する。
【数１２】
2017182274.tif 000014
なお、式（１２）におけるπは、当該ビューに含まれる剛体変換行列と透視写像変換行列とを含んでいる。本実施形態では、当該剛体変換行列に含まれる３軸回りの３つの回転を表す３つのパラメーターおよび３軸に沿った３つの並進を表す３つのパラメーターが、下記式（１４）を最小化する際に変数として扱われる。なお、回転は四元数で表わされてもよい。３Ｄモデル点Ｐｉに対応する画像点ｐｉは式（１３）の通りであるとする。
【数１３】
2017182274.tif 000015
最適化部１６６は、３Ｄモデル点Ｐｉと、これに対応する画像点ｐｉと、の間の誤差を最小化するために、下記の式（１４）で表すコスト関数を利用することで、３Ｄ姿勢を導出する。
【数１４】
2017182274.tif 000016
式（１４）におけるｗｉは、コスト関数に対する各モデル点の貢献度を制御するための重み係数である。画像境界の外側に写像された点、または、対応付けの確度が低い点は、小さい値の重み係数を有する。本実施形態において、３Ｄ姿勢の調整についての詳細の提示が不足することを防止するために、テンプレート作成部６は、ガウスニュートン法を用いた３Ｄ姿勢パラメーターの関数として、式（１４）で示すコスト関数の最小化を、以下の３つの項目について判定する。
１．初期３Ｄ姿勢が、予め設定された姿勢よりもはるかに発散した場合、コスト関数の最小化に失敗したと判定する
２．ガウスニュートン法による近似の回数が、予め設定された規定回数を超えた場合に、コスト関数の最小化に失敗したと判定する
３．ガウスニュートン法において相対姿勢変化が、予め設定された閾値以下になった場合に、コスト関数が最小になったと判定する。
【００７５】
３Ｄ姿勢の導出の際に、最適化部１６６は、対象物の姿勢改善の減衰を実行してもよい。対象物の姿勢推定の処理に必要な時間は、姿勢の高精度化（改善）のために必要な計算の繰り返し回数に直接的に依存する。したがって、姿勢推定までのシステムを高速化するには、精度に妥協することなく、可能な限り少ない繰り返し計算により、姿勢の精度を求めることが有益である。本実施形態における繰り返し計算は、それ以前の繰り返し計算から独立した方法で実行されている。２つの連続した繰り返し計算において、２Ｄモデル点の対応付けの整合が取れていること、つまり、同じ２Ｄモデル点が同じ画像構造に対応することの制約は、何ら課されていない。その結果、特に、カメラ６０によって撮像された撮像画像の中に、対象物とは異なる他のオブジェクトが近くに混在するような散らかった状態や陰の存在する状態に起因したノイズエッジ構造がある場合には、点の対応付けは不安定になる。結果として、収束のためにより多くの繰り返し計算が必要となりえる。本実施形態に係る方法によれば、式（１１）における同様性スコアに、下記の式（１５）に示す減衰重み係数を乗算することで、この課題に対処することができる。
【数１５】
2017182274.tif 000017
式（１５）は、ガウス関数であり、σは、減衰の強さ（効力）制御する機能を有する。σの値が大きい場合には、ほとんど減衰が生じないが、他方でσの値が小さい場合には、強力な減衰を生じ、点が現在の位置から遠く離れていくことを防止することができる。異なる繰り返し計算で点の対応付けの間の整合性を確保するために、本実施形態では、σは、最新の数回の繰り返し計算から得る再写像エラーの関数とする。再写像エラー（式（１４）で表わされてもよい）が大きい場合には、本実施形態に係る方法は、収束に近づかない。本実施形態に係るアルゴリズムは、σを高い値に設定することで、遠くの点との対応付けを確保し、そしてこのため、ほとんど又は全く減衰を実施しない。再写像エラーが小さい場合には、本実施形態に係るアルゴリズムによる計算状態は正しい解に近い可能性が高い。このことから、最適化部１６６は、σを小さい値にセットし、これにより減衰を大きくし、点の対応付けを安定化させる。
【００７６】
Ａ−４−５．サブピクセルの対応付け：
本実施形態の点の対応付けの方法は、整数のピクセル位置での画像点を考慮するのみであり、そのため、場合によっては、３Ｄ姿勢の精度を劣化させる可能性がある。本実施形態に係る方法は、この課題を扱うために２つの技術を含んでいる。第１の方法は、同様性スコアが最大である画像点ｐ’が見出された後で、補間によりこの位置の精度を高める。最終的な位置は、４つの接続された近隣の画像点ｐ’の重み付きの線形結合で表される。なお、ここでの重みは、同様性スコアである。第２に、本実施形態に係る方法は、姿勢の高精度化の収束のために、再写像エラーに対する２つの閾値を有する。高い閾値が達成される場合には、高精度化が収束し、残っているのは、若干精度の高い解を得るだけである。したがって、この閾値が達成された後のそれぞれの繰り返し計算で、点の対応付けのベクトルは、人工的に２分の１まで短くされる。このプロセスは、再写像エラーがより小さい第２の閾値を下回るまで、後数回の計算を繰り返し続ける。
【００７７】
姿勢の高精度化のまとめとして、位置対応付部１６８は、間違った結果を取り除くために用いられる合致スコアを計算する。このスコアは、式（１４）のコスト関数と形式において同様であり、以下の式（１６）のように表される。
【数１６】
2017182274.tif 000018
式（１６）において、ＳＩＭｉは、輪郭特徴要素ｉ（２Ｄモデル点）と、それに対して最良に合致する画像点との間の同様性スコアである。指数部分は、当該姿勢を用いて再写像された２Ｄモデル点とそれに対応する画像点との間のノルム（本実施形態では２点間の距離の２乗）であり、Ｎは、２Ｄモデル点と画像点との組の数である。式（１６）の値が閾値未満である場合には、最適化部１６６は、当該姿勢を採用せず、最適化を続行し、式（１６）の値が閾値未満である場合には、当該姿勢を採用する。以上説明したように、最適化部１６６が図７のステップＳ３３の処理を実行すると、位置対応付部１６８および最適化部１６６は、姿勢推定処理を終了する。
【００７８】
以上説明したように、本実施形態のＨＭＤ１００では、位置対応付部１６８は、カメラ６０によって撮像された対象物の画像からエッジを検出する。位置対応付部１６８は、検出したエッジと、テンプレート記憶部１２１に記憶されたテンプレートに含まれる二次元におけるモデル点とを対応付ける。最適化部１６６は、対応付けられたモデル点と、テンプレートに含まれる二次元のモデル点が変換されて得られた３Ｄ点と、を用いることで、撮像された対象物の姿勢を推定する。具体的には、最適化部１６６は、コスト関数を用いて、撮像された対象物の姿勢を最適化する。そのため、本実施形態のＨＭＤ１００では、カメラ６０によって撮像された対象物の輪郭のエッジが検出できれば、精度良く撮像された対象物の姿勢を推定できる。対象物の姿勢が精度良く推定されることで、対象物にＡＲ画像の重畳表示の精度が向上し、また、ロボットによる操作の精度が向上する。
【００７９】
Ｂ．比較例：
上記第１実施形態のＨＭＤ１００が実行した姿勢推定処理の方法（以下、単に「ＣＦ法」とも呼ぶ）と異なる比較例の方法（以下、単に「ＭＡ法」とも呼ぶ）を説明する。比較例のＭＡ法は、２色モデル、つまり、対象物のある色と対象物とは異なる背景である他の色とを前提として、カメラ６０によって撮像された対象物の姿勢を推定する方法である。ＭＡ法では、２色モデルに基づいたコスト関数を最小化することにより、対象物の３Ｄ姿勢を一致させている。
【００８０】
図１３は、撮像された対象物ＯＢ１のＣＦ法による姿勢推定の結果を表す説明図である。図１４は、撮像された対象物ＯＢ１のＭＡ法による姿勢推定の結果を表す説明図である。図１３および図１４に示された対象物ＯＢ１は、カメラ６０によって撮像されている。対象物ＯＢ１は、背景色と異なる色の第１部ＯＢ１Ａ（ハッチング部）と、背景色と同じ色の第２部ＯＢ１Ｂと、を含んでいる。ＣＦ輪郭ＣＦＯＢ１は、位置対応付部１６８および最適化部１６６によって推定された対象物ＯＢ１の姿勢の輪郭である。図１３に示すように、ＣＦ法による姿勢推定では、ＣＦ輪郭ＣＦＯＢ１は、対象物ＯＢ１の輪郭に近似している。一方で、図１４に示すように、ＭＡ法による姿勢推定では、ＭＡ輪郭ＭＡＯＢ１は、対象物ＯＢ１の輪郭に対して、左方向にずれている。ＣＦ法では、ＭＡ法と異なり、対象物ＯＢ１の画像に対して２色モデルに基づく姿勢推定が行なわれていないため、背景色と同一の色の第２部ＯＢ１Ｂについても、精度の良い姿勢推定が実行される。
【００８１】
図１５は、撮像された対象物ＯＢ２のＣＦ法による姿勢推定の結果を表す説明図である。図１６は、撮像された対象物ＯＢ２のＭＡ法による姿勢推定の結果を表す説明図である。図１５および図１６に示された対象物ＯＢ２は、背景色と異なる色である。しかし、対象物ＯＢ２に含まれる第１部分ＯＢ２Ａ（ハッチング部）は、対象物ＯＢ２に含まれる第２部分ＯＢ２Ｂの影響で陰になっており、背景色に近い色としてカメラ６０に撮像されている。図１５に示すように、ＣＦ法による姿勢推定では、ＣＦ輪郭ＣＦＯＢ２（破線）は、対象物ＯＢ２の輪郭に近似している。図１６に示すように、ＭＡ法による姿勢推定では、ＭＡ輪郭ＭＡＯＢ２（破線）は、第１部分ＯＢ２Ａを検出できずに、第２部分ＯＢ２Ｂのみの輪郭と近似する輪郭である。ＣＦ法では、ＭＡ法と異なり、対象物ＯＢ２の画像における陰が存在していても、第１部分ＯＢ２Ａを正しく検出して、対象物ＯＢ２の精度の良い姿勢推定が実行される。
【００８２】
図１７は、撮像された対象物ＯＢ３のＣＦ法による姿勢推定の結果を表す説明図である。図１８は、撮像された対象物ＯＢ３のＭＡ法による姿勢推定の結果を表す説明図である。図１７および図１８に示す例では、カメラ６０によって撮像された範囲には、姿勢推定を行いたい対象である対象物ＯＢ３に加え、姿勢推定を行なう必要のない対象物ＯＢ１が含まれている。なお、対象物ＯＢ３は、背景と異なる色である。図１７に示すように、ＣＦ法における姿勢推定では、撮像された対象物ＯＢ３の画像の外枠に、ＣＦ輪郭ＣＦＯＢ３が近似する。一方で、図１８に示すように、ＭＡ法による姿勢推定では、ＭＡ輪郭ＭＡＯＢ３の輪郭は、撮像された対象物ＯＢ３の輪郭と比較して、右上側に一致しない部分を有している。ＣＦ法では、ＭＡ法と異なり、カメラ６０によって撮像された範囲に、姿勢推定の対象となる対象物ＯＢ３以外の物体が存在していても、対象物ＯＢ３の精度の良い姿勢推定が実行される。
【００８３】
以上説明したように、本実施形態のＨＭＤ１００では、姿勢推定を行ないたい対象物がカメラ６０によって撮像された場合に、位置対応付部１６８および最適化部１６６は、対象物が背景色と同じ色であっても、対象物の精度の良い姿勢推定を実行できる。また、位置対応付部１６８および最適化部１６６は、撮像された対象物に陰などの陰影があっても、対象物の精度の良い姿勢推定を実行できる。また、位置対応付部１６８および最適化部１６６は、カメラ６０が撮像した撮像範囲に、対象物以外のオブジェクトがあっても、対象物の精度の良い姿勢推定を実行できる。
【００８４】
また、本実施形態のパーソナルコンピューターＰＣでは、テンプレート作成部６は、ビューごとに異なる複数のテンプレートを対応付けたスーパーテンプレートを作成する。そのため、本実施形態のＨＭＤ１００の位置対応付部１６８は、スーパーテンプレートを用いることで、カメラ６０に撮像された対象物の姿勢に最も近いモデル点を含むテンプレートを選択できる。これにより、最適化部１６６は、より短時間で、また、精度良く、撮像された対象物の姿勢を推定できる。
【００８５】
ＣＦ法のＭＡ法に対する大きな改善点は、ＭＡ法が完全に機能しない図１４の場合において見られる。この場合において、最適化部１６６は、対象物ＯＢ１の姿勢の最適化を収束させることができる。なぜなら、ＣＦ法は、十分な対象物のエッジを信頼性高く検出することができるというその性能にのみ依存しているからである。ＭＡ法では、小さい程度で２色前提が破綻するようなケースでも、ＣＦ法では、ＭＡ法よりも良い結果を生じる可能性が高い。
【００８６】
撮像された対象物の姿勢を推定するまでの計算時間について、ＣＦ法は、複数の３Ｄ姿勢が入力として与えられたとしても、輪郭特徴要素の計算を１回だけ実施すればよい。一方で、ＭＡ法は、それぞれの入力姿勢に対して、収束に至るために多くの多くの繰り返し計算を要する。この繰り返し計算は、無視できない計算量を要するため、ＣＦ法は、複数の姿勢入力について、ＭＡ法よりも高速に処理される。
【００８７】
Ｃ．第２実施形態：
第２実施形態では、ＨＭＤ１００の位置対応付部１６８が実行する２Ｄモデル点の対応付け（Ａ−４−３）において、同様性スコアの計算方法が異なり、他の処理については、第１実施形態と同じである。そのため、第２実施形態では、第１実施形態と異なる同様性スコアの計算について説明して、その他の処理の説明については省略する。
【００８８】
図１９ないし図２１は、第２実施形態におけるＣＦ同様性の計算の一例を示す説明図である。図１９には、図１０に対して、さらに、複数の輪郭特徴要素ＣＦｍにおける２ＤモデルＭＤの輪郭に直交する垂線ＶＬｍが示されている。例えば、図１９に示す垂線ＶＬ１は、輪郭特徴要素ＣＦ１を通り、２ＤモデルＭＤの輪郭に直交する。垂線ＶＬ２は、輪郭特徴要素ＣＦ２を通り、２ＤモデルＭＤの輪郭に直交する。垂線ＶＬ３は、輪郭特徴要素ＣＦ３を通り、２ＤモデルＭＤの輪郭に直交する。
【００８９】
位置対応付部１６８は、第１実施形態と同様に、複数の輪郭特徴要素ＣＦｍの内の１つの輪郭特徴要素ＣＦ１を選択し、輪郭特徴要素ＣＦ１を含むピクセルｐｘを中心とする３ピクセル×３ピクセルの領域ＳＡ１を抽出する。次に、位置対応付部１６８は、輪郭特徴要素ＣＦ１と隣り合う２つの輪郭特徴要素ＣＦ２および輪郭特徴要素ＣＦ３をそれぞれ中心とする領域ＳＡ２および領域ＳＡ３を抽出する。位置対応付部１６８は、領域ＳＡ１，ＳＡ２，ＳＡ３のそれぞれを構成するピクセルｐｘごとにスコアを割り当てる。なお、第２実施形態では、前述したように、位置対応付部１６８が領域ＳＡ１，ＳＡ２，ＳＡ３のそれぞれに割り当てるスコアの方法が異なる。
【００９０】
以下、領域ＳＡに着目して説明する。位置対応付部１６８は、領域ＳＡにおいて、輪郭特徴要素ＣＦｍが表す２Ｄモデル点を通り、２Ｄモデル点でモデル輪郭に直交する垂線ＶＬｍを想定する。そして、位置対応付部１６８は、それぞれが垂線ＶＬｍ上に中心を有し、線分ＶＬｍに直交する方向（主軸とも呼ぶ）に沿って分布する複数のガウス関数を用いて、輪郭特徴要素ＣＦｍに対する各ピクセルｐｘ（各画像点）のスコアを設定する。ピクセルｐｘの座標は整数（ｍ、ｎ）で表わされるが、本実施形態では、垂線ＬＶｍと重なるピクセルｐｘの中心を（ｍ＋０．５，ｎ＋０．５）で表わし、その中心から垂線ＶＬｍへ下した第２の垂線を上記主軸とする。そして、垂線ＬＶｍと重なるピクセルｐｘと、当該主軸と重なるピクセルｐｘと、について、以下のように同様性スコアを計算する。まず、垂線ＬＶｍ上のピクセルｐｘについては、そのピクセルｐｘでの同様性スコアに比例する重み係数を乗じられたガウス関数の中心部の値を新たな同様性スコアとする。ここで、当該ガウス関数の分散は、輪郭特徴要素ＣＦ１からの距離に比例するように選ばれている。一方、各ガウス関数の主軸上のピクセルｐｘについては、垂線ＬＶｍと主軸との交点（中心部）からの距離を変数として決まる各ガウス関数の値を新たな同様性スコアとする。この結果、例えば、位置対応付部１６８は、図２０に示すように、対象物の画像ＩＭＧＯＢが含まれるピクセルｐｘ１３，ｐｘ１６，ｐｘ１９について、同じグラディエントを有しているにもかかわらず、スコアは０．２，０．７，０．３となる。垂線ＶＬ１から各ピクセルｐｘまでの距離が異なるからである。
【００９１】
次に、位置対応付部１６８は、実施形態１と同様に、同様性スコアを局所的に平滑化する。領域ＳＡ１，ＳＡ２，ＳＡ３のそれぞれに第１実施形態と同じ重み係数を乗じて、領域ＳＡ１を構成する各ピクセルの修正スコアを算出する。位置対応付部１６８は、その結果、領域ＳＡ１を構成するピクセルの修正スコアの中から、最大のスコアを、輪郭特徴要素ＣＦ１との対応付けの表すスコアとして決定する。図２１に示す例では、位置対応付部１６８は、ピクセルｐｘ１６の０．５６をスコアとして決定する。
【００９２】
Ｄ．第３実施形態：
本実施形態では、位置対応付部１６８は、式（１１）の同様性スコアを、モデル輪郭に垂直な垂線から離れた画像点にペナルティを課す式に変形する。位置対応付部１６８は、モデル点ｐおよび画像点ｐ’を定義し、２Ｄモデルのエッジ配向（輪郭）に対して垂直な単位長さベクトルをＥｐのベクトルと定義し、下記の式（１７）を定義する。
【数１７】
2017182274.tif 000019
そして、重み係数をｗとして、下記の式（１８）を定義すると、モデル点と画像点との同様性スコアは、式（１９）のように表すことができる。
【数１８】
2017182274.tif 000020
【数１９】
2017182274.tif 000021
その後、実施形態１と同様な方法によって、位置対応付部１６８は、式（１９）によって得られる領域ＳＡ１、ＳＡ２、ＳＡ３内の各ピクセルｐｘの同様性スコアを局所的に平滑化し、その後、各領域ＳＡ１、ＳＡ２、ＳＡ３において、輪郭特徴要素ＣＦに画像点を対応付ける。
【００９３】
Ｅ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
【００９４】
Ｅ−１．変形例１：
上記第１実施形態および上記第２実施形態では、位置対応付部１６８は、２Ｄ点の対応付けとして、輪郭特徴要素ＣＦｍを中心とする３ピクセル×３ピクセルの領域を対象として、スコアを計算したが、対応付けのスコアの計算方法については、種々変形可能である。例えば、位置対応付部１６８は、４ピクセル×４ピクセルの領域を対象としてスコアを計算してもよい。また、位置対応付部１６８は、式（１１）以外の評価関数を用いて２Ｄ点の対応付けを行なってもよい。本願の発明は、三次元モデルから作成されたテンプレートが用いられて、カメラ６０によって撮像された対象の姿勢が推定されることを特徴としている。
【００９５】
上記第１実施形態では、位置対応付部１６８および最適化部１６６は、ＣＦ法を用いて、撮像された対象物の姿勢を推定したが、ＣＦ法と比較例のＭＡ法とを組み合わせて、対象物の姿勢を推定してもよい。ＭＡ法は、対象物と背景とにおいて、２色の前提が成立する場合に機能する。そのため、位置対応付部１６８および最適化部１６６は、撮像画像に応じて、対象物の姿勢を推定するために、ＣＦ法とＭＡ法とのいずれかを選択してもよい。この場合、例えば、位置対応付部１６８は、初めに、ＭＡ法による対象物の姿勢の推定を行なう。位置対応付部１６８は、ＭＡ法による対象物の姿勢の推定が収束しない場合に、対象物の初期姿勢からＣＦ法のアルゴリズムでやり直すことができる。位置対応付部１６８は、このようなＭＡ法とＣＦ法とを組み合わせた方法を用いることで、ＭＡ法のみのアルゴリズムを使用する場合やＣＦ法のみのアルゴリズムを使用する場合と比較して、高い精度で対象物の姿勢を推定できる。
【００９６】
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【００９７】
１…ＣＰＵ、２…表示部、３…電源、４…操作部、５…記憶部、６…テンプレート作成部、７…３Ｄモデル記憶部、８…テンプレート記憶部、１０…制御部、１１…決定キー、１２…点灯部、１３…表示切替キー、１４…トラックパッド、１５…輝度切替キー、１６…方向キー、１７…メニューキー、１８…電源スイッチ、２０…画像表示部、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、３０…イヤホンプラグ、３２…右イヤホン、３４…左イヤホン、４０…接続部、４２…右コード、４４…左コード、４６…連結部材、４８…本体コード、５１，５２…送信部、５３，５４…受信部、６０…カメラ、１００…ＨＭＤ、１２０…記憶部、１２１…テンプレート記憶部、１３０…電源、１３５…操作部、１４０…ＣＰＵ、１５０…オペレーティングシステム、１６０…画像処理部、１６５…画像設定部、１６６…最適化部、１６８…位置対応付部、１７０…音声処理部、１８０…インターフェイス、１９０…表示制御部、２０１…右ＢＬ制御部、２０２…左ＢＬ制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、ＡＰ…先端部、ＣＦ，ＣＦ１，ＣＦ２，ＣＦ３，ＣＦｍ…輪郭特徴要素、ＣＦＯＢ１，ＣＦＯＢ２，ＣＦＯＢ３…ＣＦ輪郭、ＣＦｉ…ベクトル、ＣＳ，ＣＳ１，ＣＳ２，ＣＳ３，ＣＳ４，ＣＳ５，ＣＳ６，ＣＳ７，ＣＳ８，ＣＳ９，ＣＳ１０…矢印、ＥＬ，ＥＲ…端部、ＩＭＧ…画像、ＩＭＧＯＢ…対象物の画像、ＲＥ…右眼、ＬＥ…左眼、ＭＡＯＢ１，ＭＡＯＢ２，ＭＡＯＢ３…ＭＡ輪郭、ＭＤ…２Ｄモデル、ＯＡ…外部機器、ＯＢ，ＯＢ１，ＯＢ２，ＯＢ３，ＯＢｍ…対象物、ＯＢ１Ａ，ＯＢ２Ａ…対象物の第１部、ＯＢ１Ｂ，ＯＢ２Ｂ…対象物の第２部、ＰＣ…パーソナルコンピューター、ＰＭ１，ＰＭ２，ＰＭ３，ＰＭ４，ＰＭ５…２Ｄモデル点、ＰＭｎ…２Ｄモデル点のセット
【図１】
2017182274.tif 000022
【図２】
2017182274.tif 000023
【図３】
2017182274.tif 000024
【図４】
2017182274.tif 000025
【図５】
2017182274.tif 000026
【図６】
2017182274.tif 000027
【図７】
2017182274.tif 000028
【図８】
2017182274.tif 000029
【図９】
2017182274.tif 000030
【図１０】
2017182274.tif 000031
【図１１】
2017182274.tif 000032
【図１２】
2017182274.tif 000033
【図１３】
2017182274.tif 000034
【図１４】
2017182274.tif 000035
【図１５】
2017182274.tif 000036
【図１６】
2017182274.tif 000037
【図１７】
2017182274.tif 000038
【図１８】
2017182274.tif 000039
【図１９】
2017182274.tif 000040
【図２０】
2017182274.tif 000041
【図２１】
2017182274.tif 000042