(57)【要約】      （修正有）【課題】実世界シーンへのＡＲシステムのキャリブレーションを簡略化するためのシステム／方法を提供する。【解決手段】光学式シースルー（ＯＳＴ）頭部装着型ディスプレイ（ＨＭＤ）は、その全てのパラメーターのうちの調節可能なパラメーターの固定サブセットを有するキャリブレーション行列を用いる。このキャリブレーション行列の初期値はモデル頭部に基づく。調整可能なパラメーターごとに、事前に規定された段階的調整値セットが提供される。キャリブレーション中、このキャリブレーション行列はその事前に規定された段階的パラメーター変更の回数だけ繰り返され、段階的変更ごとに仮想オブジェクトが投影される。その結果として投影される仮想オブジェクトは基準実オブジェクトに位置合わせされ、最良に位置合わせされた投影仮想オブジェクトが特定され、キャリブレーション行列の設定値は最終的なキャリブレーション行列と見なされる。【選択図】図２６Ａ
2016018213.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実（ＡＲ）システムの光学式シースルー（ＯＳＴ）頭部装着型ディスプレイ（Ｈ
ＭＤ）のキャリブレーション方法であって、
ＯＳＴ  ＨＭＤが使用されるシーン内に、前記シーン内の位置、向き、および寸法が既
知の実対象オブジェクトを用意することと、
事前に規定された頭部モデルに基づきデフォルトのキャリブレーション行列セットを定
義することと、
前記デフォルトのキャリブレーション行列セットを用いて前記実対象オブジェクトの仮
想オブジェクト表現を生成し、前記仮想オブジェクトのビューを投影することと、
前記仮想オブジェクトの投影ビューを前記実対象オブジェクト上のできる限り中心に位
置合わせすることと、
前記デフォルトのキャリブレーション行列セット内の事前に規定された少なくとも１つ
のパラメーターの段階的変更を事前に規定された回数繰り返すことと、
前記事前に規定されたパラメーターの段階的変更ごとに、新しい仮想オブジェクトを生
成して投影し、前記新しい仮想オブジェクトを前記実対象オブジェクトに再位置合わせし
、現在の新しい仮想オブジェクトの現在の再位置合わせを前に投影された仮想オブジェク
トの前の位置合わせと比較することと、
前記実対象オブジェクトと最良に位置合わせされた投影仮想オブジェクトを特定し、前
記投影仮想オブジェクトをキャリブレーション後の仮想オブジェクトとして指定すること
と、
前記キャリブレーション後の仮想オブジェクトに対応する前記事前に規定されたパラメ
ーターの値を有する前記キャリブレーション行列セットを用いるべく前記ＯＳＴ  ＨＭＤ
を設定することと、
を含む方法。
【請求項２】
前記ＯＳＴ  ＨＭＤは、前記投影された仮想オブジェクトの両眼用画像を提供するステ
レオＡＲシステムである、請求項１に記載の方法。
【請求項３】
前記両眼用画像は、左側画像と右側画像とから成り、
前記新しい仮想オブジェクトを前記実対象オブジェクトに再位置合わせする前記ステッ
プは、前記左側画像および右側画像の各々に対して別々に行われ、
前記キャリブレーション後の仮想オブジェクトは、その左側画像の仮想オブジェクトの
投影と右側画像の仮想オブジェクトの投影とが互いに最良に位置合わせされた投影仮想オ
ブジェクトとして更に規定される、
請求項２に記載の方法。
【請求項４】
前記デフォルトのキャリブレーション行列セットは、外部パラメーター行列と固有パラ
メーター行列とを含み、両行列は前記ＯＳＴ  ＨＭＤおよび頭部モデルの直接的な幾何学
的測定値から定義され、
前記外部パラメーター行列と固有パラメーター行列とは、ピンホールカメラモデルに基
づく、
請求項１に記載の方法。
【請求項５】
前記外部パラメーター行列の更新は、前記実対象オブジェクトの前記既知の寸法、位置
、および向きと前記実対象オブジェクトの座標系とを用いて、投影および位置合わせされ
た仮想オブジェクトの前記３Ｄ姿勢（３Ｄ回転＋３Ｄ並進）の直接的な幾何学的測定値か
ら得られる、請求項４に記載の方法。
【請求項６】
前記実対象オブジェクトの前記座標系内の値が前記投影された仮想オブジェクトの座標
系内の値に変換される、請求項５に記載の方法。
【請求項７】
前記投影された各仮想オブジェクトは仮想カメラを用いて生成される、請求項５に記載
の方法。
【請求項８】
前記投影された仮想オブジェクトは前記ピンホールカメラモデルに基づき、
前記固有パラメーター行列内の複数のパラメーターが、以下の幾何学的測定値、すなわ
ち、
焦点距離を規定するために用いられる、前記仮想ピンホールカメラの中心から前記仮想
ピンホールカメラの虚像面の中心までの距離と、
前記頭部モデルに対する前記虚像面の前記中心位置と、前記投影された仮想オブジェク
トの中心画素位置を規定するための前記投影された画像の画像解像度と、前記投影された
仮想オブジェクトの画素密度と、
を用いて規定される、
請求項４に記載の方法。
【請求項９】
前記ＯＳＴ  ＨＭＤは、前記投影された仮想オブジェクトの両眼用画像を提供するステ
レオＡＲシステムであり、
前記両眼用画像は、外部パラメーター行列と固有パラメーター行列とをそれぞれ有する
左側画像と右側画像とから成り、
前記規定された焦点距離は、左側画像および右側画像の両方に用いられる、
請求項８に記載の方法。
【請求項１０】
前記事前に規定された１つのパラメーターは瞳孔間距離（ＩＰＤ）であり、最適なＩＰ
Ｄは、
前記新しい仮想オブジェクトを前記実対象オブジェクトに再位置合わせする前記ステッ
プを前記左側画像および右側画像の各々に対して別々に行うことと、
前記パラメーター値を特定することによって、前記左側画像の前記再位置合わせされた
新しい仮想オブジェクトが前記右側画像の前記再位置合わせされた新しい仮想オブジェク
トに位置合わせされることと、
によって見つけられる、
請求項８に記載の方法。
【請求項１１】
前記最適なＩＰＤはユーザーの真のＩＰＤにマッチしない、請求項１０に記載の方法。
【請求項１２】
前記事前に規定された回数の段階的変更の前記繰り返しは、ユーザー制御の入力に応じ
て行われる、請求項１１に記載の方法。
【請求項１３】
前記事前に規定された１つのパラメーターは、前記事前に規定された複数のパラメータ
ーのうちの１つであり、
前記事前に規定された複数のパラメーターの段階的変更によって前記投影された仮想オ
ブジェクトが並進され、前記投影された仮想オブジェクトの前記並進を調整することによ
って前記実対象オブジェクトに対する前記投影仮想オブジェクトの向きの差が修正される
、
請求項１に記載の方法。
【請求項１４】
請求項１に記載の方法を計算装置によって実行するための複数の命令を具体化する非一
時的コンピューター可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
全般的に、本発明は、カメラのキャリブレーションの分野に関し、より具体的には、拡
張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）ユニットの一部としての人間の眼
／光学式シースルー（ＯＳＴ：ｏｐｔｉｃａｌ  ｓｅｅ−ｔｈｒｏｕｇｈ）頭部装着型デ
ィスプレイ（ＨＭＤ：ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）システムから成る仮
想カメラのキャリブレーションの分野に関する。特に、本発明は、ＯＳＴ  ＨＭＤの仮想
ビューのキャリブレーションに関する。特に、本発明は、後者のステレオキャリブレーシ
ョンと、知覚される仮想３Ｄオブジェクトの実３Ｄ環境への繋止とに関する。
【背景技術】
【０００２】
頭部装着型ディスプレイは、３Ｄ視覚化のために、特に実環境を仮想環境に置き換える
ために、ますます一般化してきている。同時に、拡張現実（ＡＲ）の分野も同様に成長し
てきている。ＡＲシステムにおいては、仮想要素を重ね合わせることによって実環境を豊
かにする。仮想要素として、対応する実オブジェクトの傍に浮遊しているように見える仮
想オブジェクトまたはテキストが挙げられ得る。したがって、ＡＲ技術には、２つの主側
面がある。すなわち、ビジュアルコンテンツを増強する能力と、実世界とのユーザーの対
話を拡張および増強する可能性である。
【０００３】
ＡＲユニットは、仮想カメラで「見た」（または撮像した）ように、ビジュアルコンテ
ンツのビュー（すなわち、表示または画像）を提供し得る。当該技術分野において公知の
ように、仮想カメラは、実カメラが所定の角度で位置決めされ、仮想オブジェクトが実オ
ブジェクトであった場合に実カメラによって撮像された、または見られた、ように、所定
の角度（または視野、ＦＯＶ（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ））からの仮想オブジェクト
の画像を表示する。もたらされるビューは、実シーンにおける実際の物理要素を含むばか
りでなく、実シーンに挿入された仮想オブジェクトも含む。このような拡張現実（ＡＲ）
ユニットにおいて、仮想カメラのビューは、光学式シースルー（ＯＳＴ）頭部装着型ディ
スプレイ（ＨＭＤ）システム（すなわち、ＯＳＴ  ＨＭＤシステム）によってもたらされ
得る。
【０００４】
人間の眼／光学式シースルーディスプレイにおいて、個々の画像は、人間ユーザーの選
択された眼（単数または複数）のために指定され、その眼によって観察可能である。人間
の眼−ＯＳＴが単眼表示である場合は、ユーザーの２つの眼の一方（または両方）のため
に画像が１つだけ提供される。人間の眼−ＯＳＴが立体表示である場合は、ユーザーの２
つの眼のために２つの画像が、すなわち各眼に１つずつ、提供される。例えば、人間の眼
−ＯＳＴは、人間ユーザーの一方の眼を直接覆う１つのディスプレイを有し得るが、場合
によっては、この人間ユーザーのもう一方の眼を直接覆う別個のディスプレイを更に有し
得る。あるいは、人間の眼−ＯＳＴは、人間ユーザーの個々の眼にそれぞれ別の画像を直
接投影し得るが、複数の独立した画像が人間ユーザーの１つまたは２つの眼の各々によっ
てそれぞれ独立に眺められるように別様に制御し得る。
【０００５】
一般に、これは、実世界シーンの実世界座標とこの実世界シーンに対応する、コンピュ
ーターが生成した仮想シーンの仮想座標との間の変換を一貫して行う方法を確立すること
を含む。夢中になれる体験をＡＲシステムによって提供するには、仮想オブジェクトが三
次元（３Ｄ）、すなわち立体画像または表示、にレンダリングされて仮想カメラディスプ
レイ内に配置されることが望ましい。これには、実世界シーンの３Ｄ情報を取り込む必要
がある。このような３Ｄ情報は、「飛行時間型」センサー、視覚追尾、慣性センサー、機
械的に連結された追尾装置、位相差センサー、および／またはハイブリッドシステムなど
の手段によって得られ得る。使用される３Ｄ撮像方法に拘らず、ＡＲシステムは、取り込
まれた実世界情報とコンピューターで生成された仮想世界情報との間のキャリブレーショ
ンを必要とする。これには、実世界で取り込まれたデータに合わせてＡＲの仮想カメラの
ビューのキャリブレーションを行う必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
実世界で取り込まれた情報に合わせて仮想カメラのキャリブレーションを行う方法は多
数存在するが、このような方法は時間がかかり、および／または計算資源の要件が高いこ
とが多い。ＡＲシステムは人間ユーザーによって携帯および装着可能であることが望まし
い。これは、コンピューターアーキテクチャーに限界を設け、ひいては利用可能な計算資
源に限界を設ける。更に、ＡＲシステムは、仮想カメラの表示をリアルタイムで提供する
ことが更に望ましい。これは、利用可能な計算資源に対する制限によって妨げられる。
【０００７】
必要とされるのは、実世界で取り込まれた実世界シーン／オブジェクトのデータとコン
ピューターで生成された仮想シーン／オブジェクトとのキャリブレーションを簡略化する
ためのシステムである。
【０００８】
本発明の一目的は、実世界シーンへのＡＲシステムのキャリブレーションを簡略化する
ためのシステム／方法を提供することである。
【０００９】
本発明の別の目的は、実世界で取り込まれた情報を仮想オブジェクトの情報に組み合わ
せた仮想カメラ表示をリアルタイムでレンダリングできるＡＲシステムを提供することで
ある。
【課題を解決するための手段】
【００１０】
上記の各目的は、ステレオ画像（すなわち立体表示）を提供するために、左右の眼のビ
ューを有する（仮想的な）光学式シースルー（ＯＳＴ）頭部装着型ディスプレイ（ＨＭＤ
）のステレオキャリブレーションを行うためのシステム／方法において達成される。左右
のビューを規定するとは、規定された世界座標系における実基準オブジェクトの３Ｄ座標
と、ＯＳＴ  ＨＭＤの左右の投影画像における対応する仮想オブジェクトの２Ｄ位置との
間の３Ｄから２Ｄへの点対応を規定する左右のキャリブレーション行列を（固有および外
部パラメーターをそれぞれ別のキャリブレーション行列でモデル化して）モデル化するこ
とを含む。３Ｄ仮想オブジェクトを構成する左右の２Ｄ画像の立体投影によってもたらさ
れる仮想オブジェクトの３Ｄ姿勢は、（仮想オブジェクトが対応する３Ｄ基準オブジェク
トに事前に３Ｄ繋止されているため）世界座標系において既知であると想定される。頭部
追尾装置の座標系における（実）基準オブジェクトの３Ｄ姿勢も同様に既知であると想定
される。実基準オブジェクトの３Ｄ姿勢は、初期キャリブレーション手順の一環として予
め決定されていてもよく、および／またはＨＭＤに搭載されうる、および／または実基準
オブジェクトに結合され得る、および／または実基準オブジェクトが位置するシーン全体
に分散され得る、１つ以上の追尾装置によって記録された処理データを通して推定しても
よい。平均的な頭部モデル（すなわち、ＨＭＤユーザー）の左右の眼に対する追尾装置（
単数または複数）によって提供された姿勢情報（例えば並進および回転）を含む幾何情報
は、各眼の外部キャリブレーション行列に直接組み込まれる。各固有パラメーターは、２
つのＨＭＤディスプレイ（すなわち左右のステレオディスプレイ）に対する平均的な頭部
モデルの両眼の位置、平均的な頭部モデルの２つの眼から虚像面までの距離、左右の投影
画像のサイズおよび解像度に関する情報（画像の傾きは無視できると想定）を考慮して規
定される。これにより、左右の眼のためのデフォルトのキャリブレーション行列が提供さ
れる。
【００１１】
カスタマイズプロセスでは、キャリブレーションパラメーターを個人的に所望される精
度に調節する機会が個々のユーザーに提供される。標準的な精度レベルを適用する場合、
カスタマイズプロセスは、ユーザーの瞳孔間距離の調節と、焦点距離のキャリブレーショ
ンとで構成され得る。焦点距離のキャリブレーションの一環として、ユーザーは、投影さ
れた仮想オブジェクトの知覚されるサイズ、位置、および／または回転を、このカスタマ
イズプロセス中にユーザーに見えるマーカー座標系において、調節し得る。マーカー座標
系はカスタマイズプロセスの実行時以外は見えなくなることもあり得ることを理解された
い。焦点距離のキャリブレーション後、瞳孔間距離のキャリブレーションは、仮想オブジ
ェクトの奥行のキャリブレーションに直接関連付けることができるので、仮想オブジェク
トの位置のキャリブレーションの一環として暗黙に実施可能である。このカスタマイズプ
ロセスの結果は、関連するデフォルトの固有および外部キャリブレーション行列の更新に
用いられる。その結果として、これら行列は、３Ｄ仮想オブジェクトを３Ｄ実基準オブジ
ェクトに繋止するために用いられる。このキャリブレーション手順は、高速、簡単、かつ
ユーザーフレンドリである。
【００１２】
上記キャリブレーションシステム／方法は、視覚による頭部追尾用に搭載されたカメラ
を具備するＯＳＴ  ＨＭＤに適用され得る。あるいは、本キャリブレーションシステム／
方法は、予め指定された世界座標系における姿勢が既知である他の如何なる追尾センサー
にも適用され得る。それにも拘らず、本キャリブレーション方法の複雑さは、使用される
拡張現実システムの特徴に応じて異なり得る。好適な実施形態はステレオＯＳＴ  ＨＭＤ
キャリブレーションの一部として提示されているが、本発明を単眼および２Ｄ視ＯＳＴ  
ＨＭＤシステム用に変更して本システムおよびキャリブレーション手順の複雑さを減らす
ことは簡単である。
【００１３】
上記の各目的は、拡張現実（ＡＲ）システムの光学式シースルー（ＯＳＴ）頭部装着型
ディスプレイ（ＨＭＤ）の、以下のステップを含むキャリブレーション方法によって達成
される。すなわち、本方法は、ＯＳＴ  ＨＭＤが使用されるシーン内に、前記シーン内の
位置、向き、およびサイズが既知である実対象オブジェクトを用意することと、事前に規
定された頭部モデルに基づきデフォルトのキャリブレーション行列セットを規定すること
と、デフォルトのキャリブレーション行列セットを用いて実対象オブジェクトの仮想オブ
ジェクト表現を生成し、この仮想オブジェクトのビューを投影することと、この仮想オブ
ジェクトの投影ビューを実対象オブジェクト上のできる限り中心に位置合わせすることと
、前記デフォルトのキャリブレーション行列セットのうち、事前に規定された少なくとも
１つのパラメーターの段階的変更を事前に規定された回数繰り返すことと、事前に規定さ
れたパラメーターの段階的変更ごとに、新しい仮想オブジェクトを生成して投影し、この
新しい仮想オブジェクトを実対象オブジェクトに再位置合わせし、現在の新しい仮想オブ
ジェクトの現在の再位置合わせを前に投影された仮想オブジェクトの前の位置合わせと比
較することと、実対象オブジェクトとの位置合わせが最良の投影仮想オブジェクトを特定
し、それをキャリブレーション後の仮想オブジェクトとして指定することと、このキャリ
ブレーション後の仮想オブジェクトに対応する事前に規定されたパラメーターの値を有す
るキャリブレーション行列セットを用いるべくＯＳＴ  ＨＭＤを設定することと、を含む
。
【００１４】
ＯＳＴ  ＨＭＤは、投影された仮想オブジェクトの両眼用画像を提供するステレオＡＲ
システムであることが好ましい。
【００１５】
更に好ましくは、この両眼用画像は左側画像と右側画像とから構成され、新しい仮想オ
ブジェクトを実対象オブジェクトに再位置合わせするステップは、左側画像および右側画
像の各々に対して別々に行われ、キャリブレーション後の仮想オブジェクトは、その左側
画像の仮想オブジェクトの投影と右側画像の仮想オブジェクトの投影とが互いに最良に位
置合わせされた投影仮想オブジェクトとして更に規定される。
【００１６】
更に、デフォルトのキャリブレーション行列セットは外部パラメーター行列と固有パラ
メーター行列とを含み、両行列はＯＳＴ  ＨＭＤおよび頭部モデルの直接的な幾何学的測
定値から規定され、外部パラメーター行列と固有パラメーター行列とはピンホールカメラ
モデルに基づく。
【００１７】
この場合、外部パラメーター行列の更新は、実対象オブジェクトの既知の寸法、位置、
および向きと実対象オブジェクトの座標系とを用いることによって、投影されて位置合わ
せされた仮想オブジェクトの３Ｄ姿勢（３Ｄ回転＋３Ｄ並進）の直接的な幾何学的測定値
から得られる。
【００１８】
更に、実対象オブジェクトの座標系における値が投影仮想オブジェクトの座標系におけ
る値に変換される。
【００１９】
また、投影される各仮想オブジェクトは仮想カメラを用いて生成される。
【００２０】
好適な一実施形態において、投影される仮想オブジェクトはピンホールカメラモデルに
基づき、固有パラメーター行列内のパラメーターは、以下の幾何学的測定値を用いて規定
される。すなわち、焦点距離を規定するために、仮想ピンホールカメラの中心から仮想ピ
ンホールカメラの虚像面の中心までの距離が用いられる。また、投影される画像の中心画
素位置と投影される仮想オブジェクトの画素密度とを規定するために、頭部モデルに対す
る虚像面の中心位置と投影画像の画像解像度とが用いられる。
【００２１】
この場合、ＯＳＴ  ＨＭＤは、投影された仮想オブジェクトの両眼用画像を提供するス
テレオＡＲシステムである。両眼用画像は、外部パラメーター行列と固有パラメーター行
列とをそれぞれ有する左側画像と右側画像とで構成され、規定された焦点距離は、左側画
像および右側画像の両方に使用される。
【００２２】
更に、事前に規定された１つのパラメーターは瞳孔間距離（ＩＰＤ：ｉｎｔｅｒｐｕｐ
ｉｌｌａｒｙ  ｄｉｓｔａｎｃｅ）である。最適なＩＰＤを見つけるには、新しい仮想オ
ブジェクトを実対象オブジェクトに再位置合わせするステップを左側画像および右側画像
のそれぞれに対して別々に実行し、左側画像の再位置合わせされた新しい仮想オブジェク
トと右側画像の再位置合わせされた新しい仮想オブジェクトとの位置合わせをもたらすパ
ラメーター値を特定する。
【００２３】
更に、最適なＩＰＤはユーザーの真のＩＰＤに必ずしも一致しないことに留意されたい
。
【００２４】
好ましくは、事前に規定された回数の段階的変更の繰り返しは、ユーザー制御の入力に
応じる。
【００２５】
上記の事前に規定された１つのパラメーターは、前記事前に規定された複数のパラメー
ターのうちの１つでもよく、前記事前に規定された複数のパラメーターの段階的変更は、
投影された仮想オブジェクトの並進をもたらし、実対象オブジェクトに対する投影された
仮想オブジェクトの向きの差は、投影された仮想オブジェクトの並進を調節することによ
って修正されることを理解されたい。
【００２６】
上記の各目的は、更に、現時点で好適な実施形態の方法を計算装置によって実行するた
めの複数の命令を具体化する非一時的なコンピューター可読媒体によって達成される。
【００２７】
他の目的および達成事項、ならびに本発明のより深い理解は、以下の説明および添付の
特許請求の範囲を添付の図面と併せて参照することにより明らかになり、理解されるであ
ろう。
【図面の簡単な説明】
【００２８】
【図１】さまざまな画像を継ぎ合せてより大きな合成画像を作成するために各画像内の対応する特徴点を用いることを示す。
【図２】エピポーラ幾何の原理を示す。
【図３】エピポーラ幾何を用いてステレオ拘束を規定する一例である。
【図４】ステレオ拘束からのホモグラフィ拘束の確立を示す。
【図５】視野、すなわちＦＯＶ、がそれぞれ異なる、共通の一シーンの複数の画像のステレオ対から遠近感（すなわち３Ｄ）ビューを復元するためのホモグラフィを示す。
【図６】サンプル画像からの特徴点の抽出を示す。
【図７】ＳＩＦＴ変換を用いた特徴点の対応の確立を示す。
【図８】ＡＳＩＦＴ変換を用いた特徴点の対応の確立を示す。
【図９】それぞれ異なる視野、すなわちＦＯＶ、から撮像した共通シーンの２つの画像における特徴点の対応の一例である。
【図１０】ＳＩＦＴの特徴点抽出機能の概要を提供する。
【図１１】ＩＤ１〜ＩＤｎとして識別されたｎ個の画像から抽出された複数特徴点セットを示す。
【図１２】一例示的頭部装着型ディスプレイを示す。
【図１３】本発明の好適な一実施形態によるＨＭＤのいくつかの外部パラメーターと固有パラメーターとを示す。
【図１４】仮想カメラのいくつかの幾何学的特徴を示す。
【図１５】ＨＭＤディスプレイを通して眺めた仮想オブジェクトを示す。
【図１６】ＡＲシステムの一般化された概観を示す。
【図１７】ピンホール型仮想カメラを示す。
【図１８】投影された仮想オブジェクトを用いた焦点距離の調整を示す。
【図１９】どちらも焦点が合って互いに重なり合った左右の単眼視ビューを示す。
【図２０】瞳孔間距離（ＩＰＤ）が最適でないために、右眼で知覚した仮想オブジェクトと左眼で知覚した別の仮想オブジェクトとが重なり合わない場合を示す。
【図２１】並進誤差の修正による回転誤差の相殺を示す。
【図２２】所与のＩＰＤによる計算視差を示す。
【図２３】眼点座標系を示す。
【図２４】キャリブレーション座標系を示す。
【図２５】ゴーグル風ＨＭＤのキャリブレーションを行っているユーザーを示す。
【図２６Ａ】ユーザーによるキャリブレーション手順のさまざまなステップを示す。
【図２６Ｂ】ユーザーによるキャリブレーション手順のさまざまなステップを示す。
【図２７】キャリブレーション手順のいくつかのステップを図解する。
【図２８Ａ】キャリブレーション手順のいくつかのステップを図解する。
【図２８Ｂ】キャリブレーション手順のいくつかのステップを図解する。
【図２９】キャリブレーション手順のいくつかのステップを図解する。
【図３０】キャリブレーション手順のいくつかのステップを図解する。
【図３１】本発明の好適な実施形態で用いられる数式および記号を提供する。
【図３２】本発明の好適な実施形態で用いられる数式および記号を提供する。
【発明を実施するための形態】
【００２９】
添付の図面において、同様の参照記号は同様の部品を指す。
頭部装着型ディスプレイは、コンピューターで生成された仮想コンテンツによって実世
界シーンを拡張する拡張現実（ＡＲ）の分野において広く受け入れられている。ＡＲシス
テムにおける頭部装着型ディスプレイ（ＨＭＤ）は、人間の眼／光学式シースルー（ＯＳ
Ｔ）ディスプレイまたはビデオシースルー（ＶＳＴ：ｖｉｄｅｏ  ｓｅｅ−ｔｈｒｏｕｇ
ｈ）ディスプレイを含み得る。人間の眼／光学式シースルー（ＯＳＴ）ディスプレイは、
仮想オブジェクトが組み込まれるシースルーディスプレイであり、ビデオシースルー（Ｖ
ＳＴ）ディスプレイは、実シーンの表示画像に仮想オブジェクトが統合されるビデオディ
スプレイ（例えば画面）である。どちらの場合も、仮想オブジェクトは実世界シーンのビ
ューに融合される。両アプローチは、実世界シーンの情報を追尾するために（および／ま
たは取り込むために）、追尾センサー（例えば、「飛行時間型」センサー、視覚追尾（例
えばステレオカメラ対）、慣性センサー、機械的に連結された追尾装置、位相差センサー
、および／またはハイブリッドシステムなどの３Ｄシーン撮像装置）を利用し得る。
【００３０】
このようなＡＲシステムにおいて、コンピューターは、仮想オブジェクトのグラフィッ
クスを生成する。これらグラフィックスは、その後、追尾センサーによって撮像された実
オブジェクトのグラフィックス（すなわち、対応する基準物理オブジェクト）と、理想的
にはリアルタイムで、位置合わせされる。この目標は、実環境と仮想環境との知覚融合を
可能にするために、仮想オブジェクトが所定の実世界座標に結合または繋止されることを
保証することである。適正な知覚融合には、追尾センサーならびに仮想カメラのパラメー
ターの精測／キャリブレーションを行うことと、追尾装置の座標系における実オブジェク
トおよび仮想オブジェクトの位置（および／または姿勢）を知っていることとが必要であ
る。
【００３１】
追尾装置の座標系における実世界オブジェクトの位置は、追尾機構を介して得られる。
この追尾機構は、上に挙げたさまざまな種類の追尾センサー（すなわち、センサーおよび
／または追尾装置）をベースにすることができる。仮想カメラによって提供された画像に
各追尾センサーからの情報が組み合わされて合成画像が生成される。要するに、仮想カメ
ラは、ＨＭＤにおいて提供される少なくとも仮想オブジェクトのビューを規定する視野を
規定する。使用されるセンサーと仮想カメラとの間の関係は、実世界への仮想オブジェク
トの繋止および融合を可能にする。この関係性は、キャリブレーション手順を通して得ら
れ得る。
【００３２】
このキャリブレーション手順は、３Ｄ仮想オブジェクトと実オブジェクトとが点対応に
なるように、仮想カメラのパラメーターを設定することを含む。カメラのパラメーターは
、固有パラメーター（焦点距離、画素密度、および画像主点の座標など）および外部パラ
メーター（追尾装置の座標系に対する仮想カメラの位置など）の両方を含む。
【００３３】
上記のように、ＡＲシステムにおいて視覚情報を提示するための主な手段は２つある。
すなわち、ビデオシースルーと光学式シースルーである。ビデオシースルーの場合、コン
ピューターで生成された仮想オブジェクトが、ＨＭＤに取り付けられた実カメラによって
得られたビデオストリームに重ね合わされる。実世界シーンの画像にアクセスでき、関連
データの処理が可能であると、ビデオシースルーシステムのキャリブレーションの誤差が
少なくなる。すなわち、ＨＭＤは、実世界シーンの撮像画像とコンピューターで生成され
た仮想オブジェクトとが組み合わされて構築された画像を提供するので、ユーザーは仮想
オブジェクトと実際の実世界シーンとの間の位置ずれに気付き難い。
【００３４】
他方、ＨＭＤは、真の実世界ビューをユーザーから隠さないことが好ましいので、光学
式シースルーシステムのキャリブレーションは更なる難題をもたらす。このようなシステ
ムは、眼−ＨＭＤと称され得る。その理由は、光学式シースルー（ＯＳＴ）ディスプレイ
は、ＨＭＤの一方の眼の位置（ステレオビジョンの場合は好ましくは２つの眼の位置）を
覆って配置され得るからである。人間の眼−ＨＭＤディスプレイの組み合わせから成る仮
想カメラのキャリブレーションにおける難点のいくつかは、位置合わせ（特にステレオビ
ジョンの場合）と信号遅延の動的管理とに関連する。すなわち、眼−ＨＭＤにおける実世
界シーンのユーザーのビューは瞬間的であり得るが、仮想オブジェクトの生成および表示
は瞬間的ではないこともある。
【００３５】
眼−ＨＭＤのキャリブレーションの問題は以前から研究されてきた。実際の物理カメラ
のキャリブレーションとちょうど同じように、仮想カメラのキャリブレーションは、投影
された仮想３Ｄオブジェクトの座標と（ＯＳＴ  ＨＭＤの虚像面に投影された）２Ｄ画像
の座標とを対応付ける等式を解くことによって行われ得る。期待される仮想３Ｄオブジェ
クトの配置の座標は、座標が既知の実３Ｄ基準オブジェクトとの知覚による位置合わせ（
繋止）から既知であると想定される。
【００３６】
したがって、追尾センサーに対する仮想カメラのキャリブレーションは、ＡＲシステム
の重要な側面である。そのキャリブレーションは、その固有の複雑さに加え、人間ユーザ
ーの知覚に依存する（すなわち、仮想オブジェクトと実オブジェクトとの組み合わせをユ
ーザーがどのように知覚するかに依存する）ため、更に複雑になる。したがって、ＡＲシ
ステムのより良い商品化のために解決する必要がある技術的課題がいくつか存在する。い
くつかの有望な結果にも拘らず、キャリブレーションは、多少厄介なユーザー対話をこれ
まで必要としていたユーザー依存の手順のままであるように思われる。本発明は、所望さ
れる精度レベルに到達可能でありながら、ユーザーフレンドリーで適用が容易なキャリブ
レーション方法を提示する。
【００３７】
ただし、本発明の詳細な説明に入る前に、ステレオカメラ対、画像変換、３Ｄ撮像、特
徴点の検出、および他の画像処理関連のトピックに関する背景情報を最初にいくつか提供
することが有益であり得る。
【００３８】
あるシーンの３Ｄ画像、すなわち対象オブジェクト、は、３Ｄレーザースキャナー、マ
イクロソフト社のＫＩＮＥＣＴセンサー、レンジカメラ、または多くのさまざまな種類の
飛行時間型装置の何れかなどの３Ｄ撮像システムによって作成され得る。３Ｄ画像は、２
Ｄ画像のステレオ対からも生成され得る。これら方法は、３Ｄオブジェクトの表面を規定
する三次元空間内の点の集合である点クラウドを作成するために使用され得る。３Ｄ点ク
ラウドの各点が対象オブジェクトの２Ｄ画像（または形状輪郭）上の個々の点（例えば画
素）に関連付けられることが望ましいこともある。すなわち、点クラウドの各点（または
領域）が２Ｄ画像の対応する各点（または領域）に、より具体的には２Ｄ画像のセグメン
テーションに、関連付けられることが望ましいこともある。
【００３９】
上記のように、３Ｄ画像は、２Ｄ画像のステレオ対（すなわち立体（すなわちステレオ
）画像対）から生成され得る。立体画像対の２つの２Ｄ画像の各々は、共通の一シーンの
２つのビュー（すなわち、２つの視野、ＦＯＶ、すなわち２つの画角）を提供するために
互いに離して配置された２つの２Ｄ撮像カメラの一方によって生成される。ステレオ拘束
によって、２つのビュー内の対応する画素の点（または画素）情報が組み合わされて、遠
近感（すなわち３Ｄ）ビューを作成する。このビューは、点クラウド情報を含む。したが
って、立体画像対から生成された点クラウドは、点クラウド内の複数の点と立体画像対の
２つの２Ｄ画像内の複数の点（例えば、複数の画素または領域）との間の対応関係を本質
的に含む。
【００４０】
立体画像対から３Ｄ情報を抽出するために、最初に、共通に撮像された要素を立体画像
対内で特定する必要がある。この特定を行うための１つの方法は、２つのカメラのキャリ
ブレーションを行い、特定の一シーン内の既知の基準点を特定することであろう。より非
限定的なアプローチは、特定の一シーンへのカメラのキャリブレーションの必要性を排除
するであろう。ただし、立体画像対の両方の画像は共通の一シーンの互いに異なるビュー
を提供するので、これは難しい作業になり得る。２つの２Ｄ画像シーンに共通の複数のオ
ブジェクトの互いに異なるビューを認識し、これら共通のオブジェクトの特定の部分を相
互に関連付ける必要がある。
【００４１】
したがって、オブジェクトの認識（またはオブジェクトの識別）には、コンピューター
ビジョンが不可欠であり、オブジェクト認識にはパターンマッチングが不可欠ある。画像
（特に２Ｄ画像）におけるパターンマッチングには、特徴の検出（または特徴点の検出）
が不可欠である。特徴の検出とは、画像の複数の部分または画像の個々の特徴点（個々の
画素など）が画像内で求められているオブジェクトの一部であり得るかどうかを判定する
ための調査の有望な候補である、画像の複数の部分または画像の個々の特徴点（個々の画
素など）を識別することを指す。
【００４２】
撮像されたシーンを記述するために使用され得る画像内の特有の特徴を識別するための
各種手法が公知である。特有の特徴として、画像の特徴的な形状または区画、あるいは画
像の個々の点（すなわち画素）が挙げられ得る。説明を分かり易くするために、（個々の
画素を含む）特徴点を用いて本例を説明する。ただし、他の特有の特徴（および特有の特
徴を識別する方法）も使用され得ることを理解されたい。
【００４３】
特有の特徴が如何に使用され得るかの一例を挙げると、（対象オブジェクト、またはオ
ブジェクト種別、の訓練用画像（すなわち画像サンプル）の集合から得られるような）オ
ブジェクトを記述する識別用特徴のライブラリーを有する場合は、入力されたテスト画像
内に対象オブジェクトの一例が存在するかどうかを判定するために、入力されたテスト画
像から識別用特徴を探し出し得る。コンピュータービジョンの分野において、この概念は
、１つの画像から別の画像への特徴点（すなわち画素）のインデキシング（例えばマッチ
ングまたは関連付け）のために、それぞれ異なる写角（すなわち、それぞれ異なるＦＯＶ
）から撮像された共通シーンの複数のデジタル画像において共通する一シーンの共通の特
徴のマッチングに展開されている。これは、複数のデジタル画像の複合処理を可能にする
。
【００４４】
例えば図１において、画像７Ａ、７Ｂ、７Ｃ、および７Ｄの各々は、実世界シーンにお
ける１つの建物の部分的な、重なり合う、ビューを提供しているが、何れの画像もこの建
物全体の完全なビューを提供していない。ただし、エッジの検出と、実世界シーン内の同
じ実特徴点に関連付けられる４つの部分画像７Ａ、７Ｂ、７Ｃ、および７Ｄ内の複数の特
徴点のインデキシング（すなわち、マッチする特徴点の対の特定）とを適用することによ
って、４つの部分画像を（画像の繋ぎ合わせツールの適用などによって）繋ぎ合わせて建
物全体の１つの合成画像７Ｅを作成可能である。図１の例では、４つの部分画像７Ａ、７
Ｂ、７Ｃ、および７Ｄは同じ写角（すなわち、単一のＦＯＶ）から撮像されているが、こ
のアプローチは、対応マッチングの分野にも展開され得るので、それぞれ異なるＦＯＶか
ら撮像された複数の画像にも適用され得る。
【００４５】
対応マッチングとは、２つ以上の画像に共通なオブジェクトまたはオブジェクトの特徴
のマッチング（または、より一般的には、個々の画素などの特徴点のマッチング）を指す
。対応マッチングとは、第１の画像を撮像したカメラが移動した後、時間が経過した後、
および／または撮像されたオブジェクトが移動した後に、第２の画像が撮像されたと想定
して、第１の画像のどの部分が第２の画像のどの部分に対応する（すなわち、マッチする
）かを判定しようとすることである。例えば、第１の画像は、第１の視野（すなわち、Ｆ
ＯＶ）を規定する第１の写角から撮像された実世界シーンであってもよく、第２の画像は
、第２のＦＯＶを規定する第２の写角から撮像された同じ実世界シーンであってもよい。
第１および第２のＦＯＶが少なくとも部分的に重なり合うと想定すると、対応マッチング
とは、第１および第２の画像の重なり合った部分における共通の特徴点のマッチングを指
す。
【００４６】
したがって、対応マッチングは、コンピュータービジョンにおける、特にステレオビジ
ョン、ビューの合成、および３Ｄ（または遠近感）の再構築における、基本的な課題であ
る。２つの写角から撮像された２つの画像におけるいくつかの画像特徴、すなわちオブジ
ェクト、がマッチしたと想定すると、次に、ステレオビューの合成、すなわち３Ｄの再構
築、を実現するためにマッチした画像特徴の間の位置関係を特定するために、エピポーラ
幾何が用いられ得る。
【００４７】
エピポーラ幾何は、基本的にステレオビジョンの幾何学である。例えば図２では、２つ
のカメラ１１および１３が、大きい方の球体１９と小さな球体２１とから成る共通の１つ
の３Ｄシーン１０の２つの２Ｄ画像１５および１７をそれぞれ作成する。２Ｄ画像１５お
よび１７は、２つの異なる写角２３および２５から撮像されている。エピポーラ幾何は、
３Ｄシーン１０（例えば球体１９および２１）内の複数の点と２Ｄ画像１５および１７へ
のそれぞれの相対的投影と間の幾何学的関係を記述する。これら幾何学的関係により、像
点間の拘束がもたらされる。これが、エピポーラ拘束、またはステレオ拘束、の基礎とな
る。
【００４８】
図２は、水平視差を示す。この図では、カメラ１１の視点からは（２Ｄ画像１５に示さ
れているように）小さい方の球体２１が大きい方の球体１９の前方にあるように見えるが
、カメラ１３の視点からは、（２Ｄ画像１７に示されているように）小さい方の球体２１
が大きい方の球体１９の側方から一定距離離れているように見える。それにも拘らず、２
Ｄ画像１５および１７はどちらも同じ３Ｄシーン１０の２Ｄ画像であるので、どちらも大
きい方の球体１９と小さい方の球体２１との相対位置の真実の表現である。したがって、
カメラ１１と、カメラ１３と、小さい方の球体２１と、大きい方の球体１９との間の位置
関係は、エピポーラ拘束（すなわちステレオ拘束）が既知である限り、２Ｄ画像１５およ
び１７のみが与えられれば、３Ｄシーン１０の再構築を可能にする２Ｄ画像１５および１
７に対する幾何拘束を確立する。
【００４９】
エピポーラ幾何は、周知のピンホールカメラモデルに基づく。その簡略表現が図３に示
されている。ピンホールカメラモデルにおいて、各カメラは、それぞれのカメラの焦点に
ある、左側の点ＯLと右側の点ＯRなどの、点によって表される。点ＰOは、撮像されてい
る３Ｄシーン内の重要点（すなわちオブジェクト）を表す。本例において、重要点は、交
差する２本の線によって表されている。
【００５０】
一般に、像面（すなわち、撮像された３Ｄシーンの２Ｄ表現が取り込まれる平面）は、
カメラの焦点の後方にあり、反転されている。説明を容易にするために、および撮像画像
の反転による複雑化を回避するために、２つの虚像面ＩｍｇＬおよびＩｍｇＲが、撮像画
像の非反転表現を示すために、それぞれの焦点ＯLおよびＯRの前方に示されている。これ
ら虚像面は、そこを通して３Ｄシーンが眺められているウインドウと考えられ得る。点Ｐ
Lは左側の虚像ＩｍｇＬへの点ＰOの２Ｄ投影であり、点ＰRは右側の虚像ＩｍｇＲへの点
ＰOの２Ｄ投影である。３Ｄから２Ｄへのこの変換は、透視投影または像投影と呼ばれる
こともあり、当該技術分野において公知のように、ピンホールカメラモデルによって表現
される。一般に、この投影動作は、カメラから放射されてその焦点を通過する光線によっ
てモデル化される。モデル化された各放射線は、撮像画像においては単一の点に相当する
であろう。本例において、これら放射線は、点線２７および２９で示されている。
【００５１】
エピポーラ幾何は、各カメラの互いに対する位置に関する拘束を更に規定する。これは
、焦点ＯLおよびＯRの相対位置によって行われ得る。第１のカメラの焦点は第２のカメラ
の像面上の特異な点に投影される。この逆も同様である。本例において、焦点ＯRは虚像
面ＩｍｇＬの像点ＥLに投影され、焦点ＯLは虚像面ＩｍｇＲの像点ＥRに投影される。像
点ＥLおよびＥRはエピポールまたはエピポール点と呼ばれる。各エピポールおよび各エピ
ポールがそこから投影される焦点は１本の線、すなわち線３１上にある。
【００５２】
焦点のＯLから点ＰOまでの線２７は、虚像面ＩｍｇＬにおいて単一の点ＰLとして見え
る。その理由は、点ＰOは、焦点ＯLのちょうど前方にあるからである。これは、図２の画
像１５において、小さい方の球体２１が大きい方の球体１９の前方に見えるのと同様であ
る。ただし、焦点ＯRからは、ＯLから点ＰOまでの同じ線２７が像点ＥRから点ＰRまでの
変位線３３として見える。これは、図２の画像１７において、小さい方の球体２１が大き
い方の球体１９の側方に変位されたように見えるのと同様である。この変位線３３はエピ
ポーラ線と呼ばれることもある。逆に、焦点ＯRからは、線２９が虚像面ＩｍｇＲにおい
て単一の点ＰRとして見えるが、焦点ＯLからは線２９は虚像面ＩｍｇＬ上の変位線、すな
わちエピポーラ線、３５として見える。
【００５３】
したがって、エピポーラ幾何は、三角測量の基礎を成す。例えば、カメラＯRおよびＯL
の相対的な並進および回転が既知であるとすると、左側の虚像面ＩｍｇＬ上の投影点ＰL
が既知である場合、右側の虚像面ＩｍｇＲ上のエピポーラ線３３はエピポーラ幾何によっ
て分かる。更に、点ＰOは、この特定のエピポーラ線３３上にある、右側の虚像面Ｉｍｇ
Ｒ上の点ＰRに投影されるはずである。基本的に、１つの像面において観察される各点に
ついて、同じ点が別の像面では既知のエピポーラ線上に観察されるはずである。これは、
それぞれ異なる像面上の対応する像点が満たすべきエピポーラ拘束を規定する。
【００５４】
別のエピポーラ拘束が以下のように規定され得る。投影点ＰLおよびＰRが既知であれば
、それぞれの対応する投影線２７および２９も既知である。更に、投影点ＰLおよびＰRが
同じ３Ｄ点ＰOに対応する場合、それぞれの投影線２７および２９は正確に３Ｄ点ＰOにお
いて交差するはずである。これは、３Ｄ点ＰOの三次元位置を２つの投影点ＰLおよびＰR
の２Ｄ座標から計算できることを意味する。このプロセスは、三角測量と呼ばれる。
【００５５】
エピポーラ幾何もホモグラフィ、すなわち射影変換、の基礎を成す。ホモグラフィは、
観察者の視点が変化すると被観察オブジェクトの知覚される位置に何が起こるかを記述す
る。この一例が図４に示されている。この図では、２つの異なる視点Ｖ１およびＶ２から
正方形１２をそれぞれ見たときに、正方形１２の形状がゆがみ、２つの像投影１４および
１６として示されている。前と同様に、像面１４および１６は、そこを通して正方形１２
が眺められるウインドウと考えられ得る。
【００５６】
ホモグラフィは、像投影１４および１６と正方形１２の間で共通する複数の点を特定す
る（すなわち点のレジストレーション）。例えば、正方形１２の４つの角Ａ、Ｂ、Ｃ、お
よびＤは、像投影１４の点Ａ’、Ｂ’、Ｃ’、およびＤ’にそれぞれ対応し、像投影１６
の点Ａ”、Ｂ”、Ｃ”、およびＤ”にそれぞれ対応する。したがって、像投影１４の点Ａ
’、Ｂ’、Ｃ’、およびＤ’は像投影１６の点Ａ”、Ｂ”、Ｃ”、およびＤ”にそれぞれ
対応する。
【００５７】
ピンホールモデルが適用されると想定すると、エピポーラ幾何によってホモグラフィは
同じ平面の如何なる２つの画像でも空間内で関連付けることができる。これにより、画像
の修正、画像のレジストレーション、または２つの画像間のカメラの動き（回転および並
進）の計算が可能になる。推定されたホモグラフィ行列からカメラの回転および並進が抽
出されると、この情報をナビゲーションに、または３Ｄオブジェクトのモデルを画像また
は映像に挿入するために、使用し得るので、モデルは正しい遠近感でレンダリングされて
元のシーンの一部であったかのように見える。
【００５８】
例えば図５では、カメラ２２および２４は、立方体２６の３Ｄシーンをそれぞれ異なる
視点から撮像する。カメラ２２の視点から、立方体２６は２Ｄ画像２８に示されているよ
うに見える。カメラ２４の視点から、立方体２６は２Ｄ画像３０に示されているように見
える。ホモグラフィによって、複数の相関点を特定できる。その一部が、例示のために、
点線で示されている。これにより、両方の２Ｄ画像２８および３０を繋ぎ合わせて、画像
３２に示されているような３Ｄ画像を作成できる。したがって、複数の画像対の間の対応
を自動的に見つけることは、ステレオビジョンの分野における古典的な問題である。ただ
し、これには、複数の画像対における特徴点の特定、および複数の画像対における対応す
る特徴点のマッチングが不可欠である。
【００５９】
エピポーラ幾何およびホモグラフィなどのステレオビジョンについての上記考察は、特
にステレオ画像対に適用された場合、遠近感拘束と総称され得る。
【００６０】
これらは遠近感（すなわち３Ｄ）情報の確立に用いられるため、特徴に基づく対応マッ
チングアルゴリズムは、コンピュータービジョンにおいて広範な用途がある。特徴に基づ
く対応マッチングアルゴリズムの例として、ＧＬＯＨ（Ｇｒａｄｉｅｎｔ  Ｌｏｃａｔｉ
ｏｎａｎｄ  Ｏｒｉｅｎｔａｔｉｏｎ  Ｈｉｓｔｏｇｒａｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅ
ｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａ
ｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ）、およびＡＳＩＦＴ（Ａｆｆｉｎｅ  ＳＩ
ＦＴ）が挙げられる。各特徴抽出アルゴリズムは、それぞれ長所および短所を有する。例
えば、ＳＩＦＴとＡＳＩＦＴとは、エッジ点をそれぞれの解析から意図的に排除するので
、エッジ検出にはあまり適していない。本願明細書においては、例示のために、ＳＩＦＴ
に基づくアルゴリズムについて述べる。
【００６１】
当該技術分野において公知のように、ＳＩＦＴアルゴリズムは、画像をスキャンし、複
数の重要点、すなわち特徴点（個々の画素でもよい）、を特定し、これら特徴点を（一般
には、取り囲んでいるウインドウ内の隣接画素に対して）十分に記述するので、同じ特徴
点（または画素）が別の画像内で個々に特定され得る。ＳＩＦＴ変換の説明は、参照によ
りその内容全体を本願明細書に組み込むものとするＬｏｗｅへの米国特許第６，７１１，
２９３号に提供されている。基本的に、ＳＩＦＴは、特定のオブジェクトに特有の特徴点
を特定するために、訓練用画像のライブラリーを用いる。当該オブジェクトに特有の特徴
点（例えば画素）のライブラリーが特定されると、これら特徴点を用いることによって当
該オブジェクトのインスタンスが新たに受像されたテスト画像内にあるかどうかを判定で
きる。
【００６２】
主として、特定のオブジェクトの「特徴の記述」を提供するために、当該オブジェクト
の特徴点（すなわち重要点）が抽出される。次に、複数の訓練用画像から抽出されたこの
記述を用いて、多くのオブジェクト種別を含むテスト画像内で特定のオブジェクトを特定
できる。確実な認識を行うには、訓練用画像から抽出された各特徴が画像の縮尺比、ノイ
ズ、照明、および回転が変化していても検出可能であることが望ましい。特徴点は、通常
、画像の高コントラスト領域の近くにある。ただし、オブジェクトのゆがみは（特徴点が
当該オブジェクトの関着部または可撓部にある場合など）その隣接画素に対する特徴点の
記述を変え得るので、オブジェクトの内部形状の変化は誤差を導入し得る。これら誤差を
相殺するために、ＳＩＦＴは、一般に、多数の特徴点を検出して使用するので、これら局
所的変動に起因する誤差の影響が低減され得る。
【００６３】
ＳＩＦＴの一般的用途においては、最初に、オブジェクトの特徴点が訓練用画像セット
から抽出されてデータベースに保存される。新しい画像（すなわちテスト画像）内でオブ
ジェクトを認識するには、この新しい画像から抽出された各特徴点をこのデータベース内
の特徴点と個々に比較し、それぞれの特徴点ベクトルのユークリッド距離に基づき、マッ
チする特徴候補を見つける。良好なマッチを選び出すために、フルセットのマッチから、
この新しい画像内のオブジェクトとその位置、縮尺比、および向きに合致する特徴点のサ
ブセットが特定される。次に、矛盾のない良好なマッチのクラスターが特定される。一般
には、次に、オブジェクトとその姿勢が合致する３つ以上の特徴から成る各クラスターが
更なる詳細なモデル検査にかけられ、その後に、外れた特徴が廃棄される。最後に、フィ
ット精度と発生し得るミスマッチの数とを考慮して、特定の特徴セットが特定のオブジェ
クトの存在を示す確率が計算される。これらテストに全て合格したオブジェクトのマッチ
を正しいマッチとして特定できる。
【００６４】
画像内の特徴点のＳＩＦＴ判定の一例が図６に示されている。最初に、画像８Ａに黒点
で示されているように、可能性のある特徴点が特定される。次に、画像８Ｂに示されてい
るように、可能性のある特徴点のうち、低コントラストの特徴点が廃棄される。最後に、
可能性のある特徴点のうち、エッジ上にある特徴点が除去される。これにより、画像８Ｃ
に示されている最終的な特徴点セットが残る。
【００６５】
したがって、ＳＩＦＴでは、１つの画像内で特定されたオブジェクトの複数の特徴点を
別の画像にマッチさせることができる。これは、図７に示されている。この図には、同じ
オブジェクト、すなわち幸せそうな顔、の３つの画像が示されている。説明のために、両
眼および口角に近い点に相当する４つの特徴点のみが示されている。図７に示されている
ように、ＳＩＦＴでは、縮尺比の変化に拘らず、第１の顔面３６の特徴点を第２の顔面３
７にマッチさせることができる。更に、ＳＩＦＴでは、回転に拘らず、第１の顔面３６の
特徴点を第３の顔面３８にマッチさせることができる。ただし、ＳＩＦＴは、画像のアフ
ィン変換に対する耐性が限られていることが見出されている。すなわち、ＳＩＦＴは、撮
像されたオブジェクトが受け得る、依然として特定可能な、写角の変化量に限定されてい
る。
【００６６】
アフィン変換をより良く扱うためにＳＩＦＴ変換を展開する方法が、参照によりその内
容全体を本願明細書に取り込むものとする、モレルら著「ＡＳＩＦＴ：Ａ  Ｎｅｗ  Ｆｒ
ａｍｅｗｏｒｋ  ｆｏｒ  Ｆｕｌｌｙ  Ａｆｆｉｎｅ  Ｉｎｖａｒｉａｎｔ  Ｉｍａｇｅ
Ｃｏｍｐａｒｉｓｏｎ（ＡＳＩＦＴ：完全にアフィン不変の画像の比較のための新フレ
ームワーク）」、ＳＩＡＭ  Ｊｏｕｒｎａｌ  ｏｎ  Ｉｍａｇｉｎｇ  Ｓｃｉｅｎｃｅｓ
、第２巻、第２号、２００９年、に記載されている。
【００６７】
図８を参照すると、ＡＳＩＦＴは、幸せそうな顔３９、４０、および４１で示されてい
るように、第１の顔面３６の特徴点をアフィン変換後の同じオブジェクトの表現により良
くマッチングできる。
【００６８】
ＡＳＩＦＴ変換の一適用例が図９に示されている。この例では、自由の女神の第１の写
角からの第１の画像９Ａの複数の特徴点が自由の女神の異なる写角からの、かつ異なる縮
尺比の、第２の画像９Ｂにマッチングされている。
【００６９】
ＳＩＦＴフィルター／アルゴリズム／モジュール／プロセッサーの特徴点抽出機能の簡
単な概要が図１０および図１１に示されている。図１０を参照すると、抽出された各特徴
点ＩＤ＿１（図５〜８に示されている特徴点など）が、ウインドウ、例えばＷｉｎｄｏｗ
＿１として表されている画素配列、内のいくつかのカテゴリー、すなわちいくつかの目立
つ特徴、に分類される一連のメトリックスによって記述されている。ウインドウ内の中心
点（すなわち、中心画素）は、そのウインドウの特徴点として識別され得る。望ましけれ
ば、素早く参照できるように、各特徴点に識別コードＩＤが割り当てられる。例えば、特
徴点ＩＤ１＿１は、画像「ＩＤ１」から抽出された特徴点番号「１」として特徴点を識別
し得る。
【００７０】
観察された各メトリックスは、対応するヒストグラムに配置され、特徴ウインドウごと
に複数のヒストグラムが作成される。その結果、一般的なＳＩＦＴ処理アルゴリズムは一
連の、すなわち１セットの、ＳＩＦＴヒストグラム６６を作成し、各ヒストグラムセット
は個々の特徴点を一括記述する（すなわち、ＳＩＦＴ記述子）。各ＳＩＦＴヒストグラム
は、処理中の画像内の特徴点を取り囲むその近傍の画素（または画素ウインドウ）に対し
て当該特徴点の目立つ特徴を統計的に記述する（すなわち、要素記述子）。
【００７１】
次に、一連のＳＩＦＴヒストグラム６６は単一のベクトル６８にまとめられ（または別
様に組み合わされ）て、１つの特徴点を規定する。すなわち、各ベクトル６８は、画像内
の個々の画素（または特徴点）を識別するために十分なデータを提供する。したがって、
各ベクトル６８は、単一の要素記述子（すなわち、特徴点または特有の特徴または（特徴
）画素）を記述し、一般に１２８個の記述データから成る。このように、各特徴点は、１
２８次元のベクトル６８によって特徴付けられる（すなわち、記述または識別される）。
【００７２】
図１１は、ｎ個の画像から抽出された複数の特徴点セットを示す。この図において、こ
れら画像はＩＤ１〜ＩＤｎとして識別されている。各画像は、個々に識別された（円とし
て示されている）特徴点セットを１つ有するものとして示されている。例えば、ｉ個の特
徴点が画像ＩＤ１から抽出され、ＩＤ１＿１〜ＩＤ１＿ｉとラベル付けされている。同様
に、ｐ個の特徴点が画像ＩＤｎから抽出され、ＩＤｎ＿１〜ＩＤｎ＿ｐとラベル付けされ
ている。各特徴点は、１２８次元のベクトル（すなわち、１２８個のデータセルを有する
ベクトル）である。次に、１つの画像から抽出された各特徴点は、他の複数の画像から抽
出された複数の特徴点にマッチングされ得る（すなわち、これら特徴点とのマッチを見つ
けるために比較され得る）。
【００７３】
上記の特徴点は、ステレオ画像対内の対応する点を識別するために使用され得るが、上
記処理の大部分は、ステレオ画像撮像システムの各カメラを適正にキャリブレーションす
ることによって極力減らし得る、または排除し得る。
【００７４】
上で説明したように、本発明は、頭部装着型ディスプレイ（ＨＭＤ）に関する。説明の
ために、例示的ＨＭＤ５０が図１２に示されている。本例において、ＨＭＤ５０は、眼鏡
と同様の形状を有するものとして示されており、眼鏡と同様に装着され得る。あらゆる計
算資源をＨＭＤ５０に組み込み得るが、あるいは、ＨＭＤ５０と補助制御ユニット５３ま
たは何れか他の遠隔計算資源、例えばパソコン、サーバーなどとの間で計算資源を分けて
もよい。望ましければ、補助制御ユニット５３は、ＨＭＤ５０を制御するためのユーザー
インターフェイスを提供し得る。あるいは、あらゆるユーザーインターフェイス制御子を
ＨＭＤ５０に組み込み得る。
【００７５】
ＨＭＤ５０は、仮想的な３Ｄオブジェクトを表示するステレオ画像対の左右の画像を提
供するために連携する右側の光学式シースルーディスプレイユニット５１と左側の光学式
シースルーディスプレイユニット５２とを含むことが好ましい。本ケースでは、ユーザー
は、３Ｄ仮想オブジェクトの左右の表示画像の両方を見ると共に、左右のディスプレイユ
ニット５１および５２を通して外側のシーンも見ることになろう。すなわち、左右のディ
スプレイユニット５１および５２の、仮想オブジェクトが積極的に表示されない領域を透
明にできる。望ましければ、ユーザーが表示されている仮想オブジェクトを通して随意に
見ることができるように、表示される仮想オブジェクトに所望レベルの透明度を与えるこ
ともできる。左右の光学式シースルーディスプレイユニット５１および５２は、像投影、
透明なＯＬＥＤまたはＬＣＤディスプレイ、または当該技術分野において公知の何れか他
の種類の透明表示手段によって画像を提供し得る。
【００７６】
本例において、ＨＭＤ５０は、音声情報をユーザーに提供するために、右側イヤホン５
１ｂと左側イヤホン５２ｂとを含む。好ましくは、右側の光学式シースルーディスプレイ
ユニット５１は一体化された右側の表示駆動部５１ａによって制御され、左側の光学式シ
ースルーディスプレイユニット５２は、一体化された左側の表示駆動部５２ａによって制
御される。
【００７７】
本例において、ＨＭＤ５０は、左右の光学式シースルーディスプレイユニット５１およ
び５２に対する、および所定の世界座標に対する、位置と姿勢が既知である一体型カメラ
５４を１つ有する。ただし、ステレオ画像対を撮像し、その周囲の実シーンの３Ｄ情報を
得るために、ＨＭＤ５０に２つのカメラを含めることも随意であることを理解されたい。
あるいは、ＨＭＤ５０は、周囲のシーンの３Ｄ情報を取り込むための何れか他の公知の３
Ｄ撮像システム（すなわち３Ｄ情報捕捉装置）例えば、３Ｄレーザースキャナー、マイク
ロソフト社のＫＩＮＥＣＴ（登録商標）センサー、レンジカメラ、または多くのさまざま
な種類の飛行時間型装置のうちの何れか、を組み込み得る。あるいは、１つ以上の３Ｄ情
報捕捉装置を周囲のシーン全体に分散させ、それぞれが取り込んだ３Ｄ情報をＨＭＤ５０
および／または補助制御ユニット５３に伝送、または別様に伝達、し得る。
【００７８】
例示的ＨＭＤの更なる説明は、参照によりその内容全体を本願明細書に組み込むものと
する、本願と同一の譲受人に譲渡された米国特許第２０１３／０２３４９１４号に提供さ
れている。
【００７９】
次に、眼−ＨＭＤシステムにおいてステレオ画像を作成するために現時点で好適な左右
のビューの使用に戻ると、第１のステップでは、ＨＭＤシステムがユーザーに提供する左
右のビューのキャリブレーションを行う。仮想的な光学式シースルー（ＯＳＴ）頭部装着
型ディスプレイ（ＨＭＤ）の左右のビューのステレオキャリブレーション方法は、世界座
標系（すなわち、全てのローカル座標系の基準となり得るグローバル座標系）における基
準オブジェクトの３Ｄ座標のモデル化と、左右のＯＳＴ  ＨＭＤ投影画像における仮想オ
ブジェクトの２Ｄ位置との間の３Ｄ−２Ｄ点対応を規定する左右のキャリブレーション行
列のモデル化とから成る。固有および外部パラメーターは、別々に考慮され、固有および
外部パラメーターのためにそれぞれ別のキャリブレーション行列を有し得ることが好まし
い。
【００８０】
３Ｄ仮想オブジェクトの左右の２Ｄ画像の表示（すなわち立体投影）の結果としての仮
想オブジェクトの３Ｄ姿勢は世界座標系において（例えば、実３Ｄ基準オブジェクトへの
３Ｄ繋止によって）既知であると想定する。頭部追尾装置の座標系における（実）基準オ
ブジェクトの３Ｄ姿勢も同様に既知であると想定する。これは、追尾装置によって記録さ
れたデータを処理することによって推定され得る。平均的な頭部モデル（すなわち平均的
な人間ユーザーの頭部）の左右の眼に対する追尾装置の姿勢（例えば、並進および回転）
を含む幾何情報は、各眼の外部キャリブレーション行列に直接組み込まれる。固有パラメ
ーターは、２つのＨＭＤディスプレイに対する平均的な頭部モデルの両眼の位置、この２
つの眼から虚像面までの距離、投影画像のサイズおよび解像度に関する情報を考慮して規
定される（画像の傾きは無視できると想定）。これにより、左右の眼の各々に対するデフ
ォルトのキャリブレーション行列が提供される。
【００８１】
カスタマイズプロセスでは、キャリブレーションパラメーターを所望の精度に調整する
機会が個々のユーザーに提供される。標準的な精度レベルを適用する場合、カスタマイズ
プロセスは、ユーザーの瞳孔間距離、（好ましくは観察される）オブジェクトのサイズ、
およびマーカー座標系における仮想オブジェクトの位置（並進および／または回転）の調
整から成る。焦点距離のキャリブレーション後、瞳孔間距離のキャリブレーションを仮想
オブジェクトの奥行のキャリブレーションに直接関連付けることができるので、仮想オブ
ジェクトの位置キャリブレーションの一環として暗黙で実施可能である。このカスタマイ
ズプロセスの結果は、関連するデフォルトの固有および外部キャリブレーション行列の更
新に用いられる。その結果、これら行列は、実３Ｄ基準オブジェクトへの３Ｄ仮想オブジ
ェクトの繋止に用いられる。このキャリブレーション手順は、高速、簡単、かつユーザー
フレンドリである。
【００８２】
現時点で好適な実施形態は、視覚による頭部追尾用のカメラが搭載されたＯＳＴ  ＨＭ
Ｄである。ただし、本キャリブレーション方法は、予め指定された世界座標系における姿
勢が既知である他の何れの追尾センサーの場合にも完全に適用可能である。それにも拘ら
ず、キャリブレーション方法の複雑さは、使用される拡張現実システムの特徴に応じて異
なり得る。更に、現時点で好適な実施形態は、ステレオＯＳＴ  ＨＭＤキャリブレーショ
ンを用いるが、本発明は、単眼および２Ｄ視ＯＳＴ  ＨＭＤキャリブレーション用に変更
してキャリブレーション手順を減らすことも簡単であることを理解されたい。
【００８３】
要するに、本発明は、人間ユーザーの両眼と光学式シースルー（ＯＳＴ）頭部装着型（
ＨＭＤ）ディスプレイとから構成される光学システムのステレオキャリブレーションに関
する。キャリブレーション結果は、仮想３Ｄオブジェクトを実環境（すなわち実シーン）
に繋止し、それぞれのビューを拡張現実（ＡＲ）システムのフレームワーク内で知覚的に
融合するために用いられる。
【００８４】
キャリブレーションは、平均的な頭部モデルに関連付けられた左右の両仮想カメラのた
めの眼−ＯＳＴ  ＨＭＤ複合システム（以下の説明においては「仮想カメラ」と呼称）の
固有および外部パラメーターの指定に基づき、更には個々のユーザーのためのパラメータ
ーの調整に基づく。
【００８５】
好適な実施形態において、ＯＳＴ  ＨＭＤは、視覚による頭部追尾用に搭載されたカメ
ラを具備する。ただし、この好適なキャリブレーション方法は、予め指定された世界座標
系における姿勢が既知である他の何れの追尾センサー（単数または複数）にも完全に適用
可能である。それにも拘らず、キャリブレーション方法の複雑さは、使用される拡張現実
システムの特徴に応じて異なり得る。
【００８６】
キャリブレーションには、例えば図１３〜１５に示されているように、ＨＭＤの形状寸
法、左右のＨＭＤディスプレイに対する追尾センサーの相対位置、各ＨＭＤ画面に対する
平均的な頭部モデルの両眼の位置、（左右の）仮想カメラのそれぞれの焦点から像面まで
の距離、および投影画像のサイズおよび解像度に関して利用可能な情報が用いられる。
【００８７】
図１３は、本発明の好適な一実施形態によるＨＭＤの外部パラメーターおよび固有パラ
メーターの一部を示す。外部パラメーターに関しては、左右のＨＭＤ画面１０１および１
０３は既知の位置に位置付けられている。上で説明したように、少なくとも１つの実カメ
ラがＨＭＤに搭載されている。この実カメラは、ユーザーの両眼によって眺められる仮想
オブジェクトを描写する仮想カメラに関連付けられる。
【００８８】
図１４を参照すると、これは、これら仮想カメラは理想的にはユーザーの眼１０５およ
び１０７の位置に配置されることを意味する。図１４において、ＨＭＤ画面１０１および
１０３は、ユーザーの眼１０５および１０７のちょうど前方に示されている。この説明の
ために、眼１０５および１０７は仮想カメラを表していると考えられてもよい。その理由
は、これらカメラは、理想的にはユーザーが見るはずの仮想オブジェクトを「見る」こと
になるからである。したがって、図１４は、２つの重なり合う虚像面１０９および１１１
も示す。（左右の眼１０７および１０５によって表されている）左右の仮想カメラの左側
ＨＭＤの光軸１１２および右側ＨＭＤの光軸１１４もそれぞれ示されている。仮想カメラ
からその対応する虚像面までの焦点距離１１３は、カメラの固有パラメーターとして示さ
れているが、以下に説明するように、ユーザーはこの焦点距離を調節し得るので、各虚像
面１０９および１１１の位置を調整し得る。
【００８９】
図１５は、例えば左右のＨＭＤ画面１０３および１０１を通して見た、左右の画像１０
３ａおよび１０１ａを示す。これら２つの画像は、上で説明したように、ステレオ画像対
を構成することになる。理想的には、左右の画像１０３ａおよび１０１ａは、図１４の真
ん中に示されているように、仮想オブジェクトを実オブジェクトに重ね合わせることによ
って、対応する実物理オブジェクト１１７に繋止された仮想オブジェクトの画像（それぞ
れ１１７ａおよび１１７ｂ）である。
【００９０】
図１４を参照すると、投影された仮想オブジェクト１１７ａ／１１７ｂの実オブジェク
ト１１７上への重ね合わせは、光軸１１６および１１８を実オブジェクト１１７の中心で
交差（すなわち収束）させることによって表されている。実オブジェクト１１７上への仮
想カメラ（すなわち仮想オブジェクト１１７ａおよび１１７ｂ）の知覚画像の調整をユー
ザーに行わせることによって、ＨＭＤシステムは、以下により詳細に説明するように、実
オブジェクト１１７までの距離および他のパラメーターを決定できる。
【００９１】
図１３に戻ると、正方形１１５は、ＨＭＤの実カメラの位置および姿勢情報を仮想カメ
ラに変換するための並進ベクトルの使用を示す。図１３には、ユーザーの瞳孔間の瞳孔間
距離１２０も示されている。上で説明したように、ＨＭＤはモデル頭部に基づく初期瞳孔
間距離を想定するが、個々のユーザーはこの初期瞳孔間距離を任意に調整し得るので、Ｈ
ＭＤの固有パラメーターを調整し得る。図示されている別の固有パラメーターは、左右の
画面１０３および１０１間の距離、ならびに画面のサイズおよび解像度である。
【００９２】
カスタマイズプロセスは、精度の調整を可能にし得るので、ユーザーフレンドリである
。ユーザー対話が極力減らされ、好ましくは（全体で１２の）パラメーターのうち５つの
みの調整に減らされる。すなわち、２つの固有パラメーターと３つの外部パラメーターで
ある。２つの固有パラメーターは、焦点距離と瞳孔間距離（ＩＰＤ）である。３つの外部
パラメーターは、ｘ並進、ｙ並進、およびｚ並進である。ここでｘおよびｙは、ＨＭＤ画
面の主方向に平行な（例えば、ＨＭＤ画面の平面に平行な）方向を示し、ｚはＨＭＤ画面
に垂直である。好ましくは、２つの仮想カメラの各主点（すなわち、光軸と像面との交差
）の変化は、虚像面における絶対画像座標は不変であるとの想定のもとに、２つの仮想カ
メラの面内並進パラメーターの変化に比例して、内部的に更新される。
【００９３】
標準的な目標精度を適用する場合、回転誤差は小さいと想定され、並進誤差の修正によ
って最小化可能である。
【００９４】
両仮想カメラのステレオキャリブレーション方法は、システムの幾何学的特性を直接用
いて左右の仮想カメラのデフォルトのキャリブレーション行列を規定することと、個々の
ユーザーに望ましい精度に達するまでこれら行列を同時にカスタマイズすることとから成
る。以下の説明のいくつかの部分は単一の仮想カメラに言及しているが、同様の説明はス
テレオ撮像システムの２つの仮想カメラの各々にも当てはまること（すなわちステレオキ
ャリブレーション）を理解されたい。
【００９５】
図１３〜１５を参照すると、左／右側の仮想カメラのデフォルトのキャリブレーション
行列が以下の２つのポイントとして規定される。
【００９６】
１．固有キャリブレーションパラメーターについては、ピンホール型仮想カメラモデル
が想定される。焦点距離は、（左右の）仮想カメラのそれぞれの焦点から像面までの距離
に等しくなるべく設定される。主像点の座標（または画像主点座標）は、投影画像のサイ
ズおよび解像度を基準として、両眼から像面までの法線（すなわち垂直方向）の交差点に
設定される。画素密度は、投影画像の解像度とそれぞれの画像サイズの比率として与えら
れる。
【００９７】
２．外部キャリブレーションパラメーターについては、並進および回転パラメーターは
、追尾センサーの座標系における各仮想カメラのそれぞれの並進ベクトルおよび回転行列
に設定される。
【００９８】
デフォルトのキャリブレーション行列のカスタマイズは、以下の３つの要素を含む。
【００９９】
１．既知のＩＰＤ値の入力および調整、またはモデルベースラインパラメーターの精測
によるＩＰＤの手動調整。
【０１００】
２．焦点距離パラメーターを単眼視で（例えば、２つのステレオカメラの一方のみを用
いて、すなわち一方の眼のみを用いて）操作することによって仮想オブジェクトのサイズ
を調整する。
【０１０１】
３．左右の眼に対して同時に、基準座標系においてｘ、ｙ、およびｚ方向の中心に仮想
オブジェクトを位置付ける。この基準座標系は、好ましくは、追尾センサーの座標系との
関係が既知である、および仮想カメラの座標系、追尾装置の座標系、基準３Ｄオブジェク
トの座標系など、使用される他のあらゆるローカル座標系との関係が既知である、任意の
座標系、あるいは追尾装置の座標系への変換が既知である事前に規定された座標系である
。
【０１０２】
基準（繋止用）オブジェクトの位置は、追尾センサーからリアルタイムで得られるデー
タの処理を通じて分かる。視覚追尾の場合、世界座標系は一般には基準３Ｄまたは２Ｄオ
ブジェクト（例えば、マーカー）に結合され、基準オブジェクトに対する頭部の姿勢が追
尾される。
【０１０３】
好適な実施形態の以下の説明は、ステレオＯＳＴ  ＨＭＤのキャリブレーションを想定
しているが、本方法を変更して単眼および２Ｄ視ＯＳＴ  ＨＭＤのキャリブレーション用
にキャリブレーション手順を減らすことは簡単である。
【０１０４】
次に、図１３〜１５を参照して、本発明の好適な一方法を説明する。この数学モデルは
、ＯＳＴ  ＨＭＤとユーザーとで構成されるシステムに関して利用可能な幾何学的情報を
使用する。これらの図は、キャリブレーションパラメーターと両眼＋ＯＳＴ  ＨＭＤシス
テムの直接的な幾何学的測定値（すなわち幾何パラメーター）との間の関係を示す。図示
されているカメラ１１５（またはより全般的には、何れか所与の追尾センサー）はＨＭＤ
の右側に配置されているが、一般には、カメラ１１５の位置はＨＭＤフレーム上の何れか
一般的な位置でよい。
【０１０５】
図１６は、ＡＲシステムの一般化された概観を示す。目標は、世界座標系を仮想カメラ
（両眼＋ＯＳＴ  ＨＭＤ）の座標系にマッピングすることである。後者の実現は実際には
難しいこともあるので、この変換は、頭部追尾システム（モーションセンサー１２１）の
助けによって、２つに解析されることが好ましい。世界座標はセンサーの座標系にマッピ
ングされ、そこで仮想カメラ座標系へのモーションセンサー１２１のマッピングが行われ
る。
【０１０６】
現時点で好適な実施形態は、ＡＲコンテキストにおいて従来技術の大半のＯＳＴ  ＨＭ
Ｄキャリブレーション方法とは異なるキャリブレーション方法を用いる。一般に行われて
いるように点対応を収集する代わりに、好適な実施形態では、デフォルトのキャリブレー
ション行列を規定するために、ＯＳＴ  ＨＭＤとＨＭＤユーザーとから構成されるシステ
ムの直接的な幾何学的測定値を使用する。次に、個々のユーザーはカスタマイズプロセス
に進む。このプロセスでは、左右の２Ｄステレオ画像対の形成に関与する個々のキャリブ
レーションパラメーターを直接操作することによって仮想および実３Ｄオブジェクトを知
覚的に位置合わせする。それにも拘らず、この方法では、ユーザー対話が依然として極力
減らされる。
【０１０７】
強調すべき点は、この方法は、ランドマーク点の使用を回避し、ひいては点ごとの位置
合わせ個々のランドマーク点を一切回避する（例えば、点対応を回避する）ことである。
現時点で好適な実施形態においては、ユーザー対話、ひいてはユーザーのミス、が極力減
らされる。その理由は、ユーザーが仮想オブジェクトと実基準オブジェクトとを位置合わ
せするために如何なる点も物理的に移動させないからである。代わりに、より少ない数の
キャリブレーションパラメーターの段階的変更によってもたらされる仮想オブジェクトの
段階的に異なる姿勢をユーザーに選択させる。したがって、ユーザーによる正しい点位置
の指し間違い、ならびにユーザーの動きの追尾エラーが完全に回避される。
【０１０８】
本方法は、ユーザーとＨＭＤとの間の対話を更に減らす。本アプローチにおいて、ユー
ザーは少数のキャリブレーションパラメーターを個々に差分的な段階的ステップで見直し
て最適なパラメーターセットを選択するだけでよい。差分的な段階的ステップでは、完全
な仮想オブジェクト（すなわち全体）のそれぞれ異なる表現がもたらされる。
【０１０９】
本キャリブレーション手順を更に簡略化するために、以下に挙げるいくつかの想定に従
うことによって、ユーザーが変更できるキャリブレーションパラメーターの数が減る。同
時に、他のキャリブレーションパラメーターの影響を相殺可能なパラメーター（例えば、
以下に説明するように、小さな回転を相殺できる並進パラメーター）が保持される。本手
順は、更に、さまざまなパラメーターの最適化を適正に順序付け、さまざまなパラメータ
ーにわたる繰り返しを回避するべく意図されている。
【０１１０】
本実施形態は、更に、３Ｄ姿勢の差分をパラメーターベクトルの差分にリンクする動的
／機械的等式を解く結果として発生し得る数値誤差の導入を回避する。
【０１１１】
本キャリブレーション手順をユーザーのために更に簡略化するために、本システムでは
、どの座標系で作業するかをユーザーに選択させる。
【０１１２】
要するに、デフォルトのキャリブレーション行列を規定するためにデータ点の収集に依
存する従来技術のキャリブレーション方法と異なり、本方法は、システムの直接的な幾何
情報を使用するので、データ収集は不要である。更に、デフォルトのキャリブレーション
行列を規定するために代数または数的解法を使用する以前のキャリブレーション方法と異
なり、本方法はこのステップを完全に回避する。本方法は、カスタマイズステップでのみ
ユーザー対話を必要とし、ひいては段階的選択肢の固定セットから最も視覚的に満足でき
るキャリブレーションセットを選択するための最小限のユーザー対話のみを必要とする。
一方、以前のキャリブレーション方法は、個々のデータ点を操作するために、膨大なユー
ザー対話と手間を必要とした。更に、決められた座標系で作業していた前のキャリブレー
ション精緻化方法とは異なり、現時点で好適な実施形態は、どの座標系で作業するかをユ
ーザーに選択させる（視覚による頭部追尾には、マーカー座標系がデフォルトで選択され
る）。
【０１１３】
好適な実施形態の基本的なキャリブレーション手順は、システムの１１個の想定ポイン
ト、すなわち特徴、を想定する。本発明の一目的は、基本的なキャリブレーション手順が
標準的な適用精度の要件を満たすことである。所望の精度レベルを維持しながら、キャリ
ブレーションプロセスを簡略化し、ユーザー対話を極力減らすために、以下の想定（すな
わちポイント）が成される。
【０１１４】
１．図１７に示されているように、（左右のＯＳＴ  ＨＭＤ−眼システム）のピンホー
ルモデルの仮想カメラが想定される（すなわち使用される）。
【０１１５】
２．仮想カメラの主像点は、ユーザーの瞳孔からの直接垂直投影点にある。両視軸は平
行であると想定される。
【０１１６】
３．仮想カメラの焦点距離は、左右両眼に対して同じであると想定される。
【０１１７】
４．焦点距離が単眼視で（すなわち、一度に一方の眼でシーンを眺めて）適正に調節さ
れているとき、オブジェクトのサイズは正しい。すなわち、図１８に示されているように
、焦点距離がピンホールモデルの仮想カメラ用に適合（例えば調節）されていないと、（
単眼視された）マーカー平面における仮想オブジェクトの知覚されるサイズは正しくない
。図１８において、濃色の鉛直バー（すなわち、濃い方の色）は正確に推定された焦点距
離およびオブジェクト／画像サイズに相当し、明色の鉛直バー（すなわち、明るい方の色
）は不正確に推定された焦点距離およびオブジェクト／画像サイズに相当する。図示され
ているように、仮想オブジェクトからＨＭＤまでの仮想距離は、調節後の焦点距離から得
られ得る。
【０１１８】
５．焦点距離が適正に調節されている場合、ユーザーが正しい奥行に焦点を合わせてい
るとき、左右の眼に対する仮想オブジェクトの両方の単眼視ビュー（すなわち、各眼が別
々に、すなわち一度に１つ、使用されたときのビュー）が重なり合うと、瞳孔間距離（Ｉ
ＰＤ）は調節されていると想定される。例えば、図１９は、左右の単眼視ビューの焦点が
合っており、互いに重なっていることを示す。本例においては、知覚された仮想オブジェ
クトは実基準オブジェクト１１７に重なると想定される。対照的に、図２０は、右眼で知
覚された仮想オブジェクト１１７ｂが左眼で知覚された別の仮想オブジェクト１１７ａに
重ならず、ひいてはＩＰＤが正しくなく（焦点距離は既に正しく設定されているとして想
定）、更なる調節が必要である場合を示す。このように、ユーザーは自身の正しいＩＰＤ
を容易に決定し得る。
【０１１９】
６．アスペクト比は、ＨＭＤ光学によって求められたとき、複数の異なるユーザー間で
一定であると想定される（１６：９）。
【０１２０】
７．回転誤差は小さいと想定され、図２１に示されているように、並進誤差の修正によ
って相殺可能である。
【０１２１】
８．画像の傾きはゼロと想定される。
【０１２２】
９．センサー１２１は、図１６に示されているように、ゴーグルなどのＨＭＤフレーム
に固定的に取り付けられる。
【０１２３】
１０．上記のポイント２および７は、左右のキャリブレーション行列の間の唯一の差は
瞳孔間距離によることを暗に意味する。したがって、中心に位置する平均的な頭部モデル
の場合、主画像点は、左右の仮想カメラについて、それぞれの虚像面において同じである
と想定される。
【０１２４】
１１．ポイント２に述べられているように、ピンホール型カメラモデルと視軸に垂直に
配置される固定された虚像面とは、図１７に示されているように、左右の眼の視軸が平行
であることを暗に意味する。したがって、計算される視差は、図２２に示されているよう
に、専ら所与のＩＰＤによるものである。
【０１２５】
より高い精度の用途の場合、想定３、６、および７を緩和でき、ユーザーが有利と考え
る場合、より豊富な調整可能パラメーターセットがユーザーに提供され得る。ただし、こ
のオプションはより経験豊富なＯＳＴ  ＨＭＤユーザーを必要とし、利点が投入した手間
の増加を上回らないこともあり得るので、可能性のある利点を最初に調べる必要があるこ
とに留意されたい。
【０１２６】
キャリブレーション行列を構成する変数の知識が完全であっても、キャリブレーション
結果が完全でないこともあり、一般には完全ではない。これは、ピンホール型仮想カメラ
モデルの想定の結果であるが、以下に更に説明するように、拡張現実におけるいくつかの
知覚の問題の所産でもある。
【０１２７】
次に、キャリブレーションのカスタマイズ用の座標系の選択について説明する。初めに
、各キャリブレーション行列は、追尾カメラ座標系で規定される。（本方法は視覚追尾を
備えたＯＳＴ  ＨＭＤシステムについて示されているが、本方法は他の如何なる種類の追
尾方法にも、または複数の追尾方法の組み合わせを利用するＯＳＴ  ＨＭＤシステムにも
容易に展開可能であることを思い出されたい。）この座標系は、オブジェクトの操作のた
めの自然座標系ではない。その理由は、人間の両眼は、図２３に示されているように、そ
れぞれ固有の座標系の観点から世界を眺めるからである。したがって、仮想および実オブ
ジェクトのビューの知覚による位置合わせに依存するキャリブレーションを容易にするた
めに、好適な実施形態は、初期座標系を実カメラ座標系から仮想カメラ座標系に変換する
。次に、関連するキャリブレーションパラメーターが仮想カメラ座標系において段階的に
変更される。
【０１２８】
ビューを仮想カメラ座標系に変換した後でも、ユーザーはこの座標系が事前に規定され
た基準座標系、例えば、（図２４に示されているように）ユーザーが仮想オブジェクトビ
ューを繋止したい基準３Ｄ（または２Ｄ）オブジェクト（例えば、視覚追尾の場合に使用
されるマーカー）の座標系など、で作業するより直観的でないことを見出すかもしれない
。この目的を達成するために、好適な実施形態は、図２４に説明されているように一連の
変換を用いて、基準の繋止用実オブジェクトの座標軸を仮想カメラの座標系に変換し、繋
止用オブジェクトの座標系においてキャリブレーションを行う。同様に、本実施形態は、
固定世界座標系または追尾カメラの座標系への変換が既知である座標系であれば、ユーザ
ー指定の如何なる座標系でも使用できる。（同じ推測は、何れか所与の追尾装置または２
つ以上の追尾装置の組み合わせを使用するＯＳＴ  ＨＭＤシステムにも当てはまる。）
【０１２９】
次に、仮想カメラの差動運動の実現というトピックを説明する。
【０１３０】
何れか所与の座標系において運動の変換を成功させるために、好適な実施形態は、眼点
座標系のｘ、ｙ、およびｚ軸に沿った微小運動が如何にキャリブレーションパラメーター
に投影されるかを規定する。ｘ−ｙ平面における運動は、２つの仮想カメラ座標系（左お
よび右）のｘ−ｙ平面における並進パラメーターの変化に直接変換される。（ｚに沿った
）奥行における運動はＩＰＤの変化にマッピングされ、仮想カメラのｘ軸に沿った左右の
並進パラメーターの直接的な変化に反映される。
【０１３１】
図３１を参照すると、ΔＴx(y)は、外部並進パラメーターの微小変化を表す。ΔＸ（Ｙ
）は、眼点座標系におけるＸ（Ｙ）座標の微小変化である。ΔＺは、（眼点座標系におけ
る）奥行の微小変化を示す。下付き文字ｘおよびｙは、当該軸線を示す。下付き文字Ｌお
よびＲは、左右の仮想カメラをそれぞれ示す。等式（１）および（２）は、投影される虚
像面における絶対点位置が不変であるという想定の下で導き出される。
【０１３２】
ΔＴｘ（ｙ）の変化は、図３１の等式（３）に示されているように、画像主点Ｃ0ｘ（
ｙ）の変化を本質的に暗示する。ここで、Ｓｘ（ｙ）（ｐｘ／ｍｍ）は画素密度である。
【０１３３】
これら微小運動が規定されると、仮想カメラの座標系における座標軸の如何なる組み合
わせでも（図２４および等式（１）、（２）、および（３）に示されているように、およ
び選択された基準座標系における個々の座標軸に沿った微小変換の結果として）適正に計
算できる。
【０１３４】
次に、キャリブレーションパラメーターの理論値と真値との間の食い違いが処理される
。
【０１３５】
拡張現実における知覚的問題に関して、自然視では、人間の視覚系は奥行情報を推測す
るためにさまざまな奥行き手掛かりを用いる。したがって、実世界においては、互いに調
和して存在するさまざまな奥行き手掛かりによって正確な奥行き知覚が可能になる。これ
に対して、立体ディスプレイは、利用可能な奥行き手掛かりのサブセットしか提供できな
い。足りない、または未制御の、奥行き手掛かりは、奥行情報を欠くか、または誤った奥
行情報を提供することもあり、知覚をゆがませ得る。例えば、遠近調節（すなわち、一組
の調整）は、弱い奥行き手掛かりであったとしても、奥行およびサイズの両知覚を著しく
変化させることができる。像面を対物距離（一般には対物距離は腕を伸ばした距離に維持
されるが、好ましくは５ｍ）より遠くにすると、オブジェクトが像面のより近くに、した
がって、ユーザーからより遠くに、知覚される効果がある。この場合、最適なＩＰＤはユ
ーザーの真のＩＰＤより大きくなる。これは、キャリブレーションが最適に行われたＩＰ
Ｄが真のＩＰＤを超え得る理由の妥当と思われる説明である。同様に、実オブジェクトと
仮想オブジェクトとの間の遠近調節の不一致は、ユーザーを困惑させ得る。ユーザーは、
実オブジェクトが仮想オブジェクトのビューと同じ奥行に配置されている場合でも、仮想
オブジェクトを間違った奥行で知覚しうる。２つのオブジェクト間の遠近調節の差は、そ
れぞれ異なる奥行き手掛かりをもたらし得る。
【０１３６】
更に、人間の視覚系は、刺激の形状およびサイズに拘らず、７ｍｍの限界より細かい奥
行を見分けることができない。
【０１３７】
上記は、完全に設定されたデフォルトパラメーターであっても、正しく知覚されるキャ
リブレーションを実現するためにいくつかの微小調整が依然として必要であり得ることと
、奥行を見分ける人間の能力の限界のために完全なキャリブレーションは本質的に困難で
あることとを暗に意味する。
【０１３８】
キャリブレーションの範囲について、追尾機構から頭部位置が完全に復元されるという
想定の下で、ユーザーから実基準オブジェクトまでの距離に拘らず、距離／奥行範囲が異
なればキャリブレーション結果も異なり得る。更に、キャリブレーションパラメーターが
１つの奥行範囲について完全に精測されなかった場合、誤差はキャリブレーションされた
範囲から遠位にある奥行範囲において比例して増加しうる。
【０１３９】
奥行範囲に対するキャリブレーション結果の依存関係は、主に、前述の知覚の問題によ
る。別の理由は、複数の平行視軸を有するピンホールモデルの妨害である。このようなモ
デルでは、焦点距離および／または収束角度の小さな差がさまざまな奥行範囲において発
生し得る。
【０１４０】
短距離（３０〜４０ｃｍ）および中距離（７０〜８０ｃｍ）のどちらか一方のためのキ
ャリブレーションが完全に成功したとユーザーが報告する場合、短距離（３０〜４０ｃｍ
）テストおよび中距離（７０〜８０ｃｍ）テストでキャリブレーション結果が異なること
は一般に見出されない。更に、上記のため、好適な実施形態は、装置のキャリブレーショ
ンを特定の用途のための対物距離近辺にするようにユーザーを促す。あるいは、それぞれ
異なる距離範囲のためのキャリブレーションを平準化するために、小さな線形補正項を複
数使用し得る。
【０１４１】
次に、キャリブレーションプロトコルのトピックに移る。このセクションでは、頭部姿
勢の視覚追尾が使用されると想定する。ＡＲシステムに組み込まれる他の何れの追尾セン
サーについても、このプロトコルの変更は簡単である。デフォルトのキャリブレーション
行列は、システムの直接的な幾何学的測定値（すなわち幾何パラメーター）を用いて、規
定される。図２５、図２６Ａ、および図２６Ｂを参照すると、キャリブレーションのカス
タマイズ用プロトコルは、視覚追尾の場合、以下の８つのステップから成る。
【０１４２】
１．ユーザーはゴーグルを装着し、ユーザーの両眼のちょうど前方に、かつユーザーの
両眼に垂直に位置付ける。ゴーグルの正しい位置決めは、キャリブレーションの成功およ
びＡＲシステムの使用のために重要である。システムの直接的な幾何情報を用いて規定さ
れたデフォルトのキャリブレーション行列が読み込まれる。
【０１４３】
２．ユーザーは、キャリブレーション用の座標系を選択する。マーカー座標系がデフォ
ルトで設定される。
【０１４４】
３．ユーザーは正しい値を、知っていれば、入力してＩＰＤを微調整する。あるいは、
ユーザーは、上で説明したようにＩＰＤを調節する。マーカーは、鉛直かつ両視軸に垂直
に位置決めされることが好ましい。
【０１４５】
４．マーカーを同じ位置に維持したまま、ユーザーはオブジェクトをｘおよびｙ方向に
マーカーの中心に（両眼視で）位置付ける。
【０１４６】
５．仮想オブジェクトのビューをマーカーの中心に平面的に位置付けた後、マーカーを
鉛直位置に維持したまま、ユーザーは、焦点距離を単眼視で調節することによってテスト
オブジェクトのサイズを調節する。ＩＰＤが正しく設定され、焦点距離が適正に調節され
ると、ステップ３および５の実施後、ユーザーからオブジェクトまでの奥行は最適に調節
されているはずである。
【０１４７】
６．焦点距離を変更した場合は、テストオブジェクトがマーカーの中心に位置付けられ
ているように、ユーザーは、マーカーをステップ５と同じ位置に維持したまま、知覚され
た仮想オブジェクトの位置を再調節する必要があるかもしれない。仮想カメラ座標系にお
けるｘおよびｙ位置は、ステップ４および６の実施後、最適に調節されているはずである
。
【０１４８】
７．ユーザーはマーカーを更に水平方向に、すなわち横方向に、位置付け、テストオブ
ジェクト（例えば仮想オブジェクト）をマーカー（例えば実基準オブジェクト）に繋止し
、中心に位置付けるために更なる調節が必要かどうかを確かめる。選択した座標系（デフ
ォルトではマーカー座標系）において必要な調整が行われると、最適なＩＰＤの探求およ
び平面並進はオブジェクトの位置合わせ手順に埋め込まれて暗黙で行われる。
【０１４９】
８．キャリブレーションのカスタマイズプロセスが終了する。
【０１５０】
このキャリブレーション手順は、図２７、図２８Ａ、図２８Ｂ、図２９、および図３０
にステップごとに図解されている。
【０１５１】
次に、センサーのキャリブレーションについて説明する。以下のキャリブレーション方
法は、追尾センサーのキャリブレーションが完全であり、頭部姿勢の復元が完全であるこ
とを前提とする。本視覚追尾ＡＲシステムのケースは詳細にテストされたが、その原理は
他の如何なる追尾機構にも有効である。カメラのキャリブレーションは、当該技術分野に
おいて公知のＯｐｅｎＣＶキャリブレーションツール（Ｏｐｅｎ  Ｓｏｕｒｃｅ  Ｃｏｍ
ｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｌｉｂｒａｒｙ）を用いて行われた。使用されたキャリブレ
ーションパターンは、１４列×１０行から成る正方形サイズが１０．８ｍｍの市松格子で
あった。テストにより、頭部姿勢の復元にはカメラの正確なキャリブレーション（他のセ
ンサー種別にも適用可能）が重要であることを確認した。
【０１５２】
ＡＲＴｏｏｌｋｉｔマーカーおよび追尾方法（ＡＲＴｏｏｌｋｉｔは、拡張現実アプリ
ケーションを構築するための当該技術分野において公知のソフトウェアライブラリー）を
用いて、短距離から中〜長距離（２０ｃｍ〜１ｍ）におけるマーカーの追尾誤差を推定す
るために、マーカーの面法線に対するカメラ軸線の角度を小さく維持したまま、同様に複
数のテストを実施した。追尾誤差は、最大約９０ｃｍまでは２〜３ｍｍのレベルに留まっ
ていた。９０ｃｍを超える距離では（おそらく、マーカーの単位表面当たりの画素密度が
下がった結果として）性能が低下した。
【０１５３】
完全を期して、好適な実施形態に使用される数学モデルの更なる詳細の一部をここで説
明する。
【０１５４】
世界座標における３Ｄ点と画像（画素）座標におけるその２Ｄ投影との間の関係は、図
３２の式（４）によって示される行列形式で表すことができる。この場合、３Ｄ世界と２
Ｄ点Ｘおよびｐとは同次座標で与えられ、ｗは任意の縮尺比、およびＰは外部および固有
成分を統合する投影行列である。すなわち、Ｐは式（５）に示されているように規定され
る。ここで、記号（６）は、固有パラメーター行列であり、ｕ0およびｖ0は、像面中心の
画像画素座標を表し、ｆｕはｘ方向の画素密度に焦点距離を掛けた値である。同様に、ｆ
ｖは、ｙ方向の画素密度に焦点距離を掛けた値である。Ｒは回転行列を表し、ｔは並進ベ
クトルを表す。この数学モデルは、Ｐ行列を構成することによって規定されることが好ま
しい。これは、平均的な頭部モデルに対応する直接的な幾何学的測定値（すなわち幾何パ
ラメーター）の挿入によって行われる。
【０１５５】
本発明をいくつかの特定の実施形態と共に説明してきたが、上記説明に照らして多くの
代替案、変更、および変形例が明らかになることは当業者には明らかである。したがって
、本願明細書に記載されている発明は、添付の特許請求の範囲の範囲および精神に入るあ
らゆる代替案、変更、適用例、および変形例を含むものとする。
【符号の説明】
【０１５６】
１０…３Ｄシーン、１１…カメラ、１３…カメラ、１５…２Ｄ画像、１７…２Ｄ画像、
１９…球体、２１…球体、２２…カメラ、２３…、２４…カメラ、２５…、２６…立方体
、２７…点線（投影線）、２８…２Ｄ画像、２９…点線（投影線）、３０…２Ｄ画像、３
１…線、３２…画像、５０…頭部装着型ディスプレイ（ＨＭＤ）、５１，５２…光学式シ
ースルーディスプレイユニット、５１ａ…右側の表示駆動部、５１ｂ…右側イヤホン、５
２ａ…左側の表示駆動部、５２ｂ…左側イヤホン、５３…補助制御ユニット、５４…一体
型カメラ、ＩｍｇＬ，ＩｍｇＲ…虚像面、ＯL,ＯR…焦点、ＰL,ＰR…点（投影点）。
【図１】
2016018213.tif 000003
【図２】
2016018213.tif 000004
【図３】
2016018213.tif 000005
【図４】
2016018213.tif 000006
【図５】
2016018213.tif 000007
【図７】
2016018213.tif 000008
【図８】
2016018213.tif 000009
【図９】
2016018213.tif 000010
【図１０】
2016018213.tif 000011
【図１１】
2016018213.tif 000012
【図１２】
2016018213.tif 000013
【図１３】
2016018213.tif 000014
【図１５】
2016018213.tif 000015
【図１６】
2016018213.tif 000016
【図２１】
2016018213.tif 000017
【図２３】
2016018213.tif 000018
【図３１】
2016018213.tif 000019
【図３２】
2016018213.tif 000020
【図６】
2016018213.tif 000021
【図１４】
2016018213.tif 000022
【図１７】
2016018213.tif 000023
【図１８】
2016018213.tif 000024
【図１９】
2016018213.tif 000025
【図２０】
2016018213.tif 000026
【図２２】
2016018213.tif 000027
【図２４】
2016018213.tif 000028
【図２５】
2016018213.tif 000029
【図２６Ａ】
2016018213.tif 000030
【図２６Ｂ】
2016018213.tif 000031
【図２７】
2016018213.tif 000032
【図２８Ａ】
2016018213.tif 000033
【図２８Ｂ】
2016018213.tif 000034
【図２９】
2016018213.tif 000035
【図３０】
2016018213.tif 000036