(57)【要約】【課題】ディスプレイのキャリブレーションを容易、高い精度で行うことができる情報処理装置、情報処理方法および情報処理プログラムを提供する。【解決手段】キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいて前記ディスプレイの前記撮像装置に対する対応関係を取得する情報処理装置である。【選択図】図６
2020106981.tif 000002
【特許請求の範囲】
【請求項１】
キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいて前記ディスプレイの前記撮像装置に対する対応関係を取得する
情報処理装置。
【請求項２】
前記キャリブレーション画像はそれぞれ異なるグレイコードパターンを有する複数の画像である
請求項１に記載の情報処理装置。
【請求項３】
前記撮影画像は、前記撮像装置の画角内に前記ディスプレイ全体が収まるよう撮影された画像である
請求項１に記載の情報処理装置。
【請求項４】
前記撮影画像に対するデコード処理により、前記撮像装置の画素と前記ディスプレイの画素の対応関係を取得する
請求項１に記載の情報処理装置。
【請求項５】
前記対応関係は、前記撮像装置における画素の座標に対応する前記ディスプレイの画素の座標である
請求項４に記載の情報処理装置。
【請求項６】
前記撮像装置における画素の座標に対応する前記ディスプレイの画素の座標で定義される前記ディスプレイの範囲から理想ディスプレイ領域を設定する
請求項５に記載の情報処理装置。
【請求項７】
前記理想ディスプレイ領域は、略矩形状であり、かつ、画角が最大となるものように設定される
請求項６に記載の情報処理装置。
【請求項８】
前記理想ディスプレイ領域はアフィン変換により設定される
請求項７に記載の情報処理装置。
【請求項９】
前記ディスプレイは透過型ディスプレイである
請求項１に記載の情報処理装置。
【請求項１０】
前記ディスプレイは湾曲状の歪みを有するものである
請求項１に記載の情報処理装置。
【請求項１１】
前記ディスプレイはウェアラブルデバイスおよび／またはヘッドマウントディスプレイに搭載される
請求項１に記載の情報処理装置。
【請求項１２】
前記理想ディスプレイ領域からのズレとして前記ディスプレイの歪みを算出する
請求項６に記載の情報処理装置。
【請求項１３】
前記理想ディスプレイ領域中の有効画素に基づくFitting処理により前記ディスプレイの歪みを算出する
請求項１２に記載の情報処理装置。
【請求項１４】
前記撮影画像に基づいて、さらに前記ディスプレイの歪および画角パラメータを取得する
請求項１に記載の情報処理装置。
【請求項１５】
キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいて前記ディスプレイの前記撮像装置に対する対応関係を取得する
情報処理方法。
【請求項１６】
キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいて前記ディスプレイの前記撮像装置に対する対応関係を取得する
情報処理方法をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
近年、メガネ型ウェアラブルデバイスやヘッドマウントディスプレイなど、ユーザが装着した状態でユーザの眼前にディスプレイが位置するように構成された様々なＡＲ（Augmented Reality）用の装置が提案されている。
【０００３】
そのような装置に搭載されたディスプレイは、ディスプレイ上に情報を表示しつつ、ディスプレイの向こう側が透けていることによりユーザがディスプレイの向こう側を見ることができる透過型ディスプレイ（シースルーディスプレイ）であり、かつ、湾曲した歪んだ形状を有するものが多い。
【０００４】
そのような湾曲した形状を有するディスプレイにおいては、ディスプレイのキャリブレーションが必要となり、その手法の一つとして、ＳＰＡＡＭ（Single-Point Active Alignment Method）と称されるものがある。ＳＰＡＡＭは、ユーザがディスプレイを通じて現実世界に配置されたマーカーを目視し、ディスプレイ上に表示されたポインタの位置をマーカーに合わせる、という手法がある（特許文献１）。キャリブレーションとは、湾曲したディスプレイにおいて、ディスプレイを通じて見える現実世界のオブジェクトとそのオブジェクトに対応して表示される映像／画像との位置の対応関係を調整し、最適な表示領域の構成するための処理である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５７９０６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の方法は、ユーザがポインタをマーカーに合わせる作業を行うとディスプレイのポインタの位置とマーカーの３次元位置の対応関係を複数集めることができ、それによりキャリブレーションを行うことができる。しかし、そのような方法は煩雑でありユーザへの負担が大きく、ユーザのマニュアル操作であるため、キャリブレーションの精度が低いという問題がある。
【０００７】
本技術はこのような点に鑑みなされたものであり、ディスプレイのキャリブレーションを容易、高い精度で行うことができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、第１の技術は、キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいてディスプレイの撮像装置に対する対応関係を取得する情報処理装置である。
【０００９】
また、第２の技術は、キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいてディスプレイの撮像装置に対する対応関係を取得する情報処理方法である。
【００１０】
さらに、第３の技術は、キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいてディスプレイの撮像装置に対する対応関係を取得する情報処理方法をコンピュータに実行させる情報処理プログラムである。
【図面の簡単な説明】
【００１１】
【図１】キャリブレーションシステムの構成を示すブロック図である。
【図２】図２Ａはウェアラブルデバイスの外観構成を示す正面図であり、図２Ｂはウェアラブルデバイスの外観構成およびウェアラブルデバイスに対する観測カメラの配置を示す図である。
【図３】ウェアラブルデバイスの構成を示すブロック図である。
【図４】ディスプレイの歪みを示す画像を示す図である。
【図５】情報処理装置の構成を示すブロック図である。
【図６】キャリブレーション処理を示すフローチャートである。
【図７】グレイコード画像の説明図である。
【図８】デコード処理の説明図である。
【図９】理想ディスプレイ領域の設定の説明図である。
【図１０】ディスプレイの歪みを理想ディスプレイ領域からのズレとしてFittingで求める処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．キャリブレーションシステム１０およびウェアラブルデバイス２００の構成］
［１−２．情報処理装置１００の構成］
［１−３．キャリブレーション処理］
＜２．変形例＞
【００１３】
＜１．実施の形態＞
［１−１．キャリブレーションシステム１０およびウェアラブルデバイス２００の構成］
まずキャリブレーションシステム１０の構成について説明する。図１に示すようにキャリブレーションシステム１０は情報処理装置１００、ウェアラブルデバイス２００、ディスプレイ３００、ＡＲ用カメラ４００、観測カメラ５００とから構成されている。
【００１４】
ウェアラブルデバイス２００はユーザが装着し、ＡＲ用カメラ４００で認識した現実世界の物体に対応する位置にＣＧなどによるオブジェクトを重畳してＡＲ表示を行うことができるデバイスである。ウェアラブルデバイス２００は図２に示すように、例えば、ユーザが装着した状態でユーザの眼前にディスプレイ３００が位置するように構成されたメガネ型のウェアラブルデバイスである。
【００１５】
ウェアラブルデバイス２００は図３に示すように少なくとも制御部２０１、通信部２０２、記憶部２０３、入力部２０４、ディスプレイ３００、ＡＲ用カメラ４００を備えて構成されている。
【００１６】
制御部２０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによってウェアラブルデバイス２００全体の制御を行う。
【００１７】
通信部２０２は、所定の通信規格により他の装置やインターネットと通信する通信モジュールである。通信方法としては、Ｗｉ−Ｆｉ（Wireless Fidelity）などの無線ＬＡＮ（Local Area Network）、４Ｇ（第４世代移動通信システム）、ブロードバンド、Bluetooth（登録商標）、などがある。ウェアラブルデバイス２００は通信部２０２における通信により情報処理装置１００と接続されている。
【００１８】
記憶部２０３は、例えば、半導体メモリなどにより構成された記憶媒体であり、画像データ、動画データ、音声データ、テキストデータなどのコンテンツデータの他、アプリケーション、プログラムなどのデータを保存するものである。
【００１９】
ディスプレイ３００は、ＡＲを実現するために画像や映像などのコンテンツ、ユーザインターフェース、アイコン、各種情報を提示するための文字、画像、図形などを表示するための透過型ディスプレイ（シースルーディスプレイ）である。透過型ディスプレイとは、ディスプレイ上に情報を表示しつつ、ディスプレイ３００の向こう側が透けていることによりユーザがディスプレイの向こう側を見ることができる構造のディスプレイである。透過型ディスプレイの例としては、透過型有機ＥＬディスプレイ、透過型無機ＥＬディスプレイ、透過型液晶ディスプレイなどがある。
【００２０】
図４はディスプレイ３００が有する歪みをわかりやすく示すためにディスプレイ３００にチェッカーパターンを表示して撮影した画像である。図４に示すようにディスプレイ３００はＡＲデバイスとしてウェアラブルデバイス２００の形状に合わせた湾曲状の歪みを有している。
【００２１】
入力部２０４は、ユーザがウェアラブルデバイス２００に対して指示を入力するための各種入力デバイスである。入力部２０４としては、ボタン、タッチスクリーン、視線入力デバイスなどがある。入力部２０４に対して入力がなされると、その入力に応じた制御信号が生成されて制御部２０１に出力される。そして、制御部２０１はその制御信号に対応した演算処理や制御を行う。
【００２２】
ＡＲ用カメラ４００は、ウェアラブルデバイス２００に搭載され、ウェアラブルデバイス２００のディスプレイ３００においてＡＲを実現するためのセンサとしてのカメラである。ＡＲ用カメラ４００は、ユーザの視線の方向、すなわち、ユーザに対するディスプレイ３００の方向と同方向を撮影するように設けられている。ＡＲ用カメラ４００はウェアラブルデバイス２００を装着するユーザの視線と同方向を撮影し、ユーザの視界にある物体、人、環境などを認識するためのカメラである。
【００２３】
なお、ＡＲ用カメラ４００はウェアラブルデバイス２００に設けられていなくても、ウェアラブルデバイス２００を装着するユーザの視線と同方向を撮影し、ユーザの視界と同じものを撮影できれば、ウェアラブルデバイス２００とは離れた構成でもよい。
【００２４】
観測カメラ５００は、キャリブレーション用画像であるグレイコード画像を表示したディスプレイ３００を撮影して撮影画像（以下、グレイコード撮影画像と称する。）を生成し、情報処理装置１００に供給するものである。図２Ｂに示すように、観測カメラ５００は撮影方向がＡＲ用カメラ４００の撮影方向およびユーザに対するディスプレイ３００の方向（ユーザの視線方向）と同方向になるように配置されている。観測カメラ５００は特許請求の範囲における撮像装置に相当するものである。
【００２５】
また、観測カメラ５００は観測カメラ５００の画角内にキャリブレーションの対象であるディスプレイ３００全体が収まるように配置される必要がある。言い換えると、観測カメラ５００はキャリブレーションの対象であるディスプレイ３００の有効画角よりも広い範囲を撮影可能な位置に配置される必要がある。
【００２６】
［１−２．情報処理装置１００の構成］
情報処理装置１００は、観測カメラ５００から供給されたグレイコード撮影画像を用いてウェアラブルデバイス２００が備えるディスプレイ３００のキャリブレーション処理を行うものである。
【００２７】
情報処理装置１００は、図５に示すように、グレイコード設定部１０１、デコード部１０２、理想ディスプレイ設定部１０３、パラメータ変換部１０４および通信部１０５を備えて構成されている。
【００２８】
グレイコード設定部１０１は、キャリブレーション用画像であるグレイコードパターンを有する画像（以下、グレイコード画像と称する）における複数のグレイコードのパターンの設定およびパターンの更新を行うものである。設定または更新されたグレイコード画像は通信部１０５によってウェアラブルデバイス２００に送信されてディスプレイ３００に表示される。
【００２９】
デコード部１０２は、グレイコード画像を表示したディスプレイ３００を観測カメラ５００で撮影することにより生成されたグレイコード撮影画像に対してデコード処理を施すことにより、ディスプレイ３００の観測カメラ５００に対する対応関係として、観測カメラ５００の撮像素子の画素の座標に対応するディスプレイ３００における画素の座標を取得する。これにより、観測カメラ５００で撮影したディスプレイ３００を構成する全ての画素の座標情報を取得する。観測カメラ５００の画素の座標情報とディスプレイ３００の画素の座標情報は理想ディスプレイ設定部１０３に供給される。
【００３０】
理想ディスプレイ設定部１０３は、デコード処理により得られたディスプレイ３００を構成する全ての画素情報により定義されるディスプレイ面（観測ディスプレイ面と称する）からアフィン変換により、理想ディスプレイ領域を設定する。理想ディスプレイ領域とは、略矩形状であり、かつ、観測ディスプレイ面中における画角が最大となるように設定する、観測ディスプレイ面中における表示に適した領域である。
【００３１】
パラメータ変換部１０４は、観測カメラ５００についてのパラメータからディスプレイ３００についてのパラメータを算出し、ディスプレイ３００の観測カメラ５００に対する対応関係及びディスプレイ３００の歪、画角パラメータを算出するものである。ディスプレイ３００の観測カメラ５００に対する対応関係及びディスプレイ３００の歪、画角パラメータの詳細については後述する。また、パラメータ変換部１０４は最終的にディスプレイ３００の射影パラメータを算出するものである。射影パラメータとは、現実の３次元点をディスプレイ３００に投影する際に用いるパラメータである。
【００３２】
情報処理装置１００を構成する各部による処理の詳細については後述する。
【００３３】
通信部１０５は、所定の通信規格により他の装置やインターネットと通信する通信モジュールである。通信方法としては、Ｗｉ−Ｆｉなどの無線ＬＡＮ、４Ｇ（第４世代移動通信システム）、ブロードバンド、Bluetooth（登録商標）、などがある。情報処理装置１００は通信部１０５による有線または無線通信により観測カメラ５００およびウェアラブルデバイス２００と接続されている。なお、通信部１０５は情報処理装置１００自体の構成とはせず、情報処理装置１００として機能するパーソナルコンピュータなどの装置が有する通信機能であってもよい。
【００３４】
情報処理装置１００は、専用のプログラムをパーソナルコンピュータ、タブレット端末、スマートフォンなどの装置にインストールして実行することにより構成されてもよいし、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
【００３５】
［１−２．キャリブレーション処理］
次に図６乃至図９を参照してキャリブレーションシステム１０におけるキャリブレーション処理について説明する。なお、図２に示すようにウェアラブルデバイス２００が左目用ディスプレイ、右目用ディスプレイを備える場合、キャリブレーションはそれぞれのディスプレイで個別に行う必要がある。
【００３６】
図６のフローチャートに示すように、まずステップＳ１０１で、情報処理装置１００のグレイコード設定部１０１は、ディスプレイ３００に表示させるグレイコード画像のグレイコードパターンを設定（更新）する。設定または更新されたグレイコード画像はウェアラブルデバイス２００に供給される。
【００３７】
次にステップＳ１０２で、ウェアラブルデバイス２００のディスプレイ３００においてグレイコード画像が表示される。
【００３８】
グレイコード画像とは図７に示すようにそれぞれ異なるグレイコードパターンを有する複数の画像である。グレイコード画像は、ディスプレイ３００と観測カメラ５００の画素の対応関係及びディスプレイ３００の歪、画角パラメータを求めるためのものである。つまり、観測カメラ５００の撮像素子のある画素に映っている点はディスプレイ３００のどこの画素なのかを求めるものである。
【００３９】
本技術においては、図７に示すように垂直方向と、水平方向のそれぞれにおいて、ディスプレイ３００における各座標のコードが重複しないようにグレイコードパターンがそれぞれ異なる複数のグレイコード画像を使用する。グレイコード画像の枚数はディスプレイ３００の画サイズに基づいて決定される。よってディスプレイ３００の画サイズが大きくなればグレイコード画像の枚数も増え、ディスプレイ３００の画サイズが小さければグレイコード画像の枚数は少なくなる。よって、垂直方向のグレイコード画像群と水平方向のグレイコード画像群を用いることになる。
【００４０】
次にステップＳ１０３で、グレイコード画像を表示した状態のディスプレイ３００が観測カメラ５００により撮影されて、グレイコード撮影画像が情報処理装置１００に供給される。観測カメラ５００によるグレイコード画像の撮影は通常の撮影と、ポジネガ反転させた撮影の両方を行う。上述したように、グレイコード画像は垂直方向と水平方向のそれぞれにおいて複数枚ずつあるため、グレイコード撮影画像も垂直方向と水平方向のそれぞれにおいてグレイコード画像と同数枚撮影されて、垂直方向のグレイコード撮影画像群と、水平方向のグレイコード撮影画像群が構成される。
【００４１】
次にステップＳ１０４で全てのパターンのグレイコード画像の撮影が終了したか否かが判定される。この判定は、例えば、情報処理装置１００が予め全てのグレイコード画像のパターンを示すテーブルなどを保持しておき、観測カメラ５００から受信したグレイコード撮影画像とそのテーブルを対比させることにより行うことができる。
【００４２】
全てのパターンのグレイコード画像の撮影が終了していない場合処理はステップＳ１０１に進む（ステップＳ１０３のＮｏ）。
【００４３】
ステップＳ１０１乃至ステップＳ１０４を繰り返すことにより情報処理装置１００は全てのパターンのグレイコード画像を撮影したグレイコード撮影画像を取得する。
【００４４】
ステップＳ１０４で全てのパターンのグレイコード画像の撮影が終了している場合、処理はステップＳ１０５に進む（ステップＳ１０４のＹｅｓ）。そして、ステップＳ１０５で情報処理装置１００により、グレイコード撮影画像のデコード処理が行われる。
【００４５】
デコード処理は、グレイコード撮影画像一枚に対して行うのではなく、水平方向のグレイコード撮影画像群、垂直方向のグレイコード撮影画像群、それぞれに対して行う。例えば垂直方向のグレイコード画像群が１０枚のグレイコード画像から成る場合、垂直方向のグレイコード撮影画像群もグレイコード撮影画像１０枚から成る。これらをひとまとめにしてデコード処理を行う。
【００４６】
ディスプレイ３００には湾曲状の歪みがあるが、デコード処理により、ディスプレイ３００と観測カメラ５００の画素の対応関係を取得することができる。これはすなわち、観測カメラ５００の特定の座標の画素に対応するディスプレイ３００における画素の座標を取得することができる。例えば、これにより、観測カメラ５００の全ての画素それぞれに対応するディスプレイ３００における画素それぞれの座標を得ることができる。このようにして観測カメラ５００で撮影したディスプレイ３００を構成する全ての画素の座標情報を得ることができる。
【００４７】
ディスプレイ３００に表示したグレイコード画像を観測カメラ５００で撮影したグレイコード撮影画像にデコード処理を施すことにより、図８に示すように、輝度値としてディスプレイ３００の座標情報を得ることができる。なお、図８は画枠は観測カメラ５００であり、輝度値であるディスプレイ３００の座標情報は８bitのため折り返った状態となっている。
【００４８】
次にステップＳ１０６でデコード処理により得られたディスプレイ３００を構成する全ての画素情報からなるディスプレイ面（観測ディスプレイ面と称する）からアフィン変換により、理想ディスプレイ領域を設定する。理想ディスプレイ領域とは、図９中のハッチング部分に示すように、略矩形状であり、かつ、観測ディスプレイ面中における画角が最大となるように設定する、表示に適した領域である。
【００４９】
ウェアラブルデバイス２００におけるディスプレイ３００は湾曲状の歪みを有しているため、ＡＲオブジェクトの正確な表示を行うためには図９に示すように、そのディスプレイ３００において略矩形であり、かつ、画角が最大となる理想ディスプレイ領域を設定する必要がある。
【００５０】
観測ディスプレイ面において画角が最大となるように理想ディスプレイ領域を設定するためにはアフィン変換を行う必要があるが、アフィン変換は必須の処理ではない。観測カメラ５００の撮影範囲を調整して、画角が最大となるようにはせずにディスプレイ３００中の理想ディスプレイ領域を予め決めれば、アフィン変換は必要ない。アフィン変換を行わない場合、キャリブレーション処理を早く行うことができる。
【００５１】
次にステップＳ１０７でパラメータ変換部１０４によりパラメータ変換処理を行う。下記のパラメータ変換処理の説明において、各変数は以下のように定義する。
【００５２】
ＫD:ディスプレイ３００の内部パラメータ
ＭD:ディスプレイ３００の位置姿勢パラメータ
ＫC:観測カメラ５００の内部パラメータ
ＭC:観測カメラ５００の位置姿勢パラメータ
【００５３】
また、ＭCは下記の式１のように表し、
ＲC:観測カメラ５００の姿勢パラメータ
ＴC:観測カメラ５００の位置パラメータ
とすることができる。観測カメラ５００の位置パラメータ、姿勢パラメータは、ウェアラブルデバイス２００に搭載されたＡＲ用カメラ４００に対する観測カメラ５００の位置および姿勢を表すパラメータである。
【００５４】
［式１］
2020106981.tif 000003
【００５５】
ディスプレイ３００の内部パラメータはディスプレイ３００の画角、焦点距離、光学中心を表すものである。同様に観測カメラ５００の内部パラメータは観測カメラ５００の画角、焦点距離、光学中心を表すものである。
【００５６】
ワールド座標系における３次元点を理想ディスプレイ領域に投影させるための式は下記の式２で表される。
【００５７】
［式２］
2020106981.tif 000004
【００５８】
式２において（ｕ,ｖ）OST Displayは理想ディスプレイ領域上の座標であり、（ｘ,ｙ,ｚ,１）worldはワールド座標系における３次元点である。
【００５９】
パラメータ変換処理で算出するものは、ディスプレイ３００の観測カメラ５００に対する対応関係及びディスプレイ３００の歪、画角パラメータと、ディスプレイ３００の位置および姿勢である。それらがわかると、３次元点（ｘ，ｙ，ｚ）がディスプレイ３００のどこの画素の座標（ｕ,ｖ）に対応するかを計算することができる。ウェアラブルデバイス２００でＡＲ表示を行う際、３次元点（ｘ，ｙ，ｚ）にＣＧなどのオブジェクトを重畳したい場合、ディスプレイ３００の座標（ｕ,ｖ）の画素を光らせてそこにオブジェクトを重畳させればユーザが見たときに正確な位置にオブジェクトが配置されているように見える。
【００６０】
観測ディスプレイ面から理想ディスプレイ領域を切り出し、理想ディスプレイ領域中の座標（ｕ,ｖ）と観測カメラ５００の画素の座標（u´,v´）はグレイコードで対応している。３次元点の座標（ｘ，ｙ，ｚ）をホモグラフィー変換すると、理想ディスプレイ領域の座標（ｕ,ｖ）になる。
【００６１】
観測カメラ５００のパラメータを用いてＱＲ分解により下記の式３に示すようにディスプレイ３００の観測カメラ５００に対する対応関係及びディスプレイ３００の歪、画角パラメータをパラメータとして算出することができる。
【００６２】
［式３］
2020106981.tif 000005
【００６３】
式３における右辺は３×３正則行列なのでＱＲ分解可能であり、下記の式４のように表すように式変形を行うことができる。
【００６４】
［式４］
2020106981.tif 000006
【００６５】
式４においてＱは上三角行列、Ｒは直交行列であり、式４における式変形は、ＱＲ分解によるアフィン変換から内部パラメータと姿勢パラメータへの分解を用いている。
【００６６】
このようにして下記の式５に示すようにディスプレイ３００の特性としてのパラメータを算出ことができる。なお、式５においては位置パラメータについては観測カメラ５００の位置パラメータＴcを用いている。これは、観測カメラ５００はコリメータで平行光化してあるので、光がコリメータで平行光化してある透過ディスプレイは必ず観測位置（観測カメラ５００の位置）の焦点とディスプレイ３００の光学中心が一致する、という特性があることによるものである。
【００６７】
［式５］
2020106981.tif 000007
【００６８】
そして、このディスプレイ３００のパラメータからディスプレイ３００の射影パラメータを求めることができる。ディスプレイ３００の射影パラメータとはディスプレイ３００の射影特性を示すものである。射影パラメータとは、現実の３次元点をディスプレイ３００に投影する際に用いるパラメータである。
【００６９】
以上のようにして図６のフローチャートに示す処理は行われる。
【００７０】
なお、ディスプレイ３００のパラメータ算出後、ディスプレイ３００の歪みを理想ディスプレイ領域からのズレとしてFittingで求めることもできる。この処理について図１０のフローチャートを参照して説明する。
【００７１】
まずステップＳ２０１で、理想ディスプレイ領域における画素が無効画素であるか否かを判定する。無効画素の検出は、画素が２つの条件を満たしているか否かを確認することで行うことができる。
【００７２】
第１の条件は、観測カメラ５００による撮影画像であるポジティブ画像とネガティブ画像間の輝度差が所定の閾値以下であることである。第２の条件は、画素とその画素の周辺に隣接する画素とのハミング距離が１以上（グレイコードの判定基準）であること、である。
【００７３】
第１の条件と第２の条件の両方を満たしている場合その画素は無効画素ではなく有効画素であると判定される。両方もしくはいずれか一方の条件を満たさない場合その画素は無効画素と判定される。
【００７４】
次にステップＳ２０２で有効画素のみを用いて式５に示すようにFitting処理を行う。
【００７５】
［式６］
2020106981.tif 000008
【００７６】
次にステップＳ２０３で無効画素についてFitting結果との差が所定の閾値以下のデータを用いて局所領域（例えば、７画素×７画素）を２次の多項式でFitting処理する。そして、ステップＳ２０４で、ステップＳ２０３の処理が予め定められた所定の回数行われたか否かを判定し、所定の回数行うまでステップＳ２０３とステップＳ２０４を繰り返す（ステップＳ２０４のＮｏ）。そして所定回数ステップＳ２０３を行った場合、処理は終了となる（ステップＳ２０４のＹｅｓ）。
【００７７】
本技術は以上のようにしてディスプレイ３００のキャリブレーションを行う。既存のキャリブレーションの方法であるＳＰＡＡＭのようにポインタを用いてそのポインタの位置を調整する必要がないため、本技術によれば、ユーザを煩わせることなく容易にディスプレイ３００のキャリブレーションを行うことができる。また、ポインタを手動で調整するということもないため、キャリブレーションの精度を高めることができる。
【００７８】
また、観測カメラ５００とディスプレイ３００の関係のみを用いてキャリブレーションを行うため、安定し、かつ、精度の高いキャリブレーションを行うことができる。これにより、ディスプレイ３００におけるＡＲ表示のためのオブジェクトの重畳精度の向上を図ることができる。
【００７９】
＜２．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【００８０】
実施の形態ではウェアラブルデバイス２００がディスプレイ３００とＡＲ用カメラ４００を備えていると説明したが、本技術はＡＲ用カメラ４００を備えていないウェアラブルデバイス２００にも適用可能である。ただし、その場合、ＡＲ用カメラ４００の機能を果たすカメラを用意する必要がある。
【００８１】
ＡＲ用カメラ４００に代えて、ＴＯＦ（Time of Flight）、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）などの３次元位置情報を検出することができるセンサを用いてもよい。それらセンサとＡＲ用カメラ４００をまとめてウェアラブルデバイス２００の周囲の環境の情報を取得するセンサとして「環境センサ」と定義することができる。
【００８２】
実施の形態ではディスプレイ３００と備えるウェアラブルデバイス２００と、キャリブレーション処理を行う情報処理装置１００が別々の構成であるとして説明を行ったが、ウェアラブルデバイス２００の処理部が情報処理装置１００としての機能を備えるようにしてもよい。
【００８３】
実施の形態では、観測カメラ５００は観測カメラ５００の画角内にキャリブレーションの対象であるディスプレイ３００全体が収まるように配置される必要があると説明した。しかし、観測カメラ５００で撮影したのがディスプレイ３００の一部である場合その一部からディスプレイ全体についてキャリブレーションを行うことも可能である。ただし、ディスプレイ３００の撮影されてない範囲は推定してキャリブレーションを行うことになるためキャリブレーションの精度が落ちることになる。よって、観測カメラ５００がディスプレイ３００全体を撮影可能な位置に配置されるのは絶対条件ではない。
【００８４】
なお、実施の形態ではウェアラブルデバイス２００はＡＲ表示を行うと説明したが、ＡＲに加えてまたは代えて、ＭＲ（Mixed Reality）表示を行ってもよい。
【００８５】
実施の形態ではディスプレイ３００は湾曲状の歪みを有しているものとしたが、湾曲状以外の歪みを有するディスプレイにも本技術は適用可能である。
【００８６】
また、本技術はヘッドマウントディスプレイに搭載されるディスプレイにも適用可能である。
【００８７】
本技術は以下のような構成も取ることができる。
（１）
キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいて前記ディスプレイの前記撮像装置に対する対応関係を取得する
情報処理装置。
（２）
前記キャリブレーション画像はそれぞれ異なるグレイコードパターンを有する複数の画像である（１）に記載の情報処理装置。
（３）
前記撮影画像は、前記撮像装置の画角内に前記ディスプレイ全体が収まるよう撮影された画像である（１）または（２）に記載の情報処理装置。
（４）
前記撮影画像に対するデコード処理により、前記撮像装置の画素と前記ディスプレイの画素の対応関係を取得する（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記対応関係は、前記撮像装置における画素の座標に対応する前記ディスプレイの画素の座標である（４）に記載の情報処理装置。
（６）
前記撮像装置における画素の座標に対応する前記ディスプレイの画素の座標で定義される前記ディスプレイの範囲から理想ディスプレイ領域を設定する（５）に記載の情報処理装置。
（７）
前記理想ディスプレイ領域は、略矩形状であり、かつ、画角が最大となるものように設定される（６）に記載の情報処理装置。
（８）
前記理想ディスプレイ領域はアフィン変換により設定される（７）に記載の情報処理装置。
（９）
前記ディスプレイは透過型ディスプレイである（１）から（８）のいずれかに記載の情報処理装置。
（１０）
前記ディスプレイは湾曲状の歪みを有するものである（１）から（９）のいずれかに記載の情報処理装置。
（１１）
前記ディスプレイはウェアラブルデバイスおよび／またはヘッドマウントディスプレイに搭載される（１）から（１０）のいずれかにに記載の情報処理装置。
（１２）
前記理想ディスプレイ領域からのズレとして前記ディスプレイの歪みを算出する（６）に記載の情報処理装置。
（１３）
前記理想ディスプレイ領域中の有効画素に基づくFitting処理により前記ディスプレイの歪みを算出する（１２）に記載の情報処理装置。
（１４）
前記撮影画像に基づいて、さらに前記ディスプレイの歪および画角パラメータを取得する（１）から（１３）に記載の情報処理装置。
（１５）
キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいて前記ディスプレイの前記撮像装置に対する対応関係を取得する
情報処理方法。
（１６）
キャリブレーション用画像を表示したディスプレイを撮像装置で撮影して得られた撮影画像に基づいて前記ディスプレイの前記撮像装置に対する対応関係を取得する
情報処理方法をコンピュータに実行させる情報処理プログラム。
【符号の説明】
【００８８】
１００・・・情報処理装置
３００・・・ディスプレイ
５００・・・撮像装置
【図１】
2020106981.tif 000009
【図２】
2020106981.tif 000010
【図３】
2020106981.tif 000011
【図４】
2020106981.tif 000012
【図５】
2020106981.tif 000013
【図６】
2020106981.tif 000014
【図７】
2020106981.tif 000015
【図８】
2020106981.tif 000016
【図９】
2020106981.tif 000017
【図１０】
2020106981.tif 000018