(57)【要約】      （修正有）【課題】３次元ディスプレイ装置のパラメータ推定方法及びその方法を用いた３次元ディスプレイ装置を提供する。【解決手段】ディスプレイに表示された映像及び反射体によって反射した映像に基づいて、カメラ及びディスプレイの間の変換パラメータを推定する。ディスプレイ２００で出力された光線１１、１２は、３次元変換装置３００の設計上の誤差によって、実際の光線１１、１２の方向と設計された方向との間に誤差が発生する場合、クロストークが発生する。このような誤差は、寸法誤差及び姿勢誤差を含む。寸法誤差は、光学レイヤの寸法が設計値と異なることを意味し、姿勢誤差は、光学レイヤの姿勢が設計値と異なることを意味する。寸法誤差及び姿勢誤差は、３次元変換装置３００のパラメータによって調整される。【選択図】図１
2017038366.tif 000002
【特許請求の範囲】
【請求項１】
第１パターンを含む第１映像をディスプレイに表示するステップと、
前記ディスプレイと結合したカメラを用いて、前記第１映像が反射体によって異なる角度に反射した複数の第２映像をキャプチャーするステップと、
前記第１映像及び前記複数の第２映像に基づいて、前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定するステップと、
を含む、ディスプレイ装置のパラメータ推定方法。
【請求項２】
前記第１変換パラメータは、前記カメラの座標と前記ディスプレイの座標との間を変換する回転マトリックス、及び前記カメラの座標と前記ディスプレイの座標との間を変換する移動ベクトルのうち少なくとも１つを含む、請求項１に記載のディスプレイ装置のパラメータ推定方法。
【請求項３】
前記第１変換パラメータを推定するステップは、前記第１パターン及び前記複数の第２映像に対応する仮想パターンとの間の投影誤差が最小化するように、前記第１変換パラメータを変換パラメータとして決定するステップを含む、請求項１又は２に記載のディスプレイ装置のパラメータ推定方法。
【請求項４】
前記仮想パターンのそれぞれは、前記異なる角度それぞれにより前記第１パターンが前記反射体の中に結像する虚像である、請求項３に記載のディスプレイ装置のパラメータ推定方法。
【請求項５】
前記第１変換パラメータを推定するステップは、
前記複数の第２映像に対応し、前記ディスプレイ及び前記反射体の間の幾何学的関係を推定するステップと、
前記幾何学的関係に基づいて、前記第１パターン及び前記複数の第２映像に対応する仮想パターンの間の投影誤差を算出するステップと、
前記投影誤差が減少するように前記第１変換パラメータを更新するステップと、
を含む、請求項１又は２に記載のディスプレイ装置のパラメータ推定方法。
【請求項６】
前記第１パターンは、予め決定した形態が反復するパターンを含む、請求項１乃至５のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項７】
前記第１パターン及び前記複数の第２映像のうち少なくとも１つに基づいて、前記カメラの内部パラメータを推定するステップと、
前記第１映像に含まれた第２パターン及び前記複数の第２映像のうち少なくとも１つに基づいて、前記ディスプレイ及び前記ディスプレイと結合した光学レイヤとの間の第２変換パラメータを推定するステップと、
のうち少なくとも１つをさらに含む、請求項１乃至６のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項８】
前記第２変換パラメータを推定するステップは、前記第２パターンの周期、前記少なくとも１つの第２映像に含まれた第３パターンの周期、及び前記第３パターンの歪度に基づいて第２変換パラメータを推定するステップを含む、請求項７に記載のディスプレイ装置のパラメータ推定方法。
【請求項９】
前記ディスプレイのサブピクセル構造に基づいて、前記第２パターンの周期を取得するステップと、
前記第３パターンが周波数変換されたフーリエ空間で前記第３パターンの周期及び前記第３パターンの歪度を取得するステップと、
のうち少なくとも１つをさらに含む、請求項８に記載のディスプレイ装置のパラメータ推定方法。
【請求項１０】
前記内部パラメータは、前記カメラの焦点距離、前記カメラの中心座標、及び前記カメラの歪度のうち少なくとも１つを含む、請求項７乃至９のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項１１】
前記第２変換パラメータは、前記光学レイヤのピッチ、及び前記光学レイヤと前記ディスプレイとの間の回転角度のうち少なくとも１つを含む、請求項７乃至１０のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項１２】
前記第２パターンは、
同一の明るさの連続した線が予め決定した間隔に配置されるパターンと、
色及び明るさが同一である領域を含むパターンと、
のうち少なくとも１つを含む、請求項７乃至１１のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項１３】
前記第２パターンは、前記第１パターンで反復する形態内に含まれる、請求項７乃至１２のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項１４】
ハードウェアと結合して請求項１ないし請求項１３のいずれか一項に記載の方法を実行させるコンピュータプログラム。
【請求項１５】
ユーザの視点追跡のためのカメラと、
３次元映像を表示するディスプレイと、
第１パターンを含む第１映像を表示するように前記ディスプレイを制御し、前記第１映像が反射体によって異なる角度に反射した複数の第２映像をキャプチャーするよう前記カメラを制御し、前記第１映像及び前記複数の第２映像に基づいて前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定し、前記第１変換パラメータに基づいて前記ユーザの視点を追跡し、前記追跡された視点に基づいて前記３次元映像をレンダリングするプロセッサと、
を含む、３次元ディスプレイ装置。
【請求項１６】
前記第１変換パラメータは、前記カメラの座標と前記ディスプレイの座標との間を変換する回転マトリックス、及び前記カメラの座標と前記ディスプレイの座標との間を変換する移動ベクトルのうち少なくとも１つを含む、請求項１５に記載の３次元ディスプレイ装置。
【請求項１７】
前記プロセッサは、前記第１パターン及び前記複数の第２映像に対応する仮想パターンとの間の投影誤差が最小化するように、前記第１変換パラメータを決定する、請求項１５又は１６に記載の３次元ディスプレイ装置。
【請求項１８】
前記プロセッサは、前記複数の第２映像に対応して前記ディスプレイ及び前記反射体の間の幾何学的関係を推定し、前記幾何学的関係に基づいて前記第１パターン及び前記複数の第２映像に対応する仮想パターンとの間の投影誤差を算出し、前記投影誤差が減少するように前記第１変換パラメータを更新する、請求項１５又は１６に記載の３次元ディスプレイ装置。
【請求項１９】
前記プロセッサは、前記第１映像に含まれた第２パターン及び前記複数の第２映像のうち少なくとも１つに基づいて前記ディスプレイ及び前記ディスプレイと結合した光学レイヤの間の第２変換パラメータを推定し、前記第２変換パラメータに基づいて前記３次元映像をレンダリングする、請求項１５乃至１８のいずれか一項に記載の３次元ディスプレイ装置。
【請求項２０】
前記第２変換パラメータは、前記光学レイヤのピッチ、及び前記光学レイヤと前記ディスプレイとの間の回転角度のうち少なくとも１つを含む、請求項１９に記載の３次元ディスプレイ装置。
【請求項２１】
前記プロセッサは、前記第２パターンの周期、前記少なくとも１つの第２映像に含まれた第３パターンの周期、及び前記第３パターンの歪度に基づいて第２変換パラメータを推定する、請求項１９又は２０に記載の３次元ディスプレイ装置。
【請求項２２】
前記プロセッサは、前記第１パターン及び前記複数の第２映像のうち少なくとも１つに基づいて前記カメラの内部パラメータを推定し、前記内部パラメータ及び前記第１変換パラメータに基づいて前記ユーザの視点を追跡する、請求項１５乃至２１のいずれか一項に記載の３次元ディスプレイ装置。
【請求項２３】
前記内部パラメータは、前記カメラの焦点距離、前記カメラの中心座標、及び前記カメラの歪度のうち少なくとも１つを含む、請求項２２に記載の３次元ディスプレイ装置。
【請求項２４】
前記第１パターンは、予め決定した形態が反復するパターンを含む、請求項１５乃至２３のいずれか一項に記載の３次元ディスプレイ装置。
【請求項２５】
前記第２パターンは、
同一の明るさの連続した線が予め決定した間隔に配置されるパターンと、
色及び明るさが同一である領域を含むパターンと、
のうち少なくとも１つを含む、請求項１９乃至２１のいずれか一項に記載の３次元ディスプレイ装置。
【請求項２６】
前記第２パターンは、前記第１パターンで反復する形態の内に含まれる、請求項２５に記載の３次元ディスプレイ装置。
【請求項２７】
第１パターン及び第２パターンを含む第１映像をディスプレイに表示するステップと、
前記ディスプレイと結合したカメラを用いて、前記第１映像が反射体に反射した第２映像をキャプチャーするステップと、
前記第２映像内の前記第１パターンに対応する領域に基づいて、前記カメラのパラメータを推定するステップと、
前記第２映像内の前記第１パターンに対応する領域に基づいて、前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定するステップと、
前記第２映像内の前記第２パターンに対応する領域に基づいて、前記ディスプレイ及び前記ディスプレイと結合した光学レイヤの間の第２変換パラメータを推定するステップと、
を含む、ディスプレイ装置のパラメータ推定方法。
【請求項２８】
前記カメラのパラメータは、前記カメラの焦点距離、前記カメラの中心座標、及び前記カメラの歪度のうち少なくとも１つを含む、請求項２７に記載のディスプレイ装置のパラメータ推定方法。
【請求項２９】
前記第１変換パラメータは、前記カメラの座標と前記ディスプレイの座標との間を変換する回転マトリックス、及び前記カメラの座標と前記ディスプレイの座標との間を変換する移動ベクトルのうち少なくとも１つを含む、請求項２７又は２８に記載のディスプレイ装置のパラメータ推定方法。
【請求項３０】
前記第２変換パラメータは、前記光学レイヤのピッチ、及び前記光学レイヤと前記ディスプレイとの間の回転角度のうち少なくとも１つを含む、請求項２７乃至２９のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項３１】
前記ディスプレイ装置は、ユーザの目の位置を追跡して３次元映像を再生する装置である、請求項２７乃至３０のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項３２】
前記第１パターンは、予め決定した形態が反復するパターンを含む、請求項２７乃至３１のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項３３】
前記第２パターンは、
同一の明るさの連続した線が予め決定した間隔に配置されるパターンと、
色及び明るさが同一である領域を含むパターンと、
のうち少なくとも１つを含む、請求項２７乃至３２のいずれか一項に記載のディスプレイ装置のパラメータ推定方法。
【請求項３４】
前記第２パターンは、前記第１パターンで反復する形態内に含まれる、請求項３３に記載のディスプレイ装置のパラメータ推定方法。
【請求項３５】
第１パターン及び第２パターンを含む第１映像を表示するディスプレイと、
前記ディスプレイと結合し、前記第１映像が反射体に反射した第２映像をキャプチャーするカメラと、
前記第２映像内の前記第１パターンに対応する領域に基づいて前記カメラのパラメータを推定し、前記第２映像内の前記第１パターンに対応する領域に基づいて前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定し、前記第２映像内の前記第２パターンに対応する領域に基づいて前記ディスプレイ及び前記ディスプレイと結合した光学レイヤの間の第２変換パラメータを推定するプロセッサと、
を含む、ディスプレイ装置。
【請求項３６】
プロセッサであって、第１パターンを含みディスプレイに表示される第１映像を受信し、互いに異なる角度でキャプチャーされた前記第１映像の反射バージョンである複数の第２映像を受信し、前記第１映像と前記第２映像に基づいて前記ディスプレイと結合した前記第２映像をキャプチャーするカメラと前記ディスプレイとの間の第１変換パラメータを推定するプロセッサ、
を含む、デバイス。
【請求項３７】
前記第１変換パラメータは回転マトリックス及び移動ベクトルのうち少なくとも１つを含み、前記プロセッサは前記回転マトリックス及び前記移動ベクトルの少なくとも１つに基づいて前記カメラの座標システムをディスプレイの座標システムに変換し、変換された座標システムに基づいて３次元映像をレンダリングする、請求項３６に記載のデバイス。
【請求項３８】
前記プロセッサは、前記第１パターン及び前記第２映像に対応する仮想パターンとの間の投影誤差が最小化するように、前記第１変換パラメータを決定する、請求項３６又は３７に記載のデバイス。
【請求項３９】
前記仮想パターンのそれぞれは、前記異なる角度それぞれにより前記第１パターンが反射体の中に結像する虚像である、請求項３８に記載のデバイス。
【請求項４０】
前記プロセッサは、前記複数の第２映像に対応し、前記ディスプレイ及び反射体の間の幾何学的関係を推定し、前記幾何学的関係に基づいて、前記第１パターン及び前記複数の第２映像に対応する仮想パターンの間の投影誤差を算出し、前記投影誤差が減少するように前記第１変換パラメータを更新する、請求項３６乃至３９のいずれか一項に記載のデバイス。
【請求項４１】
前記第１映像は第２パターンを含み、前記プロセッサは、前記第１パターン及び前記複数の第２映像のうち少なくとも１つに基づいて前記カメラの内部パラメータを推定し、前記第１映像に含まれた第２パターン及び前記複数の第２映像のうち少なくとも１つに基づいて、前記ディスプレイ及び前記ディスプレイと結合した光学レイヤとの間の第２変換パラメータを推定する、
請求項３６乃至４０のいずれか一項に記載のデバイス。
【請求項４２】
前記複数の第２映像のうち少なくとも１つは第３パターンを含み、前記プロセッサは、前記第２パターンの周期、前記少なくとも１つの第２映像に含まれた第３パターンの周期、及び前記第３パターンの歪度に基づいて第２変換パラメータを推定する、請求項４１に記載のデバイス。
【請求項４３】
前記第２変換パラメータは、前記光学レイヤのピッチ及び前記光学レイヤと前記ディスプレイとの間の回転角度のうち少なくとも１つを含み、前記プロセッサは、前記ピッチ及び前記回転角度のうち少なくとも１つに基づいて３次元映像をレンダリングする、請求項４１又は４２に記載のデバイス。
【請求項４４】
第１パターンを含み、ディスプレイに表示される第１映像を受信するステップと、
互いに異なる角度でキャプチャーされた前記第１映像の反射バージョンである第２映像を受信するステップと、
前記第１映像と前記第２映像に基づいて、前記ディスプレイと結合した前記第２映像をキャプチャーするカメラと前記ディスプレイとの間の第１変換パラメータを測定するステップと、
前記第１変換パラメータに基づいて３次元映像をレンダリングするステップと、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
以下の実施形態は、３次元ディスプレイ装置のパラメータ推定方法及びその方法を用いた３次元ディスプレイ装置に関する。
【背景技術】
【０００２】
立体映像を認知するための要因のうち最も支配的な要因は、ユーザの両目に見える映像の差である。ユーザの両目に互いに異なる映像を見せるための方法として、偏光を用いた分割、時分割、原色の波長を異なるようにした波長分割などにより希望する映像をフィルタリングするメガネ方式と、パララックスバリア、レンチキュラーレンズ、又は、方向性バックライトユニットなど、３次元変換装置を用いて各映像を特定空間だけで見ることを可能にした無メガネ方式がある。
【０００３】
無メガネ方式の場合、メガネを着用するという不便を減らす長所がある。無メガネ方式において、３次元映像のクロストークを抑制するためには、ユーザの両目に３次元映像を正確に照射する必要がある。ユーザの両目の位置を検出する過程で誤差が発生したり、ユーザの両目の位置を検出するためのカメラ、３次元ディスプレイ装置及び３次元変換装置の生産過程又は設置過程などにより設計値と異なる誤差が発生する場合に映像品質は低下することがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、３次元ディスプレイ装置のパラメータ推定方法及びその方法を用いた３次元ディスプレイ装置を提供する。
【課題を解決するための手段】
【０００５】
一側面に係るディスプレイ装置のパラメータ推定方法は、第１パターンを含む第１映像をディスプレイに表示するステップと、前記ディスプレイと結合したカメラを用いて、前記第１映像が反射体によって異なる角度に反射した複数の第２映像をキャプチャーするステップと、前記第１映像及び前記複数の第２映像に基づいて、前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定するステップとを含む。
【図面の簡単な説明】
【０００６】
【図１】一実施形態に係るパラメータの関係を説明するための図である。
【図２Ａ】一実施形態に係るパラメータの推定過程を説明する動作フローチャートである。
【図２Ｂ】一実施形態に係るパラメータの推定過程を説明する動作フローチャートである。
【図３】一実施形態に係るキャプチャー映像の取得を説明するための図である。
【図４】実施形態に係るパターンの種類を示す図である。
【図５】一実施形態に係る複数のキャプチャー映像の取得を説明するための図である。
【図６】一実施形態に係る特徴点を説明する図である。
【図７】一実施形態に係る第１変換パラメータの算出過程を説明する図である。
【図８】一実施形態に係る仮想パターンの座標を説明する図である。
【図９】一実施形態により復元された仮想パターンを示す図である。
【図１０Ａ】一実施形態に係る仮想パターン、ディスプレイ、及び反射体の間の幾何学的関係を説明する図である。
【図１０Ｂ】一実施形態に係る仮想平面を用いて第１変換パラメータ値を推定する過程を説明する図である。
【図１１】一実施形態に係る第１変換パラメータ値を推定する過程を説明する動作フローチャートである。
【図１２】一実施形態に係る第２変換パラメータを推定する過程を説明する動作フローチャートである。
【図１３】一実施形態に係る抽出された領域を変換する過程を説明する動作フローチャートである。
【図１４】一実施形態に係る第２パターンの出力過程を説明する図である。
【図１５Ａ】一実施形態に係る第３パターンの映像と第２変換パラメータの間の幾何学的関係を説明する図である。
【図１５Ｂ】一実施形態に係る第３パターンの映像と第２変換パラメータの間の幾何学的関係を説明する図である。
【図１５Ｃ】一実施形態に係る第３パターンの映像と第２変換パラメータの間の幾何学的関係を説明する図である。
【図１６】一実施形態に係る第２パターンの一周期に対応する光学レイヤの元素数及び光学レイヤの回転角度の間の関係を示す図である。
【図１７】一実施形態に係る第３パターンの映像をフーリエ変換して第３パターンの歪度に対応する係数及び第３パターンの周期に対応する係数を測定する方式を説明する図である。
【図１８】一実施形態に係る複数のカメラがある場合、パラメータの推定過程を説明する図である。
【図１９】一実施形態に係る複数のカメラがある場合、パラメータの推定過程を説明する図である。
【図２０】一実施形態に係るカメラが備えられたディスプレイ装置のパラメータの推定過程を説明する図である。
【図２１】一実施形態に係るカメラが備えられたディスプレイ装置のパラメータの推定過程を説明する図である。
【図２２】一実施形態に係る電子システムを示すブロック図である。
【発明を実施するための形態】
【０００７】
＜発明の概要＞
一側面に係るディスプレイ装置のパラメータ推定方法は、第１パターンを含む第１映像をディスプレイに表示するステップと、前記ディスプレイと結合したカメラを用いて、前記第１映像が反射体によって異なる角度に反射した複数の第２映像をキャプチャーするステップと、前記第１映像及び前記複数の第２映像に基づいて、前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定するステップとを含む。
【０００８】
前記第１変換パラメータは、前記カメラの座標と前記ディスプレイの座標との間を変換する回転マトリックス、及び前記カメラの座標と前記ディスプレイの座標との間を変換する移動ベクトルのうち少なくとも１つを含んでもよい。
【０００９】
前記第１変換パラメータを推定するステップは、前記第１パターン及び前記複数の第２映像に対応する仮想パターンとの間の投影誤差が最小化するように、前記第１変換パラメータを変換パラメータとして決定するステップを含んでもよい。
【００１０】
前記第１変換パラメータを推定するステップは、前記複数の第２映像に対応し、前記ディスプレイ及び前記反射体の間の幾何学的関係を推定するステップと、前記幾何学的関係に基づいて、前記第１パターン及び前記複数の第２映像に対応する仮想パターンの間の投影誤差を算出するステップと、前記投影誤差が減少するように前記第１変換パラメータを更新するステップとを含んでもよい。
【００１１】
前記第１パターン及び前記複数の第２映像のうち少なくとも１つに基づいて、前記カメラの内部パラメータを推定するステップと、前記第１映像に含まれた第２パターン及び前記複数の第２映像のうち少なくとも１つに基づいて、前記ディスプレイ及び前記ディスプレイと結合した光学レイヤとの間の第２変換パラメータを推定するステップとのうち少なくとも１つをさらに含んでもよい。
【００１２】
前記第２変換パラメータを推定するステップは、前記第２パターンの周期、前記少なくとも１つの第２映像に含まれた第３パターンの周期、及び前記第３パターンの歪度に基づいて第２変換パラメータを推定するステップを含んでもよい。
【００１３】
前記ディスプレイのサブピクセル構造に基づいて、前記第２パターンの周期を取得するステップと、前記第３パターンが周波数変換されたフーリエ空間で前記第３パターンの周期及び前記第３パターンの歪度を取得するステップと、のうち少なくとも１つをさらに含んでもよい。
【００１４】
前記内部パラメータは、前記カメラの焦点距離、前記カメラの中心座標、及び前記カメラの歪度のうち少なくとも１つを含んでもよい。
【００１５】
前記第２変換パラメータは、前記光学レイヤのピッチ、及び前記光学レイヤと前記ディスプレイとの間の回転角度のうち少なくとも１つを含んでもよい。
【００１６】
前記第２パターンは、同一の明るさの連続した線が予め決定した間隔に配置されるパターンと、色及び明るさが同一である領域を含むパターンとのうち少なくとも１つを含んでもよい。
【００１７】
前記第１パターンは、予め決定した形態が反復するパターンを含んでもよい。前記仮想パターンのそれぞれは、前記互いに異なる角度それぞれにより前記第１パターンが前記反射体の中に結像する虚像であってもよい。前記第２パターンは、前記第１パターンで反復する形態内に含まれてもよい。
【００１８】
一実施形態に係る３次元ディスプレイ装置は、ユーザの視点追跡のためのカメラと、３次元映像を表示するディスプレイと、第１パターンを含む第１映像を表示するように前記ディスプレイを制御し、前記第１映像が反射体によって異なる角度に反射した複数の第２映像をキャプチャーするよう前記カメラを制御し、前記第１映像及び前記複数の第２映像に基づいて前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定し、前記第１変換パラメータに基づいて前記ユーザの視点を追跡し、前記追跡された視点に基づいて前記３次元映像をレンダリングするプロセッサとを含む。
【００１９】
一実施形態に係るディスプレイ装置のパラメータ推定方法は、第１パターン及び第２パターンを含む第１映像をディスプレイに表示するステップと、前記ディスプレイと結合したカメラを用いて、前記第１映像が反射体に反射した第２映像をキャプチャーするステップと、前記第２映像内の前記第１パターンに対応する領域に基づいて、前記カメラのパラメータを推定するステップと、前記第２映像内の前記第１パターンに対応する領域に基づいて、前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定するステップと、前記第２映像内の前記第２パターンに対応する領域に基づいて、前記ディスプレイ及び前記ディスプレイと結合した光学レイヤの間の第２変換パラメータを推定するステップとを含む。
【００２０】
一実施形態に係るディスプレイ装置は、第１パターン及び第２パターンを含む第１映像を表示するディスプレイと、前記ディスプレイと結合し、前記第１映像が反射体に反射した第２映像をキャプチャーするカメラと、前記第２映像内の前記第１パターンに対応する領域に基づいて前記カメラのパラメータを推定し、前記第２映像内の前記第１パターンに対応する領域に基づいて前記カメラ及び前記ディスプレイの間の第１変換パラメータを推定し、前記第２映像内の前記第２パターンに対応する領域に基づいて前記ディスプレイ及び前記ディスプレイと結合した光学レイヤの間の第２変換パラメータを推定するプロセッサとを含む。
【００２１】
一実施形態に係るデバイスは、プロセッサと、コンピュータで読み込むことのできる命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは第１パターンを含み、ディスプレイに表示される第１映像を受信し、互いに異なる角度でキャプチャーされた前記第１映像の反射バージョンである第２映像を受信し、前記第１映像と前記第２映像に基づいて前記ディスプレイと結合して前記第２映像をキャプチャーするカメラと前記ディスプレイとの間の第１変換パラメータを推定する。
【００２２】
前記第１変換パラメータは回転マトリックス及び移動ベクトルのうち少なくとも１つを含み、前記メモリはコンピュータで読み込むことのできる命令語を含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは前記回転マトリックス及び前記移動ベクトルの少なくとも１つに基づいて前記カメラの座標システムをディスプレイの座標システムに変換し、変換された座標システムに基づいて３次元映像をレンダリングし得る。前記プロセッサは、前記第１パターン及び前記第２映像に対応する仮想パターンとの間の投影誤差が最小化するように、前記第１変換パラメータを変換パラメータとして決定し得る。前記仮想パターンのそれぞれは、前記互いに異なる角度それぞれにより前記第１パターンが前記反射体の中に結像する虚像であり得る。
【００２３】
前記プロセッサは、前記複数の第２映像に対応し、前記ディスプレイ及び前記反射体の間の幾何学的関係を推定し、前記幾何学的関係に基づいて、前記第１パターン及び前記複数の第２映像に対応する仮想パターンの間の投影誤差を算出し、前記投影誤差が減少するように前記第１変換パラメータを更新し得る。前記第１映像は第２パターンを含み、前記メモリはコンピュータで読み込むことのできる命令語を含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、前記第１パターン及び前記複数の第２映像のうち少なくとも１つに基づいて前記カメラの内部パラメータを推定し、前記第１映像に含まれた第２パターン及び前記複数の第２映像のうち少なくとも１つに基づいて、前記ディスプレイ及び前記ディスプレイと結合した光学レイヤとの間の第２変換パラメータを推定し得る。
【００２４】
前記複数の第２映像のうち少なくとも１つは第３パターンを含み、前記プロセッサは、前記第２パターンの周期、前記少なくとも１つの第２映像に含まれた第３パターンの周期、及び前記第３パターンの歪度に基づいて第２変換パラメータを推定し得る。前記第２変換パラメータは、前記光学レイヤのピッチ及び前記光学レイヤと前記ディスプレイとの間の回転角度のうち少なくとも１つを含み、前記メモリはコンピュータで読み込むことのできる命令語を含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、前記ピッチ及び前記回転角度のうち少なくとも１つに基づいて３次元映像をレンダリングし得る。
【００２５】
一実施形態に係る方法は、第１パターンを含み、ディスプレイに表示される第１映像を受信するステップと、互いに異なる角度でキャプチャーされた前記第１映像の反射バージョンである第２映像を受信するステップと、前記第１映像と前記第２映像に基づいて、前記ディスプレイと結合した前記第２映像をキャプチャーするカメラと前記ディスプレイとの間の第１変換パラメータを測定するステップと、前記第１変換パラメータに基づいて３次元映像をレンダリングするステップとを含む。
【００２６】
＜発明の詳細＞
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。下記で説明される実施形態は、カメラが搭載されたディスプレイ装置、３次元ディスプレイ装置、及びカメラが搭載された３次元ディスプレイ装置に適用されてもよい。例えば、無メガネ方式の３次元ディスプレイ装置で映像品質を高めるために用いてもよい。
【００２７】
図１は、一実施形態に係るパラメータの関係を説明するための図である。図１を参照すると、３次元ディスプレイシステムは、カメラ１００、ディスプレイ２００、及び３次元変換装置３００を含む。カメラ１００は、ユーザの右側の目２１と左側の目２２を検出する。３次元変換装置３００は、レンズアレイ、パララックスバリア、又は方向性バックライトユニットのような光学レイヤを含んでもよい。３次元変換装置３００は、ディスプレイ２００から出力される映像を右側の目２１に対応する光線１１と、左側の目２２に対応する光線１２に分割する。光線１１及び光線１２はそれぞれ右側の目２１と左側の目２２に照射される。ユーザは、分割された光線１１及び光線１２を介してメガネなしで３次元映像を視聴することができる。
【００２８】
３次元映像の映像品質を高めるためには、右側の目２１及び左側の目２２の位置を正確に検出し、右側の目２１及び左側の目２２に光線１１と光線１２を正確に照射することが求められる。このような映像品質には、２Ｄ映像と３Ｄ映像の変換過程における誤差及びそれぞれの装置の生産及び設置過程で発生する設計値と異なる誤差などの要因がその影響を及ぼす。このような要因は、クロストークを発生することがある。クロストークが発生すると、ユーザは薄れた映像を見たり、誤差が大きい場合はめまいなどを誘発する歪んだ映像を視聴することになる。
【００２９】
このような要因は、カメラ１００のカメラパラメータＰｃ、カメラ１００とディスプレイ２００との間の姿勢パラメータＴｃｐ、３次元変換装置３００のパラメータＰｂなどによって調整される。言い換えれば、このようなパラメータの調整によって３次元映像の品質が向上し得る。
【００３０】
カメラ１００は、３次元空間のオブジェクトを２次元映像に表現するため、３次元空間を２次元映像に変換する過程で誤差が発生する可能性がある。一例として、カメラ１００内のイメージセンサやレンズによって誤差が発生する可能性がある。３次元空間と２次元映像との間の対応関係は、カメラパラメータＰｃによって推定される。カメラパラメータＰｃは、内部パラメータと外部パラメータを含む。３次元の現実空間を示すワールド座標系とカメラ座標系ＣｃはカメラパラメータＰｃによって変換されてもよい。したがって、カメラ１００による誤差はカメラパラメータＰｃにより調整され得る。
【００３１】
カメラ１００及びディスプレイ２００は、互いに異なる座標軸を用いる。カメラパラメータＰｃによって推定されたユーザの目２１、２２の位置は、カメラ座標系Ｃｃを基準とするため、カメラ座標系Ｃｃをディスプレイ座標系Ｃｐに変換する必要がある。カメラ１００とディスプレイ２００との間の姿勢パラメータＴｃｐは、カメラ座標系Ｃｃとディスプレイ座標系Ｃｐとの間の変換関係（例えば、回転、移動）を示す。姿勢パラメータＴｃｐによってカメラ座標系Ｃｃをディスプレイ座標系Ｃｐに変換してもよい。以下、便宜上姿勢パラメータＴｃｐを第１変換パラメータという。３次元ディスプレイシステムは、カメラ１００を用いてユーザの目２１、２２を検出し、第１変換パラメータに基づいてユーザの目２１、２２のカメラ座標をディスプレイ座標に変換し、前記ディスプレイ座標を用いてユーザの視点を追跡する。
【００３２】
ディスプレイ２００で出力された光線１１、１２は、３次元変換装置３００を介してユーザに伝えられるため、３次元変換装置３００の設計上の誤差によってクロストークが発生することがある。実際の光線１１、１２の方向と設計された方向との間に誤差が発生する場合、クロストークが発生する。例えば、このような誤差は、寸法誤差及び姿勢誤差を含む。寸法誤差は、光学レイヤの寸法が設計値と異なることを意味し、姿勢誤差は、光学レイヤの姿勢が設計値と異なることを意味する。寸法誤差及び姿勢誤差は、３次元変換装置３００のパラメータＰｂによって調整され得る。
【００３３】
パラメータＰｂは３次元変換装置３００の寸法及び姿勢を含む。寸法の代表的な例として、光学レイヤのピッチを用いてもよい。光学レイヤのピッチは、光学元素の間の距離である。また、ポーズの代表的な例として、光学レイヤとパネルの間の回転角度を用いてもよい。光学レイヤに含まれたレンズ又はバリアは斜めであってもよい。回転角度は、光学レイヤに含まれたレンズ又はバリアが斜め角度であってもよい。以下、便宜上３次元変換装置３００のパラメータＰｂを第２変換パラメータと指す。
【００３４】
一実施形態によると、回転角度は、光学レイヤが製造されるとき決定される斜め角度だけではなく、光学レイヤがパネルに付着される高さ、角度などによって変化することがある。姿勢誤差は、３次元変換装置３００のパラメータＰｂのみならず、ディスプレイ２００と３次元変換装置３００との間の姿勢パラメータＣｂによって調整される。この場合、第２変換パラメータは、３次元変換装置３００のパラメータＰｂ及びディスプレイ２００と３次元変換装置３００の間の姿勢パラメータＣｂを含む概念として理解される。３次元映像は、前記パラメータＰｂを用いてレンダリングされる。
【００３５】
実施形態は、一度の映像又は映像セットを撮影し、カメラ１００の内部パラメータ、第１変換パラメータ、及び第２変換パラメータを全て取得することができる。
【００３６】
図２Ａ及び図２Ｂは、一実施形態に係るパラメータの推定過程を説明する動作フローチャートである。図２Ａに示すように、一実施形態に係る方法は、ステップＳ１０１０、Ｓ１０２０、Ｓ１０４０、Ｓ１０４５及び／又はＳ１０４７を含んでいる。図２Ｂに示すように、一実施形態に係る方法はステップＳ１０１０、Ｓ１０２０、Ｓ１０４０、Ｓ１０５０、Ｓ１０５３及び／又はＳ１０５５を含んでもよい。図２Ａ及び図２Ｂのステップは図２２におけるプロセッサ２８１０によって実行され得る。
【００３７】
図２Ａを参照すると、ステップＳ１０１０において、第１映像がディスプレイに表示される。第１映像は第１パターンを含んでもよい。ステップＳ１０２０において、第１映像が反射体によって異なる角度に反射した第２映像がキャプチャーされる。第２映像は、ディスプレイと結合したカメラを用いてキャプチャーされてもよい。カメラは、ディスプレイに表示された映像が反射体に反射した映像をキャプチャーする。反射体に反射した映像をキャプチャーする場合、ディスプレイに表示された映像のｚ座標値を０に設定することが信頼性がある。また、カメラとディスプレイとの間の姿勢を推定するため、ディスプレイに出力された映像を用いることが有効である。反射体を通したキャプチャー映像の取得過程は、図３を参照して詳細に説明する。ステップＳ１０４０において、カメラの外部パラメータに基づいて第１変換パラメータが算出される。第１変換パラメータの算出過程は、図７を参照して説明する。ステップＳ１０４５において、カメラ座標システムＣｃは第１変換パラメータＴｃｐによってディスプレイ座標システムＣｐに変換される。ステップＳ１０４７において、３次元映像は、変換された座標システムに基づいてレンダリングされる。例えば、図１に示す３次元ディスプレイシステムによって３次元映像をレンダリングするとき、変換された座標システムはユーザの視点追跡に適用され得る。
【００３８】
図３は、一実施形態に係るキャプチャー映像の取得を説明するための図である。図３を参照すると、カメラ１００は、ディスプレイ２００に出力された第１映像２１０が反射体４００によって反射した第２映像４１０をキャプチャーする。反射体４００は鏡を含んでもよい。第１映像２１０が反射体４００に反射する場合、第１映像２１０が反射体４００の後に位置するものと見られる。反射体４００の中に結像した第２映像４１０は虚像である。第１映像２１０及び第２映像４１０は、パラメータの推定のための特定パターンを含む。以下、第２映像４１０に含まれたパターンは、仮想パターンのように称する。パターンの種類に関しては図４を参照して詳細に説明する。
【００３９】
図４は、実施形態に係るパターンの種類を示す図である。上記で説明したように、第１映像及び第２映像は特定のパターンを含んでもよい。パターンは、パラメータの推定のための反復的な形態を有し得る。例えば、パターンは、パターン２１０−１のようなチェスボード形態、パターン２１０−２のような点配列パターン、パターン２１０−３のような同心円パターン、及びパターン２１０−４のような変形パターンであってもよい。以下、パターン２１０−１、２１０−２、２１０−３、２１０−４のように単一の反復的な形態を有するか、単一の反復的な形態が変形されたパターンを第１パターンのように称する。
【００４０】
第１パターンは、内部に他のパターンを含んでもよい。例えば、第１パターンは、内部にパターン２１１−１、２１１−２を含んでもよい。以下、第１パターンに含まれたパターンを第２パターンのように称する。第２パターンは、パターン２１１−１のように第１パターンから区分された領域に含まれたり、パターン２１１−２のように第１パターンを形成する部分領域中に含まれてもよい。第２パターンは、パターン２１１−１のように色と同一の明るさの連続した領域を含むパターン、又はパターン２１１−２のように同一の明るさの連続した線が予め決定した間隔に配置されるパターンなどを含んでもよい。
【００４１】
一側面によると、第１パターンは、カメラパラメータＰｃ及び第１変換パラメータの推定に用いられ、第２パターンは、第２変換パラメータの推定に用いられる。したがって、第１パターンと第２パターンを同時に利用する場合、一度の映像又は映像セットを撮影し、カメラパラメータＰｃ、第１変換パラメータ、及び第２変換パラメータを全て取得することができる。
【００４２】
図５は、一実施形態に係る複数のキャプチャー映像の取得を説明するための図である。図５を参照すると、ディスプレイ２００は、第１パターン２１０及び第２パターン２１１を出力する。第１パターン２１０及び第２パターン２２０は、反射体４００によって反射する。カメラ１００は、反射体４００によって反射した仮想パターンをキャプチャーする。カメラ１００は、反射体４００の動きによって複数のキャプチャー映像を取得できる。例えば、反射体４００は回転したり移動し、カメラ１００は様々な角度及び位置のキャプチャー映像を取得できる。
【００４３】
反射体４００は、機械装置を用いて操作されたりユーザによって手動に操作されてもよい。角度の数及び位置は経験的に決定される。図面には図示していないが、ディスプレイ２００及びカメラ１００がモバイル機器に含まれる場合、複数のキャプチャー映像を取得するために固定された反射体４００の前でディスプレイ２００及びカメラ１００が移動又は回転し得る。
【００４４】
図６は、一実施形態に係る特徴点を説明する図である。図６を参照すると、第１パターン２１０、第２パターン２１１、及び第１パターンの特徴点２１２が図示されている。第１パターン２１０は特徴点２１２を含んでもよい。特徴点２１２は、パターンの交差点又は円の中心に位置する。特徴点２１２は、コーナー検出及び円検出などの方式を用いて検出される。特徴点２１２は、パラメータの推定に用いてもよい。特徴点２１２の使用によってパラメータの推定に所要する時間を短縮することができる。
【００４５】
以下、図２Ｂを参照して、パラメータの推定過程を詳細に説明する。
【００４６】
ステップＳ１０３０において、キャプチャー映像に基づいてカメラパラメータＰｃが算出される。上記で説明したように、カメラパラメータＰｃは内部パラメータと外部パラメータを含む。内部パラメータは、カメラ１００の焦点距離、中心座標、及び歪度を含む。外部パラメータは、回転パラメータと移動パラメータを含む。内部パラメータは数式（１）のように示される。
【００４７】
【数１】
2017038366.tif 000003
数式（１）でＫは内部パラメータである。ｆｘはカメラのｘ軸に対する焦点距離であり、ｆｙはカメラのｙ軸に対する焦点である。ｕｃとｖｃはカメラの光軸又はカメラ座標のｚ軸とイメージ平面が接する座標のｘ値及びｙ値である。ｓはピクセルの歪度値である。ワールド座標系の点（Ｘ）とイメージ平面に投影された点（ｘ）の関係は数式（２）のように示される。
【００４８】
【数２】
2017038366.tif 000004
数式（２）において、Ｒは回転パラメータであり、ｔは移動パラメータである。数式（２）は数式（３）及び数式（４）に示してもよい。
【００４９】
【数３】
2017038366.tif 000005
数式（３）において、パターンがｎ番にキャプチャーされた場合、ｉ番目のキャプチャー映像で特徴点に対するｍ個の対応点のうち、ｊ番目の対応点は数式（５）のように示すことができる。ここで、対応点は、ディスプレイに出力されたパターンの特徴点に対するカメラのキャプチャー映像に対応する点を意味する。
【００５０】
【数４】
2017038366.tif 000006
ｎ番のキャプチャー映像のｍ個の対応点を全て投影させたとき投影誤差が最小となるカメラパラメータＰｃを数式（６）を用いて推定することができる。
【００５１】
【数５】
2017038366.tif 000007
数式（６）において、ｆ（Ｘ）はＸを投影した値として、［ｕｄ  ｖｄ  １］に示すことができる。数式（６）でｆ（Ｘ）は歪曲を含んでいる。一側面によると、カメラパラメータＰｃは、半径誤差（ｒａｄｉａｌ  ｄｉｓｔｏｒｔｉｏｎ）を含んでもよい。半径誤差によりカメラパラメータＰｃの正確度を向上することができる。半径誤差を考慮する場合、数式（６）は数式（７）のように示すことができる。
【００５２】
【数６】
2017038366.tif 000008
数式（７）において、ｋは半径誤差である。数式（７）のｆ’（Ｘ）は［ｕｕ  ｖｕ  １］に示す。ｋを考慮する場合、ｋ、ｒ及びｕｕ、ｖｕ間の関係式は数式（８）のように示す。算出量を減らすために、カメラレンズの歪曲が大きくない場合、数式（６）によってカメラパラメータＰｃを求めることができる。
【００５３】
【数７】
2017038366.tif 000009
ステップＳ１０４０において、カメラの外部パラメータに基づいて第１変換パラメータが算出される。第１変換パラメータの算出過程は、図７を参照して説明する。
【００５４】
図７は、一実施形態に係る第１変換パラメータの算出過程を説明する図である。一実施形態に係る方法はステップＳ１２１０〜Ｓ１２３０のうち少なくとも１つを含んでもよい。図７に示すステップは、図２２に示すプロセッサ２８１０によって実行され得る。図７を参照すると、ステップＳ１２１０において、第２映像に対応する仮想パターンの位置が決定される。仮想パターンの位置は、数式（９）によって決定されてもよい。
【００５５】
【数８】
2017038366.tif 000010
数式（９）において、Ｘｉｊはｉ番目の映像でｊ番目の対応点の位置を示す。Ｒｉ及びｔｉはそれぞれｉ番目の映像の回転パラメータ及び移動パラメータを示す。回転パラメータ及び移動パラメータは、カメラの外部パラメータから決定される。ｔｊはｊ番目の特徴点の座標を意味する。ｔｊは図８を参照して詳細に説明する。
【００５６】
図８は、一実施形態に係るパターンの座標を説明する図である。図８を参照すると、パターンの座標軸２１３と座標軸２１３による４点の位置が図示されている。図８において、ｄはチェスパターンに含まれた四角形の一辺の長さを示す。ｔｊは図８に示すように、ｊ番目の対応点の座標を示す１×３の行列であってもよい。
【００５７】
再び図７を参照すると、数式（９）によってｎ個の映像に対応する仮想パターンを復元することができる。図９は、一実施形態により復元された仮想パターンを示す図である。
【００５８】
ステップＳ１２２０において、仮想パターン、ディスプレイ、及び反射体の間の幾何学的関係が推定される。ステップＳ１２２０は、図１０Ａを参照して説明する。
【００５９】
図１０Ａは、一実施形態に係る仮想パターン、ディスプレイ、及び反射体の間の幾何学的関係を説明する図である。図１０Ａを参照すると、推定された仮想パターン４０５、ディスプレイ２００、及び反射体４００の間の幾何学的関係が図示されている。ディスプレイ２００の位置は、第１変換パラメータの初期値により決定され得る。第１変換パラメータの初期値は、設計された第１変換パラメータ値又は任意の第１変換パラメータ値に設定されてもよい。第１変換パラメータは数式（１０）のように示すことができる。
【００６０】
【数９】
2017038366.tif 000011
数式（１０）において、Ｔｃｐは第１変換パラメータを示し、Ｒｃｐはカメラ座標Ｃｃに対するディスプレイ座標Ｃｐの回転パラメータを示し、ｔｃｐはカメラ座標Ｃｃに対するディスプレイ座標Ｃｐの移動パラメータを示す。
【００６１】
第１変換パラメータの初期値が設定されてディスプレイ２００の位置が設定されることにつれ、第１パターンの特徴点を仮想パターン４１０の対応点として投影してもよい。第１変換パラメータが真の値に近いほど第１変換パラメータにより投影された特徴点と仮想パターン４１０の対応点の距離は近くなる。推定された第１変換パラメータが真の値から遠いほど第１変換パラメータにより投影された特徴点と仮想パターン４１０の対応点の距離は遠くなる。
【００６２】
以下、第１変換パラメータによって設定されたディスプレイ２００の特徴点を仮想パターン４１０に投影する方法について説明する。ディスプレイ２００のｊ番目の特徴点を数式（１１）のように示すことができる。
【００６３】
【数１０】
2017038366.tif 000012
数式（１１）において、Ｘ−ｊはディスプレイ２００のｊ番目の特徴点を示し、ｔｊはディスプレイ２００の原点に対するｊ番目の特徴点の移動位置である。残りのパラメータは数式（１０）と同様である。全ての特徴点は同一平面に存在するため、同じノーマルベクトルを有する。ディスプレイ２００のノーマルベクトルｎ−はＲｃｐの３番目の列に当該し、数式（１２）のように示すことができる。
【００６４】
【数１１】
2017038366.tif 000013
仮想パターン４１０とカメラ１００の姿勢はカメラ１００の外部パラメータを介して把握しているため、カメラ１００と仮想パターン４１０の位置を特定することができる。ディスプレイ２００の位置は、第１変換パラメータの初期値により設定され、ディスプレイ２００と仮想パターン４１０の中央に反射体４００の位置を設定してもよい。反射体４００とディスプレイ２００がなす角度と、反射体４００と仮想パターン４１０がなす角度は同一である。したがって、上記に説明した方法により、仮想パターン４１０、ディスプレイ２００、及び反射体４００の間の幾何学的関係が推定され得る。
【００６５】
再び図７を参照すると、ステップＳ１２３０において、第１パターン及び仮想パターンの間の投影誤差が最小化する。特徴点の投影過程及び特徴点の投影誤差を算出する過程について図１０Ａを参照して説明する。ディスプレイ２００の正規化されたノーマルベクトルｎｍｉは数式（１３）に示される。
【００６６】
【数１２】
2017038366.tif 000014
数式（１３）において、ｎ−はディスプレイ２００のノーマルベクトルであり、ｎｉは仮想パターン４１０のノーマルベクトルである。図６に示すように、ディスプレイ２００の特徴点Ｘ−ｊを反射体４００のノーマル方向であるｎｍｉにｄｉｊだけ移動する場合、Ｘ−ｊはＸｉｊの位置に投影される。ｄｉｊは数式（１４）のように示すことができる。
【００６７】
【数１３】
2017038366.tif 000015
また、上記に説明した特徴点の投影は、数式（１５）のように示すことができる。
【００６８】
【数１４】
2017038366.tif 000016
投影誤差は設定されたディスプレイ２００の特徴点Ｘ−ｊを投影したｔｉｊＸ−ｊと対応するｉ番目の仮想パターンの特徴点Ｘｉｊとのユークリッド距離を示す。特徴点Ｘ−ｊを全ての仮想パターンに投影した誤差の平均ＥＭは数式（１６）のように示すことができる。
【００６９】
【数１５】
2017038366.tif 000017
第１変換パラメータの初期値で任意に値を変更して取得したＥｍが初期値によるＥｍに比べて小さければ、第１変換パラメータは任意に変更した値にアップデートされてもよい。第１変換パラメータ値の変動が発生しないまで、このような過程を変更して最終的な第１変換パラメータ値を求めることができる。
【００７０】
図１０Ｂは、一実施形態に係る仮想平面を用いて第１変換パラメータ値を推定する過程を説明する図である。図１０Ｂにおいて、ディスプレイ２００、反射体４０１、４０２、４０３及び仮想平面４１１、４１２、４１３に基づいて求めたＸ−１Ｊ、Ｘ−２Ｊ及びＸ−３ＪとＸ〜ｊの誤差が最も少ない第１変換パラメータが最終的な第１変換パラメータとして決定される。
【００７１】
図１１は、一実施形態に係る第１変換パラメータ値を推定する過程を説明する動作フローチャートである。一実施形態に係る方法はステップＳ１３１０ないしＳ１４１０のうち少なくとも１つを含んでもよい。図１１に示すステップは、図２２に示すプロセッサ２８１０によって実行され得る。
【００７２】
図１１を参照すると、ステップＳ１３１０において、仮想パターンの回転Ｒと移動ｔに基づいて仮想パターンの座標が算出される。仮想パターンの回転Ｒと移動ｔはカメラの外部パラメータから取得されてもよい。ステップＳ１３２０において、第１変換パラメータＴｃｐが設定される。最初のイテレーションでは初期Ｔｃｐに設定され、イテレーションが行われることにつれて修正された第１変換パラメータＴｃｐに設定されてもよい。仮想パターンのイメージを示すインデックスｉは初期値（例えば、「１」）に設定されてもよい。ステップＳ１３２５において、インデックスｉはｉ＋１に増加する。ステップＳ１３２８において、ｉ＋１がｎよりも大きいか否かが決定される。それであれば、ステップＳ１３７０が実行される。そうでなければ、ステップＳ１３３０が実行される。ｎは仮想パターンの数を示す。ステップＳ１３３０において、仮想パターンの映像を指示するインデックスｉを用いて各仮想パターンに対応するノーマルベクトルｎｍｉが設定される。ステップＳ１３３５において、各仮想パターン内の特徴点を指示するインデックスｊがｊ＋１に増加する。ここで、ｊは初期値（例えば、「１」）であってもよい。ステップＳ１３３８において、ｊ＋１がｍよりも大きいかが決定される。もし、そうであれば、ステップＳ１３２５が実行されてｉが増加する。そうでなければ、ステップＳ１３４０が実行される。ｍはキャプチャー映像の対応点の数を示す。
【００７３】
ステップＳ１３４０において、各仮想パターン内の特徴点を指示するインデックスｊを用いて特徴点の間の距離が算出される。例えば、ディスプレイに表示された特徴点と仮想パターン内の特徴点との間の距離が算出され得る。ステップＳ１３６０において、投影誤差Ｅｍが算出される。例えば、各仮想パターンに対応して算出された特徴点の間の距離が累積合算されて投影誤差Ｅｍが算出され得る。
【００７４】
全ての仮想パターンを考慮した投影誤差Ｅｍが算出された後、ステップＳ１３７０において、投影誤差Ｅｍが以前の投影誤差Ｅｐよりも小さいか否かを判断する。以前の投影誤差Ｅｐは、以前イテレーションで算出された投影誤差であり、最初のイテレーションでは十分に大きい値に設定される。
【００７５】
投影誤差Ｅｍが以前の投影誤差Ｅｐよりも小さい場合、ステップＳ１３８０において以前の投影誤差Ｅｐが更新され、ステップＳ１３９０において第１変換パラメータＴｃｐが修正される。投影誤差Ｅｍが以前の投影誤差Ｅｐよりも大きいか同一である場合、ステップＳ１４００で以前の投影誤差Ｅｐと投影誤差Ｅｍの間の差が閾値εよりも小さいか否かを判断する。閾値εは経験的に決定されてもよい。
【００７６】
以前の投影誤差Ｅｐと投影誤差Ｅｍの間の差が閾値εよりも大きいか同一である場合、ステップＳ１３９０において、第１変換パラメータＴｃｐが修正される。以前の投影誤差Ｅｐと投影誤差Ｅｍの間の差が閾値εよりも小さい場合、ステップＳ１４１０で第１変換パラメータＴｃｐが確定する。確定する第１変換パラメータＴｃｐは、以前イテレーションで修正された第１変換パラメータＴｃｐであってもよい。
【００７７】
再び図２Ｂを参照すると、ステップＳ１０５０において、キャプチャー映像に基づいて第２変換パラメータが算出される。第２変換パラメータの算出過程は、図１２〜図１７を参照して説明する。ステップＳ１０５３において、第１変換パラメータＴｃｐは、カメラ座標システムＣｃをディスプレイ座標システムＣｐに変換するために用いてもよい。ステップＳ１０５５において、３次元映像は、変換された座標システム、第２変換パラメータＰｂ及びカメラパラメータＰｃに基づいてレンダリングされる。例えば、変換された座標システムは、ユーザの目を追跡するために用いられてもよく、第２変換パラメータＰｂ及びカメラパラメータＰｃは３次元映像の品質が向上するように、図１に示す３次元ディスプレイシステムが３次元映像をレンダリングするために用いてもよい。
【００７８】
図１２は、一実施形態に係る第２変換パラメータを推定する過程を説明する動作フローチャートである。図１２に示すように、一実施形態に係る方法は、ステップＳ２２００ないしＳ２２５０のうち少なくとも１つを含んでもよい。図１２に示すステップは、図２２に示すプロセッサ２８１０によって実行されてもよい。
【００７９】
図１２を参照すると、ステップＳ２２００において、仮想パターンを示すインデックスｉが増加する。例えば、ｉの初期値は１であってもよい。ステップＳ２２０５において、ｉ＋１がｎよりも大きいか否かを決定する。ｎは仮想パターンの数を示す。仮想パターンを指示するインデックスｉを使用し、ステップＳ２２１０において各仮想パターン内の第２パターンに対応する領域が抽出される。ディスプレイに表示される第２パターンは、同一の色及び明るさの領域（例えば、白い背景）であってもよい。一例として、光学レイヤに斜めのバリアを用いる場合、白い背景がモニターに表示されるとき、鏡を用いて撮影された映像は斜めのバリアに対応するパターンを含む。図４に示すパターン２１０−５及びパターン２１１−１を参照すると、パターン２１０−５は、カメラパラメータ及び第１変換パラメータを推定するために用いられ、パターン２１１−１は第２変換パラメータを推定するために用いられる。
【００８０】
他の例として、光学レイヤに斜めのレンズを用いる場合、レンズの直接的な観察が不可であるため、ディスプレイに表示される第２パターンは、同じ明るさの連続する線が予め決定した間隔に配置されたパターン（単色ストライプパターン）を用いてもよい。図４に示すパターン２１０−６及びパターン２１１−２を参照すると、パターン２１０−６は、カメラパラメータ及び第１変換パラメータを推定するために用いられ、パターン２１１−２は第２変換パラメータを推定するために用いられる。
【００８１】
ステップＳ２２２０において、抽出された領域が変換される。第２変換パラメータを推定するために抽出された領域は投影された領域であるため、本来の大きさ及び形とは異なる。したがって、抽出された領域を本来の大きさ及び形に変換させる過程が必要である。図１３は、一実施形態に係る抽出された領域を変換する過程を説明する動作フローチャートである。図１３に示すように、一実施形態に係る方法は、ステップＳ２３１０ないしＳ２３４０のうち少なくとも１つを含んでもよい。図１２に示すステップは、図２２に示すプロセッサ２８１０によって実行されてもよい。
【００８２】
図１３を参照すると、撮影された映像は、鏡を用いて反射した映像であるため、ステップＳ２３１０において、撮影された映像は左右反転する。ステップＳ２３２０において、左右反転した映像から第２パターンに対応する領域が抽出され、抽出された領域のコーナーが検出される。抽出された領域のコーナー点などはそれぞれｐ１、ｐ２、ｐ３、ｐ４のように定義する。ここで、ｐ１は上左側コーナー、ｐ２は上右側コーナー、ｐ３は下左側コーナー、ｐ４は下右側コーナーであってもよい。
【００８３】
それぞれのコーナー点は数式（１７）のような関係を有する。
【００８４】
【数１６】
2017038366.tif 000018
ここで、ｗは第２パターンの実際の横の長さであり、ｈは第２パターンの実際の縦の長さである。ｐｎｘはｐｎのｘ座標であり、ｐｎｙはｐｎのｙ座標である。Ｈ［］はホモグラフィ演算子である。
【００８５】
ステップＳ２３３０において、数式（１７）を満足するホモグラフィＨが算出された後、ステップＳ２３４０において、抽出された領域Ｓの内部に属する全てのピクセルｐｉにＨを適用することによって領域が変換される。領域変換は、領域ワーピングのように称してもよく、ワーピングされたピクセルｐｉ’は数式（１８）のように表現され得る。
【００８６】
【数１７】
2017038366.tif 000019
再び図１２を参照すると、ステップＳ２２３０において、変換された領域に含まれたパターンの歪度が算出され、ステップＳ２２４０において、変換された領域に含まれたパターンのピッチが算出される。もし、光学レイヤが斜めのバリアを使用し、第２パターンで白い背景が使用される場合、変換された映像から歪度及びピッチが直接に導き出される。例えば、変換された映像で白色に表示される部分は光学レイヤのスリットに該当するため、白色と表示されるパターンの歪度を測定することによって光学レイヤが斜め角度を取得できる。
【００８７】
スリットとスリットの間の距離をｐｈ（ｐｉｘｅｌ）とすると、光学レイヤのピッチｐは数式（１９）のように算出される。
【００８８】
【数１８】
2017038366.tif 000020
ここで、ｓｐはピクセルの大きさを意味する。
【００８９】
変換された映像のコントラストが低いか、変換された映像に雑音が多い場合など、変換された映像から第２変換パラメータを直接抽出することが難しい。この場合、変換された映像を周波数ドメインに変換した後、数式（２０）及び数式（２１）を用いて第２変換パラメータを抽出することができる。
【００９０】
【数１９】
2017038366.tif 000021
ここで、δは周波数ドメインの映像で明暗度が最も高い点を連結する線と垂直線の間の角度あり、θは光学レイヤが斜め角度である。
【００９１】
【数２０】
2017038366.tif 000022
ここで、ρは周波数ドメインの映像で明暗度が最も高い点の間の水平方向距離であり、ｐは光学レイヤのピッチである。
【００９２】
全ての仮想パターンで歪度及びピッチが算出されれば、ステップＳ２２５０において、歪度の平均及びピッチの平均が算出される。
【００９３】
以下、図１４ないし図１７を参照して、光学レイヤが斜めのレンズを使用し、第２パターンがストライプパターンを含む場合、第２変換パラメータを算出する動作について説明する。
【００９４】
図１４は、一実施形態に係る第２パターンの出力過程を説明する図である。図１４を参照すると、第２パターンの映像１４２１はストライプパターンであってもよい。第２パターンの映像１４２１は、光学レイヤ１４２３を通過しながら第３パターンの映像１４３０のように再生されてもよい。第３パターンの映像１４３０は、光学レイヤ１４２３の中心点（レンズの中心軸、スリットなど）を通過する光線イメージであってもよい。第３パターンの映像１４３０は、複数の点などを含む線が一定の間隔に配置されたパターンを含む。例えば、第３パターンの映像１４３０は１つの主方向を有する反復的な線を含んでもよい。
【００９５】
第３パターンの映像１４３０に含まれた線のそれぞれの歪度は第２パターンの映像１４２１に含まれた線のそれぞれの歪度と異なる。例えば、第２パターンの映像１４２１に含まれた線は垂直線であり、第３パターンの映像１４３０に含まれた線は斜めの線であってもよい。また、第３パターンの映像１４３０に含まれた線の間の間隔は、第２パターンの映像１４２１に含まれた線の間の間隔と異なる。
【００９６】
以下で詳細に説明するが、プロセッサは、第３パターンの映像１４３０に含まれた線のうち、隣接した２線１４３１、１４３２を分析することによって、３次元ディスプレイ装置１４２０のための第２変換パラメータを決定することができる。例えば、プロセッサは線１４３１と線１４３２の歪度、及び線１４３１と線１４３２の間の間隔を用いて第２変換パラメータを決定してもよい。上述したように、第２変換パラメータは、光学レイヤ１４２３のポーズ及びピッチを含んでもよい。
【００９７】
図１５Ａ〜図１５Ｃは、一実施形態に係る第３パターンの映像と第２変換パラメータの間の幾何学的関係を説明する図である。図１５Ａを参照すると、第３パターンの映像は、線１７３１と線１７３２を構成する複数の点を含む。プロセッサは、第３パターンの映像から第３パターンの歪度に対応する係数αを測定する。例えば、第３パターンの歪度に対応する係数αは線１７３２の歪度であってもよい。また、プロセッサは、第３パターンの映像から第３パターンの周期に対応する係数ｃを測定する。例えば、第３パターンの周期に対応する係数ｃは、線１７３１と線１７３２が垂直方向に離隔した間隔に対応する。
【００９８】
線１７１１と線１７１２は、第２パターンの映像に含まれた線である。プロセッサは、３次元ディスプレイ装置のパネルに関する情報を予め把握できる。例えば、プロセッサは、パネルのサブピクセル構造、パネルの解像度、パネルの大きさなどを把握できる。パネルのサブピクセル構造は、パネル内の第２パターンに用いられる色のサブピクセルの間の間隔を含んでもよい。プロセッサは、パネルに関する情報に基づいて第２パターンの周期に対応する係数ｇを取得する。例えば、第２パターンの周期に対応する係数ｇは、線１７１１と線１７１２の間の間隔であってもよい。
【００９９】
第２パターンの映像はパネルにディスプレイされ、第３パターンの映像は任意の視点でキャプチャーされるため、パネルにディスプレイされる線の間の実際の間隔と、第３パターンの映像上に仮想的に示された線の１７１１、１７１２の間の間隔とは互いに異なってもよい。プロセッサは、パネルの大きさと第３パターンの映像の大きさの比率を考慮して、線１７１１と線１７１２の間の間隔を取得することができる。
【０１００】
プロセッサは、第２パターン及び第３パターンに基づいて、３次元ディスプレイ装置のための第２変換パラメータを決定する。例えば、プロセッサは、第３パターンの歪度に対応する係数α、第３パターンの周期に対応する係数ｃ、及び第２パターンの周期に対応する係数ｇに基づいて、第２変換パラメータを決定することができる。第２変換パラメータは、光学レイヤの寸法に関する係数ｐ及び光学レイヤのポーズに関する係数θを含んでもよい。
【０１０１】
光学レイヤの寸法に関する係数ｐは、光学レイヤのピッチであってもよい。光学レイヤのピッチは、光学レイヤに含まれた元素の間の間隔であり、例えば、第１レンズの中心軸１７２１と第２レンズの中心軸１７２２との間の最短間隔であってもよい。光学レイヤのポーズに関する係数θは、光学レイヤの回転角度であってもよい。光学レイヤの回転角度は、パネルを基準として光学レイヤが回転した角度であり、例えば、第３レンズの中心軸１７２３とパネルに表示される線１７１２との間の角度であってもよい。
【０１０２】
図１５Ｂを参照すると、第１レンズの中心軸１７２１と第２レンズの中心軸１７２２が水平方向に離隔した間隔（以下、「水平間隔」と称する）はｐ／ｃｏｓθである。ｐ／ｃｏｓθは、光学レイヤの水平ピッチであってもよい。第１レンズの中心軸１７２１と第２レンズの中心軸１７２２との間の水平間隔は、第２レンズの中心軸１７２２と第３レンズの中心軸１７２３との間の水平間隔と同一である。したがって、第１レンズの中心軸１７２１と第３レンズの中心軸１７２３との間の水平間隔は２・ｐ／ｃｏｓθである。
【０１０３】
直角三角形１７６０を参照すると、底辺の長さは２・ｐ／ｃｏｓθ−ｇであり、高さはｇ・ｔａｎαであり、一鋭角の大きさはθである。直角三角形１７６０の２つの辺の長さと一鋭角の大きさに基づいて数式（２２）が導き出される。
【０１０４】
【数２１】
2017038366.tif 000023
数式（２２）は数式（２３）のように整理される。
【０１０５】
【数２２】
2017038366.tif 000024
ここで、ｇは第２パターンの周期に対応する係数であり、αは第３パターンの歪度に対応する係数である。θは光学レイヤとパネルの間の回転角度であり、ｐは光学レイヤのピッチである。ｎは第２パターンの一周期に対応する光学レイヤの元素数として、例えば、第３パターンの映像に含まれた隣接線の間に存在するレンズの数であり得る。
【０１０６】
図１５Ｃを参照すると、第１レンズの中心軸１７２１と第２レンズの中心軸１７２２が垂直方向に離隔した間隔（以下、「垂直間隔」と称する）はｐ／ｓｉｎθである。直角三角形９１０を参照すると、底辺の長さはｐであり、一鋭角の大きさはθである。直角三角形９１０の２つの辺の長さと一鋭角の大きさに基づいて数式（２４）が導き出される。
【０１０７】
【数２３】
2017038366.tif 000025
ここで、ｃは第３パターンの周期に対応する係数であり、ｐは光学レイヤのピッチであり、θは光学レイヤとパネルの間の回転角度である。プロセッサは、数式（２３）及び数式（２４）に基づいて、光学レイヤのピッチｐ及び光学レイヤとパネルの間の回転角度θを決定することができる。
【０１０８】
説明の便宜のために、図１５Ａ〜図１５Ｃはｎが２である場合を仮定して説明したが、ｎに応じて光学レイヤのピッチｐ及び光学レイヤとパネルの間の回転角度θは様々に変更され得る。一例として、図１０Ａを参照すると、第２パターンと第３パターンが与えられた状況で、ｎが１である場合に（１０１０）、数式（２３）及び数式（２４）を満足する光学レイヤのピッチｐ及び光学レイヤとパネルの間の回転角度θが算出され得る。他の例として、第２パターンと第３パターンが与えられた状況で、ｎが３である場合（１０２０）、数式（２３）及び数式（２４）を満足する光学レイヤのピッチｐ及び光学レイヤとパネルの間の回転角度θが算出され得る。
【０１０９】
数式（２３）及び数式（２４）で、未知数はｎ、ｐ、θとして合計３つである。未知数の個数が方程式の個数よりも多いため、数式（２３）及び数式（２４）を満足する複数の解が存在する。例えば、第２パターンの一周期に対応する光学レイヤの元素数ｎ及び光学レイヤの回転角度θの間の関係は、図１６に示すグラフのように表現される。
【０１１０】
第２パターンの一周期に対応する光学レイヤの元素数ｎは１以上の正の整数であり、光学レイヤの回転角度θは−９０゜以上＋９０゜以下であるため、図１６に示すグラフから候補解が抽出され得る。例えば、ｎは１、２、３、又は、４である場合、θはそれぞれ２３．２７３５゜、１１．９９２０゜、８．０２１４゜、又は、６．０２１８゜であってもよい。θが分かれば、数式（２４）によりｐが算出される。
【０１１１】
もし、３次元ディスプレイ装置の初期パラメータが知られた場合、初期パラメータを用いて候補解のうち最適解が選択される。初期パラメータは、３次元ディスプレイ装置の設計値であってもよい。例えば、３次元ディスプレイ装置の光学レイヤのピッチが０．５ｍｍと設計された場合、候補解のうちピッチｐが設計値０．５ｍｍと最も近似のｎ＝２である候補解が最終的に選択される。又は、３次元ディスプレイ装置の光学レイヤの回転角度が１２゜と設計された場合、候補解のうち回転角度θが設計値１２゜と最も近似のｎ＝２である候補解が最終的に選択される。実施形態は、光学レイヤの回転角度と光学レイヤのピッチを同時に決定する技術を提供することができる。
【０１１２】
図１７は、一実施形態に係る第３パターンの映像をフーリエ変換して第３パターンの歪度に対応する係数、及び第３パターンの周期に対応する係数を測定する方式を説明する図である。実施形態は、ノイズにロバストであり、キャプチャーされた映像の歪度に関係なく係数を測定する技術を提供することができる。
【０１１３】
第３パターンの映像に含まれたパターンはノイズを含んだり、不規則的な場合がある。そのため、第３パターンの映像で直接第３パターンの歪度及び／又は第３パターンの間隔を測定する場合に誤差が発生することがある。実施形態は、第３パターンの映像をフーリエ変換して周波数ドメインで第３パターンの歪度に対応する係数、及び第３パターンの周期に対応する係数を正確に測定する技術を提供することができる。
【０１１４】
図１７を参照すると、映像２１２０は、第３パターンの映像２１１０をフーリエ変換した結果である。第３パターンの映像２１１０とは異なり、映像２１２０にはパターンの歪度と周期が明確に表示され、第３パターンの映像２１１０にノイズが含まれても映像２１２０には同一の歪度及び周期が表示される。
【０１１５】
プロセッサは、映像２１２０を用いて第３パターンの歪度に対応する係数及び第３パターンの周期に対応する係数を測定できる。ベクトルｂは、映像２１２０の中心から水平方向に近い点を連結する線である。ベクトルｂは、第３パターンの映像で垂直方向の周波数成分を示すものであり、第３パターンの映像自体の歪度を示してもよい。プロセッサは、ベクトルｂを用いて残りの歪度を補正する。ベクトルａは、映像２１２０内の最も明暗度の高い点を連結する線である。ベクトルａの歪度は第３パターンの歪度と直交する。映像２１３０は、映像２１２０内の一部領域の明暗度を示す。映像２１３０のｘ軸とｙ軸は映像２１２０のｘ軸とｙ軸に対応し、映像２１３０のｚ軸の値は映像２１２０で明るさに表示され得る。
【０１１６】
プロセッサは、数式（２５）を用いて第３パターンの歪度に対応する係数を測定し得る。
【０１１７】
【数２４】
2017038366.tif 000026
ここで、αは第３パターンの歪度に対応する係数であり、ｂは映像２１２０のｘ軸とベクトルａがなす角度であり、ａは映像２１２０のｘ軸とベクトルｂがなす角度である。
【０１１８】
プロセッサは、映像２１２０の全体の高さを高さで割って、第３パターンの映像内の同じ歪度又は主方向を有する線が含まれた個数を算出する。ここで、高さは、映像２１２０で最も明暗度の高い点の間の高さの差、又は、映像２１２０の最も明暗度の高い点のうち映像２１２０の原点と最も近い点の高さである。
【０１１９】
プロセッサは、３次元ディスプレイ装置に表示される第２パターンの映像の高さを算出された個数で割ることで、第３パターンの周期に対応する係数を算出することができる。この場合、プロセッサは、パネルにディスプレイされる第２パターンの線の間の実際の間隔として、第２パターンの周期に対応する係数を算出することができる。
【０１２０】
又は、プロセッサは、キャプチャーされた第３パターンの映像の高さを算出された個数で割ることによって、第３パターンの周期に対応する係数を算出することができる。この場合、プロセッサはパネルの大きさと第３パターンの映像の大きさの比率を考慮し、パネルにディスプレイされる第２パターンの線の間の実際の間隔を調整することで、第２パターンの周期に対応する係数を算出することができる。
【０１２１】
プロセッサは、前述した過程を繰り返すことによって、３次元ディスプレイ装置のための第２変換パラメータをさらに正確に決定できる。例えば、プロセッサは、反復実行の結果、導き出された第２変換パラメータの統計を用いて最終第２変換パラメータを決定し得る。又は、プロセッサは、第２変換パラメータのうち標準分布から外れた第２変換パラメータを排除して最終の第２変換パラメータを決定することもできる。プロセッサは、反復実行の結果、導き出された第２変換パラメータを用いて最終の第２変換パラメータを決定することで、単一イテレーションの結果に含まれる誤差によって、最終の第２変換パラメータが不正確になる程度を最小化できる。
【０１２２】
図１８及び図１９は、一実施形態に係る複数のカメラがある場合、パラメータの推定過程を説明する図である。図１９に示すように、一実施形態に係る方法は、ステップＳ２５１０〜Ｓ２５４０のうち少なくとも１つを含んでもよい。図１９に示すステップは図２２に示すプロセッサ２８１０によって実行され得る。
【０１２３】
図１８を参照すると、左側カメラ１０１及び右側カメラ１０２が結合されたディスプレイ２００、及びディスプレイ２００の３次元変換装置３００が図示されている。複数のカメラ１０１、１０２それぞれは、カメラ座標軸Ｃｌｃ及びＣｒｃを有する。ディスプレイ２００はディスプレイ座標軸Ｃｐを有する。図１９を参照すると、ステップＳ２５１０において、キャプチャー映像に基づいて右側カメラパラメータが算出される。ステップＳ２５２０において、キャプチャー映像に基づいて左側カメラパラメータが算出される。ステップＳ２５３０において、外部パラメータに基づいて第１変換パラメータが算出される。外部パラメータは、左側カメラ１０１に対して算出された第１外部パラメータ、及び右側カメラ１０２に対して算出された第２外部パラメータを含んでもよい。第１外部パラメータに対する第１変換パラメータと第２外部パラメータに対する第２外部パラメータがそれぞれ算出される。ステップＳ２５４０において、キャプチャー映像に基づいて第２変換パラメータが算出される。以上ではカメラが２つである場合の実施形態について説明したが、カメラが３つ以上である場合にも上記に説明したものと同様にパラメータを推定することができる。
【０１２４】
図２０及び図２１は、一実施形態に係るカメラが備えられたディスプレイ装置のパラメータの推定過程を説明する図である。図２１に示すように、一実施形態に係る方法は、ステップＳ２７１０及びＳ２７１０のうち少なくとも１つを含んでもよい。図２１に示すステップは、図２２に示すプロセッサ２８１０によって実行され得る。
【０１２５】
図２０を参照すると、タブレットコンピュータのカメラ１０３とディスプレイ２０３、ＴＶやモニターのカメラ１０４とディスプレイ２０４、及び携帯電話のカメラ１０５とディスプレイが図示されている。図２１を参照すると、ステップＳ２７１０において、キャプチャー映像に基づいてカメラパラメータが算出される。ステップＳ２７２０において、外部パラメータに基づいて第１変換パラメータが算出される。第１変換パラメータによってそれぞれの電子機器はカメラとディスプレイの姿勢を推定する。上記に説明した内容は、タブレットコンピュータ、ＴＶ、モニター及び携帯電話の他にもディスプレイとカメラが結合された電子装置に適用され得る。
【０１２６】
図２２は、一実施形態に係る電子システムを示すブロック図である。図２２を参照すると、電子システムは、カメラ２８２０、プロセッサ２８１０及びディスプレイ２８３０を含む。カメラ２８２０、プロセッサ２８１０、及びディスプレイ２８３０は、バス２８４０を用いて通信することができる。
【０１２７】
カメラ２８２０は、周知の方式（例えば、光学イメージを電気信号に変換する方式など）で映像をキャプチャーしてもよい。キャプチャーされた映像は、プロセッサ２８１０から出力される。プロセッサ２８１０は、図１〜図２３を参照して前述した少なくとも１つの装置を含んだり、図１ないし図２３を参照して前述した少なくとも１つの方法を行ってもよい。例えば、プロセッサ２８１０は、図２を参照して説明された各ステップを行ってもよい。ディスプレイ２８３０は、第１パターン及び第２パターンを含む第１映像を表示してもよい。
【０１２８】
図面に図示していないが、電子システムはメモリをさらに含んでもよい。メモリは、各種のパターン、カメラ２８２０によってキャプチャーされた映像、及び／又はプロセッサ２８１０によって算出されたパラメータなどを格納してもよい。メモリは、揮発性メモリ又は不揮発性メモリであってもよい。
【０１２９】
プロセッサ２８１０は、プログラムを実行して電子システムを制御する。プロセッサ２８１０によって実行されるプログラムコードはメモリに格納されてもよい。電子システムは、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換してもよい。
【０１３０】
たとえは、図２２は、プロセッサ２８１０、カメラ２８２０、及びディスプレイ２８３０を単一システムの構成に図示しているが、それぞれの構成は分割されたデバイスの装置として理解され得る。例えば、プロセッサ２８１０は、カメラ２８２０及びディスプレイ２８３０とデータのやり取りするためのデータインタフェース（ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ（登録商標））など）を有するドングルに実現される装置として存在し得る。
【０１３１】
電子システムは、移動電話、スマートフォン、ＰＤＡ、タブレットコンピュータ、ラップトップコンピュータなどのモバイル装置、パーソナルコンピュータ、タブレットコンピュータ、ネットブックなどのコンピューティング装置、又はテレビ、スマートテレビ、ゲート制御のためのセキュリティー装置の電子製品などの様々な電子システムを含んでもよい。
【０１３２】
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサー、または、命令を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。
【０１３３】
ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。
【０１３４】
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
【０１３５】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【０１３６】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０１３７】
１００  カメラ
２００  ディスプレイ
３００  ３次元変換装置
１１、１２  光線
２１    右側の目
２２    左側の目
【図１】
2017038366.tif 000027
【図２Ａ】
2017038366.tif 000028
【図２Ｂ】
2017038366.tif 000029
【図３】
2017038366.tif 000030
【図４】
2017038366.tif 000031
【図５】
2017038366.tif 000032
【図６】
2017038366.tif 000033
【図７】
2017038366.tif 000034
【図８】
2017038366.tif 000035
【図９】
2017038366.tif 000036
【図１０Ａ】
2017038366.tif 000037
【図１０Ｂ】
2017038366.tif 000038
【図１１】
2017038366.tif 000039
【図１２】
2017038366.tif 000040
【図１３】
2017038366.tif 000041
【図１４】
2017038366.tif 000042
【図１５Ａ】
2017038366.tif 000043
【図１５Ｂ】
2017038366.tif 000044
【図１５Ｃ】
2017038366.tif 000045
【図１６】
2017038366.tif 000046
【図１７】
2017038366.tif 000047
【図１８】
2017038366.tif 000048
【図１９】
2017038366.tif 000049
【図２０】
2017038366.tif 000050
【図２１】
2017038366.tif 000051
【図２２】
2017038366.tif 000052