(57)【特許請求の範囲】
【請求項１】
３Ｄディスプレイにおいてクロストークを低減する方法であって、該方法は、
前記３Ｄディスプレイにおける前記クロストークを複数のテスト信号を用いて明らかにし、順変換モデルを生成することと、
前記順変換モデルに入力画像信号を適用し、モデル化された信号を生成することと、
前記モデル化された信号を視覚モデルに適用し、視覚尺度を計算することと、
前記視覚尺度に基づいて前記入力画像信号を変更することと、
を含む、３Ｄディスプレイにおいてクロストークを低減する方法。
【請求項２】
前記３Ｄディスプレイにおける前記クロストークを明らかにすることは、前記複数のテスト信号を前記３Ｄディスプレイに入力することと、１組の出力信号を測定することとを含む、請求項１に記載の方法。
【請求項３】
前記１組の出力信号を用い、前記順変換モデルを生成することを更に含む、請求項２に記載の方法。
【請求項４】
前記複数のテスト信号は、カラーパッチテスト信号と、チェッカーボードテスト信号と、白色テスト信号と、黒色テスト信号と、水平ライン状テスト信号と、垂直ライン状テスト信号とからなる群からの信号を含む、請求項１に記載の方法。
【請求項５】
前記順変換モデルは、空間変動オフセット及び利得変換と、色補正変換と、幾何補正変換と、空間変動ブラー変換とからなる群からの１組の変換を含む、請求項１に記載の方法。
【請求項６】
前記モデル化された信号は、１組のクロストークモデル化された信号と、１組の所望の信号とを含む、請求項１に記載の方法。
【請求項７】
前記視覚尺度は、クロストークモデル化された信号と、所望の信号との間の視覚差尺度を含む、請求項１に記載の方法。
【請求項８】
前記視覚尺度に基づいて前記入力画像信号を変更することは、視覚的に変更された入力信号を生成することを含む、請求項１に記載の方法。
【請求項９】
前記視覚的に変更された入力信号を生成することは、前記入力画像信号の視覚特性を変動させることであって、それにより前記視覚的に変更された入力信号を前記入力画像信号の正準変換として生成することを含む、請求項８に記載の方法。
【請求項１０】
前記視覚尺度を最小にすることを更に含む、請求項８に記載の方法。
【請求項１１】
前記視覚尺度を最小にすることは、
前記視覚的に変更された入力信号を前記順変換モデルに適用し、新たな１組のモデル化された信号を生成することと、
前記新たな１組のモデル化された信号を前記視覚モデルに適用し、前記視覚尺度が最小になるまで該視覚尺度を更新することと、
を含む、請求項１０に記載の方法。
【請求項１２】
３Ｄディスプレイシステムであって、
３Ｄディスプレイ画面と、
前記３Ｄディスプレイ画面によって生じるクロストークを低減するクロストーク低減モジュールと、
を備え、前記クロストーク低減モジュールは、
マルチビューディスプレイ画面によって生じる前記クロストークをモデル化し、入力画像信号からモデル化された信号を生成する順変換モデルと、
視覚尺度を計算する視覚モデルと、
前記視覚尺度に基づいて前記入力画像信号を変更するクロストーク補正モジュールと、
を備える、３Ｄディスプレイシステム。
【請求項１３】
前記順変換モデルは、空間変動オフセット及び利得変換と、色補正変換と、幾何補正変換と、空間変動ブラー変換とからなる群からの１組の変換を含む、請求項１２に記載の３Ｄディスプレイシステム。
【請求項１４】
前記モデル化された信号は、１組のクロストークモデル化された信号と、１組の所望の信号とを含む、請求項１３に記載の３Ｄディスプレイシステム。
【請求項１５】
前記視覚尺度は、クロストークモデル化された信号と、所望の信号との間の視覚差尺度を含む、請求項１２に記載の３Ｄディスプレイシステム。
【請求項１６】
前記クロストーク補正モジュールは、視覚的に変更された入力信号を生成する、請求項１２に記載の３Ｄディスプレイシステム。
【請求項１７】
前記クロストーク補正モジュールは、前記入力画像信号の視覚特性を変動させることによって、前記視覚的に変更された入力信号を前記入力画像信号の正準変換として生成する、請求項１６に記載の３Ｄディスプレイシステム。
【請求項１８】
前記視覚的に変更された入力信号を前記順変換モデルに適用して、新たな１組のモデル化された信号を生成し、前記新たな１組のモデル化された信号を前記視覚モデルに適用して、前記視覚尺度が最小になるまで該視覚尺度を更新する、請求項１７に記載の３Ｄディスプレイシステム。
【請求項１９】
３Ｄディスプレイとともに用いるクロストーク低減モジュールであって、
前記３Ｄディスプレイによって生じるクロストークをモデル化し、入力画像信号からモデル化された信号を生成する順変換モデルと、
視覚尺度を計算する視覚モデルと、
前記視覚尺度に基づいて前記入力画像信号を変更するクロストーク補正モジュールと、
を備える、クロストーク低減モジュール。
【請求項２０】
前記視覚尺度は、前記３Ｄディスプレイによって生じる前記クロストークが、視聴者に対し視覚的に低減されるまで最小にされる、請求項１９に記載のクロストーク低減モジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄディスプレイにおいてクロストークを低減する方法に関する。
【背景技術】
【０００２】
立体視ディスプレイ及びマルチビューディスプレイは、３次元（「３Ｄ」）実世界シーンをより正確に視覚的に再現し視聴者に提供するために登場した。そのようなディスプレイは、視聴者が複数の視点から３Ｄ効果を体験することを可能にするために、アクティブメガネ、パッシブメガネ又は自動立体視レンチキュラーアレイの使用を必要とし得る。例えば、立体視ディスプレイは、視聴者の左眼と右眼とに別個の画像ビューを向ける。次に、視聴者の脳がこれらの異なるビューを比較し、視聴者が単一の３Ｄ画像ととらえるものを作り出す。
【０００３】
３Ｄディスプレイにおいて生じる１つの大きな課題は、画像ビュー間のクロストークである。すなわち、一方の眼を対象とした画像ビューの一部が他方の眼に滲出又は漏出し、結果として望ましくないクロストーク信号が生じる。これらのクロストーク信号は、画像ビューの上に重なり、それによって３Ｄ画像の全体品質が下がる。３Ｄディスプレイにおけるクロストークを低減し補正する様々な手法が存在しているが、それらは、ハードウェア又は物理学に基づいた手法で実施するコストが高いことに加えて、特定のタイプのコンテンツ（例えばグラフィック画像）、特定のタイプの３Ｄディスプレイ（例えばアクティブメガネを必要とする３Ｄディスプレイ）、又は少数のビュー（例えば立体の場合は２つのビュー）に限定される傾向がある。
【発明の概要】
【０００４】
本出願は、添付の図面とともに読まれるときに、以下の詳細な説明との関連で最も良く理解され得る。類似の参照番号は全体を通じて類似の部分を指している。
【図面の簡単な説明】
【０００５】
【図１】クロストークを有する例示的な３Ｄディスプレイシステムの概略図である。
【図２】３Ｄディスプレイにおけるクロストーク信号を明らかにして補正するシステムの概略図である。
【図３】図２の例示的なクロストーク低減モジュールをより詳細に示す図である。
【図４】様々な実施形態による、図３のクロストーク低減モジュールを用いて３Ｄディスプレイにおけるクロストークを低減し補正するフローチャートである。
【図５】図３のクロストーク低減モジュールとともに用いる順変換モデルの概略図である。
【図６】図５の順変換モデルを生成するのに用いられ得る例示的なテスト信号を示す図である。
【発明を実施するための形態】
【０００６】
立体視３Ｄディスプレイ及びマルチビュー３Ｄディスプレイとともに用いるモデルベースのクロストーク低減システム及び方法が開示される。本明細書において大まかに説明されているように、クロストークは、視聴者の一方の眼を対象とした画像信号又はビューが、他方の眼を対象とした画像信号の上に重なる意図しない信号として見えるときに生じる。本明細書において、意図しない信号のことをクロストーク信号と呼ぶ。
【０００７】
様々な実施形態において、３Ｄディスプレイにおいて現れるクロストーク信号は、順変換モデル及び視覚モデルを用いることによって低減され補正される。順変換モデルは、画像信号がディスプレイに入力されるときに生じるクロストーク信号の光学的側面、測光学的側面及び幾何学的側面を明らかにする。視覚モデルは、ディスプレイに入力される元の画像信号に対する視覚的忠実性が保たれるように、空間識別、色及び時間識別を含む顕著な視覚効果を計算に入れる。入力信号に非線形最適化を適用して、クロストーク信号を低減するか又は完全になくす。
【０００８】
以下の説明において、実施形態の完全な理解を与えるように、多数の具体的な詳細が説明されることが理解される。しかしながら、実施形態はこれらの具体的な詳細に限定することなく実施され得ることが理解される。他の例では、実施形態の説明を不必要に曖昧にすることを回避するために、既知の方法及び構造は詳細に説明されない場合がある。また、実施形態は互いに組み合わせて用いられ得る。
【０００９】
ここで図１を参照すると、クロストークを有する例示的な３Ｄディスプレイシステムの概略図が説明される。３Ｄディスプレイシステム１００は、例えば視差ディスプレイ、レンチキュラーベースのディスプレイ、ホログラフィックディスプレイ、プロジェクターベースのディスプレイ、ライトフィールドディスプレイ（light field display）等の立体視ディスプレイ画面又はマルチビューディスプレイ画面とし得る３Ｄディスプレイ画面１０５を有する。画像取得モジュール１１０は、ディスプレイ画面１０５において表示用の複数の画像ビュー又は信号を捕捉する１つ又は複数のカメラ（図示せず）を有し得る。例えば、立体視ディスプレイの場合、２つの画像ビューが捕捉され得る。一方は視聴者の左眼１１５用（左画像「Ｌ」１２５）であり、他方は視聴者の右眼１２０用（右眼画像「Ｒ」１３０）である。捕捉画像１２５及び１３０は、ディスプレイ画面１０５上に表示され、視聴者の左眼１１５において画像１３５として知覚され、視聴者の右眼１２０において画像１４０として知覚される。代替的に、画像取得モジュール１１０は、単にコンピューターが生成した３Ｄ又はマルチビューグラフィック情報を指し得る。
【００１０】
ディスプレイ画面１０５によって生じたクロストークの結果として、画像１３５及び１４０にはクロストーク信号が重ね合わさっている。視聴者の左眼１１５用の画像１３５にはクロストーク信号１４５が重ね合わされ、視聴者の右眼１２０用の画像１４０にはクロストーク信号１５０が重ね合わされる。当業者によって理解されるように、視聴者によって知覚される画像内にクロストーク信号１４５及び１５０が存在すると画像の全体品質が影響を受ける。また、ゴースティング又は他の主観的な目に見えるアーチファクトと異なり、クロストーク信号は物理的実態であり、客観的に測定し、明らかにし、補正することができることが理解される。
【００１１】
ここで図２を参照すると、３Ｄディスプレイにおいてクロストーク信号を明らかにして補正するシステムの概略図が説明される。３Ｄディスプレイシステム２００は、例えば左画像「Ｌ」２１５又は右画像「Ｒ」２２０等の、３Ｄディスプレイ画面２１０に表示するための複数の画像ビュー又は信号を捕捉する画像取得モジュール２０５を有する。クロストーク低減モジュール２２５は、画像２１５及び２２０を取得し、３Ｄディスプレイ画面２１０によって生じるクロストークを低減し補正するモデルベースの手法を適用する。クロストーク低減モジュール２２５は画像２１５及び２２０を画像２３０及び２３５に変更し、次にこれらをディスプレイ画面２１０に入力する。結果として、画像２４０及び２４５はクロストークが大幅に低減されるか又は存在しない状態で視聴者の眼２５０及び２５５によって知覚される。当業者であれば、クロストーク低減モジュール２２５及び３Ｄディスプレイ画面２１０は（図示されるように）別個のデバイスにおいて実施され得るか、又は単一のデバイスに統合され得ることが理解される。
【００１２】
図３は、図２の例示的なクロストーク低減モジュールをより詳細に示している。クロストーク低減モジュール３００は、順変換モデル３０５と、視覚モデル３１０と、３Ｄディスプレイに割り当てられたクロストーク信号を低減し補正するクロストーク補正モジュール３１５とを有する。例えば左画像信号「Ｌ」３２０及び右画像信号「Ｒ」３２５等の、３Ｄディスプレイにおいて表示される複数の画像ビュー又は信号が与えられると、クロストーク低減モジュール３００は、３Ｄディスプレイによって生じるクロストークを明らかにし、左クロストーク補正済み画像「ＬCC」３５５及び右クロストーク補正済み画像「ＲCC」３６０等の対応するクロストーク補正済み画像を生成する。
【００１３】
順変換モデル３０５は、３Ｄディスプレイによって生じる直接信号及びクロストーク信号の光学的側面、測光学的側面及び幾何学的側面を明らかにする。すなわち、順変換モデル３０５は、画像取得（例えば画像取得モジュール２０５）から３Ｄディスプレイ（例えば３Ｄディスプレイ２１０）への順変換を明らかにすることによって、直接信号及びクロストーク信号を推定又はモデル化する。これは、テスト信号を入力として用いるときに、３Ｄディスプレイによって生成される出力信号を測定することによって行われる。当業者であれば理解するように、順変換モデル３０５は数学的関数Ｆ（．）によって表すことができる。
【００１４】
様々な実施形態において、テスト信号は、左テスト信号及び右テスト信号の双方を共に含んでいてもよいし、又は個々の左テスト信号及び右テスト信号を含んでいてもよい。第１の場合、テスト信号ＬT及びＲTは一緒に３Ｄディスプレイに送信され、本明細書においてＬF及びＲFと呼ばれる左出力信号及び右出力信号が生成され、順変換関数Ｆ（．）のパラメーターが推定される。すなわち、以下の式となる。
【数１】
0005859654.tif 000002
【数２】
0005859654.tif 000003
ここで、ＦLは左出力信号ＬFを明らかにするのに用いられる順モデルを表し、ＦRは右出力信号ＲFを明らかにするのに用いられる順モデルを表す。
【００１５】
第２の場合、試験画像信号ＬT及びＲTは３Ｄディスプレイに別個に送信され、左出力信号及び右出力信号が生成され、これらが測定される。すなわち、以下の式となる。
【数３】
0005859654.tif 000004
【数４】
0005859654.tif 000005
ここで、ＬDL及びＲCLは、ＬTテスト信号のみが入力として用いられるときに視聴者の左眼に表示されることになる出力信号（ＬDL）及び右眼に表示されることになる出力信号（ＲCL）である。同様に、ＬCR及びＲDRは、ＲTテスト信号のみが入力として用いられるときに視聴者の左眼に表示されることになる出力信号（ＬCR）及び右眼に表示されることになる出力信号（ＲDR）である。
【００１６】
当業者であれば理解するように、ＬDL信号及びＲDR信号は、クロストークがないときの各眼における所望の出力信号である一方、ＲCL信号及びＬCR信号は、他方の眼に漏れるクロストークを表す。例えば、ＲCLは、左画像信号のみがディスプレイに送信されるときに右眼において見られるクロストークを表す一方、ＬCRは、右画像信号のみがディスプレイに送信されるときに左眼において見られるクロストークを表す。
【００１７】
一実施形態では、加法モデル又は他のそのようなモデルを用いて、眼ごとの測定応答を合成し得る。すなわち、左眼についてＬDL応答及びＬCR応答を合成して、合成信号ＬDにし、右眼についてＲCL応答及びＲDR応答を合成して、合成信号ＲDにし得る。次に、合成された応答ＬD及びＲDを用いて、順変換関数Ｆ（．）のパラメーターを推定し得る。この変換関数はディスプレイに依拠することに留意されたい。なぜならそのパラメーターは、用いられる特定の３Ｄディスプレイ（例えばレンチキュラーアレイディスプレイ、立体視アクティブグラスディスプレイ、ライトフィールドディスプレイ等）に依拠するためである。
【００１８】
テスト信号により順変換モデル３０５が生成されると、入力画像信号（例えばＬ３２０及びＲ３２５）をクロス低減モジュール３０５に適用して、クロス補正済み画像信号（例えばＬCC３５５及びＲCC３６０）を生成し得る。まず、Ｌ入力信号３２０及びＲ入力信号３２５を順変換モデル３０５に適用し、モデル化されたクロストーク出力信号ＬF及びＲF並びに所望の信号ＬDL及びＲDRを用いて、３Ｄディスプレイによって生じるクロストークを明らかにする。次に、これらの信号を視覚モデル３１０に送信し、３Ｄディスプレイに表示される信号の視覚品質がそのクロストークによってどれだけ影響を受けるかを表す視覚尺度を求める。１つの例では、視覚モデル３１０は、中でも空間識別、色及び時間識別を含む視覚的効果を考慮に入れることによって、所望の信号ＬDL及びＲDRと、モデル化されたクロストーク出力信号ＬF及びＲFと間の視覚的差の尺度νを計算する。視覚モデル３１０は、そのような視覚的差の尺度を計算する任意の視覚モデルとし得ることが理解される。
【００１９】
クロス補正モジュール３１５は、この尺度νを用いて入力画像信号Ｌ３２０及びＲ３２５を変更し、視覚的に変更された入力信号ＬM３４５及びＲM３５０を生成する。一実施形態では、これは、入力信号のコントラスト、輝度及び色等の視覚パラメーター又は特性を変動させて、入力信号の正準変換として視覚的に変更された入力信号を生成することによって行われる。
【００２０】
次に、視覚的に変更された入力信号ＬM３４５及びＲM３５０を入力として順変換３０５に送信して、視覚尺度νを更新し、入力信号に対する変更によってクロストークが低減された（νの値が小さくなるほどクロストークが下がる）か否かを判断する。このプロセスは、クロストークが大幅に低減されるか又は完全になくなるまで、すなわち視聴者に対し視覚的に低減されるまで繰り返される。すなわち、非線形最適化は、νが最小化され、クロストークが出力信号ＬCC３５５及びＲCC３６０において大幅に低減されるか又は完全になくなるまでνの値を通じて反復するように実行される。出力信号ＬCC３５５及びＲCC３６０は、視覚尺度νが最小値にあるときの視覚的に変更された信号ＬM３４５及びＲM３５０と同じであることが理解される。
【００２１】
また、図３に示される様々な左画像信号及び右画像信号（例えば入力Ｌ３２０及びＲ３２５、出力ＬCC３５５及びＲCC３６０）は説明の目的のみで示されることも理解される。複数の画像ビューをクロストーク低減モジュール３００に入力し（例えばマルチビューディスプレイにおける複数の画像ビュー等）、対応するクロストーク補正された出力を生成し得る。すなわち、クロストーク低減モジュール３００は、サポートするビュー数に関わらず、任意のタイプの３Ｄディスプレイについて実施することができる。
【００２２】
次に、図４に注意を向けると、図４は、様々な実施形態による、図３のクロストーク低減モジュールを用いて３Ｄディスプレイにおけるクロストークを低減し補正するフローチャートを示している。まず、３Ｄディスプレイにおいて生じるクロストークを、複数のテスト信号を用いて明らかにし、順変換モデルを生成する（４００）。順変換モデルが生成されると、画像信号をモデルに入力して、モデル化された信号を生成する（４０５）。これらのモデル化された信号は、例えば、上記で説明したＬF信号及びＲF信号並びにＬD信号及びＲD信号とし得る。
【００２３】
次に、モデル化された信号を視覚モデルに適用して、３Ｄディスプレイ内に表示される信号の視覚品質がそのクロストークによってどれだけ影響を受けるかを示す視覚尺度を計算する（４１０）。次に、視覚尺度に基づいて入力信号を変更して（４１５）、視覚尺度が最小化されるまで順変換モデルに再適用する（４２０）。視覚尺度が最小化されると、変更されクロストーク補正された信号を、表示のために３Ｄディスプレイに送信する（４２５）。クロストーク補正された信号は、クロストークが視聴者に対し視覚的に低減されるようになっている。代替的には、当業者によって理解されるように、変更され、クロストーク補正された信号は、後に表示するために保存することができる。
【００２４】
次に図５を参照して、図３のクロストーク低減モジュールとともに用いる順変換モデルの概略図を説明する。順変換モデル５００は、順変換関数Ｆ（．）において表される測光学的要素、幾何学的要素及び光学的要素を明らかにする４つの主な変換、すなわち（１）空間変動オフセット及び利得変換５０５、（２）色補正変換５１０、（３）幾何学的補正変換５１５、及び（４）空間変動ブラー変換５２０、を有する。カラーパッチ、グリッドパターン、水平縞及び垂直縞、均一の白色レベル、黒色レベル及び階調レベル信号が暗室において３Ｄディスプレイに送信され、Ｆ（．）のパラメーターが推定される。
【００２５】
空間変動オフセット及び利得変換５０５において、白色レベル信号及び黒色レベルを３Ｄディスプレイに送信して、その白色応答及び黒色応答を求め、利得オフセット出力を生成する。この利得オフセット変換を与えられると、次に、測定された色と色値とを適合させることによって色補正変換５１０を求める。階調入力パッチの測定された平均色値を用いて、入力色成分に適用される１次元ルックアップテーブルを求め、原色Ｒ、Ｇ及びＢ入力の測定された平均色値を用いて、既知の入力色値を用いた色混合行列を求める。空間的に再正規化された色を用いて適合度を計算することによって、少数のパラメーターを用いてデータを適合させる色補正変換５１０が可能になる。
【００２６】
次に、幾何補正５１５を、例えば多項式メッシュ変換モデルを用いて求め得る。モデル化された信号のエッジにおいて良好な結果を得るのに、最終的な空間変動ブラー変換５２０が必要とされる。ブラーが適用されない場合、モデル化された信号において、好ましくないハローアーチファクトが見え続け得る。一実施形態では、空間変動ブラーのパラメーターは、水平方向及び垂直方向において別個のブラーカーネルを推定することによって求められ得る。順変換モデル５００を生成するのに更なる変換が用いられ得ることが理解される。
【００２７】
図６は、図５の順変換モデルを生成するのに用いられ得る例示的なテスト信号を示している。テスト信号６００は、正方形６０５等の複数の色付き正方形を有するカラーパッチを表し、色補正５１０に用いられる。テスト信号６１０は幾何補正５１５に用いられるチェッカーボードであり、白色テスト信号６１５及び黒色テスト信号６２０は、空間変動利得及びオフセット変換５０５に用いられる。テスト信号６２５及び６３０は、空間変動ブラーパラメーターを求めるための水平ライン及び垂直ラインを含む。
【００２８】
当業者であれば理解するように、本明細書において説明される順変換モデルを生成するのに他のテスト信号が用いられ得る。順変換モデルを生成する様々な変換を含むことに注意を払うことによって、図３のクロストーク低減モジュールが、表示される信号の視覚品質を改善しながら、任意のタイプの３Ｄディスプレイにおいて多岐にわたる入力信号についてクロストークを低減し補正することが可能になることも理解される。
【００２９】
開示された実施形態の上記の説明は、任意の当業者が本開示を作成又は使用することを可能にするように提供されることが理解される。これらの実施形態に対する様々な変更が当業者には容易に明らかとなり、本明細書において定義される一般原理は、本開示の趣旨又は範囲から逸脱することなく、他の実施形態に適用することができる。したがって、本開示は本明細書に示される実施形態に限定されることを意図しておらず、本明細書に開示される原理及び新規の特徴と一致する最も広い範囲に当てはまるものである。
【図１】
0005859654.tif 000006
【図２】
0005859654.tif 000007
【図３】
0005859654.tif 000008
【図４】
0005859654.tif 000009
【図５】
0005859654.tif 000010
【図６】
0005859654.tif 000011