(57)【要約】  移動の同じフェーズにおける、３Ｄビデオ、一般的には、立体視画像を生成する最新の生成方法を開示する。立体視の一対の左側イメージおよび右側イメージは、同一時点で記録された（またはレンダリングされた）イメージである。正しく再生するためには、２つのイメージを同時に表示する必要がある。しかしながら、例えば、いわゆるシャッター技術を採用する３Ｄテレビセットである装置では、左側イメージおよび右側イメージを、時間的に連続した態様で表示している。このように、２つの立体視イメージを、時間的にオフセットされた態様で再生すると、画像エラーが明確に知覚される。本発明は、このような画像エラーを補償する方法について記載する。２つのチャネルのうちの一方のイメージを補間することにより、上記方法が達成される。【選択図】図２
2014527332.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄイメージ信号を表示する表示装置であって、
前記３Ｄイメージ信号は、視認者の左目および右目に対するイメージシーケンスの２つのチャネルを含み、
前記２つのチャネルのそれぞれにおけるイメージは、互いに、実質的に等しい時間間隔で発生し、
前記表示装置は、
前記３Ｄイメージ信号を表示する表示画面と、
前記３Ｄイメージ信号を表示するべく、前記表示画面を制御する制御ユニットと、を備え、
前記制御ユニットは、
前記２つのチャネルのうちの一方から連続したイメージを導出して、前記一方からの連続したイメージを、実質的に等しい時間間隔に位置する第１の時間において前記表示画面に表示させ、前記２つのチャネルのうちの他方から連続したイメージを導出して、前記他方からの連続したイメージを、実質的に等しい時間間隔に位置する第２の時間において前記表示画面に表示させ、
前記第２の時間は、前記第１の時間の間に位置し、
前記制御ユニットは、補間されたイメージを生成するべく、各インスタンスにおいて、前記２つのチャネルのうちの前記他方からの前記イメージシーケンスにおける少なくとも２つの連続するイメージを補間する補間回路を有し、
前記制御ユニットは更に、補間された前記連続したイメージを、前記第２の時間に、前記表示画面に表示する、表示装置。
【請求項２】
前記制御ユニットは更に、前記２つのチャネルのうちの前記他方からの連続するイメージにおける移動速度を決定する決定回路を有し、
前記補間回路は、決定された前記移動速度に依存して、前記２つのチャネルのうちの前記他方からの前記少なくとも２つの連続するイメージを補間する、請求項１に記載の表示装置。
【請求項３】
前記補間回路は、前記第１の時間と前記第２の時間との間の時間間隔に依存して、前記２つのチャネルのうちの前記他方の前記少なくとも２つの連続するイメージを補間する、請求項１または２に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特許請求の範囲の主要請求項のプリアンブル部分に係る表示装置に関する。このような装置の例は、２０１０年４月のGrass Valley社によるホワイトペーパー、表題"3D Television（３Ｄテレビ）"に記載されている。
【背景技術】
【０００２】
表示装置で再生される３Ｄ画像の特定のコンテンツには、表示装置を観察する人が見る３Ｄ画像に干渉効果を有する画像エラーが発生する場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、特定の画像エラーの発生を少なくとも部分的に抑制することを目的とする。
【課題を解決するための手段】
【０００４】
目的を達成するべく、本発明に係る表示装置は、主要な請求項に記載された発明を特徴つける部分の特徴を有する。
【０００５】
主要な請求項の性質は、以下の発明の概念に基づく。
【０００６】
３次元画像を表示する最も一般的な方法は、立体視（stereoscopy）であり、観察者に対して、一対のイメージ（すなわち、立体視画像、したがって、左側イメージおよび右側イメージ）が表示され、それにより、奥行きの知覚を伴う３次元の印象が伝達される。立体視の再生では、奥行き情報が、特に、左側イメージと右側イメージとの間の被写体の水平方向オフセットの大きさに含まれる。このオフセットが大きいと、再生装置の平面から、視認者に向かうまでの変位、または、再生平面の後方への変位が大きくなるように、被写体が認識されるであろう。本発明のコンテキストに係る３Ｄ動画像（３Ｄビデオ）を記録および再生方法の特性について、以下に概略的に説明する。
【０００７】
動画のシーンは、典型的には、移動する被写体を含み、この移動被写体は、１つのイメージ（フレーム）それぞれにおいて、移動の規定されたフェーズに存在する。被写体の移動のフェーズとフレームとの間の関連付けは、記録プロセスによって決定される。３Ｄ画像作成では、左側イメージおよび右側イメージはそれぞれ、それぞれの特定の瞬間（一般的に、同時に）記録またはレンダリングされる。したがって、両方のイメージにより、移動の特定のフェーズ（通常は、移動の同じフェーズ）にある被写体が示され、両方のイメージは、同じ方法によって（すなわち、ほぼ同じタイミングで）再生されるべきである。しかしながら、ここで、左側イメージと右側イメージとを、同時に示すか（偏光技術）または連続的に示すか（シャッター技術）という再生の異なる技術が存在する。立体視画像を同時に再生することは、シャッター技術では本質的にできず、その結果、以下に説明するような画像エラーが生じる。
【０００８】
周知の事実として、シャッター技術は、立体視画像（左側チャネルおよび右側チャネル）の２つのチャネルの時間的にオフセットされた再生に基づく。ここで、第２のイメージ（一般的に、右側イメージ）は、第１の（左側の）イメージが再生された後でのみ、再生されるので、不正確なタイミングで再生される。言い換えると、右側イメージの再生時間が、その再生位置に一致しない場合がある。その結果、右側イメージにおける移動被写体が、被写体の移動に基づいて観察者が推定する位置に配置されない。表示される場所と、被写体の移動と一致する場所との間の差分は、観察者にとっては、移動被写体の局所的なオフセットとして知覚される。
【０００９】
２つのチャネルのうちの一方のイメージを補間することにより、被写体の自然な移動に良好に合致するように補間されたイメージが、表示装置に生成および表示される。その結果、画像エラーが知覚される可能性が少なくなる。
【図面の簡単な説明】
【００１０】
本発明を、添付の図面を参照して説明する。
【図１】３Ｄ画像を表示装置で表示する結果を示している。
【図２】チャネルのイメージに対する補間の処理を示した図である。
【図３】本発明に係る表示装置の第１の実施形態を示した図である。
【図４】本発明に係る表示装置の別の実施形態における信号処理のフローチャートである。
【図５】本発明に係る、表示装置の別の実施形態である。
【図６】図５の表示装置で生成された様々なイメージ信号を示した図である。
【発明を実施するための形態】
【００１１】
図１には、時間軸上に、記録の２つのフレームが示されており、左側チャネルと右側チャネルとが同時に第１の時間ｔ１１、ｔ１２、…に記録されており、これは、左側チャネルに対する連続するイメージ１０１および右側チャネルの連続するイメージ１０２を参照している。記録は、左側から右側へと移動する矩形を含む。
【００１２】
参照番号１０３は、どのように左側チャネルのイメージが、表示画面での表示のために供給されるかを示している。
【００１３】
表示画面で再生されると、右側チャネルが、左側チャネルに対して、時間差Ｔで、時間的にオフセットされ態様で表示され、図では、イメージ１０４のシーケンスおよび第２の時間ｔ２１、ｔ２２を参照されたい。これにより、上記したようなエラーが発生する。図面において一番下の位置にプロットされているチャネル１０５（Ｒｋｏｒｒｅｋｔ）におけるイメージは、移動に基づいて観察者が推測する矩形の位置を示している。
【００１４】
生成される画像エラーの種類は、被写体の移動方向に依存し、２つの構成要素に分けてもよい。特に、影響が大きいのが、水平方向に移動する場合であり、水平方向オフセットが、横方向の差異のエラーにつながり、その結果、被写体の奥行きが変更されることになる。移動の方向（左側、右側）に依存して、ならびに、左側イメージおよび右側イメージの再生のシーケンスに依存して、観察者にとって、被写体が近づいたまたは遠ざかったように見える。垂直方向の移動の場合についても同様に、局所的なオフセットが知覚され、その結果、上記したような"フィルムジャダ―（film judder）と同様に、イメージがわずかに揺れる問題が生じる。
【００１５】
上記ですでに記載したように、本発明は、上記のような画像エラーを再生側で補償すること、または、少なくとも、画像エラーの大部分を回避することを目的とする。本発明により、３Ｄビデオの個々のイメージを時間的なシーケンスの態様で（例えば、シャッター技術により）表示する様々な再生装置において、上記したような画像エラーが発生することなく、画像材料の正確な再生を達成できる。再生について、上記の点に関する特徴的なパラメータとして、ソース材料のフレームレート、２つのチャネルのイメージが表示画面に視覚的に表示されるのに使用される切り替え周波数、記録方法によって決定される右側イメージと左側イメージとの間の時間的オフセット（通常０）、および、表示画面に表示されている間の第１の時間と第２の時間との時間差分（通常、第２の時間は、２つの第１の時間の間に時間的に中間の中央に位置する）が含まれる。
【００１６】
本願が提案する処理は、イメージチャネル（一般的に、右側のチャネルのみ）における移動の失われたフェーズを補間する解決策に基づき、再生の特定の時点において、視認者が期待する位置に正確に移動被写体が示されるような中間イメージを計算する。再生における時間的なオフセットにより、必要とされる移動のフェーズの全てが、元のビデオに存在するわけではない（一般的に、右側チャネルの全てのフェーズが存在しない）。補償を目的として、イメージそれぞれの記録時間と再生時間との間の時間的なオフセットを分析する段階、必要となる中間イメージを計算する段階、および、ビデオの適切な位置に、中間イメージを挿入する段階、を採用することができる。
【００１７】
分析する段階は、ビデオ中にイメージが存在する時間、および、再生に必要とされる時間を正確に決定することを伴う。そして、エラーが存在しない再生となるよう補間を行うことにより、中間イメージを計算する必要がある。左側チャネルのイメージは、第１の時間には、表示画面に表示されるように存在する。右側チャネルのイメージは、第２の時間に存在し、２つの左側チャネルのイメージの間の正確に中間に位置する。
【００１８】
最初に、失われている移動のフェーズを有するイメージ（中間イメージ）を計算するために、時間的に隣接するイメージを使用して、被写体の移動の推定を実行する。移動の推定は、対応する被写体が移動する経路、および、移動の速度について行われる。速度についての推定は、必ずしも、線形的な態様で行われる必要はないが、第一近似として、線形であると仮定してもよい。
【００１９】
被写体が、移動経路上で、差分Δｓだけ変位する。Δの正確な値（図１参照）は、第１の時間と第２の時間との間の時間的なオフセットから計算される時間的なオフセット、および、被写体の速度から導き出される。
【００２０】
計算された中間イメージが、３Ｄビデオに挿入される。加えて、必要のない元のイメージが、破棄される。一般的に、ビデオの右側チャネルを、中間イメージで置き換える。
【００２１】
図２には、右側チャネル２０１の記録から、中間イメージ２０２がどのように計算され、再生２０３および２０４でどのように挿入されるかの例が示されている。
【００２２】
図では、右側チャネルの３つの（通常、３つ以上）連続するイメージＰ（ｉ）、Ｐ（ｉ＋１）、Ｐ（ｉ＋２）に基づいて補間を行う例が示されており、これは、とりわけ、補間された被写体Ｐ'（ｉ）およびＰ'（ｉ＋１）が、曲線上に位置するからである。２つの連続するイメージのみの間で補間を行う場合、補間された被写体は、２つの連続するイメージにおける隣接する元の被写体の間の直線上に位置する。
【００２３】
移動の分析において、イメージＰ（ｉ）における被写体は、約６０度の角度で右上へと移動し、イメージＰ（ｉ＋１）における被写体は、約３０度の角度で右上へと移動し、イメージＰ（ｉ＋２）における被写体は、約４５度の角度で右下へと移動することが分かる。
【００２４】
イメージＰ'（ｉ）を決定するために行う移動の修正において、イメージＰ（ｉ）における被写体は、右上方向（約６０度）にシフトし、イメージＰ（ｉ＋１）における被写体は、左下方向（約３０度）にシフトする。補間段階において、このように取得された中間イメージを、イメージＰ'（ｉ）を決定するべく、これらを共に計算する（例えば、加算および平均化）。
【００２５】
イメージＰ'（ｉ＋１）を決定するための移動の修正では、イメージＰ（ｉ＋１）における被写体が、右上方向に（約３０度で）シフトし、イメージＰ（ｉ＋２）における被写体が、左上方向に（約４５度で）シフトする。補間段階において、このように取得された中間イメージを、イメージＰ'（ｉ＋１）を決定するために、共に計算する（例えば、加算および平均化）。
【００２６】
図３には、本発明に係る、表示装置の一実施形態が概略的に示されている。
【００２７】
表示装置は、視認者の左目および右目に対応する、２つのチャネルそれぞれのイメージシーケンスから構成される３Ｄイメージ信号を受信するための入力端子３０１を備える。入力端子３０１は、分配ユニット３０２に接続され、分配ユニット３０２は、３Ｄイメージ信号からＬおよびＲと示された２つのチャネルを分離し、これらを制御回路３０３に供給する。制御回路は、Ｌ'およびＲ'と示されている３Ｄイメージシーケンスを生成し、これらは、時間評価３０４の影響の下、表示画面３０５にイメージシーケンスとして視覚的に表示される。
【００２８】
制御ユニットは、イメージＬ'（通常は、左側チャネルＬからのイメージと同一）が、第１の時間に表示画面に表示され、イメージＲ'が、右側チャネルのイメージから補間されて、補間に続いてこのイメージが、表示画面３０５に第２の時間に表示されるように、表示画面３０５を駆動する。これを達成するために、制御ユニット３０３は、補間回路３０６を有する。補間回路は、右側チャネルに対するイメージＲ'（いわゆる中間イメージ）を、元の右側チャネルＲにおける２つ以上の隣接するイメージからの補間によって、生成する。更に、制御回路３０３には、決定回路３０７が設けられ、右側チャネルの連続するイメージにおける移動の速度を決定する。この場合、補間回路は、決定された移動の速度に依存して、右側チャネルの少なくとも２つの連続するイメージの補間を行うようにする。
【００２９】
イメージ補間回路は、それ自体が周知であるので、補間回路３０６の動作についての詳細な説明は省略する。
【００３０】
図４は、本発明に係る表示装置の別の実施形態における、信号処理のフローチャートである。
【００３１】
矩形のブロックは、方法の段階を示す。ひし形のブロックは、イメージまたは制御データを示す。実線はデータストリームを示し、点線は、情報および制御データストリームを示す。
【００３２】
ブロック４０１（"ソース：３Ｄビデオ"）では、入力される３Ｄイメージ信号を表す。３Ｄイメージ信号（それぞれが、右側イメージおよび左側イメージで構成される）が、ブロック４０２、４０４および４０５に供給される。
【００３３】
ブロック４０２（"再生方法に関するビデオの分析"）では、２つのチャネルのそれぞれについて、記録タイミングおよび再生タイミングにおける差分を決定する。
【００３４】
ブロック４０２で求められた情報（ひし形のブロック４０３）により、中間イメージを求める補間段階（ブロック４０４"補間による必要な中間イメージの計算"）と、必要ない入力イメージを取り除くユニットを駆動する（ブロック４０５"不必要なイメージを破棄"）。一般的に、入力イメージの全てについて、右側チャネルからの破棄が行われる。
【００３５】
補間されたイメージ（ブロック４０６"計算された中間イメージ"）および破棄されていないイメージ（ブロック４０８"３Ｄビデオソースからの破棄されていないイメージ"）が、結合され（ブロック４０７）、表示画面に供給される（ブロック４０９"表示画面またはモニタに表示"）。
【００３６】
中間イメージの計算方法についてはすでに既存の方法が存在し、例えば、１００Ｈｚまたは２００ＨｚのＴＶセット製造業者によって主に開発されたものが存在する。国際的なテレビ信号の交換のための専門的水準のコンバータに対しても同様に採用できる。このような方法で計算されたイメージの品質は、高い水準であり、本明細書に記載する方法に適している。
【００３７】
図５には、本発明に係る表示装置の別の実施形態が示されている。本例では、本発明に係るイメージエラー修正が、イメージ周波数ダブラー回路が設けられた表示装置に適用される。このような装置では、イメージが、例えば、５０Ｈｚのレートで受信され、ついで、１００Ｈｚイメージ信号へと変換されて、表示画面で再生される。
【００３８】
表示装置は、３Ｄイメージ信号を、例えば、５０Ｈｚのイメージ周波数で受信する入力端子５０１を備え、視認者の左目および右目に対するイメージシーケンスの２つのチャネルから構成されている。入力端子５０１は、分配ユニット５０２に接続され、分配ユニット５０２は、３Ｄイメージ信号からＬおよびＲと示された２つのチャネルを分離し、これらを制御回路５０８に供給する。制御回路５０８は、周波数ダブラー回路５０６および５０７、ならびに、制御ユニット５０３を有する。制御回路５０８は、Ｌ"およびＲ"と示されている３Ｄイメージシーケンスを生成し、これらは、時間評価５０４の影響の下、表示画面５０５にイメージシーケンスとして視覚的に表示される。
【００３９】
制御回路５０８が機能する態様について、図６を参照して以下に説明する。図６では、ＬおよびＲは、分配ユニット５０２の出力に供給される入力イメージ信号を示す。これらイメージ信号のイメージ周波数は、上記で仮定されているシナリオに従って、５０Ｈｚとしている。２つのチャネルのイメージ（ＬにおけるイメージＰＬ（１）、ＰＬ（２）、…、および、ＲにおけるイメージＰＲ（１）、ＰＲ（２）…）は、時間ｔ１１、ｔ１２、…に発生する。
【００４０】
図６におけるＬ'およびＲ'は、回路５０６および５０８におけるイメージ周波数二倍化の後に生成されたイメージ信号をそれぞれ示す。イメージ信号は、時間ｔ１１、ｔ２１、ｔ１２、ｔ２２で発生する。イメージ周波数二倍化は、時間ｔ２１、ｔ２２、…に発生する中間イメージＬ'およびＲ'を生成することにより行われる。イメージ信号Ｌ'およびＲ'における中間イメージは、周知の態様で、隣接するイメージを元にした補間により、イメージ信号ＬおよびＲから導出される。これは、イメージＰＬ'（２）が、少なくともイメージＰＬ（１）、ＰＬ（２）からの補間により導出されることを意味する。同様に、イメージＰＲ'（２）は、少なくともイメージＰＲ（１）およびＰＲ（２）からの補間により導出されることを意味する。イメージＰＬ'（１）およびＰＬ'（３）は、イメージＰＬ（１）およびＰＬ（２）と等しくてもよい。同様に、イメージＰＲ'（１）およびＰＲ'（３）は、イメージＰＲ（１）およびＰＬ（２）と等しくてもよい。
【００４１】
図６におけるＬ"およびＲ"は、表示画面５０５に供給されるイメージ信号を示す。イメージ信号Ｌ"におけるイメージは、時間ｔ１１、ｔ２１、ｔ１２、ｔ２２、…で発生し、この場合、イメージ信号Ｌ'におけるイメージと同一である。一方で、イメージ信号Ｒ"におけるイメージは、補間により、および、必要に応じて、先に詳細に説明したような態様で、回路５０３における動き補償を行うことにより、生成される。これらのイメージは、時間ｔ３１、ｔ３２、ｔ３３で発生する。
【００４２】
このように、イメージＰＲ"（１）は、少なくともイメージＰＲ'（１）およびＰＲ'（２）からの補間によって決定され、イメージＰＲ"（２）は、少なくともイメージＰＲ'（２）およびＰＲ'（３）からの補間によって決定され、イメージＰＲ"（３）は、少なくともイメージＰＲ'（３）およびＰＲ'（４）からの補間によって決定される。
【００４３】
このように、イメージ信号Ｒ"における補間されたイメージが、元のチャネルＲにおける少なくとも２つの連続するイメージからの補間によって生成された。
【００４４】
制御ユニット５０４は、イメージＬ"が表示画面に第１の時間に表示され、イメージＲ"が表示画面５０５に第２の時間に表示されるように、表示画面５０５を駆動する。
【００４５】
図５の実施形態では、２つの段階で右側チャネルにおいて信号処理が行われ、第１段階は、ブロック５０７におけるイメージ周波数二倍化であり、第２段階は、ブロック５０３における補間および時間的シフトである。しかしながら、右側チャネルにおける信号処理を、１段階のみで実現してもよく、中間イメージＲ'が生成されなくてもよい。この実施形態では、ブロック５０３および５０７が同一となり、１つの信号処理ブロックとして実行される。
【００４６】
本発明は、図面の説明に記載された実施形態に限定されない。
【００４７】
本発明は、添付の特許請求の範囲に請求される表示装置に関し、また、移動の分析は実行されないが、中間イメージの生成が直接補間によって行われる装置にも関する。
【図１】
2014527332.tif 000003
【図２】
2014527332.tif 000004
【図３】
2014527332.tif 000005
【図４】
2014527332.tif 000006
【図５】
2014527332.tif 000007
【図６】
2014527332.tif 000008
【国際調査報告】
2014527332.tif 000009
2014527332.tif 000010