(57)【要約】ディスプレイ装置（１２０）は、複数のビューイング位置での３次元（３Ｄ）画像データの自動立体視を可能にするよう３Ｄ画像データの少なくとも２つのビューを発する３Ｄディスプレイ（１６０）を備える。プロセッサ（１４０）は、３Ｄディスプレイでの表示のためのビューを生成するよう３Ｄ画像データを処理し、観視者検出器（１３０）は、３Ｄディスプレイの前で観視者の観視者位置を検出する。プロセッサは、観視者位置コンフリクトを検出し解消する観視者コンフリクト検出器（１４１）を備える。この検出器は、観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得し、第１及び第２のビュー第１の観視者に３Ｄ効果をもたらさない第１の観視者位置での観視者位置コンフリクトを検出する。そうである場合に、検出器は、検出された観視者位置コンフリクトに依存してビューの生成を制御する。第１の観視者によって受け取られる少なくとも２つのビューのうちの１つは、コンフリクトを示すよう動的に変更される。
2015519772.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像データの少なくとも２つのビューを発し、該ビューは、３次元効果をもたらすよう、左眼を介して当該少なくとも２つのビューのうちの第１のビューを、及び右眼を介して当該少なくとも２つのビューのうちの第２のビューを知覚する観視者による複数のビューイング位置での前記３次元画像データの自動立体視を可能にする、３次元ディスプレイと、
前記３次元ディスプレイでの表示のために前記少なくとも２つのビューを生成するよう前記３次元画像データを処理するプロセッサと、
前記３次元ディスプレイの前で観視者の観視者位置を検出する観視者検出器と
を有し、
前記プロセッサは、
前記観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得し、
前記第１のビュー及び前記第２のビューが前記第１の観視者に前記３次元効果をもたらさない前記第１の観視者位置での観視者位置コンフリクトを検出し、
前記第１の観視者によって受け取られる前記少なくとも２つのビューのうちの少なくとも１つを変更することで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
よう配置される観視者コンフリクト検出器を更に有する、ディスプレイ装置。
【請求項２】
前記プロセッサは、前記３次元効果がもたらされないことを示すために前記少なくとも２つのビューのうちの少なくとも１つを変えることで前記変更を行うよう配置される、
請求項１に記載のディスプレイ装置。
【請求項３】
前記３次元ディスプレイは、円錐視野において前記３次元画像データの一連の２よりも多いビューを隣接して発するよう配置される多重ビューディスプレイであり、前記一連のビューは、前記円錐視野における複数のビューイング位置で前記３次元画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、
前記第１のビューが第１円錐からの第１の円錐視野であり且つ前記第２のビューが第２円錐からの第２の円錐視野である前記第１の観視者位置で観視者位置円錐コンフリクトを検出するよう配置される、
請求項１に記載のディスプレイ装置。
【請求項４】
前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野にグラフィカル要素をオーバレイすること、
夫々の円錐視野にテキストメッセージをオーバレイすること、
夫々の円錐視野を反転させること、
夫々の円錐視野の画像コンテンツを変えること
のうちの少なくとも１つによって前記第１の円錐視野及び前記第２の円錐視野のうちの少なくとも１つを変更するように前記プロセッサを制御するよう配置される、
請求項３に記載のディスプレイ装置。
【請求項５】
前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
前記観視者に２次元効果を生成するよう前記第１の円錐視野及び前記第２の円錐視野の両方に同じ画像コンテンツを提供すること
によって前記第１の円錐視野及び前記第２の円錐視野のうちの少なくとも１つを変更するように前記プロセッサを制御するよう配置される、
請求項３に記載のディスプレイ装置。
【請求項６】
前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野の輝度を変えること、
夫々の円錐視野の色を変えること
のうちの少なくとも１つによって前記第１の円錐視野及び前記第２の円錐視野のうちの少なくとも１つを変更するように前記プロセッサを制御するよう配置される、
請求項３に記載のディスプレイ装置。
【請求項７】
前記観視者コンフリクト検出器は、
前記観視者検出器を介して第２の観視者の少なくとも第２の観視者位置を取得し、
前記観視者位置円錐コンフリクトを検出する場合に、前記第１の円錐視野及び前記第２の円錐視野のうちの１つを選択して、該選択された円錐視野が前記第２の観視者によって認知されるビューでないようにし、前記選択された円錐視野のみを変更するように前記プロセッサを制御する
よう配置される、請求項３に記載のディスプレイ装置。
【請求項８】
前記３次元ディスプレイは、観視者の左眼への夫々の第１の指向性ビーム及び右眼への夫々の第２の指向性ビームを介して左ビュー及び右ビューを連続して発するよう配置されるシーケンシャルビューディスプレイであり、前記ビューは、夫々の指向性ビームを組み合わせることで夫々のビューイング位置で前記３次元画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、
前記観視者検出器を介して第２の観視者の少なくとも第２の観視者位置を取得し、
前記第１の観視者位置での１つのビューが前記第２の観視者位置での１つのビューと一致する観視者位置ビームコンフリクトを検出する
よう配置される、請求項１に記載のディスプレイ装置。
【請求項９】
前記観視者コンフリクト検出器は、前記観視者位置ビームコンフリクトを検出する場合に、前記第１の観視者及び前記第２の観視者のうちの他方の観視者に前記３次元効果をもたらしながら、前記第１の観視者又は前記第２の観視者のいずれか一方に２次元効果をもたらすよう前記第１のビュー及び前記第２のビューの両方に同じ画像コンテンツを提供するように前記プロセッサを制御するよう配置される、
請求項８に記載のディスプレイ装置。
【請求項１０】
前記プロセッサは、
３次元又は２次元モードのために前記第１の観視者又は前記第２の観視者によって設定される好み、
前記第１の観視者又は前記第２の観視者の夫々の動き、
前記第１の観視者又は前記第２の観視者の夫々の前記３次元ディスプレイからの距離
のうちの少なくとも１つに基づき、前記第１の観視者又は前記第２の観視者のいずれか一方に前記２次元効果をもたらすよう配置される、
請求項９に記載のディスプレイ装置。
【請求項１１】
前記プロセッサは、
夫々の観視者及び夫々の観視者データの識別
顔特徴の検出、
目間距離の検出、
前記観視者検出器を介して検出される前記第１の観視者の顔及び前記第２の観視者の顔の夫々のサイズの検出
のうちの少なくとも１つに基づく前記第１の観視者又は前記第２の観視者の年齢に基づき、前記第１の観視者又は前記第２の観視者のいずれか一方に前記２次元効果をもたらすよう配置される、
請求項９に記載のディスプレイ装置。
【請求項１２】
前記プロセッサは、少なくとも３つの異なるシーケンシャルビューを生成するよう配置され、前記シーケンシャルビューディスプレイは、前記３つのシーケンシャルビューを連続して発するよう配置され、第１及び第２のシーケンシャルビューは両方で左ビュー及び右ビューの対を構成し、第２及び第３のシーケンシャルビューは左ビュー及び右ビューの更なる対を構成し、前記観視者コンフリクト検出器は、前記第２のシーケンシャルビューを前記一致するビューとして提供するように前記プロセッサを制御して、前記第１の観視者及び前記第２の観視者が前記３次元効果を認知するようにするよう配置される、
請求項８に記載のディスプレイ装置。
【請求項１３】
前記観視者検出器は、
カメラからのビデオ画像における顔検出、
距離センサからの距離情報、
観視者位置で観視者によって操作されるリモートコントロールユニットからのユーザ入力、
前記観視者位置で前記観視者によって位置付けられる観視者タグ付けオブジェクトの検出
のうちの少なくとも１つに基づき、前記３次元ディスプレイの前で観視者の観視者位置を検出するよう配置される、
請求項１に記載のディスプレイ装置。
【請求項１４】
ディスプレイ装置のための３次元画像データの処理方法であって、
前記ディスプレイ装置は、
３次元画像データの少なくとも２つのビューを発し、該ビューは、３次元効果をもたらすよう、左眼を介して当該少なくとも２つのビューのうちの第１のビューを、及び右眼を介して当該少なくとも２つのビューのうちの第２のビューを知覚する観視者による複数のビューイング位置での前記３次元画像データの自動立体視を可能にする、３次元ディスプレイと、
前記３次元ディスプレイの前で観視者の観視者位置を検出する観視者検出器と
を有し、
当該方法は、前記３次元ディスプレイでの表示のために前記少なくとも２つのビューを生成するよう前記３次元画像データを処理するステップを有し、
当該方法は、
前記観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得し、
前記第１のビュー及び前記第２のビューが前記第１の観視者に前記３次元効果をもたらさない前記第１の観視者位置での観視者位置コンフリクトを検出し、
前記第１の観視者によって受け取られる前記少なくとも２つのビューのうちの少なくとも１つを変更することで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
ことによって観視者コンフリクトを検出するステップを更に有する、方法。
【請求項１５】
プロセッサシステムに、請求項１４に記載の方法を実行させる命令を有する
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元（３Ｄ）画像データを処理する装置及び方法に関する。本発明は更に、３Ｄ画像データの少なくとも２つのビューを発し、該ビューは、３Ｄ効果をもたらすよう、左眼を介して当該少なくとも２つのビューのうちの第１のビューを、及び右眼を介して当該少なくとも２つのビューのうちの第２のビューを知覚する観視者による複数のビューイング位置での前記３Ｄ画像データの自動立体視を可能にする、３Ｄディスプレイと、該３Ｄディスプレイでの表示のために前記少なくとも２つのビューを生成するよう前記３Ｄ画像データを処理するプロセッサと、前記３Ｄディスプレイの前で観視者の観視者位置を検出する観視者検出器とを有するディスプレイ装置に関する。
【背景技術】
【０００２】
３Ｄディスプレイ及び、特に、３Ｄディスプレイを備えたテレビ受像機は、それらが奥行きの立体認知を観視者に与えるので、消費者の間でますます人気である。通常はゴーグルが必要とされるが、観視者は、付加的なメガネ類を伴わないシステムを好む傾向がある。そのため、所謂自動立体３Ｄディスプレイは、場面の少なくとも左ビュー及び右ビューを提供するための光学部品、例えば、レンチキュラレンズアレイ又は指向性ビームを有する。これは、観視者が、異なる画像を、正確に位置付けられる場合に、夫々の目により見ることを可能にする。
【０００３】
時々自動マルチスコピック（automultiscopic）ディスプレイと呼ばれる特定の自動立体（autostereoscopic）ディスプレイは、左右のビューのみよりむしろ、同じ場面の複数のビューを提供する。これは、観視者が、場面の立体認知を依然として取得しながら、円錐視野において複数の位置につくこと、すなわち、ディスプレイの前で左右に動くこと、を可能にする。
【０００４】
しかし、観視者がつく全ての位置が同じように場面の立体認知を得るのに適するわけではない。特に、ディスプレイが一連の円錐視野として円錐視野を繰り返すよう配置される場合に、観視者は、例えば、左眼が所与の円錐視野の最外の右側ビューを認知し、且つ、右眼が隣接する円錐視野の最外の左側ビューを認知するように、位置付けられることがある。そこで観視者は円錐の変わり目に位置付けられる。そのようなビューイング位置で、観視者は、場面がしばしば奥行きを有するように見えるが不正確であるところの場面の所謂逆視（pseudoscopic）認知を取得する。逆視認知は、頭痛及び視覚疲労の他の症状を引き起こすことが知られている。
【０００５】
逆視認知によって引き起こされる上記の視覚疲労にかかわらず、観視者が逆視位置に位置付けられることは、観視者にとって常に自明でない。
【０００６】
米国特許第６０５５０１３号明細書（特許文献１）は、夫々のローブにおいて、すなわち、夫々の円錐視野において、４つのビューを提供する自動立体ディスプレイを開示する。観察者は、逆視位置が隣接するローブの間の境界に存在する状態で、広範な観視自由度を有するといわれている。技術は、逆視位置の視覚的なインジケーションを観察者に提供するよう表されている。そのために、視差オプティックは、暗い中央のローブにおけるインジケーションを提供するよう配置され、一方、隣接するローブにおけるインジケーションは明るい。隣のローブは次いで再び暗くなり、以降同様に続く。このように、逆視位置で、観察者の少なくとも一方の目は、黒ではない位置インジケーションを見る。このように、特許文献１の技術は、観察者が、所望の立体視位置と望まない逆視位置とを区別することを可能にする。
【０００７】
米国特許出願公開第２００４／０２５２１８７号明細書（特許文献２）は、時間順次的な多重化を用いることによって観視者空間をセグメントに分けることができる前面投影ディスプレイを記載する。セグメントの夫々は、異なるフルレゾ画像ストリームを受け取る。システムは、ピクセル生成メカニズムを、自動立体３Ｄのための動作モードを提供するようユーザ空間にわたってピクセルをスイープする回転マイクロミラーのアレイと組み合わせる。システムは、画面に対するユーザの位置を決定する観視者検出器を備え、その位置は頭部追跡により獲得される。位置データは、夫々の特定のユーザについてカスタマイズされたビューをレンダリングするために使用される。従って、システムは、画面に対するユーザの位置に基づき多数のシーケンシャルビューの奥行きを生成する。加えて、“フォールバック”シナリオが、ユーザが識別されない場合について記載される。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第６０５５０１３号明細書
【特許文献２】米国特許出願公開第２００４／０２５２１８７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の技術の問題は、それが任意のビューイング位置で観視者に複数のビューを提供するのに適さないことである。
【課題を解決するための手段】
【００１０】
本発明の目的は、技術分野の項で記載されるディスプレイ装置であって、前記観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得し、前記第１のビュー及び前記第２のビューが前記第１の観視者に前記３Ｄ効果をもたらさない前記第１の観視者位置での観視者位置コンフリクトを検出し、前記第１の観視者によって受け取られる前記少なくとも２つのビューのうちの少なくとも１つを変更することで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御するよう配置される観視者コンフリクト検出器を更に有するディスプレイ装置を提供することである。
【００１１】
前記観視者コンフリクト検出器は、前記ディスプレイの前で少なくとも１の観視者を検出するために前記観視者検出器を使用する。その後に、前記観視者コンフリクト検出器は、観視者位置で、観視者に提供されるビューが正確な３Ｄ効果をもたらすかどうかを決定する。前記観視者コンフリクト検出器により、必要とされる３Ｄ効果がもたらされないことが決定されるときはいつでも、前記観視者コンフリクト検出器は、前記プロセッサに、第１の観視者によって受け取られるビューの少なくとも１つを変更するよう指示する。例えば、警告が、前記第１の観視者によって認知される１つのビューにおいて動的に挿入され得る。有利に、前記観視者コンフリクト検出器は、１又はそれ以上の観視者が夫々の位置に存在することを決定し、更に、観視者の夫々が３Ｄ効果を認知するかどうかを決定する。そうでない場合は、前記観視者コンフリクト検出器は、例えば、夫々の観視者に、その観視者に３Ｄ効果がもたらされないことを示すよう、又は逆視効果に代えて正確な２次元（２Ｄ）効果をもたらすよう、ビューの少なくとも１つを選択的に変更する。
【００１２】
任意に、前記プロセッサは、前記３Ｄ効果がもたらされないことを示すために前記少なくとも２つのビューのうちの少なくとも１つを変えることで前記変更を行うよう配置される。これは、前記少なくとも２つのビューのうちの他の１つのみを受け取る他の観視者が前記変更によって邪魔されないという効果を有する。
【００１３】
任意に、前記３Ｄディスプレイは、円錐視野において前記３Ｄ画像データの一連の２よりも多いビューを隣接して発するよう配置される多重ビューディスプレイであり、前記一連のビューは、前記円錐視野における複数のビューイング位置で前記３Ｄ画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、前記第１のビューが第１円錐からの第１の円錐視野であり且つ前記第２のビューが第２円錐からの第２の円錐視野である前記第１の観視者位置で観視者位置円錐コンフリクトを検出するよう配置される。そのような円錐視野は、通常は、上記の円錐を生成するメカニズム、すなわち、上記のレンチキュラレンズアレイにより、更なる円錐視野に隣接することが知られる。境界上で、観視者は、前記第１のビューが第１円錐からの第１の円錐視野であり、且つ、前記第２のビューが第２円錐から第２の円錐視野である場合に、逆視効果を認知する。有利に、当該ディスプレイ装置は、ユーザがそのような位置にあることを検出し、ビューを変更する。
【００１４】
任意に、前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野にグラフィカル要素をオーバレイすること、
夫々の円錐視野にテキストメッセージをオーバレイすること、
夫々の円錐視野を反転させること、
夫々の円錐視野の画像コンテンツを変えること
のうちの少なくとも１つによって前記第１の円錐視野及び前記第２の円錐視野のうちの少なくとも１つを変更するように前記プロセッサを制御するよう配置される。
【００１５】
有利に、上記の変更は、３Ｄ効果が正確にもたらされないコンフリクト位置に観視者がいることをその観視者に示す実際的な方法を提供する。
【００１６】
任意に、前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、前記観視者に２Ｄ効果を生成するよう前記第１の円錐視野及び前記第２の円錐視野の両方に同じ画像コンテンツを提供することによって前記第１の円錐視野及び前記第２の円錐視野のうちの少なくとも１つを変更するように前記プロセッサを制御するよう配置される。有利に、観視者位置円錐コンフリクトを有する観視者は、もはや逆視効果を認知せず、２Ｄ効果を認知する。３Ｄ効果がないことが、まさに観視者に受け入れられ得るか、あるいは、観視者は、別の位置へ移動してよい。
【００１７】
任意に、前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野の輝度を変えること、
夫々の円錐視野の色を変えること
のうちの少なくとも１つによって前記第１の円錐視野及び前記第２の円錐視野のうちの少なくとも１つを変更するように前記プロセッサを制御するよう配置される。
【００１８】
有利に、そのような変化は、コンフリクト位置で観視者にとって明らかに可視的である。
【００１９】
任意に、前記観視者コンフリクト検出器は、
前記観視者検出器を介して第２の観視者の少なくとも第２の観視者位置を取得し、
前記観視者位置円錐コンフリクトを検出する場合に、前記第１の円錐視野及び前記第２の円錐視野のうちの１つを選択して、該選択された円錐視野が前記第２の観視者によって認知されるビューでないようにし、前記選択された円錐視野のみを変更するように前記プロセッサを制御する
よう配置される。
【００２０】
有利に、前記第２の観視者は、前記ビューの変更によって影響を及ぼされない。
【００２１】
任意に、前記３Ｄディスプレイは、観視者の左眼への夫々の第１の指向性ビーム及び右眼への夫々の第２の指向性ビームを介して左ビュー及び右ビューを連続して発するよう配置されるシーケンシャルビューディスプレイであり、前記ビューは、夫々の指向性ビームを組み合わせることで夫々のビューイング位置で前記３Ｄ画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、
前記観視者検出器を介して第２の観視者の少なくとも第２の観視者位置を取得し、
前記第１の観視者位置での１つのビューが前記第２の観視者位置での１つのビューと一致する観視者位置ビームコンフリクトを検出する
よう配置される。
【００２２】
夫々が観視者の夫々の目に向けられているシーケンシャルビューの効果は、観視者が如何なるメガネも用いずに、且つ、ディスプレイの最大解像度で、３Ｄ効果を認知することである。このとき、前記観視者コンフリクト検出器は、第１及び第２の観視者位置を決定し、第１のユーザの左眼が、第２のユーザの右眼と同じビューを受け取る位置にある場合に、前記シーケンシャルビューディスプレイは、それらの目に異なるビューを向けることができない。よって、観視者位置ビームコンフリクトは、１つの指向性ビームによって生成される特定のビューが２つの異なる夫々の目に到達する場合に検出される。
【００２３】
任意に、前記観視者コンフリクト検出器は、前記観視者位置ビームコンフリクトを検出する場合に、前記第１の観視者及び前記第２の観視者のうちの他方の観視者に前記３Ｄ効果をもたらしながら、前記第１の観視者又は前記第２の観視者のいずれか一方に２Ｄ効果をもたらすよう前記第１のビュー及び前記第２のビューの両方に同じ画像コンテンツを提供するように前記プロセッサを制御するよう配置される。
【００２４】
任意に、前記プロセッサは、
３Ｄ又は２Ｄモードのために前記第１の観視者又は前記第２の観視者によって設定される好み、
前記第１の観視者又は前記第２の観視者の夫々の動き、
前記第１の観視者又は前記第２の観視者の夫々の前記３Ｄディスプレイからの距離
のうちの少なくとも１つに基づき、前記第１の観視者又は前記第２の観視者のいずれか一方に前記２Ｄ効果をもたらすよう配置される。
【００２５】
有利に、好み若しくは好ましい位置を有するか、又は３Ｄ効果に注意している可能性がある観視者は３Ｄ効果を認知し、一方、他のユーザは（例えば、一時的に）２Ｄ効果を認知する。
【００２６】
任意に、前記プロセッサは、
夫々の観視者及び夫々の観視者データの識別
顔特徴の検出、
目間距離の検出、
前記観視者検出器を介して検出される前記第１の観視者の顔及び前記第２の観視者の顔の夫々のサイズの検出
のうちの少なくとも１つに基づく前記第１の観視者又は前記第２の観視者の年齢に基づき、前記第１の観視者又は前記第２の観視者のいずれか一方に前記２Ｄ効果をもたらすよう配置される。
【００２７】
３Ｄ効果は、通常は、成人の観視者のために最適化される。子供は、あまり最適でないか又はゆがめられた３Ｄ効果を有することがあり、一部の保護者は、自身の子供に３Ｄ効果を見せないことを選ぶ。有利に、システムは、観視者の年齢を検出し、選択的に３Ｄ効果を提供する。
【００２８】
任意に、前記プロセッサは、少なくとも３つの異なるシーケンシャルビューを生成するよう配置され、前記シーケンシャルビューディスプレイは、前記３つのシーケンシャルビューを連続して発するよう配置され、第１及び第２のシーケンシャルビューは両方で左ビュー及び右ビューの対を構成し、第２及び第３のシーケンシャルビューは左ビュー及び右ビューの更なる対を構成し、
前記観視者コンフリクト検出器は、前記第２のシーケンシャルビューを前記一致するビューとして提供するように前記プロセッサを制御して、前記第１の観視者及び前記第２の観視者が前記３Ｄ効果を認知するようにするよう配置される。前記シーケンシャルビューディスプレイは、２つのビューしか適用せず、より柔軟な構成が、前記ビューの対が構成されるように少なくとも第３のビューを加えることによって、達成される。有利に、システムは、夫々の左右の目により第２のビューを共有しながら、ビューの夫々の異なる対をビームコンフリクト位置にある観視者に提供してよい。よって、いずれの観視者も３Ｄ効果を経験する。
【００２９】
任意に、前記観視者検出器は、
カメラからのビデオ画像における顔検出、
距離センサからの距離情報、
観視者位置で観視者によって操作されるリモートコントロールユニットからのユーザ入力、
前記観視者位置で前記観視者によって位置付けられる観視者タグ付けオブジェクトの検出
のうちの少なくとも１つに基づき、前記３Ｄディスプレイの前で観視者の観視者位置を検出するよう配置される。
【００３０】
前記観視者検出器は、観視者の夫々の目に到達するビューを決定するために、水平方向、すなわち、角度方向において、更には距離において、観視者の位置を決定してよい。前記観視者検出器は、例えば、音響又は赤外光に基づく距離センサを有してよい。そのようなセンサはまた、観視者の距離及び角度データの両方を提供してよい。また、ユーザは、自身のビューイング位置でリモートコントロールユニットを作動させるか又は位置付けてよく、あるいは、ユーザは、予め決定された所望のビューイング位置を定義してよい。また、観視者は、前記観視者検出器がその観視者の目の位置を正確に且つ容易に検出することを可能にするよう、タグ付けオブジェクトを位置付けてよい。例えば、自身の首の回りに視覚的に検出可能なオブジェクトを身につけてよい。
【００３１】
本発明の更なる態様において、ディスプレイ装置のための３Ｄ画像データの処理方法であって、前記ディスプレイ装置は、３Ｄ画像データの少なくとも２つのビューを発し、該ビューは、３Ｄ効果をもたらすよう、左眼を介して当該少なくとも２つのビューのうちの第１のビューを、及び右眼を介して当該少なくとも２つのビューのうちの第２のビューを知覚する観視者による複数のビューイング位置での前記３Ｄ画像データの自動立体視を可能にする、３Ｄディスプレイと、該３Ｄディスプレイの前で観視者の観視者位置を検出する観視者検出器とを有し、当該方法は、前記３Ｄディスプレイでの表示のために前記少なくとも２つのビューを生成するよう前記３Ｄ画像データを処理するステップを有し、当該方法は、
前記観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得し、
前記第１のビュー及び前記第２のビューが前記第１の観視者に前記３Ｄ効果をもたらさない前記第１の観視者位置での観視者位置コンフリクトを検出し、
前記第１の観視者によって受け取られる前記少なくとも２つのビューのうちの少なくとも１つを変更することで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
ことによって観視者コンフリクトを検出するステップを更に有する、方法が提供される。
【００３２】
本発明の更なる態様において、プロセッサシステムに、上記の方法を実行させる命令を有するコンピュータプログラムが提供される。当該コンピュータプログラムは、コンピュータ可読媒体において具現されてよい。
【００３３】
本発明に従って、処理される３Ｄ画像データは、３Ｄ画像データの一連のビューを発する３Ｄディスプレイ、例えば、自動立体マルチビュー３Ｄディスプレイにおいて表示可能である。そのようなものとして、３Ｄ画像データは、ビューごとに画像データを含む所謂マルチビュー画像データであってよい。そのような３Ｄ画像データは、自動立体マルチビューディスプレイにおいて直接に表示されてよい。代替的に、３Ｄ画像データは、左ビュー及び右ビューのための画像データを含む立体画像データ、又は２Ｄ画像データに奥行きデータを加えたものであってよい。そのような３Ｄ画像データは、一連のビューを取得するよう処理される必要がある。そのために、３Ｄディスプレイは、立体画像データの場合には所謂ビュー補間、又は２Ｄ画像データに奥行きデータを加えたものの場合には所謂ビューレンダリングを用いてよい。上記の技術は、３Ｄ画像／ビデオ処理の分野及び、特に、３Ｄ画像／ビデオ変換の分野から知られることが認識されるであろう。
【００３４】
そのような３Ｄディスプレイは、順次的に、又は空間的な円錐視野の形で、すなわち、指向性ビームを用いて、又は３Ｄディスプレイの表示面から、すなわち、３Ｄディスプレイの光放射面によって形成される面から円錐形状で現れるビューのシーケンスとして、一連のビューを発する。例えば、５ビュー自動立体３Ｄディスプレイの円錐視野は、最外の左ビュー、中間の左ビュー、中央のビュー、中間の右ビュー、最外の右ビューを有してよい。観視者は、一連のビューのうちの２つの異なるビューを認知するビューイング位置に位置する場合に、例えば、左眼で最外の左ビューを及び右眼で中間の左ビューを、又は左眼で中央のビューを右眼で中間の右ビューを認知する場合に、３Ｄ画像データの立体視を得る。このように、３Ｄディスプレイは、複数のビューイング位置で立体表示を提供する。
【００３５】
本発明の上記の実施形態、実施、及び／又は態様のうちの２又はそれ以上は、有用と考えられるあらゆる方法において組み合わされてよいことが当業者によって認識されるであろう。
【００３６】
装置及び／又は３Ｄ画像データの記載される変更及び変形に対応する装置、３Ｄ画像データ、方法、及び／又はコンピュータプログラムの変更及び変形は、本明細書に基づき当業者によって実施可能である。本発明に従う装置及び方法の更なる好ましい実施形態は、添付の特許請求の範囲において与えられる。なお、特許請求の範囲の開示は、参照によりここに援用される。
【００３７】
本発明のこれら及び他の態様は、以降で記載される実施形態から明らかであり、それらを参照して説明される。
【図面の簡単な説明】
【００３８】
【図１】３Ｄ画像データを処理する装置及び３Ｄ画像データを表示する３Ｄディスプレイ及び観視者コンフリクト検出器を示す。
【図２】上面図において３Ｄディスプレイ及び２人の観視者を示す。
【図３】観視者位置コンフリクトのインジケーションを示す。
【図４】複数の光源を備えるライトステアリング・バックライトに基づく自動立体ディスプレイを示す。
【図５】観視者位置ビームコンフリクトを検出するコリジョン区間を示す。
【図６】３Ｄディスプレイ装置及び観視者メニューを示す。
【図７】３Ｄディスプレイ、ブロードキャスト受信部、インターネット受信部、記憶媒体及び記憶媒体読取部を有する装置を示す。
【図８】観視者コンフリクトを検出する方法を示す。
【発明を実施するための形態】
【００３９】
図は、単に図表であり、実寸通りではない。図中、既に記載されている要素に対応する要素は、同じ参照符号を付される。
【００４０】
図１は、３Ｄ画像データ１２２を処理する装置１２０を示す。装置は、３Ｄ画像データの少なくとも２つのビューを発する３Ｄディスプレイ１６０を有する。それらのビューは、３Ｄ効果をもたらすよう、左眼を介してそれら少なくとも２つのビューのうちの第１のビューを、及び右眼を介してそれら少なくとも２つのビューのうちの第２のビューを知覚する観視者による複数のビューイング位置１８２，１８４での３Ｄ画像データの自動立体視を可能にする。好ましくない位置で、ビューは重なり合うことがあり、目は、所謂クロストークと呼ばれる、異なるビューからの寄与を受け得ることが知られる。
【００４１】
３Ｄ画像データ１２２は、左ビュー及び右ビューを有する立体画像データ、又は所謂マルチビュー画像データであってよく、すなわち、一連のビュー１００の夫々又はサブセットについて画像データを有する。図１には示されていないが、装置１２０は、そのために、例えば、２Ｄ画像データ及び奥行きデータから、又は立体画像データから、３Ｄ画像データ１２２を生成するビューレンダラを有してよい。ビューレンダラは、国際公開第１９９７／０２３０９７（Ａ３）号に記載されるようなビューレンダラであってよい。
【００４２】
３Ｄディスプレイ１６０は、自動立体３Ｄディスプレイであってよく、図１ではディスプレイ層１６２及びオプティカル層１６４の組み合わせとして示されている。ディスプレイ層１６２は、例えば、液晶ディスプレイ（ＬＣＤ）層、又は有機発光ダイオード（ＯＬＥＤ）層であってよい。オプティカル層１６４、例えば、レンチキュラレンズは、少なくとも１つの円錐視野で複数のビューを提供する。
【００４３】
オプティカル層１６４は、所謂レンチキュラレンズアレイ層、又はパララックスバリア層であってよい。オプティカル層のそのような及び他の例は、自動立体３Ｄディスプレイの分野において知られている。ディスプレイ層１６２及びオプティカル層１６４は、円錐視野１８０において、３Ｄ画像データ１２２の一連のビュー１００を隣接して発するよう協調する。図１は、３Ｄディスプレイ１６０の中央から発せられている単一の円錐視野１８０を示す。なお、ディスプレイ層１６２及びオプティカル層１６４は、３Ｄディスプレイ１６０の表示面にわたって位置する複数の場所から円錐視野を発するよう協調することが認識されるであろう。例えば、オプティカル層１６４が複数のマイクロレンズを有する場合に、複数のマイクロレンズの夫々は、円錐視野１８０と同じ又は同様である円錐視野を発してよい。しかし、説明のために、図１は、単一の円錐視野しか示さない。
【００４４】
円錐視野１８０は、一連のビュー１００を有する。図１は、３Ｄディスプレイ１６０及び円錐視野１８０の上視図を示す。このように、一連のビュー１００は、最右ビュー１０から最左ビュー９０までを有する。一連のビュー１００の各ビューは、円錐視野１８０内で略等しく分布されている、すなわち、円錐視野１８０の原点に対して略等しい立体角で発せられている、よう示されている。なお、円錐視野１８０内の一連のビュー１００の他の適切な分布が同じく可能であり得ることが認識されるであろう。何が最左ビューであるのかの割り当ては選択である点に留意されたい。そのようなものとして、円錐の変わり目の位置は、対応するピクセルにおける夫々のビューレンダリングに依存する。
【００４５】
３Ｄディスプレイ１６０の前の空間に位置付けられた観視者は、観視者の左眼が一連のビュー１００のうちのいずれか２つの異なるビューのうちの左ビューを観測し且つ観視者の右眼がそれら２つのビューのうちの右ビューを観測することでそれら２つの異なるビューを観測することによって、３Ｄ画像データ１２２の自動立体視を得ることができる。これは、自動立体視が提供される円錐視野１８０内の複数のビューイング位置を提供する。なお、３Ｄディスプレイ１６０は、いずれか２つの異なるビューに代えて、一連のビューのうちの２つの隣接するビューを認知する観視者に自動立体視を提供するよう最適化されてよいことが認識されるであろう。
【００４６】
代替的に、３Ｄディスプレイは、後に説明されるように、観視者の夫々の目へ光ビームを向ける、ライトステアリング（light  steering）・ディスプレイとしても知られているシーケンシャルディスプレイであってよい。ライトステアリング・システムのために、バックユニット１６２は、光の指向性ビームを生成するライトステアリング・バックライトを構成し、フロントパネル１６４は、ＬＣＤパネルである。そのような装置において、オプティクスは、ＬＣＤ層の後ろにある。
【００４７】
よって、説明のために、本発明は、一連のビューの上記の２つの隣接するビュー、すなわち、夫々のシーケンシャルビューを観視者が認知するビューイング位置について、これからは説明される。
【００４８】
図１は、ビューイング位置の２つの例、すなわち、円錐視野１８０の中心軸の近くにある中央ビューイング位置１８２、及び円錐視野１８０の側部又は境界の近くにある最外ビューイング位置１８４を示す。それら両方のビューイング位置で、観視者は、一連のビューのうちの２つの隣接するビューを認知する。
【００４９】
語「ビューイング位置」は、一連のビューのうちの２つの隣接するビューが認知され得る全ての位置を指すと理解されることが知られる。よって、例えば、中央ビューイング位置１８２は、左眼が一連のビュー１００のうちのビュー５０を認知し且つ右眼が一連のビュー１００のうちのビュー４０を認知する円錐視野１８０内で観視者がとることができる全ての位置を指すと理解される。
【００５０】
装置は、３Ｄディスプレイでの表示のための上記の少なくとも２つのビューを生成するために３Ｄ画像データを処理するプロセッサ１４０を備える。装置は、３Ｄディスプレイの前で観視者の観視者位置を検出する観視者検出器１３０を更に備える。観視者検出器１３０は、３Ｄディスプレイの前の空間の画像を取得するカメラを含んでよく、画像を処理して観視者の顔を検出する検出器ソフトウェアを含んでよい。他の頭部追跡システムがまた使用されてよく、そのようなものとして知られる。
【００５１】
プロセッサ１４０は、観視者コンフリクトを検出し解決するよう配置された観視者コンフリクト検出器１４１を更に有する。最初に、ユニットは、観視者検出器１３０を介して第１の観視者の少なくとも第１の観視者位置を取得する。次いで、ユニットは、第１のビュー及び第２のビューが第１の観視者に３Ｄ効果をもたらさない第１の観視者位置で観視者位置コンフリクトを検出する。最後に、ユニットは、検出された観視者位置コンフリクトに応じてプロセッサ１４０によってビューの生成を制御する。それに加え、ユニットは、第１の観視者によって認知される上記の少なくとも２つのビューのうちの少なくとも１つを変更する。
【００５２】
図２は、上面図において３Ｄディスプレイ及び２人の観視者を示す。３Ｄディスプレイ２００は、ピクセルのアレイ、例えば、円錐視野において５つのビューを提供するよう５つの協調するサブピクセルを備えるＬＣＤであり、ここでは、サブピクセル及びビューは１〜５の番号を付されている。円錐視野は繰り返され、第２の円錐視野は、繰り返されるビュー５（番号“５”の字体が異なる。）によって第１の円錐視野の下部に示されている。よって、観視者の両眼が単一円錐内にある場合は、観視者は良好な立体３Ｄを見る。片眼が主円錐の外にあり、別の円錐内にある場合は、観視者は不良の３Ｄ（逆視、アンチステレオ（anti-stereo）とも呼ばれる。）を見る。
【００５３】
故に、観視者が水平方向において動く場合に、その観視者は、異なる組の隣接するビューを認知する。観視者の位置は、観視者検出器（図示せず。）によって検出され、円錐視野の位置に対してシステムにおいて知られていると推定される。第１の観視者２１０は、正確な３Ｄ効果をもたらす第１の円錐視野のビュー３及び４を受け取ると検出される。第２の観視者２２０は、逆視の不正確な３Ｄ効果をもたらす、第１の円錐視野のビュー１及び第２の円錐視野のビュー５を受け取ると検出される。
【００５４】
自動立体３ＤＴＶを見る場合に、ＴＶの前には、良好な３Ｄ（ステレオ）及び、逆視又は不正確な３Ｄ効果とも呼ばれる不良の３Ｄ（アンチステレオ）をもたらす位置が存在する。映画を見ている間、観視者は幾らか動く傾向があり、（部分的に）アンチステレオ領域に入ることがある。観視者にとって、ビューイング位置が完璧でないことは常には自明でなく、これは眼精疲労又は更に悪いものを引き起こし得る。従って、ビューイング位置が不適切である場合に観視者へアクティブフィードバックを提供することが提案される。しかし、正しいビューイング位置にある他の観視者は、このフィードバックを得るべきでない。１人の観視者がアンチステレオ領域にいるか又はそのような領域に入る場合を検出し、フィードバックキューを画像において供給して、観視者に、その観視者が正確な３Ｄ効果を受け取ることができない旨を知らせることが提案される。例では、第２の観視者２２０の位置は、第２の観視者２２０が２つの異なる円錐視野からの外側の２つのビューを受け取っているために、コンフリクトを有する。円錐視野の境界にいる観視者にのみ作用し、円錐視野の中央に既に座っている観視者には作用しないインジケーションが提案される。
【００５５】
図３は、観視者位置コンフリクトのインジケーションを示す。図は、図２に示されているような３Ｄディスプレイを有する。第１の観視者３１０は、正確な３Ｄ効果をもたらす第１の円錐視野のビュー４及び５を受け取ると検出される。第２の観視者３２０は、逆視の不正確な３Ｄ効果をもたらす、第１の円錐視野のビュー１及び第２の円錐視野のビュー５を受け取ると検出される。よって、第２の観視者３２０は、観視者位置コンフリクトを有する。このとき、システムは、警告メッセージ３３０、例えば、テキスト「不良位置」若しくは同様の警告、又はグラフィカルな警告シンボルを生成する。警告メッセージは、第２の観視者３２０がコンフリクト位置にいる限り、ビュー１に挿入される。任意に、システムはまた、第２の警告メッセージ、例えば、第２の警告テキスト３４０を、認知される第２のビュー５に挿入してよい。なお、システムは、最初に、コンフリクト位置で認知されるビュー１、５のいずれかが少なくとも１人の他の観視者によっても認知されるかどうかを検出する。例では、第１の観視者３１０もビュー５を認知する。故に、システムは、ビュー１における第１の警告メッセージ３３０のみを生成し挿入する。しかし、図２に示されるように第１の観視者がビュー３及び４を受け取る場合は、両方の警告メッセージが夫々ビュー１及び５において挿入される。
【００５６】
よって、観視者がアンチステレオ領域に入る場合に、テキストメッセージは、その観視者が認知する画像、例ではビュー１及び５、のうちの少なくとも１つに重ね合わされる。警告はこの観視者３２０にのみ可視的であり、観視者３２０に、観視者３２０が円錐視野の中央領域（ビュー２−３−４）に入るまで、アンチステレオから出るよう訴える。観視者３２０が円錐視野の中央領域に入った時点で、テキストメッセージはオフされ、観視者３２０は、観視者３２０が円錐境界を再びまたぐまで、ビュー１乃至５の間を完全に自由に動くことができる。
【００５７】
先に説明されたように、テキストメッセージ又はグラフィカルシンボルは、片方の目にのみ与えられ得る。例えば、第１の観視者がビュー４、５を介して正確なステレオを見、第２の観視者がビュー５、１を介してアンチステレオを見る場合に、テキストメッセージはビュー１にのみ表示されてよく、それにより、第１の観視者を邪魔しない。
【００５８】
画像に重ね合わされるテキストメッセージに代えて、アンチステレオ区間から出るよう観視者へフィードバックを与えるための他のオプションも存在する。実施形態において、画像の色が変更、例えば、反転される。カラー画像はまた、白黒画像によって置換されてよい。更なる実施形態において、画像コンテンツが変えられてよい。例えば、観視者が観視者コンフリクト位置にいる限り、黒色画面又は赤色画面が一時的に表示されてよい。更なる代替案は、明滅するテキスト又はシンボルを示して最も注目を引くことである。例えば、シンボルは、コンフリクトから逃れるための好ましい移動方向を示す矢印のオーバレイであってよい。
【００５９】
実施形態において、コンフリクト位置にいる観視者は、同じコンテンツを有する２つのビューを生成することによって、３Ｄ画像に代えて２Ｄ画像を提供されてよい。例えば、図３に示される例では、ビュー１は、第２の観視者３２０の右眼によってのみ使用される。故に、ビュー１のコンテンツはビュー５からコピーされてよい。故に、第２の観視者３２０の両眼は同じ画像を受け取るので、２Ｄ（モノ）効果が認知される。第１の観視者３１０は、ビュー４及び５が影響を及ぼされないので、依然として３Ｄ効果を受け取る。
【００６０】
図４は、複数の光源を備えたライトステアリング・バックライトに基づく自動立体ディスプレイを示す。ディスプレイにおいて、バックライトユニット４１０内で光源４１１、４２１はレンズ４０３の後ろに配置され、夫々の光源は特定の方向に対応する。レンズの前には、ＬＣＤディスプレイ４０５がある。単一のレンズがＬＣＤにおける多数のピクセルを照射してよく、一方、指向性ビームは観視者の特定の左又は右眼に向かって生成される点が留意されるべきである。ＬＣＤは、左ビュー及び右ビューを順次的に表示する。幾つかの光源は、左ビューが観視者の左眼へ夫々のビームを向けるよう表示されている時間の間、作動されてよい。対応する光源は、ディスプレイが次の時点で右ビューを表示する場合に作動される。
【００６１】
図４は、２人の同時に存在する観視者４１０、４２０とともにシーケンシャル型のライトステアリング・システムを表す。いずれの観視者も、時間順次的に左右の画像を提示することによって立体様の３Ｄ画像を提供される。ここで、ＬＣＤは２４０Ｈｚのリフレッシュレートを有するとする。その場合に、ＬＣＤは、光源から目への実線によって示されるように、１２０分の１秒の間、左眼画像を表示する。このインターバルの間、観視者４１０及び４２０の左眼方向に対応する光源が点灯される。次の１２０分の１秒において、右眼画像は、光源から目への破線によって示されるように、左眼方向に対応する光源がオンされることで表示される。時間順次的にこのプロセスを繰り返すことによって、観視者は、左眼におけるブラックフレーム及び右眼における画像と１２０分の１秒で交互にされる左眼における画像及び右眼におけるブラックフレームを見る。
【００６２】
図４におけるディスプレイは、異なるビューイング方向に対処するようバックライトにおける光源の空間多重化を使用する。例では、ビューイング方向間の空間的分離は、両方の観視者に立体様品質の３Ｄを提供するのに十分である。なお、第１の観視者４１０の右眼が第２の観視者４２０の左眼と同じ角度にある場合に、観視者の１人しかステレオを供給され得ない。この状況に近い角度では、クロストークがいずれか一方又は両方の観視者によって可視的であり得る。結果として、両方の観視者に同時に良好なステレオ品質を提供することは、事実上不可能である。２人の観視者のそのような位置は、観視者位置ビームコンフリクトと呼ばれる。
【００６３】
この状況を扱うための種々の方法が存在する。如何なる予防措置も取らなければ、両方の観視者が、好ましくないクロストークの増大を経験するであろう。悪い品質を回避するよう、少なくとも１人の観視者を立体視から平面視へ切り替えることが提案される。これは、ステレオコンテンツの左画像のみ又は右画像のみを提示することによって達成され得る。つまり、両方の観視者の両方の左右の目の位置に対応する全てのバックライト光源が、左（又は右）画像を示すときにオンされ、一方、次のフィールドでは、対応する右（又は左）画像は、バックライト光源をオフすることによって示されない。
【００６４】
図５は、観視者位置ビームコンフリクトを検出するコリジョン区間を示す。図は、図４と同様のシーケンシャルタイプのディスプレイを示す。光源４１１、４２１の組を用いて、特定のビューイング位置にある夫々の観視者の特定の方向のための夫々の指向性光ビームは、生成され得る。図において、夫々のビューイング区間５１５、５２５は、対応する指向性ビームが所望の３Ｄ効果を達成することができるビューイング位置を表すよう示されている。この実施形態に対応するシステムにおいて、観視者コンフリクト検出器は、観視者検出器を介して第２の観視者の第１及び少なくとも第２の観視者位置を取得するよう配置される。それらの位置は、ビューイング区間５１５、５２５によって表され得る。その後に、観視者コンフリクト検出器は、第１の観視者位置での１つのビューが第２の観視者位置での１つのビューと一致する観視者位置ビームコンフリクトを検出するよう配置される。図において、そのような衝突するビューイング位置での観視者のビューイング区間は、部分的に重なり合う。
【００６５】
立体視から平面視へ切り替えるべきか否かを決定する方法は、固定範囲であるビューイング区間５１５、５２５、又はコリジョン区間を観視者の周りに定義することである。図５は、Ｖ字形のコリジョン区間の使用を表す。考えは、コリジョン範囲が重なり合わない限りは両方の観視者にステレオコンテンツを提示することである。それらの範囲が重なり合う場合に、少なくとも一方又は両方の観視者は平面視モードにより提示される。
【００６６】
この実施形態の拡張は、観視者の動きを考慮することである。人物Ｂがカウチに座っており動いていないと仮定する。他方で、人物Ａは左右に歩いており、特定の動きは人物Ｂのビューイング方向を通り過ぎる。この場合に、良好な画像品質を受け取ることにおいて、より高い優先度を人物Ｂに与えることは当然である。その理由は、人物Ａに比べてずっと大きな変動が、人物Ｂが見ている画面に現れるためである。加えて、移動中の画像品質の劣化は、高い確実性で受け入れられると考えられる。最後に、動いている人物を追跡することは技術的により困難であり、これは、立体視への後退（フォールバック）シナリオをとにかく魅力的なものとする。同様に、留意のための他の糸口が使用され得る。座りながら動いている人物の場合に、垂直方向の位置のセグメンテーション、すなわち、座位対立位、に優先順位をつけることは当然である。
【００６７】
更なる実施形態において、人物Ａが人物Ｂに近づくが、急に再び人物Ｂのコリジョン区間から離れないと決める場合に、両方の観視者が平面視へ切り替えられる。ここで、人物Ａは人物Ｂの隣に着席したと考えられ得る。この場合に、観視者Ａがクロストークによりゆがんだ画像を依然として受け取ることは、望ましくない。この問題は、コリジョン区間の間に重なり合いが存在する時間を記録するタイマに閾値を設定することによって解消され得る。この時間遅延はまた、システムをノイズに対して鈍感にする点で優れている。さもなければ、それは、人物が互いに近い場合に無作為の頻繁な切り替えを導入し得る。人物が離れていき、コリジョン区間に重なり合いがない場合に、再び立体視モードを有効にすることは当然である。切り替えにより導入されるイライラを最小限とするよう、場面遷移を待つことが提案される。タイマに加えて、場面遷移はまた、平面視モードへの、又は立体視モードへ戻る遷移をトリガするために使用されてよい。
【００６８】
図６は、３Ｄディスプレイ装置及び観視者メニューを示す。３Ｄディスプレイ装置６１０は、３Ｄテレビジョンユニットの例を与える。ディスプレイ画面上にはメニューが示されている。メニューの左側は、３Ｄモードにおいて画像データを受け取ると現在選択されている２人の観視者を図解的に示す。メニューの右側は、画像データの２Ｄバージョンを受け取ると現在設定されている観視者を示す。メニューは、観視者ごとの設定を変えることを可能にすることができる。メニューの図解表示は、観視者固有の２Ｄ／３Ｄ設定を制御することを可能にする。ＴＶは、全ての観視者のクローズアップを示す。リモートコントロールにより、観視者は２つのグループに分けられ得る。
【００６９】
実施形態は、３Ｄを選好する観視者間の他のタイプのインタラクションを可能にする。頭部追跡ユニットを顔認識と組み合わせることによって、異なる観視者を区別することが可能である。このように、例えば、他の観視者が立体コンテンツを受け取る間、特定の観視者に平面画像を提示することが可能である。図６は、検出された観視者を平面視グループ及び立体視グループにおいてグループ分けするために使用され得るオンスクリーン・メニューの例を示す。同じアプローチは、例えば、子供が立体３Ｄモードにおいて見ないようにするために使用され得る。ステレオ様コンテンツのための観測される奥行きは画面からの距離とともに小さくなるので、画面に近すぎる観視者について平面視モードへ切り替えることは当然である。これはまた、観視者が遠すぎる場合にも使用されてよい。この場合に、目と目の間の角距離は、クロストークが回避され得ないほど小さくなる。任意に、より遠いディスプレイを用いることによって、異なる奥行きでレンダリングされる更なるビューを含むことも可能である。異なるビューについて夫々の対をなすビューを選択することによって、異なる観視者について異なる量の奥行きを提供することが可能である。例えば、システムは、個々の観視者ごとに適切な組をなすビューを選択してよい。
【００７０】
上述されたように、複数の観視者がディスプレイに対して同じ外側角に位置する状況が検討され改善される。顔認識に基づく更なるユーザ固有の３Ｄ設定が記載されてきた。
【００７１】
提案されるシステムは、観視者の左右の目へ画像を供給するために頭部又は瞳追跡を使用する自動立体ディスプレイの類に適用する。より具体的に、実施形態は、光を目の夫々に向けるためにバックライト・ライトステアリングを使用する自動立体ディスプレイの類である。例となる構成は、光を導くようレンズアレイの後ろで複数の切り替え可能な光源を使用することである。そのようなディスプレイの例は、http://www.seereal.biz/en/autostereoscopy/papers/EI08%206803-24%20Web.pdfで入手可能な文献：Hagen  Stolle，Jean-Christophe  Olaya，Steffen  Buschbeck，Hagen  Sahm，Dr.  Armin  Schwerdtner，有限会社シーリアルテクノロジ（ドイツ），“Technical  solutions  for  a  full-resolution  auto-stereoscopic  ２D/3D  display  technology”において論じられている。頭部追跡器は、画面に対する観視者の１又は方法を定めるために使用される。適切な光源をアドレッシングすることによって、光は左右いずれかの目へ導かれる。このように、時間順次的に立体様の３Ｄ画像を観視者に提供することが可能である。ビューシーケンシャル３Ｄディスプレイの更なる例は、http://download.microsoft.com/download/D/2/E/D2E425F8-CF3C-4C71-A4A2-70F9D4081007/Backlightforviewsequentialautostereo.docxで入手可能な文献：Travis,  Ｎ.  Emerton，T.  Large，S.  Bathiche，“The  design  of  backlights  for  view-sequential  3D”において記載されている。
【００７２】
光源の空間多重化によって、ライトステアリングは、ステレオ様の３Ｄ画像を同時に複数の観視者に提供するために使用され得る。これは、観視者が画面に対して明らかに別々の方向において位置する場合に少なくとも可能である。しかし、観視者への方向が同じようになりすぎる場合は、もはや左右の目を個別的にアドレッシングすることは不可能である。より具体的に、１人の観視者の右眼に向けられた光は、他の観視者の左眼の光と部分的に重なり始める。あるいは、逆も同様である。これは、“クロストーク”、ひいては、３Ｄ性能の劣化を生じさせる。最悪の場合に、観視者の１人はアンチステレオを見る。
【００７３】
複数の観視者の場合について特定されている他のタイプのインタラクションは、２Ｄ又は３Ｄいずれかの鑑賞の選好である。立体視は、現実世界で利用可能な全ての視覚的刺激を扱わない。異なる奥行き手がかりの間のコンフリクトは、視覚的な不快症状をもたらすことがある。一部の人々は他者よりもこれに敏感であるから、３Ｄに対する彼らの選好は異なることがある。また、システムによって導入されるアーティファクトは、異なる選好を生じさせることがある。最後に、個人ごとの奥行き認知は、画面までの彼らの距離に依存する。画面に近い観視者は、意図されるよりも奥行きを認知することがある。
【００７４】
同じ投影によって全ての任意の位置にいる観視者にとって良好な３Ｄ性能を達成することは不可能であるから、上記のシステムは、衝突する位置を検出し、その後に、同じ方向における観視者の一部に平面視又は警告信号を提供する。２Ｄ又は３Ｄにおいてコンテンツを見るとの異なる選好の間のコンフリクトは、頭部追跡を顔認識スキームに結合することによって解消され得る。
【００７５】
図７は、３Ｄ画像データ１２２を表示する３Ｄディスプレイ１６０と、３Ｄ画像データをブロードキャスト送信７１２から受信するブロードキャスト受信部７１０と、３Ｄ画像データをインターネット７１６から受信するインターネット受信部７１４と、３Ｄ画像データを記憶媒体７２０から読み出し記憶媒体読取部７１８とを有する装置７００を示す。なお、装置７００は、上記の構成要素の全てを有することに代えて、それらの構成要素の一部のみを有してよいことが認識されるであろう。装置７００は、例えば、レンチキュラに基づくマルチビュー３Ｄディスプレイ１６０を有する３Ｄテレビジョンであってよい。装置７００は、例えば、ブルーレイプレーヤ、ブルーレイレコーダ、セットトップボックス、パーソナルコンピュータ、ハードディスクレコーダ等を更に有してよい。図７に示されていないが、装置７００は、ユーザが、観視者コンフリクト検出器１４０に観視者コンフリクトの検出をオン又はオフするよう指示すること、又は何らかのユーザ好みを設定することを可能にするユーザ入力手段を有してよい。ユーザ入力手段は、ユーザがリモートコントロールを用いて観視者コンフリクト検出器１４０に指示することを可能にするリモートコントロール信号受信器であってよい。
【００７６】
ブロードキャスト受信部７１０は、例えば、地上、衛星又はケーブル放送を受信するための、何らかの適切なタイプのものであってよい。インターネット受信部７１４は、やはり何らかの適切なタイプのものであってよく、例えば、ＡＤＳＬ、イーサネット（登録商標）、ＷＬＡＮ、ＵＭＴＳ等によって必要とされるモデム機能性を有するか、あるいは、インターフェースプロトコル、例えば、ＴＣＰ／ＩＰであってよい。記憶媒体読取部７１８は、３Ｄ画像データ１２２を記憶媒体７２０から読み出すための何らかの適切なタイプのものであってよい。記憶媒体７２０は、何らかの適切なタイプのもの、例えば、ブルーレイ、ＤＶＤ、フラッシュメモリ、ＲＯＭ、ＲＡＭ等である。記憶媒体は、装置にロードされる場合に、上述されたような観視者コンフリクト検出のための方法を実行するコンピュータプログラムを記憶してよい。
【００７７】
図８は、観視者コンフリクトを検出する方法を示す。方法は、ＳＴＡＲＴから開始し、上述されたように３Ｄディスプレイ装置のために３Ｄ画像データを処理する。装置は、３Ｄディスプレイの前で観視者の観視者位置を検出する観視者検出器を備える。方法は、続いて、３Ｄディスプレイでの表示のために少なくとも２つのビューを生成するよう３Ｄ画像データを処理する。方法は、観視者コンフリクトを検出するステップを更に有する。検出は、観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得するステップＯＢＴＶＰから始まる。次に、ステップＤＥＴＶＣは、第１のビュー及び第２のビューが第１の観視者に３Ｄ効果をもたらさない第１の観視者位置での観視者位置コンフリクトを検出する。観視者コンフリクトが決定ステップＶＣで検出されない場合は、方法は、ステップＯＢＴＶＰで観視者の位置を取得することを続ける。観視者コンフリクトが決定ステップＶＣで検出される場合は、方法は、第１の観視者によって受け取られる少なくとも２つのビューのうちの少なくとも１つを変更することでステップＭＯＤＶにおいてビューの少なくとも１つを変更することによって、続く。更なる３Ｄ画像が供給される必要がない場合に、方法はステップＥＮＤで終了する。ビューが以前に変更されており、以前の観視者コンフリクトがもはや存在しないと方法により検出される場合に、以前の変更は除去されることが知られる。
【００７８】
明りょうさのために、上記の説明は、異なる機能ユニットを参照して本発明の様々な実施形態を記載してきたことが認識されるであろう。しかし、異なる機能ユニット又はプロセッサの間での機能性の如何なる適切な分布も本発明から逸脱することなしに使用され得ることは明らかである。例えば、別個のプロセッサ又はコントローラによって実行されるよう表されている機能性は、同じプロセッサ又はコントローラによって実行されてよい。よって、具体的な機能ユニットへの言及は、厳密な論理的又は物理的構造又は体系を示すのではなく、単に、記載される機能性を提供する適切な手段への言及として見なされるべきである。
【００７９】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はそれらのあらゆる組み合わせを含む如何なる適切な形態においても実施可能である。本発明は、任意に、１又はそれ以上のデータプロセッサ及び／又はデジタル信号プロセッサを実行するコンピュータソフトウェアとして少なくとも部分的に実施されてよい。本発明の実施形態の要素及びコンポーネントは、如何なる適切な方法においても物理的、機能的、及び論理的に実施されてよい。実際には、機能性は、単一のユニットにおいて、複数のユニットにおいて、又は他の機能ユニットの部分として、実施されてよい。そのようなものとして、本発明は、単一のユニットにおいて実施されてよく、あるいは、異なるユニット及びプロセッサの間で物理的及び機能的に分配されてよい。
【００８０】
本発明は、幾つかの実施形態に関連して記載されてきたが、ここで説明されている具体的な形態に制限されるよう意図されない。むしろ、本発明の適用範囲は、添付の特許請求の範囲によってのみ制限される。加えて、特徴は特定の実施形態に関連して記載されるように見えることがあるが、当業者であれば、記載される実施形態の様々な特徴が本発明に従って組み合わされ得ると認識するであろう。特許請求の範囲において、語「有する」は、他の要素又はステップの存在を除外しない。
【００８１】
加えて、個々に挙げられているとしても、複数の手段、要素又は方法ステップは、例えば、単一のユニット又はプロセッサによって実施されてよい。加えて、個々の特徴は異なる請求項に含まれることがあるが、それらは場合により有利に組み合わされてよく、異なる請求項における包含は、特徴の組み合わせが実行可能及び／又は有利でないことを暗示するものでない。また、１つのカテゴリの請求項における特徴の包含は、このカテゴリへの制限を暗示せず、むしろ、特徴が必要に応じて他の請求項カテゴリに同じく適用可能であることを示す。加えて、特許請求の範囲における特徴の順序は、特徴が機能すべき如何なる具体的な順序も暗示せず、特に、方法請求項における個々のステップの順序は、ステップがこの順序で実行されるべきことを暗示するものではない。むしろ、ステップは、あらゆる適切な順序においても実行されてよい。加えて、単数参照は複数個を除外しない。よって、「１つの」、「第１の」、「第２の」等への言及は、複数個を排除しない。特許請求の範囲における参照符号は、単に、明確な例として与えられており、決して特許請求の範囲の適用範囲を制限するよう解釈されるべきでない。
【図１】
2015519772.tif 000003
【図２】
2015519772.tif 000004
【図３】
2015519772.tif 000005
【図４】
2015519772.tif 000006
【図５】
2015519772.tif 000007
【図６】
2015519772.tif 000008
【図７】
2015519772.tif 000009
【図８】
2015519772.tif 000010
【手続補正書】
【提出日】平成26年9月30日(2014.9.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元画像データの少なくとも２つのビューを発し、該ビューは、３次元効果をもたらすよう、左眼を介して当該少なくとも２つのビューのうちの第１のビューを、及び右眼を介して当該少なくとも２つのビューのうちの第２のビューを知覚する観視者による複数のビューイング位置での前記３次元画像データの自動立体視を可能にする、３次元ディスプレイと、
前記３次元ディスプレイでの表示のために前記少なくとも２つのビューを生成するよう前記３次元画像データを処理するプロセッサと、
前記３次元ディスプレイの前で観視者の観視者位置を検出する観視者検出器と
を有し、
前記プロセッサは、
前記観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得し、
前記第１のビュー及び前記第２のビューが前記第１の観視者に前記３次元効果をもたらさない前記第１の観視者位置での観視者位置コンフリクトを検出し、
前記観視者検出器を介して第２の観視者の少なくとも第２の観視者位置を取得し、
前記第１の観視者に該第１の観視者が前記３Ｄ効果を受けないことを示すよう、前記第１の観視者によって受け取られる前記少なくとも２つのビューのうちの１つを選択的に変更して、該１つの選択されたビューが前記第２の観視者によって認知されるビューでないようにすることで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
よう配置される観視者コンフリクト検出器を更に有する、ディスプレイ装置。
【請求項２】
前記３次元ディスプレイは、円錐視野において前記３次元画像データの一連の２よりも多いビューを隣接して発するよう配置される多重ビューディスプレイであり、前記一連のビューは、前記円錐視野における複数のビューイング位置で前記３次元画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、
前記第１のビューが第１円錐からの第１の円錐視野であり且つ前記第２のビューが第２円錐からの第２の円錐視野である前記第１の観視者位置で観視者位置円錐コンフリクトを検出するよう配置される、
請求項１に記載のディスプレイ装置。
【請求項３】
前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野にグラフィカル要素をオーバレイすること、
夫々の円錐視野にテキストメッセージをオーバレイすること、
黒色画面又は赤色画面を一時的に示すことで夫々の円錐視野の画像コンテンツを変えること
のうちの少なくとも１つによって前記第１の円錐視野及び前記第２の円錐視野のうちの１つを変更するように前記プロセッサを制御するよう配置される、
請求項２に記載のディスプレイ装置。
【請求項４】
前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野の輝度を変えること、
夫々の円錐視野の色を変えること
のうちの少なくとも１つによって前記第１の円錐視野及び前記第２の円錐視野のうちの１つを変更するように前記プロセッサを制御するよう配置される、
請求項２に記載のディスプレイ装置。
【請求項５】
前記３次元ディスプレイは、観視者の左眼への夫々の第１の指向性ビーム及び右眼への夫々の第２の指向性ビームを介して左ビュー及び右ビューを連続して発するよう配置されるシーケンシャルビューディスプレイであり、前記ビューは、夫々の指向性ビームを組み合わせることで夫々のビューイング位置で前記３次元画像データの自動立体視を可能にし、前記観視者コンフリクト検出器は、
前記第１の観視者位置での１つのビューが前記第２の観視者位置での１つのビューと一致する観視者位置ビームコンフリクトを検出する
よう配置される、請求項１に記載のディスプレイ装置。
【請求項６】
前記観視者検出器は、
カメラからのビデオ画像における顔検出、
距離センサからの距離情報、
観視者位置で観視者によって操作されるリモートコントロールユニットからのユーザ入力、
前記観視者位置で前記観視者によって位置付けられる観視者タグ付けオブジェクトの検出
のうちの少なくとも１つに基づき、前記３次元ディスプレイの前で観視者の観視者位置を検出するよう配置される、
請求項１に記載のディスプレイ装置。
【請求項７】
ディスプレイ装置のための３次元画像データの処理方法であって、
前記ディスプレイ装置は、
３次元画像データの少なくとも２つのビューを発し、該ビューは、３次元効果をもたらすよう、左眼を介して当該少なくとも２つのビューのうちの第１のビューを、及び右眼を介して当該少なくとも２つのビューのうちの第２のビューを知覚する観視者による複数のビューイング位置での前記３次元画像データの自動立体視を可能にする、３次元ディスプレイと、
前記３次元ディスプレイの前で観視者の観視者位置を検出する観視者検出器と
を有し、
当該方法は、前記３次元ディスプレイでの表示のために前記少なくとも２つのビューを生成するよう前記３次元画像データを処理するステップを有し、
当該方法は、
前記観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得し、
前記第１のビュー及び前記第２のビューが前記第１の観視者に前記３次元効果をもたらさない前記第１の観視者位置での観視者位置コンフリクトを検出し、
前記観視者検出器を介して第２の観視者の少なくとも第２の観視者位置を取得し、
前記第１の観視者に該第１の観視者が前記３Ｄ効果を受けないことを示すよう、前記第１の観視者によって受け取られる前記少なくとも２つのビューのうちの１つを選択的に変更して、該１つの選択されたビューが前記第２の観視者によって認知されるビューでないようにすることで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
ことによって観視者コンフリクトを検出するステップを更に有する、方法。
【請求項８】
プロセッサシステムに、請求項７に記載の方法を実行させる命令を有する
コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
米国特許出願公開第２００４／０２５２１８７号明細書（特許文献２）は、時間順次的な多重化を用いることによって観視者空間をセグメントに分けることができる前面投影ディスプレイを記載する。セグメントの夫々は、異なるフルレゾ画像ストリームを受け取る。システムは、ピクセル生成メカニズムを、自動立体３Ｄのための動作モードを提供するようユーザ空間にわたってピクセルをスイープする回転マイクロミラーのアレイと組み合わせる。システムは、画面に対するユーザの位置を決定する観視者検出器を備え、その位置は頭部追跡により獲得される。位置データは、夫々の特定のユーザについてカスタマイズされたビューをレンダリングするために使用される。従って、システムは、画面に対するユーザの位置に基づき多数のシーケンシャルビューの奥行きを生成する。加えて、“フォールバック”シナリオが、ユーザが識別されない場合について記載される。  
米国特許出願公開第２０１１／０３１６９８７号明細書（特許文献３）は、観視者に、３Ｄ効果が存在する所謂正視領域（orthoscopic  area）に彼らが位置するどうかを示すよう、グラフィカルシンボルが表示される自動立体ディスプレイシステムを記載する。観視者の位置に応じて、シンボルは、観視者に、彼／彼女が正確な３Ｄ効果を受けていないことを示すことができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
【特許文献１】米国特許第６０５５０１３号明細書
【特許文献２】米国特許出願公開第２００４／０２５２１８７号明細書
【特許文献３】米国特許出願公開第２０１１／０３１６９８７号明細書
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
前記観視者コンフリクト検出器は、前記ディスプレイの前で少なくとも第１及び第２の観視者を検出するために前記観視者検出器を使用する。その後に、前記観視者コンフリクト検出器は、観視者位置で、第１の観視者に提供されるビューが正確な３Ｄ効果をもたらすかどうかを決定する。前記観視者コンフリクト検出器により、必要とされる３Ｄ効果がもたらされないことが決定されるときはいつでも、前記観視者コンフリクト検出器は、前記プロセッサに、第１の観視者に該第１の観視者が３Ｄ効果を受けないことを示すよう、第１の観視者によって受け取られるビューの１つを選択的に変更するよう指示し、その１つの選択されたビューが第２の観視者によって認知されないビューであるようにする。例えば、警告が、前記第１の観視者によって認知される１つのビューにおいて動的に挿入され得る。有利に、前記観視者コンフリクト検出器は、１又はそれ以上の観視者が夫々の位置に存在することを決定し、更に、観視者の夫々が３Ｄ効果を認知するかどうかを決定する。そうでない場合は、前記観視者コンフリクト検出器は、例えば、夫々の観視者に、その観視者に３Ｄ効果がもたらされないことを示すよう、ビューの１つを選択的に変更する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
任意に、前記プロセッサは、前記３Ｄ効果がもたらされないことを示すために前記少なくとも２つのビューのうちの１つを変えることで前記変更を行うよう配置される。これは、前記少なくとも２つのビューのうちの他の１つのみを受け取る他の観視者が前記変更によって邪魔されないという効果を有する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
任意に、前記観視者コンフリクト検出器は、前記観視者位置円錐コンフリクトを検出する場合に、
夫々の円錐視野にグラフィカル要素をオーバレイすること、
夫々の円錐視野にテキストメッセージをオーバレイすること、
夫々の円錐視野を反転させること、
夫々の円錐視野の画像コンテンツを変えること
のうちの少なくとも１つによって前記第１の円錐視野及び前記第２の円錐視野のうちの１つを変更するように前記プロセッサを制御するよう配置される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本発明の更なる態様において、ディスプレイ装置のための３Ｄ画像データの処理方法であって、前記ディスプレイ装置は、３Ｄ画像データの少なくとも２つのビューを発し、該ビューは、３Ｄ効果をもたらすよう、左眼を介して当該少なくとも２つのビューのうちの第１のビューを、及び右眼を介して当該少なくとも２つのビューのうちの第２のビューを知覚する観視者による複数のビューイング位置での前記３Ｄ画像データの自動立体視を可能にする、３Ｄディスプレイと、該３Ｄディスプレイの前で観視者の観視者位置を検出する観視者検出器とを有し、当該方法は、前記３Ｄディスプレイでの表示のために前記少なくとも２つのビューを生成するよう前記３Ｄ画像データを処理するステップを有し、当該方法は、
前記観視者検出器を介して第１の観視者の少なくとも第１の観視者位置を取得し、
前記第１のビュー及び前記第２のビューが前記第１の観視者に前記３Ｄ効果をもたらさない前記第１の観視者位置での観視者位置コンフリクトを検出し、
前記観視者検出器を介して第２の観視者の少なくとも第２の観視者位置を取得し、
前記第１の観視者に該第１の観視者が前記３Ｄ効果を受けないことを示すよう、前記第１の観視者によって受け取られる前記少なくとも２つのビューのうちの１つを選択的に変更して、該１つの選択されたビューが前記第２の観視者によって認知されるビューでないようにすることで、前記検出された観視者位置コンフリクトに依存して前記ビューの生成を制御する
ことによって観視者コンフリクトを検出するステップを更に有する、方法が提供される。
【国際調査報告】
2015519772.tif 000011
2015519772.tif 000012
2015519772.tif 000013
2015519772.tif 000014
2015519772.tif 000015