(57)【要約】立体ビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を検出するビデオ処理装置（２）および方法が説明されている。ビデオコンテンツ内の撮像されたクリーチャのまばたきが検出される。時間的同期不整合は、第１のビデオストリーム内のまばたきの再生と第２のビデオストリーム内の前記まばたきの再生間の時間的オフセットの決定によって決定
2015501115.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリーム（Ｌ、Ｒ）との時間的同期不整合を検出するための方法であって、
−前記３Ｄビデオコンテンツのクリーチャのまばたきを検出するステップと、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）との前記時間的同期不整合を、前記第１のビデオストリーム（Ｌ）内の前記まばたきの再生と前記第２のビデオストリーム（Ｒ）内の前記まばたきの再生間の時間的オフセットの決定によって決定するステップとを備えた、前記方法。
【請求項２】
前記まばたきを検出するステップは、
−少なくとも前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内のまばたきを検出するステップと、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内の前記まばたきの再生の第１の瞬時と第２の瞬時を決定するステップを備え、
前記時間的同期不整合を決定するステップは、
−前記同期不整合を決定するために前記第１の瞬時と前記第２の瞬時とを比較するステップを備えた、請求項１に記載の前記方法。
【請求項３】
前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内のまばたきを検出するステップは、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内のまばたきプロセスの時間的まばたき関数を算出するステップであって、前記まばたき関数は、前記クリーチャの少なくとも１つの目における閉度または開度を示すことを備え、
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）との前記時間的まばたき関数の相関を算出するステップを備えた、請求項２に記載の前記方法。
【請求項４】
前記時間的まばたき関数は、前記クリーチャの前記少なくとも１つの目の再生と所定の目テンプレートの再生とのマッチングスコアを算出することによって決定される、請求項３に記載の前記方法。
【請求項５】
前記目テンプレートは、前記立体ビデオコンテンツの前記第１または第２のビデオストリーム内の前記クリーチャの少なくとも１つの前記再生を使用して更新される、請求項４に記載の前記方法。
【請求項６】
複数のまばたきは、前記それぞれのビデオストリーム（Ｌ、Ｒ）内のまばたきの複数の対応する再生を行うために少なくとも前記第１および前記第２のビデオストリーム（Ｌ、Ｒ）内で検出され、かつ、複数の第１および第２の瞬時は、対応するまばたきの前記再生を行うために決定され、および前記時間的同期不整合は、前記複数の第１の瞬時と第２の瞬時とを比較することによって、かつ、前記複数の第１の瞬時と第２の瞬時との前記決定された差の平均ステップを実行することによって決定される、請求項３乃至５のいずれかにおいて記載の前記方法。
【請求項７】
前記まばたきを検出するステップは、
−少なくとも前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内のまばたきを検出するステップを備え、
前記時間的同期不整合を検出するステップは、
−前記第１のビデオストリーム（Ｌ）の第１のフレームと前記第２のフレーム（Ｒ）の対応する第２のフレームを選択するステップであって、前記第１および第２のフレームは、前記まばたきの完全な再生をそれぞれ好適に示したフレームセットから作られる、前記ステップと、
−前記同期不整合を決定するために、前記第１のフレーム内の前記クリーチャの目のうちの少なくとも１つの再生と前記対応する第２のフレーム内の前記目の再生とを比較するステップと、
を備えた、請求項１に記載の前記方法。
【請求項８】
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリームの第１のフレームセットと前記第２のビデオストリームの対応する第２のフレームセットを選択するステップであって、前記第１のフレームセットおよび前記第２のフレームセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記第１および第２のフレームセットの対応するすべてのフレームペアに対し、前記比較するステップは、
−前記第１のフレームセットの第１のフレームと前記第２のフレームセットの前記第２のフレーム内の前記クリーチャの目の前記再生においてそれぞれ輝度または色の異なる画像を算出するステップと、
−前記異なる画像から偏差領域を算出するステップと、
−前記同期不整合を決定するために、前記偏差領域を合計するステップと、
を備えた、請求項７に記載の前記方法。
【請求項９】
前記第１のフレームセットおよび前記第２のフレームセットのすべてのフレームに対する、前記算出された偏差領域が標準化される、請求項８に記載の方前記法。
【請求項１０】
前記偏差領域を算出するステップは、前記異なる画像の閾値フィルタの適用を備え、好適には、標準化された０から１までのスケールに対して０．５の閾値が適用される、請求項８に記載の前記方法。
【請求項１１】
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリーム（Ｌ）の第１のフレームセットと前記第２のビデオストリーム（Ｒ）の対応する第２のフレームセットを選択するステップであって、前記第１のフレームセットおよび前記第２のフレームセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記第１および第２のフレームセットの対応するすべてのフレームペアに対し、前記比較するステップは、
−前記第１のフレームセットの第１のフレームと前記第２のフレームセットの前記第２のフレーム内の前記クリーチャの目の前記再生においてそれぞれ輝度または色の異なる画像を算出するステップと、
−前記異なる画像から下まぶたと上まぶたとの間の高さを算出するステップと、
−前記同期不整合を決定するために、前記偏差領域を合計するステップと、
を備えた、請求項７に記載の前記方法。
【請求項１２】
前記異なる画像から下まぶたと上まぶたとの間の高さを算出するステップは、前記算出された高さを標準化するステップを備えた、請求項１１に記載の前記方法。
【請求項１３】
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリーム（Ｌ）の第１のフレームセットと前記第２のビデオストリーム（Ｒ）の対応する第２のフレームセットを選択するステップであって、前記第１のフレームセットおよび前記第２のフレームセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記比較するステップは、
−前記第１のフレームセットの対応する第１のフレームと前記第２のフレームセットの対応する第２のフレームとの前記クリーチャの目の前記再生における差を算出するステップと、
−前記第１のフレームセットの後続フレームと前記第２のフレームセットの後続フレームとの前記クリーチャの目の前記再生における差を算出するステップと、
−前記同期不整合を決定するために、前記対応するフレームの前記算出された差を後続フレームの前記算出された差で割るステップと、
を備えた、請求項７に記載の前記方法。
【請求項１４】
前記第１のフレームセットの対応する第１のフレームと前記第２のフレームセットの対応する第２のフレームとの前記クリーチャの目の前記再生における差を算出するステップと、前記第１のフレームセットの後続フレームと前記第２のフレームセットの後続フレームとの前記クリーチャの目の前記再生における差を算出するステップとは、輝度または色の異なる画像の前記算出および偏差領域の前記算出または前記異なる画像による下まぶたと上まぶたとの間の高さの算出を含む、請求項１３に記載の方法。
【請求項１５】
立体ビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリーム（Ｌ、Ｒ）との時間的同期不整合を検出するためのビデオ処理装置（２）であって、前記ビデオ処理装置（２）は、
−前記ビデオコンテンツ内の撮像されたクリーチャのまばたきを検出し、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）との前記時間的同期不整合を、前記第１のビデオストリーム（Ｌ）内の前記まばたきの再生と前記第２のビデオストリーム（Ｒ）内の前記まばたきの再生間の時間的オフセットの決定によって決定するように構成されたビデオ処理装置（２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を検出する方法に関する。さらに、本発明は、この立体ビデオコンテンツの時間的同期不整合を検出するビデオ処理装置に関する。
【背景技術】
【０００２】
３Ｄビデオでは、視聴者のそれぞれの目で視聴者独自の画像ストリームを受け取る。ストリームの各画像ペアは、わずかに異なる視点から同じシーンを表現し、人間の脳内で再生中に３Ｄ体験を生成する。典型的には、同期カメラのペアは、３Ｄ立体ビデオコンテンツをキャプチャするのに使用されている。一方のカメラで左目の画像をキャプチャし、他方のカメラで右目の画像をキャプチャする。この文脈において、３Ｄビデオコンテンツは、立体ビデオコンテンツとも呼ばれる。立体視カメラ設定において左カメラから見る方向と右カメラから見る方向がわずかに異なるため、異なるカメラ位置から生じる左画像と右画像の２つの対応点のずれが存在する。キャプチャされた画像におけるこのような対応点のずれは、一般に視差と呼ばれる。
【０００３】
高品質の立体ビデオコンテンツを生成するために、ステレオカメラは、画像の各ペア、即ち、立体視カメラ設定で左カメラから撮られる画像またはフレームと右カメラから撮られる対応する画像またはフレームとが同じ瞬時に撮られるように、正確に同期されなければならない。さもなければ、キャプチャされたシーンのカメラモーションおよび移動オブジェクトは、付加的な視差の誤差を招くであろう。人間による観察は、垂直視差のわずかな量の誤差さえも非常に敏感であることが知られている。しかしながら、水平視差の変化または誤差もビデオコンテンツの３Ｄ再生にひどい歪みを招く可能性がある。さらに、立体ビデオコンテンツの左ピクチャと右ピクチャ間の視差の誤差は、単眼閉塞と立体配置の手がかりとの不整合ならびに高収束または高発散を招く可能性がある。これらの問題は、特に映画の動きが水平方向により多く発する傾向がある時に、垂直視差の誤差と同様の不快な視聴体験を招き易くする恐れがある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】K. Graumann et al.: “Communication via Eye Blinks-Detection and Duration Analysis in Real Time”, Proceedings of the IEEE Computer Vision and Pattern Recognition Conference (CVPR 2001), Vol.2, pages 1110-1117
【発明の概要】
【発明が解決しようとする課題】
【０００５】
正確なカメラ同期を提供するために、ステレオカメラは、通常、中央タイミングジェネレータユニットが共通同期信号をそれぞれのカメラに送信して、２つのキャプチャリング処理を同期する方法でトリガすることができる「ゲンロック(genlock)」または「シンク(sync)」入力が備わっている。それにもかかわらず、多くの３Ｄビデオコンテンツは、不十分な同期化の問題を抱えている。その理由は、多様であり、ハードウェアの不具合および許容範囲からオペレータのミスおよび編集エラーまでに及ぶ。
【０００６】
結果として、最終の立体ビデオコンテンツの適切な同期化は、高品質の３Ｄコンテンツを生成する時に配慮する１つの重要な部分である。先行技術によれば、同期化に関する品質検査は、ほとんどの場合手動で行われている。しかしながら、この検査は、オペレータによって３Ｄコンテンツを検査しなければならず、そして同期不整合を手動で決定しなければならないので、費用と時間がかかる処理である。従って、３Ｄコンテンツの同期不整合の検出を可能にする自動または半自動の検査が必要とされている。
【課題を解決するための手段】
【０００７】
本発明の目的は、３Ｄビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を検出するために改良されたビデオ処理装置および改良された方法を提供することである。
【０００８】
発明の一態様において、３Ｄビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を検出するための方法が提供される。ビデオコンテンツ内の撮像されたクリーチャのまばたきが検出される。第１のビデオストリームと第２のビデオストリームとの時間的同期不整合は、第１のビデオストリーム内のまばたきの再生と第２のビデオストリーム内のまばたきの再生間の時間的オフセットの決定によって決定される。言い換えれば、発明の態様に従った方法は、第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を決定するのにまばたきの検出に依存する。この方法は、顔の検出または追跡、人間、動物または漫画のクリーチャであってもよいクリーチャの目の位置の推定、ならびにそれらのクリーチャが見つめる方向の決定およびまばたきの検出が、人間・機械インタラクションの分野で活発な研究領域であるので、容易に確実に実装できる。この技術分野は、現代のデジタルカメラが顔、笑顔およびまばたきの検出器を備える程度まで成熟している。まばたき検出器は、撮影された人達の一人が目を閉じていた場合に第２のピクチャキャプチャを自動的にトリガすることができる。言い換えれば、まばたきを検出するアルゴリズムの実装は、入手可能な「市販の」さまざまな異なるアルゴリズムに基づいて行うことができる。続いて、まばたき検出の結果を時間的同期不整合の検出に使用できる。
【０００９】
まばたきの検出は、目の形およびまぶたの動きが明確に定義されていて、ある人と別の人との相違がほとんどない理由により同期不整合の検出に有利である。さらに、まばたきの結果、色およびコントラストの急激な変化が生じ、遠距離および急角度でも可視となる。
【００１０】
発明の別の態様に従って、まばたき検出は、少なくとも第１および第２のビデオストリーム内のまばたきの検出を含む。言い換えれば、まばたき検出は、立体ビデオコンテンツの一部を形成するそれぞれのビデオストリームに対して別個に実行される。さらに、第１のビデオストリーム内および第２のビデオストリーム内のまばたきを再生する第１の瞬時および第２の瞬時がそれぞれ決定される。時間的同期不整合は、この第１の瞬時と第２の瞬時とを比較することによって決定される。
【００１１】
第１および第２のビデオストリーム内のまばたきの検出が、第１および第２のビデオストリームの時間的まばたき関数の算出を含んでいればさらに有利である。まばたき関数は、クリーチャの少なくとも１つの目の開閉度を示すことができる。時間的同期不整合は、第１のビデオストリームの時間分解のまばたき関数と第２のビデオストリームの時間分解のまばたき関数との相関を算出することによって決定でき、その相関関数の最大値によって同期不整合を示すことができる。発明の実施形態に従って、各ビデオストリームおよびビデオのシーンに対して２以上のまばたき関数を算出できる。
【００１２】
最初に、複数のまばたきは、それぞれのビデオストリーム内の対応する複数のまばたきを再生するために第１および第２のビデオストリーム内で検出される。例えば、第１のまばたき関数は、クリーチャの左目の閉度を示すことができ、第２のまばたき関数は、このクリーチャの右目の閉度を示すことができる。複数の第１および第２の瞬時は、対応するまばたきを再生するために決定され、時間的同期不整合は、対応するまばたきの複数の第１の瞬時と第２の瞬時とを比較し、決定された複数の第１の瞬時と第２の瞬時との差を平均するステップを実行することによって決定される。例えば、クリーチャの左目および右目の開度をそれぞれ示すことができる、さらなる第３および第４のまばたき関数を算出できる。実施形態に従って、これにより、３Ｄビデオコンテンツの各クリーチャおよび各ビデオストリームに対して最大４つのまばたき関数が得られる。従って、第１のビデオストリームに対して決定されたこれらの４つのまばたき関数と第２のビデオストリームに対して類似して算出されたさらなる４つのまばたき関数との相関をそれぞれ決定できる。この増加した数のまばたき関数およびそれぞれのまばたき関数との相関関数は、１ビデオストリーム当たり１まばたき関数しか適用しない実施形態と比較してより高いロバスト性が得られる。しかしながら、計算負荷がわずかに増大するであろう。
【００１３】
発明の別の態様に従って、時間分解のまばたき関数は、クリーチャの少なくとも１つの目と所定の目テンプレートとを一致させることによって決定される。目テンプレートは、開いた目または閉じた目をそれぞれ参照することができる。発明の別の実施形態に従って、目テンプレートを更新して、立体ビデオコンテンツの第１および／または第２のビデオストリーム内のクリーチャの少なくとも１つの目の再生に使用する。言い換えれば、所定のテンプレートは、初期に適用され、そして第１および第２のビデオストリームで検出された目のキャプチャ情報を使用して精緻化できる。これによってマッチングステージの結果が改善される。
【００１４】
時間分解のまばたき関数は、目の可視領域、瞳孔の高さまたは目テンプレートのマッチングスコアの形で目の閉度を表示する信号とすることができる。
【００１５】
有利には、第１のビデオストリームのまばたき関数と第２のビデオストリームのまばたき関数との相関によって、サブフレーム精度の同期不整合を決定できるようにする。これについて以下の段落で説明する。
【００１６】
典型的には、まばたきの継続時間は、３００から４００ミリ秒の間である。この期間は、まぶたの開閉過程の間にいくつかのフレームをキャプチャするカメラ（例えば、１秒当たりわずか２４フレームの捕獲率しかない）には十分な長さである。概算では速いまばたきでおよそ７フレームとなる。一見すると困難なタスクに思えるサブフレーム精度を実現するために、まばたき関数が補間され、それによって、決定された測定ポイントを考慮に入れた滑らかな曲線ができる。サブフレーム精度は、第１のビデオストリームの補間されたまばたき関数と第２のビデオストリームの補間されたまばたき関数とを相関することによって実現できる。発明の別の実施形態に従って、サブフレーム精度を実現するために、第１のまばたき関数と第２のまばたき関数との相関関数を補間できる。しかしながら、最初のアプローチは、より正確な結果をもたらすことが期待される。
【００１７】
発明の別の態様に従って、少なくとも第１および第２のビデオストリーム内のまばたきを検出した後、第１のビデオストリームの第１のフレームおよび第２のビデオストリームの対応する第２のフレームが選択されて、時間的同期不整合を決定するステップが実行される。これらの第１および第２のフレームは、好適にはそれぞれがまばたきの完全な再生を示すフレームセットから作られる。第１のフレームのクリーチャの目のうちの少なくとも１つの再生と対応する第２のフレームの目の再生とは、同期不整合を決定するために比較される。言い換えれば、上述の発明の態様とは対照的に、まばたき関数の決定およびその後の同期不整合の決定に使用される固定および所定のテンプレートがない。上述の発明の態様に従って、第１のビデオストリームのビデオ情報は、第２のビデオストリームのテンプレートとして機能するおよび／または逆の場合も同様である。高品質のビデオコンテンツの場合、第１のビデオストリームと第２のビデオストリームとの主な違いは、単に遠近(perspective)のわずかなずれと考えるべきである。従って、テンプレートのサイズを適合および／またはテンプレートを回転させる必要がなく、さらにわずかな遠近の歪みは、発明のさらなる態様に従って、視差補償によって修正できる。
【００１８】
発明の別の態様に従って、第１のビデオストリームの第１のフレームセットおよび第２のビデオストリームの対応する第２のフレームセットが選択される。第１および第２のフレームセットのそれぞれは、好適には、開いた目から閉じた目までの半分のまばたきまたはその逆の場合の完全な再生を示す。さらに、第１のフレームセットの第１のフレームと第２のフレームセットの第２のフレーム内のクリーチャの目の再生において輝度または色の異なる画像が算出される。この算出は、対応するフレームの単純な減算および閾値化によって実行できる。残念ながら、その差から算出される偏差領域のサイズは、分析された時間オフセットだけでなくフレーム内のクリーチャの目のまばたき速度および絶対サイズにも依存するであろう。後者は、算出された偏差領域を標準化することによって排除できる。まばたき速度に関しては、検出される偏差領域は、まばたきの継続時間の半分、即ち、開いた目から閉じた目までのまばたきまたはその逆の場合の時間期間にわたって蓄積され得ることが認識されている。言い換えれば、偏差領域は、それぞれのフレームセットにまとめられる。有利には、偏差領域を標準化した後および偏差領域を蓄積した後で、得られた合計は、フレームオフセットをそのまま示す。
【００１９】
しかしながら、キャプチャされたビデオコンテンツに被写体ぶれがある場合がある。従って、第１のフレームセットの第１のフレーム内のクリーチャの目の再生と第２のフレームセットの第２のフレーム内のクリーチャの目の再生において算出された差、即ち、偏差領域は、急激な遷移ではないにしても濃淡画素の階調を含むぼやけた遷移になり得る。これを克服するために、閾値フィルタが算出された偏差領域に適用され、好適には、標準化された０から１までのスケールに対して０．５の閾値が適用される。
【００２０】
発明の別の態様に従って、第１のフレームセットの第１のフレーム内のクリーチャの目の再生と第２のフレームセットの第２のフレーム内のクリーチャの目の再生において異なる画像をそれぞれ算出した後、下まぶたと上まぶたとの間の高さが差から算出される。算出された高さは、標準化できる。高さをまとめることによって、その中で同期不整合を決定できる。これは、偏差領域について説明したのと同様のやり方で実行できる。
【００２１】
さらに、発明のさらに別の態様に従って、第１のフレームセットの対応する第１のフレーム内のクリーチャの目の再生と第２のフレームセットの対応する第２のフレーム内のクリーチャの目の再生との差を算出できる。さらに、第１のフレームセットの後続フレーム内のクリーチャの目の再生と第２のフレームセットの後続フレーム内のクリーチャの目の再生との差を算出できる。対応するフレームの算出された差は、同期不整合を決定するために後続フレームの算出された差で割られる。発明のこの有利な態様に従って、算出された差の標準化は必要でなくなる。最低３フレームがこの算出に必要である。１つのビデオストリームの第１のフレームと後続の第２のフレームを考慮に入れなければならない。これらのフレームうちの１つに対し、他のビデオフレームからのさらなる対応する第３のフレームが必要である。算出された差は、以前に述べたように、差異領域または上まぶたと下まぶたとの間の高さとなる。
【００２２】
発明の別の態様に従って、立体ビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を検出するためのビデオ処理装置を提供できる。ビデオ処理装置は、ビデオコンテンツ内の撮像されたクリーチャのまばたきを検出するように構成できる。さらに、ビデオ処理装置は、第１のビデオストリーム内のまばたきの再生と第２のビデオストリーム内のまばたきの再生間の時間的オフセットを決定することによって、第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を決定するように構成できる。
【００２３】
ビデオ処理装置は、簡単で付加的なビジュアル検査、例えば、時間的同期不整合を検出する自動化方法の品質管理を行わせるようにさらに構成できる。例えば、まばたき関数および第１のビデオストリームのまばたき関数と第２のビデオストリームのまばたき関数との相関関数を適したユーザインタフェースで表示できる。従って、オペレータは、システムの不具合を即座に検出して修正することができ、そして必要に応じて、同期不整合を手動で決定できる。さらに、自動化されたまばたき検出の品質チェックは、相関関数を経時的に検査することによって実行できる。検出された各まばたきは、相関関数において広範または急激なピークを伴い、ビデオコンテンツ自体をちょっと見れば、オペレータは、正しい実装アルゴリズムの機能性を決定できる。
【図面の簡単な説明】
【００２４】
本発明をさらに理解するために、図面を参照して以下の記述をより詳しく説明する。本発明は、この例示的な実施形態に限定されず、および特定の特徴は、添付の特許請求の範囲において定義されるように、本発明の範囲から逸脱せずに便宜上の組み合わせおよび／または変更も行われ得ることを理解されたい。
【図１】複数の時間依存のまばたき関数を示した簡易図である。
【図２】わずかな同期不整合を有する立体ビデオコンテンツの左ビデオストリームおよび右ビデオストリーム内の閉方向の目を示した簡易図である。
【図３】わずかな同期不整合を有する立体ビデオコンテンツの左ビデオストリームおよび右ビデオストリーム内の閉方向の目を示した別の簡易図である。
【図４】目の開度を速度が速いまばたきのそれぞれのまばたきを示すキャプチャフレームの関数として示した図である。
【図５】目の開度を速度が遅いまばたきのそれぞれのまばたきを示すキャプチャフレームの関数として示した図である。
【図６】立体ビデオコンテンツの第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を検出するためのビデオ処理装置の簡易図である。
【発明を実施するための形態】
【００２５】
発明の第１の実施形態に従って、３Ｄビデオコンテンツの第１のビデオストリームと第２のビデオストリームに対する時間依存のまばたき関数が算出され、その後、第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を決定するために、これら２つの時間依存のまばたき関数の相関が算出される。時間分解のまばたき関数の決定では、３Ｄビデオコンテンツ内の撮像されたクリーチャの目は、ビデオシーケンス内に配置されなければならない。これは、よく知られたアルゴリズムを適用することによって実行できる。例えば、K. Graumann et al.: “Communication via Eye Blinks-Detection and Duration Analysis in Real Time”, Proceedings of the IEEE Computer Vision and Pattern Recognition Conference (CVPR 2001), Vol.2, pages 1110-1117に記載されているアルゴリズムを適用できる。
【００２６】
時間依存のまばたき関数の決定では、クリーチャの目の位置を囲んでいる探索領域と所定の目テンプレートとの相関スコアＣＳが決定される。所定の目テンプレートは、初期化ステップ中に作成される場合もあるし、あるいはデータベースから作られる場合もある。目を閉じる時、次第に開いた目と異なり始める。即ち、開いた目テンプレートと次第に異なり始める。同様に、目が再度開く時、徐々に開いた目との類似度が回復する。この単純だが効果的な観察を使用して、図１の実線で描かれた第１のまばたき関数Ａと破線で描かれた第２のまばたき関数Ｂをそれぞれ決定できる。図１は、K. Graumann et al.: “Communication via Eye Blinks-Detection and Duration Analysis in Real Time”, Proceedings of the IEEE Computer Vision and Pattern Recognition Conference (CVPR 2001), Vol.2, pages 1110-1117から抜粋している。第１のまばたき関数Ａの作成では、目の現在の再生は、目テンプレートと一致しており、目の現在の再生と閉じた目を示した目テンプレートとの相関スコアを算出することによって算出される。一方、第２のまばたき関数Ｂの作成では、目の現在の再生と開いた目を示したテンプレートとの相関スコアＳＣが算出される。
【００２７】
実施形態に従って、クリーチャの目、例えば、それぞれのシーンに撮像されている人の目は、およそ２５フレームの第１期間中開いている。従って、この時間期間中、第２のまばたき関数Ｂが高く、第１のまばたき関数Ａが低い。最初のまばたきの直後、第１のまばたき関数は、（およそ２５フレームにおいて）急に増加し、第２のまばたき関数Ｂは、それに応じて減少する。クリーチャがしばらくして（およそ４０フレームにおいて）目を再度開いた時、ビデオストリームの探索領域内のクリーチャの目の現在の画像と開いた目を示した目テンプレートとの相関スコアが再度増加するため、第２のまばたき関数Ｂは、再度増加する。従って、クリーチャの目の実際の再生と閉じた目を示した目テンプレートとの相関スコアは、再度減少する（第１のまばたき関数Ａを参照）。
【００２８】
まばたきの検出では、単純な閾値をまばたき関数Ａ、Ｂのうちの１つまたはその両方に適用できる。実施形態に従って、この閾値は、第２のまばたき関数Ｂの相関スコアを０．８５として定義されている。第２のまばたき関数Ｂが０．８５の相関スコアＣＳを下回ると、まばたきが始まり、第２のまばたき関数Ｂが０．８５の相関スコアＣＳに回復すると、目が再度開いていると見なされる。従って、目の開き期間および目の閉じ期間を定義できる。これらの期間は、（点線で示されている）目の開き関数Ｃによって定義される。この関数は、第２のまばたき関数Ｂが相関スコアの閾値よりも大きければ高または「１」であり、第２のまばたき関数Ｂが相関スコアの閾値よりも小さければ低または「０」である。
【００２９】
第１のビデオストリームと第２のビデオストリームとの時間的同期不整合の決定では、それぞれのビデオストリームに対して時間分解のまばたき関数Ａ、Ｂのうちの少なくとも１つが決定される。時間的同期不整合があれば、時間的オフセットは、第１のビデオストリームと第２のビデオストリームに対し、それぞれの目の開き関数Ｃの下降および／または上昇する傾斜の時点を単純に比較することによって決定できる。別の実施形態に従って、第１のビデオストリームのまばたき関数Ａ、Ｂと第２のビデオストリームのまばたき関数Ａ、Ｂとの相関スコアを算出できる。例えば、３Ｄビデオストリームの左チャネル（第１のビデオストリームを表す）の第２のまばたき関数Ｂと右チャネル（第２のビデオストリームを表す）の第２のまばたき関数Ｂ´を算出できる。第１のビデオストリームと第２のビデオストリーム間、即ち、左チャネルと右チャネル間の時間的同期不整合があれば、この相関関数は、それぞれのチャネルに発生するまばたきの直後の最大値を示す。
【００３０】
時間的同期不整合の決定の精度を上げるために、まばたき関数Ａ、Ｂを補間でき、後続の第１のビデオストリームのまばたき関数と第２のビデオストリームのまばたき関数との相関は、それぞれの補間されたまばたき関数に基づいて算出できる。従って、第１のビデオストリームと第２のビデオストリームとの時間的同期不整合は、サブフレーム精度を用いて決定できる。同期不整合を検出する時のノイズを減らすために、２以上のまばたき関数Ａ、Ｂを考慮に入れて、時間的同期不整合を決定できる。例えば、各ビデオストリームに対し、目の閉じ（即ち、第１のまばたき関数Ａ）を示すまばたき関数と目の開き（即ち、第２のまばたき関数Ｂ）を示すまばたき関数を決定できる。従って、２つのマッチング関数が算出され、そして時間的同期不整合は、両方のマッチング関数を考慮に入れることによって決定できる。
【００３１】
さらに、第１のまばたき関数Ａと第２のまばたき関数Ｂのそれぞれは、クリーチャの各目、例えば、人の左目および右目を決定できる。結果として１ビデオストリーム当たり４つのまばたき関数および４つのマッチング関数がそれぞれ生じる。シーン内で２以上のクリーチャまたは人のまばたき関数を算出することも可能であり得る。しかしながら、それぞれの目のペアを第１のビデオストリームと第２のビデオストリーム内のそれぞれのクリーチャに割り当てるために、適切な顔検出および顔認識が実行されなければならない。
【００３２】
発明の別の実施形態に従って、同期不整合は、第１のビデオストリームの対応するフレームと第２のビデオストリームの対応するフレームとの差を算出することによって決定できる。言い換えれば、あるビデオストリーム内のクリーチャの目の再生は、別のビデオストリームのテンプレートとして機能することができる。このアプローチをより詳しく論じる前に、第１のビデオストリームおよび第２のビデオストリーム、ほんの一例として、３Ｄビデオコンテンツの左ビデオストリームおよび右ビデオストリーム内のクリーチャの目の再生をさらに詳しく見る。
【００３３】
図２は、左ビデオストリームＬおよび右ビデオストリームＲ内の閉方向の目を示した簡易図であり、このまばたきは、０から２までの３フレームにおいて起こる。左ビデオストリームＬおよび右ビデオストリームＲは、０．１２５フレームのわずかな同期不整合を有する。３フレームのみにおいて起こる図２のまばたきは、かなり速度の速い例であることを理解されたい。しかしながら、明確にするために、まばたきが０から２までのフレームにおいて起こると仮定されている。この例は、実施形態の動作原理を示すためのものであるが、複数のフレームにおいて非常に容易に起こる任意のより現実的なまばたきに適用できる。第１のフレーム（フレーム０）において、左ビデオストリームＬ内のクリーチャの目は、完全に開いている。同期不整合のため、目は、右ビデオストリームＲにおいて０．９３７５度のみ開いている。第２のフレーム（フレーム１）において、目は、左ビデオストリームＬ内では半分閉じていて、一方、右ビデオストリームＲ内では、目の開度は、０．４３７５のみである。最後に、第３のフレーム（フレーム２）において、クリーチャの目は、左ビデオストリームＬ内では完全に閉じていて、一方、右ビデオストリームＲ内では、目は、再びわずかに再開し、このため、クリーチャの目の開度は、０．０６２５である。左チャネルＬおよび右チャネルＲの目の開度は、以下の表１にまとめられている。
【００３４】
【表１】
2015501115.tif 000003
【００３５】
図４の図において左チャネルＬおよび右チャネルＲの時間依存の目の開度をさらに説明する。いくつかのフレームＦの関数である目の開度ＥＯがある。目の開度ＥＯは、それぞれ開いた目と閉じた目を表示する「１」と「０」間で変化する。目の開度ＥＯは、左チャネルＬのフレーム０において１である。これは、黒丸で示されている。フレーム１において、目の開度は０．５であり、フレーム２においてクリーチャの目は閉じている（ＥＯ＝０）。０．１２５フレームのわずかな時間的同期不整合のため、白丸で示されているように、右ビデオストリームＲの目の開度ＥＯは、わずかに低い。目の開度ＥＯは、サブフレーム精度を用いて黒丸の線形補間を決定することによって算出でき、以下の数式が得られる。
【００３６】
【数１】
2015501115.tif 000004
【００３７】
表１の目の開度ＥＯは、この数式の助けを借りて決定できる。例えば、左チャネルＬでは、フレーム１における目の開度ＥＯは、０．５である。右チャネルＲの目の開度の算出では、０．１２５の時間的同期不整合を考慮に入れなければならない。従って、右チャネルＲの対応する第２のフレーム（フレーム１）は、Ｆ＝１．１２５において、ＥＯ＝０．４３７５の目の開度になる。
【００３８】
図２および対応する図４は、３フレームのみにおいて起こる速度の速いまばたきを示している。図３および図５は、５フレーム、即ち、０から４フレームまでにおいて起こる速度の遅いまばたきを示したさらに対応する図である。図３は、速度の遅いまばたき、即ち、左チャネルＬおよび右チャネルＲの速度の遅いまばたきの再生を示した複数の簡易図を示している。左チャネルと右チャネルのそれぞれのフレームの目の開度は、以下の表２に示されている。
【００３９】
【表２】
2015501115.tif 000005
【００４０】
再度、図５は、左チャネルＬ（黒丸）および右チャネルＲ（白丸）の目の開度ＥＯを示している。時間的同期不整合がまたも０．１２５フレームであると仮定されているため、右チャネルＲのクリーチャの目は、左チャネルＬのクリーチャの目と比較してわずかにさらに閉じられている。目の開度ＥＯは、フレーム０から４までの黒丸の補間関数
【００４１】
【数２】
2015501115.tif 000006
【００４２】
を算出することによって決定できる。第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を決定するために、左ビデオストリームＬ内のクリーチャの目の再生と右ビデオストリームＲ内のクリーチャの目の再生との差は、左チャネルＬの目の再生と右チャネルＲの目の再生の偏差領域を算出することによって決定できる。図２および図４において、左チャネルＬの目の開度ＥＯと右チャネルＲの目の開度ＥＯとの差は、０．０６２５である。これは、左チャネルＬの目の開度ＥＯと右チャネルＲの目の開度ＥＯとの差を単純に比較した表１から導出できる。しかしながら、この偏差領域は、まばたきの速度に依存し、表２を見て、わずか０．０３１２５である、左チャネルＬと右チャネルＲとの目の開度ＥＯの差を算出すると明らかになる。しかしながら、開いた目から閉じた目までまたはその逆の場合に及ぶすべてのフレームを意味する、半分のまばたきの偏差領域を合計することによって、同期不整合を決定できる。図２から図５までの実施形態に従って、偏差領域は、それぞれフレーム０から２までとフレーム０から４までとに合計されなければならない。図２および図４の実施形態に従って、これは、０．０６２５の差を３回合計し、結果として０．１２５になることを意味する。図３および図５の実施形態に従って、目の開度ＥＯの差は、０．０３１２５であり、これは、差を５回合計しなければならない。これは、０．１２５フレームの結果でもあり、まさしく同期不整合である。
【００４３】
さらに、クリーチャの目の再生は、まばたき中に変化する場合があり、これは、目の再生が、（それぞれのフレーム内の）まばたきの開始時とまばたきの終了時を比較して大きくまたは小さくなり得ることを意味する。しかしながら、これは、クリーチャの目の再生を標準化することによって、あるいは偏差領域を標準化することによって解決できる。
【００４４】
図６は、３Ｄビデオコンテンツ（３Ｄ−ＡＶ）を受信するための処理ユニット４を含む簡易化されたビデオ処理装置２である。さらに、適した表示デバイス６が処理ユニット４に接続されている。ビデオ処理装置２は、発明の態様に従った方法を実行するように構成できる。さらに、ビデオ処理装置２は、時間的同期不整合を検出する自動化方法の品質管理を行わせるのに適したユーザインタフェースを提供するように構成できる。例えば、オペレータは、立体ビデオコンテンツの再生、および同時に左チャネルＬのまばたき関数と右チャネルＲのまばたき関数とのマッチング関数の再生を備えることができる。マッチング関数は、各まばたきが検出された直後の狭いまたは広範な最大値を示し、そしてオペレータは、自動化された同期不整合の検出の動作を単にチェックすればよく、あるいは同期不整合を手動で修正すればよい。
【００４５】
本発明は、特定の実施形態を参照してこれまで説明してきたが、本発明は、これらの実施形態に限定されず、特許請求される本発明の範囲内においてさらなる代替形態が当業者に想起されることは疑う余地がない。
【図１】
2015501115.tif 000007
【図２】
2015501115.tif 000008
【図３】
2015501115.tif 000009
【図４】
2015501115.tif 000010
【図５】
2015501115.tif 000011
【図６】
2015501115.tif 000012
【国際調査報告】
2015501115.tif 000013
2015501115.tif 000014
2015501115.tif 000015