【手続補正書】
【提出日】平成27年12月7日(2015.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３Ｄビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を検出するための方法であって、
−前記３Ｄビデオコンテンツのクリーチャのまばたきを検出するステップと、
−前記第１のビデオストリームと前記第２のビデオストリームとの前記時間的同期不整合を、前記第１のビデオストリーム内の前記まばたきの再生と前記第２のビデオストリーム内の前記まばたきの再生との間の時間的オフセットの決定によって決定するステップとを備えた、前記方法。
【請求項２】
前記まばたきを検出するステップは、
−少なくとも前記第１のビデオストリームおよび前記第２のビデオストリーム内のまばたきを検出するステップと、
−前記第１のビデオストリームおよび前記第２のビデオストリーム内の前記まばたきの再生の第１の瞬時と第２の瞬時を決定するステップを備え、
前記時間的同期不整合を決定するステップは、
−前記時間的同期不整合を決定するために前記第１の瞬時と前記第２の瞬時とを比較するステップを備えた、請求項１に記載の前記方法。
【請求項３】
前記第１のビデオストリームおよび前記第２のビデオストリーム内のまばたきを検出するステップは、
−前記第１のビデオストリームおよび前記第２のビデオストリーム内のまばたきプロセスの時間的まばたき関数を計算するステップであって、前記まばたき関数は、前記クリーチャの少なくとも１つの目における閉度または開度を示す、前記ステップを備え、
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリームおよび前記第２のビデオストリームの前記時間的まばたき関数の相関を計算するステップを備えた、請求項２に記載の前記方法。
【請求項４】
前記時間的まばたき関数は、前記クリーチャの前記少なくとも１つの目の再生と所定の目テンプレートとのマッチングスコアを計算することによって決定される、請求項３に記載の前記方法。
【請求項５】
前記目テンプレートは、前記３Ｄビデオコンテンツの前記第１のビデオストリームまたは前記第２のビデオストリーム内の前記クリーチャの少なくとも１つの目の前記再生を使用して更新される、請求項４に記載の前記方法。
【請求項６】
複数のまばたきは、前記それぞれのビデオストリーム内のまばたきの複数の対応する再生のために少なくとも前記第１のビデオストリームおよび前記第２のビデオストリーム内で検出され、複数の第１の瞬時および第２の瞬時は、対応するまばたきの前記再生のために決定され、前記時間的同期不整合は、対応するまばたきの前記複数の第１の瞬時と第２の瞬時とを比較することによって、かつ、前記複数の第１の瞬時と第２の瞬時との前記決定された差の平均ステップを実行することによって決定される、請求項３から５のいずれかに記載の前記方法。
【請求項７】
前記まばたきを検出するステップは、
−少なくとも前記第１のビデオストリームおよび前記第２のビデオストリーム内のまばたきを検出するステップを備え、
前記時間的同期不整合を検出するステップは、
−前記第１のビデオストリームの第１のフレームおよび前記第２のビデオストリームの対応する第２のフレームを選択するステップであって、前記第１のフレームおよび前記第２のフレームは、前記まばたきの完全な再生をそれぞれ好適に示したフレームのセットから作られる、前記ステップと、
−前記時間的同期不整合を決定するために、前記第１のフレーム内の前記クリーチャの目のうちの少なくとも１つの再生と前記対応する第２のフレーム内の前記目の再生とを比較するステップと、
を備えた、請求項１に記載の前記方法。
【請求項８】
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリームのフレームの第１のセットおよび前記第２のビデオストリームの対応するフレームの第２のセットを選択するステップであって、前記フレームの第１のセットおよび前記フレームの第２のセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記フレームの第１のセットおよび前記フレームの第２のセットのフレームの対応するすべてのペアに対し、前記比較するステップは、
−前記フレームの第１のセットおよび前記フレームの第２のセットの前記第１のフレームおよび前記第２のフレーム内の前記クリーチャの目の前記再生の間の輝度または色の異なる画像をそれぞれ計算するステップと、
−前記異なる画像から偏差領域を計算するステップと、
−前記時間的同期不整合を決定するために、前記偏差領域を合計するステップと、
を備えた、請求項７に記載の前記方法。
【請求項９】
前記フレームの第１のセットおよび前記フレームの第２のセットのすべてのフレームに対する、前記計算された偏差領域が正規化される、請求項８に記載の前記方法。
【請求項１０】
前記偏差領域を計算するステップは、前記異なる画像に対する閾値フィルタの適用を備え、好適には、正規化された０から１までのスケールに対して０．５の閾値が適用される、請求項８に記載の前記方法。
【請求項１１】
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリームのフレームの第１のセットおよび前記第２のビデオストリームの対応するフレームの第２のセットを選択するステップであって、前記フレームの第１のセットおよび前記フレームの第２のセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記フレームの第１のセットおよび前記フレームの第２のセットのフレームの対応するすべてのペアに対し、比較するステップは、
−前記フレームの第１のセットおよび前記フレームの第２のセットの前記第１のフレームおよび前記第２のフレーム内の前記クリーチャの目の前記再生の間の輝度または色の異なる画像をそれぞれ計算するステップと、
−前記異なる画像から下まぶたと上まぶたとの間の高さを計算するステップと、
−前記時間的同期不整合を決定するために、前記高さを合計するステップと、
を備えた、請求項７に記載の前記方法。
【請求項１２】
前記異なる画像から下まぶたと上まぶたとの間の高さを計算するステップは、前記計算された高さを正規化するステップを備えた、請求項１１に記載の前記方法。
【請求項１３】
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリームのフレームの第１のセットおよび前記第２のビデオストリームの対応するフレームの第２のセット選択するステップであって、前記フレームの第１のセットおよび前記フレームの第２のセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記比較するステップは、
−前記フレームの第１のセットおよび前記フレームの第２のセットの対応する第１のフレームおよび第２のフレーム内の前記クリーチャの目の前記再生の間の差を計算するステップと、
−前記フレームの第１のセットおよび前記フレームの第２のセットの後続フレーム内の前記クリーチャの目の前記再生の間の差を計算するステップと、
−前記時間的同期不整合を決定するために、前記対応するフレームの前記計算された差を後続フレームの前記計算された差で割るステップと、
を備えた、請求項７に記載の前記方法。
【請求項１４】
前記フレームの第１のセットおよび前記フレームの第２のセットの対応する第１のフレームおよび第２のフレーム内の前記クリーチャの目の前記再生の間の差を計算するステップと、前記第フレームの第１のセットおよび前記フレームの第２のセットの後続フレーム内の前記クリーチャの目の前記再生の間の差を計算するステップとは、輝度または色の異なる画像を計算するステップおよび前記異なる画像から偏差領域を計算するステップ、または前記異なる画像から下まぶたと上まぶたとの間の高さを計算するステップを含む、請求項１３に記載の方法。
【請求項１５】
立体ビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリームとの時間的同期不整合を検出するためのビデオ処理装置であって、前記ビデオ処理装置は、
−前記立体ビデオコンテンツにおいて撮像されたクリーチャのまばたきを検出し、
−前記第１のビデオストリームと前記第２のビデオストリームとの前記時間的同期不整合を、前記第１のビデオストリーム内の前記まばたきの再生と前記第２のビデオストリーム内の前記まばたきの再生との間の時間的オフセットの決定によって決定するように構成されたビデオ処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
時間依存のまばたき関数の決定では、クリーチャの目の位置を囲んでいる探索領域と所定の目テンプレートとの相関スコアＣＳが決定される。所定の目テンプレートは、初期化ステップ中に作成される場合もあるし、あるいはデータベースから作られる場合もある。目を閉じる時、次第に開いた目と異なり始める。即ち、開いた目テンプレートと次第に異なり始める。同様に、目が再度開く時、徐々に開いた目との類似度が回復する。この単純だが効果的な観察を使用して、図１の実線で描かれた第１のまばたき関数Ａと破線で描かれた第２のまばたき関数Ｂをそれぞれ決定できる。図１は、K. Graumann et al.: “Communication via Eye Blinks-Detection and Duration Analysis in Real Time”， Proceedings of the IEEE Computer Vision and Pattern Recognition Conference (CVPR 2001)， Vol.2， pages 1110-1117から抜粋している。第１のまばたき関数Ａの作成では、目の現在の再生は、目テンプレートと一致しており、目の現在の再生と閉じた目を示した目テンプレートとの相関スコアを算出することによって算出される。一方、第２のまばたき関数Ｂの作成では、目の現在の再生と開いた目を示したテンプレートとの相関スコアＣＳが算出される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
本発明は、特定の実施形態を参照してこれまで説明してきたが、本発明は、これらの実施形態に限定されず、特許請求される本発明の範囲内においてさらなる代替形態が当業者に想起されることは疑う余地がない。
［付記１］
３Ｄビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリーム（Ｌ、Ｒ）との時間的同期不整合を検出するための方法であって、
−前記３Ｄビデオコンテンツのクリーチャのまばたきを検出するステップと、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）との前記時間的同期不整合を、前記第１のビデオストリーム（Ｌ）内の前記まばたきの再生と前記第２のビデオストリーム（Ｒ）内の前記まばたきの再生間の時間的オフセットの決定によって決定するステップとを備えた、前記方法。
［付記２］
前記まばたきを検出するステップは、
−少なくとも前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内のまばたきを検出するステップと、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内の前記まばたきの再生の第１の瞬時と第２の瞬時を決定するステップを備え、
前記時間的同期不整合を決定するステップは、
−前記同期不整合を決定するために前記第１の瞬時と前記第２の瞬時とを比較するステップを備えた、付記１に記載の前記方法。
［付記３］
前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内のまばたきを検出するステップは、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内のまばたきプロセスの時間的まばたき関数を算出するステップであって、前記まばたき関数は、前記クリーチャの少なくとも１つの目における閉度または開度を示すことを備え、
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）との前記時間的まばたき関数の相関を算出するステップを備えた、付記２に記載の前記方法。
［付記４］
前記時間的まばたき関数は、前記クリーチャの前記少なくとも１つの目の再生と所定の目テンプレートとのマッチングスコアを算出することによって決定される、付記３に記載の前記方法。
［付記５］
前記目テンプレートは、前記立体ビデオコンテンツの前記第１または第２のビデオストリーム内の前記クリーチャの少なくとも１つの前記再生を使用して更新される、付記４に記載の前記方法。
［付記６］
複数のまばたきは、前記それぞれのビデオストリーム（Ｌ、Ｒ）内のまばたきの複数の対応する再生を行うために少なくとも前記第１および前記第２のビデオストリーム（Ｌ、Ｒ）内で検出され、かつ、複数の第１および第２の瞬時は、対応するまばたきの前記再生を行うために決定され、および前記時間的同期不整合は、前記複数の第１の瞬時と第２の瞬時とを比較することによって、かつ、前記複数の第１の瞬時と第２の瞬時との前記決定された差の平均ステップを実行することによって決定される、付記３乃至５のいずれかにおいて記載の前記方法。
［付記７］
前記まばたきを検出するステップは、
−少なくとも前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）内のまばたきを検出するステップを備え、
前記時間的同期不整合を検出するステップは、
−前記第１のビデオストリーム（Ｌ）の第１のフレームと前記第２のフレーム（Ｒ）の対応する第２のフレームを選択するステップであって、前記第１および第２のフレームは、前記まばたきの完全な再生をそれぞれ好適に示したフレームセットから作られる、前記ステップと、
−前記同期不整合を決定するために、前記第１のフレーム内の前記クリーチャの目のうちの少なくとも１つの再生と前記対応する第２のフレーム内の前記目の再生とを比較するステップと、
を備えた、付記１に記載の前記方法。
［付記８］
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリームの第１のフレームセットと前記第２のビデオストリームの対応する第２のフレームセットを選択するステップであって、前記第１のフレームセットおよび前記第２のフレームセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記第１および第２のフレームセットの対応するすべてのフレームペアに対し、前記比較するステップは、
−前記第１のフレームセットの第１のフレームと前記第２のフレームセットの前記第２のフレーム内の前記クリーチャの目の前記再生においてそれぞれ輝度または色の異なる画像を算出するステップと、
−前記異なる画像から偏差領域を算出するステップと、
−前記同期不整合を決定するために、前記偏差領域を合計するステップと、
を備えた、付記７に記載の前記方法。
［付記９］
前記第１のフレームセットおよび前記第２のフレームセットのすべてのフレームに対する、前記算出された偏差領域が標準化される、付記８に記載の方前記法。
［付記１０］
前記偏差領域を算出するステップは、前記異なる画像の閾値フィルタの適用を備え、好適には、標準化された０から１までのスケールに対して０．５の閾値が適用される、付記８に記載の前記方法。
［付記１１］
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリーム（Ｌ）の第１のフレームセットと前記第２のビデオストリーム（Ｒ）の対応する第２のフレームセットを選択するステップであって、前記第１のフレームセットおよび前記第２のフレームセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記第１および第２のフレームセットの対応するすべてのフレームペアに対し、前記比較するステップは、
−前記第１のフレームセットの第１のフレームと前記第２のフレームセットの前記第２のフレーム内の前記クリーチャの目の前記再生においてそれぞれ輝度または色の異なる画像を算出するステップと、
−前記異なる画像から下まぶたと上まぶたとの間の高さを算出するステップと、
−前記同期不整合を決定するために、前記偏差領域を合計するステップと、
を備えた、付記７に記載の前記方法。
［付記１２］
前記異なる画像から下まぶたと上まぶたとの間の高さを算出するステップは、前記算出された高さを標準化するステップを備えた、付記１１に記載の前記方法。
［付記１３］
前記時間的同期不整合を決定するステップは、
−前記第１のビデオストリーム（Ｌ）の第１のフレームセットと前記第２のビデオストリーム（Ｒ）の対応する第２のフレームセットを選択するステップであって、前記第１のフレームセットおよび前記第２のフレームセットは、開いた目から閉じた目までまたはその逆の場合の前記まばたきの完全な再生を好適に示す、前記ステップをさらに備え、
前記比較するステップは、
−前記第１のフレームセットの対応する第１のフレームと前記第２のフレームセットの対応する第２のフレームとの前記クリーチャの目の前記再生における差を算出するステップと、
−前記第１のフレームセットの後続フレームと前記第２のフレームセットの後続フレームとの前記クリーチャの目の前記再生における差を算出するステップと、
−前記同期不整合を決定するために、前記対応するフレームの前記算出された差を後続フレームの前記算出された差で割るステップと、
を備えた、付記７に記載の前記方法。
［付記１４］
前記第１のフレームセットの対応する第１のフレームと前記第２のフレームセットの対応する第２のフレームとの前記クリーチャの目の前記再生における差を算出するステップと、前記第１のフレームセットの後続フレームと前記第２のフレームセットの後続フレームとの前記クリーチャの目の前記再生における差を算出するステップとは、輝度または色の異なる画像の前記算出および偏差領域の前記算出または前記異なる画像による下まぶたと上まぶたとの間の高さの算出を含む、付記１３に記載の方法。
［付記１５］
立体ビデオコンテンツの少なくとも第１のビデオストリームと第２のビデオストリーム（Ｌ、Ｒ）との時間的同期不整合を検出するためのビデオ処理装置（２）であって、前記ビデオ処理装置（２）は、
−前記ビデオコンテンツ内の撮像されたクリーチャのまばたきを検出し、
−前記第１のビデオストリームと前記第２のビデオストリーム（Ｌ、Ｒ）との前記時間的同期不整合を、前記第１のビデオストリーム（Ｌ）内の前記まばたきの再生と前記第２のビデオストリーム（Ｒ）内の前記まばたきの再生間の時間的オフセットの決定によって決定するように構成されたビデオ処理装置（２）。