(57)【要約】  本発明の様々な実施例では、時間と視差の関数によって、時間に沿った２眼式立体コンテンツ中の字幕の間の視差の差を制約する。これにより、２つの連続する字幕が、時間的に近接している場合には同等の視差を有することが保証される。さらに詳細には、２眼式立体コンテンツ中の字幕を位置決めする方法は、２眼式立体コンテンツの少なくとも１つのフレーム内の字幕の位置を推定するステップと、時間と視差の関数によって少なくとも２つのフレーム内の字幕の間の視差の差を制約するステップとを含む。このような実施例では、推定するステップは、字幕を挿入する少なくとも１つのフレーム内の領域内のオブジェクトの視差を用いて字幕の視差値を計算するステップを含む。その後、このオブジェクトの手前または奥になるように、字幕を調整することができる。
2013520925.tif 000002
【特許請求の範囲】
【請求項１】
２眼式立体コンテンツ中の字幕の位置を決定する方法であって、
前記２眼式立体コンテンツの少なくとも１つのフレーム内の字幕の位置を推定するステップと、
時間と視差の関数によって少なくとも２つのフレーム内の字幕の間の視差の差を制約するステップとを含む、方法。
【請求項２】
前記推定するステップが、前記字幕を挿入する前記少なくとも１つのフレーム内の領域内のオブジェクトの視差を用いて前記字幕の視差値を計算するステップを含む、請求項１に記載の方法。
【請求項３】
前記字幕が、前記オブジェクトの手前に、前記オブジェクトに近接して位置決めされる、請求項２に記載の方法。
【請求項４】
前記領域が字幕領域を含み、前記字幕領域のサイズおよび位置が、前記少なくとも１つのフレームのサイズの百分率に基づいて定義される、請求項２に記載の方法。
【請求項５】
前記少なくとも２つのフレーム内の字幕の間の視差の差が、より大きな視差値を有する字幕に負の視差値を適用することによって制約される、請求項１に記載の方法。
【請求項６】
視差の最大差を設定して、２つの字幕の間の視差の差が前記最大差より大きいときに、変更しなければならない字幕の視差値が、もう一方の字幕の視差値に前記視差の最大差を足した値に設定されるようにするステップをさらに含む、請求項１に記載の方法。
【請求項７】
字幕をセルに分割するステップをさらに含む、請求項１に記載の方法。
【請求項８】
デフォルト視差値を設定して、前記デフォルト視差値を有する字幕が、他の字幕をその位置に引っ張るためのアンカ・ポイントとしてみなされるようにするステップをさらに含む、請求項１に記載の方法。
【請求項９】
前記制約するステップが、アルゴリズムを用いて実行される、請求項１に記載の方法。
【請求項１０】
２眼式立体コンテンツ中の字幕の位置を決定する字幕装置であって、
少なくともプログラム・ルーチン、コンテンツおよびデータ・ファイルを記憶するメモリと、
前記プログラム・ルーチンを実行するプロセッサと、を含み、前記プロセッサが、前記プログラム・ルーチンを実行するときに、
前記２眼式立体コンテンツの少なくとも１つのフレーム内の字幕の位置を推定するステップと、
時間と視差の関数によって少なくとも２つのフレーム内の字幕の間の視差の差を制約するステップとを実行するように構成される、字幕装置。
【請求項１１】
ユーザが前記２眼式立体コンテンツの少なくとも１つのフレーム内に字幕を位置決めすることができるようにするためのグラフィカル・ユーザ・インタフェースを含む、請求項１０に記載の字幕装置。
【請求項１２】
２眼式立体コンテンツの字幕の位置を決定するシステムであって、
字幕が挿入される前記２眼式立体コンテンツの少なくとも１つの左目ビュー・フレームのソースと、
字幕が挿入される前記２眼式立体コンテンツの少なくとも１つの右目ビュー・フレームのソースと、
前記２眼式立体コンテンツの少なくとも１つのフレーム内の字幕の位置を推定し、
時間と視差の関数によって少なくとも２つのフレーム内の字幕の間の視差の差を制約し、
前記推定し、制約した位置を用いて前記フレーム中に前記字幕を挿入する
字幕装置と、を含む、システム。
【請求項１３】
字幕付きの少なくとも１つの左目ビュー・フレームを、対応する字幕付きの少なくとも１つの右目ビュー・フレームとミキシングするミキサをさらに含む、請求項１２に記載のシステム。
【請求項１４】
前記字幕付きの２眼式立体コンテンツをレンダリングするレンダリング装置をさらに含む、請求項１２に記載のシステム。
【請求項１５】
ユーザが前記２眼式立体コンテンツの少なくとも１つのフレーム内に字幕を位置決めすることができるようにするためのユーザ・インタフェースをさらに含む、請求項１２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２０１０年２月２５日出願の米国仮出願第６１，３０８，１７４号の利益を主張するものである。
【０００２】
本発明は、一般に字幕に関し、さらに詳細には、２眼式立体字幕の視差（ｄｉｓｐａｒｉｔｙ）推定を決定する方法、装置およびシステムに関する。
【背景技術】
【０００３】
２次元コンテンツでは、通常、字幕は、例えばフレームまたはフレーム・シーケンスの下部など、同じ位置に配置される。これに対して、３次元コンテンツでは、字幕をフレームまたはフレーム・シーケンスの特定の領域に配置する際に、当該の１つまたは複数のフレーム内の要素に応じて配置することは有意義である。
【０００４】
３次元コンテンツで考慮すべき別の因子は、３次元コンテンツの表示に伴う視差である。さらに詳細には、２次元コンテンツでは両眼で同じフレームを見るのに対して、３次元コンテンツでは、それぞれの眼が異なるフレームを見る。従って、３次元コンテンツの字幕は、水平軸上の異なる位置にレンダリングすることができる。この水平方向位置の違いを、視差と呼ぶ。３次元画像の視差は、３次元コンテンツ内に字幕を配置する際に問題を引き起こす可能性がある。さらに詳細には、２眼式立体画像中の字幕に適用する視差が十分でない、あるいは大きすぎると、画像に悪影響を及ぼす可能性がある。
【０００５】
例えば、図１は、字幕に十分な視差を与えずにシーンのオブジェクトの中に字幕を埋め込んでしまうという問題を示す図である。図１の左側には、字幕がレンダリングされたステレオ画像の左側ビューおよび右側ビューがある。視差により、家がスクリーンから飛び出すように見え、字幕（視差無し）はスクリーンの面内にとどまる。図面の右側には、これらのビューの３Ｄ表現が示してあり、問題が明らかになっている。すなわち、家が字幕を覆うようになっているが、家の中に字幕が見えている。
【０００６】
さらに、図２は、２眼式立体画像中のオブジェクトと比較して字幕の視差が大きすぎる、２眼式立体画像に不適切に埋め込まれた字幕を示す代表的な図である。図２の左側には、字幕がレンダリングされたステレオ画像の左側ビューおよび右側ビューがある。視差により、家がスクリーンの奥に引っ込んで見え、字幕はスクリーンから飛び出して見える。図面の右側には、これらのビューの３Ｄ表現が示してあり、問題が明らかになっている。すなわち、家と字幕の間の視差が大きすぎて、ユーザが常に両方の要素に焦点を当てなければならないようになっている。
【０００７】
従って、制御および考慮しなければならない変数がはるかに多くなるので、３次元コンテンツに字幕を付加することは、２次元コンテンツの場合よりはるかに複雑である。
【０００８】
本発明の実施例は、２眼式立体コンテンツの字幕の位置を決定するための視差推定を行う方法、装置およびシステムを提供することにより、従来技術の欠点に対処するものである。本発明の様々な実施例では、ステレオ・シーケンスの字幕の視差を推定するためのアルゴリズムが提供される。
【０００９】
本発明の一実施例では、時間と視差の関数によって、時間に沿った字幕の間の視差の差を制約する。これにより、２つの連続する字幕が、時間的に近接している場合に同等の視差を有することが保証される。
【００１０】
さらに詳細には、本発明の一実施例では、２眼式立体コンテンツ中の字幕を位置決めする方法は、２眼式立体コンテンツの少なくとも１つのフレーム内の字幕の位置を推定するステップと、時間と視差の関数によって少なくとも２つのフレーム内の字幕の間の視差の差を制約するステップとを含む。このような実施例では、推定するステップは、字幕を挿入する少なくとも１つのフレーム内の領域内のオブジェクトの視差を用いて字幕の視差値を計算するステップを含むことができる。その後、このオブジェクトの手前または奥になるように、字幕を調整することができる。
【００１１】
本発明の代替実施例では、２眼式立体コンテンツ中の字幕の位置を決定する字幕装置は、少なくともプログラム・ルーチン、コンテンツおよびデータ・ファイルを記憶するメモリと、プログラム・ルーチンを実行するプロセッサとを含む。このような実施例では、プロセッサは、プログラム・ルーチンを実行するときに、２眼式立体コンテンツの少なくとも１つのフレーム内の字幕の位置を推定し、時間と視差の関数によって少なくとも２つのフレーム内の字幕の間の視差の差を制約するように構成される。
【００１２】
本発明の代替実施例では、２眼式立体コンテンツ中の字幕の位置を決定するシステムは、字幕が挿入される２眼式立体コンテンツの少なくとも１つの左目ビュー・フレームのソースと、字幕が挿入される２眼式立体コンテンツの少なくとも１つの右目ビュー・フレームのソースと、２眼式立体コンテンツの少なくとも１つのフレーム内の字幕の位置を推定し、時間と視差の関数によって少なくとも２つのフレーム内の字幕の間の視差の差を制約し、この推定し、制約した位置を用いてフレーム内に字幕を挿入する字幕装置とを含む。
【００１３】
本発明の教示は、以下の詳細な説明を添付の図面と関連付けて考慮することにより、容易に理解することができる。
【図面の簡単な説明】
【００１４】
【図１】２眼式立体画像中のオブジェクトと比較して字幕の視差が不十分になっている、２眼式立体画像に不適切に埋め込まれた字幕を示す代表的な図である。
【図２】２眼式立体画像中のオブジェクトと比較して字幕の視差が大きすぎる、２眼式立体画像に不適切に埋め込まれた字幕を示す代表的な図である。
【図３】本発明の実施例による２眼式立体画像中の字幕の位置の概算推定を示す代表的な図である。
【図４】本発明の実施例によるセルの視差を推定するアルゴリズムを示す図である。
【図５】本発明の実施例による映画のシーケンスについて時間に沿ってセルに割り当てられる視差値をプロットした図である。
【図６】本発明のバランシング・プロセスの後の図５の細部を示す図である。
【図７】本発明の実施例による字幕セルを１フレーム長のセルにスライシングした後の図５の映画の視差値をプロットした図である。
【図８】本発明の実施例の発明性のある概念を適用した後の図５の映画を示す詳細図である。
【図９】本発明の実施例による字幕を画像のオブジェクトとして扱った場合の例を示す図である。
【図１０】本発明の実施例による２眼式立体コンテンツに字幕を付加するための視差推定を行うシステムを示すハイレベル・ブロック図である。
【図１１】本発明の様々な実施例の発明性のある方法およびプロセスを実行するのに適した字幕装置の実施例を示すハイレベル・ブロック図である。
【図１２】本発明の実施例による図１０および図１１の字幕装置での使用に適したグラフィカル・ユーザ・インタフェースを示すハイレベル図である。
【図１３】本発明の実施例による２眼式立体コンテンツに字幕を付加するための視差推定を行う方法を示す流れ図である。
【発明を実施するための形態】
【００１５】
これらの図面は、本発明の概念を説明することを目的としたものであるが、必ずしも本発明を説明するために考えられる唯一の構成ではないことを理解されたい。理解を容易にするために、各図に共通する同一の要素は、可能な限り同一の参照番号を用いて示してある。
【００１６】
本発明は有利には、２眼式立体コンテンツの字幕の付加および視差推定を行う方法、装置およびシステムを提供する。本発明について、主として３次元コンテンツの字幕を付加する状況に関して説明するが、本発明のこれらの具体的な実施例は、本発明の範囲を限定するものとして扱われるべきものではない。当業者なら、本発明の教示があれば、本発明の概念が実質的にどのような２眼式立体画像コンテンツにも適用することができるものであることを理解するであろう。
【００１７】
図面に示す様々な要素の機能は、専用のハードウェアを使用することによって、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用することによって、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、またはその一部を共用することができる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）および不揮発性記憶装置（ただしこれらに限定されない）を暗に含むことがある。さらに、本発明の原理、特徴および実施例ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、このような均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物（すなわち、その構造に関わらず、同じ機能を実行する開発される任意の要素）も含まれるものとする。
【００１８】
従って、例えば、当業者なら、本明細書に示すブロック図が本発明の原理を実施する例示的なシステム構成要素および／または回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行される様々なプロセスを表すことも理解するであろう。
【００１９】
前述のように、３次元（３Ｄ）コンテンツなどの２眼式立体コンテンツに字幕を付加することは、２次元コンテンツに字幕を付加するより、はるかに複雑である。例えば、３Ｄコンテンツの場合、字幕をフレームまたはフレーム・シーケンスの特定の領域に配置する際に、当該の１つまたは複数のフレーム内の要素に応じて配置することは有意義である。さらに、３Ｄコンテンツの場合、３Ｄコンテンツの表示に伴う視差を考慮しなければならない。従って、３次元コンテンツの字幕は、水平軸上の様々な位置にレンダリングすることができる。
【００２０】
従来提案されている１つの解決策は、シーンのオブジェクトのなるべく近くに字幕を配置するものであるが、これにはいくつかの問題もある。時間的に近接した連続する字幕が同等の視差を有する保証がないのである。時間的に近接した字幕間に大きな視差の差があると、ユーザが視覚的に疲労し、視覚体験を損なう可能性がある。さらに詳細には、ステレオ・シーケンスの左フレームと右フレームに存在するオブジェクトの視差は、ゼロ、正、または負となる可能性がある。視差がゼロであるとき、当該オブジェクトの３Ｄ投射像はスクリーンの面内にある。視差が正であるとき、オブジェクトはスクリーンの奥に引っ込んで見え、視差が負であるとき、オブジェクトはスクリーンから飛び出して見える。通常は、視差は画素を単位として測定される。
【００２１】
シーンのオブジェクトの視差を推定する方法は、いくつかある。これらの方法を分類する１つの方法として考えられるのは、これらの方法が与える視差点の数によって分類する方法である。従って、２つのカテゴリは以下の通りである。
密な視差マップ。画素の１つ１つ（または画素のほぼ１つ１つ）が視差値を有する。
疎な視差マップ。いくつかの画素だけが視差値を有する。
本明細書に記載する本発明の様々な実施例の方法の実施態様および記述では、疎な視差マップを実施するが、密な視差マップも、手続きまたは結果に影響を及ぼすことなく、本発明の概念によって使用することができる。
【００２２】
本発明の概念を説明するに際し、発明者等は、字幕を、セルとして定義される単位で分割されるものと定義する。各セルは、通常は、インクリメンタル（ｉｎｃｒｅｍｅｎｔａｌ）一意識別子、タイムスタンプ、およびテキスト自体から構成される。
本発明の一実施例では、字幕セルのフィールドは、以下の通りである。
タイムスタンプ。いつ字幕をレンダリングするかを規定する。
テキスト。レンダリングする字幕のテキスト。
【００２３】
本発明の実施例によれば、２眼式立体画像の字幕の位置決めは、推定から始まる。すなわち、レンダリングの前に、字幕をレンダリングする領域を推定することができる。この領域の正確な寸法または位置が完全には分かっていない（字幕のサイズおよびフォントが変化する可能性があるので、領域も変化する可能性がある）場合でも、開始するには概算推定で十分である。例えば、図３は、本発明の実施例による２眼式立体画像中の字幕の位置の概算推定を示す代表的な図である。図３の実施例に示すように、字幕は、オブジェクトの手前に、それらと近接して配置される。従って、字幕の視差値は、その字幕領域内のオブジェクトの視差を用いて計算される。
【００２４】
本発明の一実施例では、字幕領域のサイズおよび位置は、フレーム・サイズの百分率に基づいて定義され、フレーム幅の１０％から９０％となるＸ範囲と、フレーム高さの７０％から１００％となるＹ幅である。
【００２５】
本発明の様々な実施例によれば、字幕セルの視差は、以下の関係に従って推定される。
ｃ＝｛ｃ１，ｃ２，…，ｃＭ｝は、字幕セルの集合を表し、ｔｉは、字幕セルｃｉのタイムスタンプを表す（タイムスタンプｔｉは、字幕セルｃｉのテキストをどのフレームにレンダリングすべきかを示していることに留意されたい）。
【００２６】
【数１】
2013520925.tif 000003
は、タイムスタンプｔｉによってカバーされるフレームの集合を表し、ＤＲは、字幕領域Ｒ内の視差Ｄの集合を表す。
【００２７】
【数２】
2013520925.tif 000004
は、タイムスタンプｔｉによってカバーされる領域Ｒ内の視差の集合を表し、
【００２８】
【数３】
2013520925.tif 000005
は、
【００２９】
【数４】
2013520925.tif 000006
内のｊ番目のフレームの領域Ｒ内の視差Ｄ（昇順に整理される）の集合を表す。
【００３０】
上記の関係により、視差値
【００３１】
【数５】
2013520925.tif 000007
を、字幕セルｃｉに割り当てる。この目的のために、視差値の集合
【００３２】
【数６】
2013520925.tif 000008
を使用する。本発明によれば、
【００３３】
【数７】
2013520925.tif 000009
は、最小視差値
【００３４】
【数８】
2013520925.tif 000010
に設定される。ここで、αは、負の値である（視差が低くなるほど、オブジェクトの３Ｄ投射像がユーザに近づき、ｔｉ中のＲにおけるその他のどのオブジェクトよりも字幕を近づけなければならないことに留意されたい）。
【００３５】
なお、
【００３６】
【数９】
2013520925.tif 000011
に含まれる視差の一部は、アウトライアであってもよいことに留意されたい。従って、
【００３７】
【数１０】
2013520925.tif 000012
を推定する手段は、このような不都合に対処できなければならない。アウトライアの問題を解決する１つの方法を、図４に示す。さらに詳細には、図４は、セルｃｉの視差
【００３８】
【数１１】
2013520925.tif 000013
を推定するアルゴリズムを示す図である。図４において、Ｄｄは、字幕セルのデフォルト視差を表し、ＤＭは、最大視差値を表している。
【００３９】
例えば、図５は、本発明の実施例による映画のシーケンスについて時間に沿ってセルに割り当てられる視差値をプロットした図である。赤い点は全てのフレームのＤＲの推定視差を表す。黄色い太線は、バランシング・プロセスの前に字幕セルに割り当てられた視差値である。青い細線は、バランシング・プロセスの後に字幕セルに割り当てられた視差値である。
【００４０】
本発明の一実施例では、視差値は、２つの特性点の間の変位ベクトルの水平成分を用いて計算される。さらに、図４で説明したアルゴリズムの変数は、以下の通りである。
Ｄｄ＝−１０、ＤＭ＝−８０、Ｖ＝１０、Ｗ＝１０、Ｐ＝６、Ｑ＝６、およびα＝−５
【００４１】
本発明によれば、上述のように、視差値
【００４２】
【数１２】
2013520925.tif 000014
が各字幕セルｃｉに割り当てられる。図４の実施例の値は、近接する値を知らずに割り当てられているので、２つの連続するセルの間で視差が煩わしいほど大きく飛ぶ可能性がある。
【００４３】
本発明の実施例によれば、この問題を解決するために、字幕セルのバランシングを行わなければならない。これは、Ｃの視差の集合に時間と視差の制約関数を導入することにある。本発明の一実施例では、時間（すなわちフレーム数）的に近接した字幕は、強制的に同等の視差を有することになる。本発明の一実施例では、図１に示す問題を回避するために、視差の大きい字幕セル（すなわちよりスクリーンに近い３Ｄ投射像）に負の値を付加することによって、これを実現する。
【００４４】
例えば、図６は、上述の本発明のバランシング・プロセスの後の図５の細部を示す図である。図６において、３つのセルのうち２つに割り当てられた視差はバランシング・プロセス後も変化せず、残りの１つは変化していることに留意されたい。
【００４５】
本発明の一実施例では、視差の大きい字幕セルに負の値を付加するアルゴリズムは、以下の通りである。
【００４６】
【数１３】
2013520925.tif 000015
ここで、ｇａｐ（ｔｉ，ｔｉ＋１）は、タイムスタンプｔｉの末尾とタイムスタンプｔｉ＋１の先頭の間のフレーム数であり、Ｔは、しきい値であり、εは、負の値である。一実施例では、Ｔ＝３、ε＝１である。
【００４７】
本発明の様々な実施例では、Ｃの字幕セルを、１フレーム長のセルごとにスライシングして、新たなセルの集合を生成することができる。本発明の視差推定方法をこの新たな字幕セルの集合に適用すると、字幕が、ＤＲ上の要素の視差に従ってＺ軸上を滑らかに移動するようになる。この技術は、ユーザの体験を向上させる。記載した実施例では、１フレーム長のセルを生成したが、本発明の代替実施例では、それより多いフレーム数のセルを生成することもできる。さらに、視差値を再度フィルタリングして、さらに高い時間的一貫性を制約することもできる。
【００４８】
例えば、図７は、本発明の実施例による、字幕セルを１フレーム長のセルにスライシングした後の図５の映画の視差値をプロットした図である。さらに、図８は、本発明の実施例の発明性のある概念を適用した後の図５の映画を示す詳細図である。視差が時間に沿ってどのように滑らかに変化するかに留意されたい。
【００４９】
本発明の概念によれば、シーンのその他のオブジェクトとして字幕を扱うことができる。すなわち、字幕を、コンテンツ内に存在するオブジェクトによって部分的または完全に隠すことができる。例えば、図９は、本発明の実施例による、字幕を画像のオブジェクトとして扱った場合の例を示す図である。図９では、シーンのオブジェクトの例として、ショベルカーとテキストが用いられている。ショベルの視差が−５０で、キャタピラのチェーンの視差が−１０であるものと想像されたい。字幕は、ショベルとチェーンの間の視差値（すなわち−３０）でレンダリングすることにより、シーンに一体化することができる。さらに、字幕のうち、ショベルと重ならない部分のみがレンダリングされることになる。図９における字幕のテキストは、「シーンの一部のオブジェクトは、字幕を隠すことができる」である。
【００５０】
さらに、本発明の概念によれば、視差以外にも、字幕のその他の特性（サイズ、色、テクスチャ、フォントなど）も、シーンの特徴に応じて変更することができる。例えば、字幕がスクリーンから飛び出すときに、字幕のサイズを大きくすることができる。さらに、本発明のアルゴリズムを改善して、より早く字幕のバランシングを行うこともできる。例えば、本発明の一実施例では、最大視差値を設定して、２つの字幕セルの間の視差の差が許容される最大値より大きいときに、変更しなければならないセルの視差が、もう一方のセルの視差に両者の間の許容される視差の最大差を足した値に設定されるようにすることができる。
【００５１】
さらに、本発明の代替実施例では、関心領域を決定し、その領域のオブジェクトと同じ視差に字幕を設定する。値の大きな負の視差を有するオブジェクトが字幕領域内にある場合には、その視差は、当該領域の視差に設定されることになる。字幕はバランシングすることもできる。
【００５２】
さらに、本発明の様々な実施例によれば、デフォルト視差値を設定することができる。従って、デフォルト視差値を有する字幕セルは、その他の字幕セルをその位置に引っ張るためのアンカ・ポイントとして無視することができる。さらに、視差値は、２つの特性点の間の変位ベクトルの水平成分を用いて計算することができるが、水平成分と垂直成分の両方を使用して、視差値を計算することもできる。このような実施例では、領域ＤＲは時間と共に変化する可能性がある。
【００５３】
図１０は、本発明の実施例による２眼式立体（３Ｄ）コンテンツに字幕を付加するための視差推定を行うシステム１００を示すハイレベル・ブロック図である。図１０のシステム１００は、実例として、３Ｄコンテンツの左目ビュー・ソース１０５および右目ビュー・ソース１１０を含む。図１０のシステム１００は、ステレオ字幕装置１１５、ミキサ１２５、および２眼式立体（３Ｄ）画像をレンダリングするレンダラ（ｒｅｎｄｅｒｅｒ）１３０をさらに含む。
【００５４】
図１０のシステム１００では、左目ビュー・ソース１０５からのコンテンツと右目ビュー・ソース１１０からのコンテンツが、ステレオ字幕装置１１５を介してミキサ１２５に伝達される。本発明の一実施例では、図１０のシステム１００のミキサ１２５は、３Ｄディスプレイが対応しているモード、例えばライン・インタリーブ・パターンやチェッカーボード・パターンを用いて、２つのソース１０５および１１０からのコンテンツをミキシングすることができる。ステレオ字幕装置１１５は、左目ビュー・ソース１０５および右目ビュー・ソース１１０からのコンテンツと、２眼式立体（３Ｄ）画像に挿入される字幕に関する情報を含む情報（例えばテキスト・ファイル）とを受信する。すなわち、本発明の一実施例では、ステレオ字幕装置１１５は、２眼式立体画像と、１つまたは複数の字幕が挿入される受信した２眼式立体画像中の字幕に関する情報とを受信する。本発明の字幕装置は、本発明の概念によって、また上記で詳細に述べたように、３次元コンテンツの少なくとも１つのフレーム内の字幕の位置を推定し、時間と視差の関数によって連続するフレームの字幕の間の視差の差を制約する。
【００５５】
図１１は、本発明の様々な実施例の発明性のある方法およびプロセスを実行するのに適した字幕装置１１５の実施例を示すハイレベル・ブロック図である。さらに詳細には、図１１の字幕装置１１５は、実例として、プロセッサ１１１０と、制御プログラム、ファイル情報、蓄積メディアなどを記憶するメモリ１１２０とを含む。字幕装置１１５は、電源、クロック回路、キャッシュ・メモリなどの従来のサポート回路１１３０、ならびにメモリ１１２０に記憶されたソフトウェア・ルーチンの実行を補助する回路と協働する。従って、本明細書でソフトウェア・プロセスとして述べられているプロセス・ステップの一部を、ハードウェア内で、例えば字幕装置１１５と協働して様々なステップを実行する回路として実装することもできるものとする。また、字幕装置１１５は、ミキサ、ディスプレイ、コンテンツ・ソースなど、字幕装置１１５と通信する様々な機能要素間のインタフェースを形成する入出力回路１１４０も含む。
【００５６】
また、図１１の字幕装置１１５は、本発明による様々な制御機能を実行するようにプログラムされた汎用コンピュータとして示してあるが、本発明は、ハードウェアにおいて、例えば特定用途向け集積回路（ＡＳＩＣ）として実装することもできる。従って、本明細書に記載するプロセス・ステップは、ソフトウェア、ハードウェアまたはそれらの組合せによって等価に実行されるものとして広く解釈されるべきものである。
【００５７】
図１２は、本発明の実施例による図１０および図１１の字幕装置での使用に適したグラフィカル・ユーザ・インタフェースを示すハイレベル図である。図１２に示すように、本発明の実施例によるＧＵＩは、ロードするファイルの位置を突き止めるブラウザと、字幕の左位置インジケータおよび右位置インジケータと、左位置および右位置をオフセットするアップ・ボタンおよびダウン・ボタンと、グローバル・オフセット・インジケータと、ｘ調整ボタン、ｙ調整ボタンおよびｚ調整ボタンと、出力ファイルに名前を付けるためのテキスト・バーと、時間／ファイル名インジケータと、タイムコード・インジケータおよびキュー・ボタンとを含むことができる。本発明の実施例によれば、ｚ調整は、フレーム内の字幕の視差または位置を調整するために使用され、且つ本発明の上述の発明性のある概念を実行して上述のように字幕を位置決めするために使用される。
【００５８】
図１２のＧＵＩは、実例として、再生／一時停止ボタン、早送りボタンおよび巻戻しボタンを含む再生ビューポートをさらに含む。図１２のＧＵＩのビューポート領域は、ｘおよびｙ微調整オフセット・ボタンおよびインジケータをさらに含む。サブジェクト（ｓｕｂｊｅｃｔ）字幕の再生は、ループ再生するように構成することができ、あるいは前の字幕または後の字幕をそれぞれのボタンを用いて選択することができる。図１２に示すように、図１２のＧＵＩの別の領域では、ユーザは、必要に応じて、字幕に対してセーフ領域の境界を設定することができる。さらに詳細には、本発明の一実施例では、２眼式立体コンテンツのフレーム上にセーフ字幕領域を設定することができる。例えば図１２のＧＵＩを用いてこの領域を指定すると、この領域内の要素だけは、任意の準拠しているディスプレイ上でレンダリングされることが保証される。
【００５９】
図１２に示すように、本発明のＧＵＩは、字幕のコメントを挿入するためのコメント・セクションをさらに含むことができる。本発明の一実施例では、これらのコメントはＧＵＩ上に表示され、コントローラ・ファイル情報と共に記憶される。
【００６０】
図１３は、本発明の実施例による２眼式立体コンテンツに字幕を付加するための視差推定を行う方法を示す流れ図である。図１３の方法１３００は、ステップ１３０２で開始され、このステップでは、２眼式立体コンテンツの少なくとも１つのフレーム内の字幕の位置を推定する。上述のように、本発明の一実施例では、この推定するステップは、字幕を挿入する少なくとも１つのフレーム内のある領域内のオブジェクトの視差値を用いて字幕の視差値を計算するステップを含む。方法１３００は、ステップ１３０４に進む。
【００６１】
ステップ１３０４で、時間と視差の関数によって少なくとも２つのフレーム内の字幕の間の視差の差を制約する。上述のように、本発明の一実施例では、大きな視差値を有する字幕に負の視差値を適用することによって、少なくとも２つのフレーム内の字幕の間の視差の差を制約する。すなわち、本発明の様々な実施例では、フレーム間の字幕の視差の最大差を設定して、２つの字幕間の視差の差がこの最大差より大きいときに、変更しなければならない字幕の視差値が、もう一方の字幕の視差値に上記視差の最大差を足した値に設定されるようにする。その後、方法１３００は終了する。
【００６２】
２眼式立体コンテンツに字幕を付加するための視差推定を行う方法、装置およびシステムの様々な実施例（例示を目的とするものであり、限定するためのものではない）について述べたが、当業者なら、上記の教示に照らして修正および変更を行うことができることに留意されたい。従って、開示した本発明の具体的な実施例において、本発明の範囲および趣旨に含まれる変更を行うことができることを理解されたい。上記の説明は、本発明の様々な実施例を対象としているが、本発明の基本的な範囲を逸脱することなく、本発明のさらに別の実施例を考案することもできる。
【図１】
2013520925.tif 000016
【図２】
2013520925.tif 000017
【図３】
2013520925.tif 000018
【図４】
2013520925.tif 000019
【図５】
2013520925.tif 000020
【図６】
2013520925.tif 000021
【図７】
2013520925.tif 000022
【図８】
2013520925.tif 000023
【図９】
2013520925.tif 000024
【図１０】
2013520925.tif 000025
【図１１】
2013520925.tif 000026
【図１２】
2013520925.tif 000027
【図１３】
2013520925.tif 000028
【国際調査報告】
2013520925.tif 000029
2013520925.tif 000030
2013520925.tif 000031