(57)【要約】  テキスト及び３次元（３Ｄ）コンテンツを合成及び／又は表示するシステム（１０）及び方法（５２、６０、７２）。上記システム（１０）及び方法（５２、６０、７２）は、３Ｄコンテンツにおける最高深度値と同じレベルでテキストを挿入する。３Ｄコンテンツの一例には、２次元画像（４４）及び関連した深度マップ（４６）がある。この場合、挿入テキスト（５０）の深度値は、特定の深度マップの最大深度値に一致するよう調節する。３Ｄコンテンツの別の例は、複数の２次元画像及び関連深度マップである。この場合、挿入テキストの深度値は、特定の深度マップの最大深度値に一致するよう連続して調節される。３Ｄコンテンツの更なる例は、右眼画像（８６）及び左眼画像（８４）を有する立体コンテンツである（８２）。この場合、左眼画像（８４）及び右眼画像（８６）の一方におけるテキスト（８８、９０）は、立体的画像内の最大深度値に一致するようシフトされる。３Ｄコンテンツの更に別の例は、複数の右眼画像及び左眼画像を有する立体コンテンツである。この場合、左眼画像及び右眼画像の一方におけるテキストは、立体画像内の最大深度値に一致するよう連続的にシフトされる。その結果、本明細書及び特許請求の範囲のシステム（１０）及び方法（５２、６０、７２）は、３Ｄコンテンツと合成したテキストを生成し、テキストは、３Ｄコンテンツ内の３Ｄ効果を妨げず、視聴者によって視聴される際に眼精疲労をもたらさない。
2010521738.tif 000002
【特許請求の範囲】
【請求項１】
テキストを３次元画像コンテンツと合成する方法であって、
３次元画像コンテンツを受け取る工程と、
前記３次元画像コンテンツの最大深度値を求める工程と、
前記最大深度値で前記３次元画像コンテンツをテキストと合成する工程とを含む方法。
【請求項２】
請求項１記載の方法であって、３次元画像コンテンツを受け取る工程は、２次元画像及び深度マップを受け取る工程を含む方法。
【請求項３】
請求項２記載の方法であって、最大深度値を求める工程は、前記深度マップ内のどの物体が前記最大深度値を有するかを検出する工程を含む方法。
【請求項４】
請求項１記載の方法であって、テキストを前記３次元コンテンツと合成する工程は、前記テキストを２次元画像上にオーバレイする工程と、深度マップ内の前記テキストを前記最大深度値に位置決めする工程とを含む方法。
【請求項５】
請求項１記載の方法であって、前記３次元画像コンテンツは複数のフレームを含み、前記最大深度値を求める工程、及び前記テキストを前記３次元画像コンテンツと前記最大深度値で合成する工程が、フレーム毎に行われる方法。
【請求項６】
請求項１記載の方法であって、前記３次元画像コンテンツは複数のフレームを含み、前記最大深度値を求める工程、及び前記テキストを前記３次元画像コンテンツと前記最大深度値で合成する工程が、前記複数のフレーム全部よりも少ないフレームについて行われる方法。
【請求項７】
請求項１記載の方法であって、
前記３次元コンテンツがテキストを有するか否かを判定する工程と、
前記テキストを前記３次元コンテンツから分離する工程と、
前記分離テキストを前記３次元コンテンツと前記最大深度値で合成する工程とを含む方法。
【請求項８】
請求項１記載の方法であって、前記テキストは、サブタイトル、クローズド・キャプション、及びオープン・キャプションのうちの１つである方法。
【請求項９】
請求項１記載の方法であって、前記３次元コンテンツの前記最大深度値を求める工程は、立体画像内の物体の前記最大深度値を検出する工程を含み、前記立体画像は左眼画像及び右眼画像を含む方法。
【請求項１０】
請求項９記載の方法であって、テキストを前記３次元画像と合成する工程は、
前記左眼画像内にテキストをオーバレイする工程と、
前記右眼画像内にテキストをオーバレイする工程と、
前記合成された左眼及び右眼のテキストが前記立体画像の前記最大深度値で表示可能であるように前記テキストを前記右眼画像内でシフトさせる方法。
【請求項１１】
テキスト及び３次元画像コンテンツを表示する方法であって、
３次元画像コンテンツ及びテキストを受け取る工程であって、前記３次元画像コンテンツが最大深度値を有する工程と、
前記３次元画像コンテンツを表示する工程と、
前記最大深度値で前記テキストを表示する工程とを含む方法。
【請求項１２】
請求項１１記載の方法であって、
前記３次元コンテンツの前記最大深度値を求める工程を更に含む方法。
【請求項１３】
請求項１２記載の方法であって、判定する工程は、前記３次元画像コンテンツにおけるどの物体が前記最大深度値を有するかを検出する工程を含む方法。
【請求項１４】
請求項１２記載の方法であって、前記３次元画像コンテンツは複数のフレームを含み、前記最大深度値を求める工程、及び前記テキストを前記最大深度値で表示する工程が、フレーム毎に行われる方法。
【請求項１５】
請求項１２記載の方法であって、前記３次元画像コンテンツは複数のフレームを含み、前記最大深度値を求める工程、及び前記テキストを前記最大深度値で表示する工程が、前記複数のフレーム全部よりも少ないフレームについて行われる方法。
【請求項１６】
請求項１１記載の方法であって、前記テキストは、サブタイトル、クローズド・キャプション、及びオープン・キャプションのうちの１つである方法。
【請求項１７】
請求項１１記載の方法であって、
前記３次元コンテンツがテキストを有するかを判定する工程と、
前記テキストを前記３次元コンテンツから分離する工程と、
前記分離テキストを前記最大深度値で表示する工程とを更に含む方法。
【請求項１８】
請求項１１記載の方法であって、前記３次元コンテンツの前記最大深度値を求める工程は、立体画像内の物体の前記最大深度値を検出する工程を含み、前記立体画像は左眼画像及び右眼画像を含む方法。
【請求項１９】
請求項１８記載の方法であって、テキストを前記３次元画像と合成する工程は、
前記左眼画像内にテキストをオーバレイする工程と、
前記右眼画像内にテキストをオーバレイする工程と、
前記合成された左眼及び右眼のテキストが前記立体画像の前記最大深度値で表示可能であるように前記テキストを前記右眼画像内でシフトさせる工程とを含む方法。
【請求項２０】
テキストを３次元画像コンテンツと合成するシステムであって、
３次元画像コンテンツを受け取る手段と、
前記３次元画像コンテンツの最大深度値を求める手段と、
前記最大深度値で前記３次元画像コンテンツをテキストと合成する手段とを備えるシステム。
【請求項２１】
請求項２０記載のシステムであって、３次元画像コンテンツを受け取る手段は、２次元画像及び深度マップを受け取る手段を備えるシステム。
【請求項２２】
請求項２１記載のシステムであって、最大深度値を求める手段は、前記深度マップ内のどの物体が前記最大深度値を有するかを検出する手段を備えるシステム。
【請求項２３】
請求項２０記載のシステムであって、テキストを前記３次元コンテンツと合成する手段は、前記テキストを前記２次元画像上にオーバレイする手段と、前記深度マップ内の前記テキストを前記最大深度値に位置決めする手段とを備えるシステム。
【請求項２４】
請求項２０記載のシステムであって、前記３次元画像コンテンツは複数のフレームを含み、前記最大深度値を求める手段、及び前記テキストを前記３次元画像コンテンツと前記最大深度値で合成する手段がフレーム毎に存在するシステム。
【請求項２５】
請求項２０記載のシステムであって、前記３次元画像コンテンツは複数のフレームを含み、前記最大深度値を求める手段、及び前記テキストを前記３次元画像コンテンツと前記最大深度値で合成する手段が、前記複数のフレーム全部よりも少ないフレームについて存在するシステム。
【請求項２６】
請求項２０記載のシステムであって、
前記３次元コンテンツがテキストを含むかを判定する手段と、
前記テキストを前記３次元コンテンツから分離する手段と、
前記分離テキストを前記３次元コンテンツと前記最大深度値で合成する手段とを備えるシステム。
【請求項２７】
請求項２０記載のシステムであって、前記テキストは、サブタイトル、クローズド・キャプション、及びオープン・キャプションのうちの１つであるシステム。
【請求項２８】
請求項２０記載のシステムであって、前記３次元コンテンツの前記最大深度値を求める手段は、立体画像内の物体の前記最大深度値を検出する手段を含み、前記立体画像は左眼画像及び右眼画像を含むシステム。
【請求項２９】
請求項２８記載のシステムであって、テキストを前記３次元画像と合成する手段は、
前記左眼画像内にテキストをオーバレイする手段と、
前記右眼画像内にテキストをオーバレイする手段と、
前記合成された左眼及び右眼のテキストが前記立体画像の前記最大深度値で表示可能であるように前記テキストを前記右眼画像内でシフトさせる手段とを備えるシステム。
【請求項３０】
テキスト及び３次元画像コンテンツを表示するシステムであって、
３次元画像コンテンツ及びテキストを受け取る手段であって、前記３次元画像コンテンツが最大深度値を有する手段と、
前記３次元画像コンテンツを表示する手段と、
前記最大深度値で前記テキストを表示する手段とを備えるシステム。
【請求項３１】
請求項３０記載のシステムであって、
前記３次元画像コンテンツの前記最大深度値を求める手段を更に備えるシステム。
【請求項３２】
請求項３１記載のシステムであって、判定する手段は、前記３次元画像コンテンツにおけるどの物体が前記最大深度値を有するかを検出する手段を備えるシステム。
【請求項３３】
請求項３１記載のシステムであって、前記３次元画像コンテンツは複数のフレームを含み、前記最大深度値を求める手段、及び前記テキストを前記最大深度値で表示する手段が、各フレームを処理するシステム。
【請求項３４】
請求項３１記載のシステムであって、前記３次元画像コンテンツは複数のフレームを含み、前記最大深度値を求める手段、及び前記テキストを前記最大深度値で表示する手段が、前記複数のフレーム全部よりも少ないフレームを処理するシステム。
【請求項３５】
請求項３０記載のシステムであって、前記テキストは、サブタイトル、クローズド・キャプション、及びオープン・キャプションのうちの１つであるシステム。
【請求項３６】
請求項３０記載のシステムであって、
前記３次元コンテンツがテキストを含むかを判定する手段と、
前記３次元コンテンツから前記テキストを分離する手段と、
前記分離テキストを前記最大深度値で表示する手段とを備えるシステム。
【請求項３７】
請求項３０記載のシステムであって、前記３次元コンテンツの前記最大深度値を求める手段は、立体画像内の物体の前記最大深度値を検出する手段を含み、前記立体画像は左眼画像及び右眼画像を含むシステム。
【請求項３８】
請求項３７記載のシステムであって、テキストを前記３次元画像と合成する手段は、
前記左眼画像内にテキストをオーバレイする手段と、
前記右眼画像内にテキストをオーバレイする手段と、
前記合成された左眼テキスト及び右眼テキストを前記立体画像の前記最大深度値で表示可能であるように前記テキストを前記右眼画像内でシフトさせる手段とを備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、西暦２００７年３月１６日付で米国において出願された仮出願６０／９１８６３５号明細書の利益を米国特許法第１１９条の下で主張する。
【０００２】
本明細書及び特許請求の範囲は、一般に、画像処理システム及びディスプレイ・システムに関し、特に、テキストを３次元コンテンツと合成するシステム及び方法に関する。
【背景技術】
【０００３】
ビデオに加えることができるテキストには、サブタイトル及びキャプションという２つのタイプのものが存在している。一般に、サブタイトルは耳の聞こえる視聴者を対象としており、キャプションは耳の聞こえない視聴者を対象としている。サブタイトルは、対話を別の言語に翻訳し得るが、音声全てを表すことはほとんどない。例えば、キャプションは音響効果（例えば、電話の呼出音や、足音）を表す一方、サブタイトルはそうでない。
【０００４】
クローズド・キャプションは、特殊なデコーダなしでは目に見えない、ビデオ信号内に隠されたキャプションである。クローズド・キャプションは、例えば、垂直帰線消去区間（ＶＢＩ）の行２１内に隠されている。オープン・キャプションは、デコードされているキャプションであるので、映画におけるサブタイトルのような、テレビ画像の切り離せない部分になっている。すなわち、オープン・キャプションはオフにすることが可能でない。「オープン・キャプション」という語は、文字生成器で生成されたサブタイトルを表すためにも使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
２次元（２Ｄ）ビデオにおけるテキストの使用は、当業者によって知られている。３次元（３Ｄ）のビデオ及び映画における昨今の関心により、テキストを３Ｄコンテンツに加えるための手法に対する必要性が生まれている。したがって、加えられたテキストが３Ｄコンテンツ内の３Ｄ効果を妨げず、３Ｄコンテンツを視る際に眼精疲労が生じないように、テキストの３Ｄコンテンツへの挿入を最適化するための手法に対する必要性が存在している。
【課題を解決するための手段】
【０００６】
本明細書及び特許請求の範囲の一局面によれば、テキスト及び３次元（３Ｄ）コンテンツを合成し、かつ／又は表示するシステム及び方法を提供する。上記システム及び方法は、３Ｄコンテンツにおける最高深度値と同じレベルでテキストを挿入する。３Ｄコンテンツの一例は、２次元画像及び関連深度マップである。この場合、挿入テキストの深度値は、特定の深度マップの最大深度値に一致するよう調節される。３Ｄコンテンツの別の例は、複数の２次元画像及び関連深度マップである。この場合、挿入テキストの深度値は、特定の深度マップの最大深度値に一致するよう連続して調節される。３Ｄコンテンツの更なる例は、右眼画像及び左眼画像を有する立体コンテンツである。この場合、左眼画像及び右眼画像の一方におけるテキストは、立体画像内の最大深度値に一致するようシフトされる。３Ｄコンテンツの更に別の例は、複数の右眼画像及び左眼画像を有する立体コンテンツである。この場合、左眼画像及び右眼画像の一方におけるテキストは、立体画像内の最大深度値に一致するよう連続的にシフトされる。その結果、本明細書及び特許請求の範囲のシステム及び方法は、３Ｄコンテンツと合成したテキストを生成し、テキストは、３Ｄコンテンツ内の３Ｄ効果を妨げず、視聴者によって視聴される際に眼精疲労をもたらさない。
【０００７】
本明細書及び特許請求の範囲の別の局面によれば、テキストを３次元画像コンテンツと合成する方法は、３次元画像コンテンツを受信する工程と、３次元コンテンツの最大深度値を求める工程と、最大深度値で３次元画像コンテンツとテキストを合成する工程とを含む。
【０００８】
本明細書及び特許請求の範囲の更なる局面によれば、テキスト及び３次元画像コンテンツを表示する方法は、３次元画像コンテンツ及びテキストを受信する工程であって、３次元画像コンテンツが最大深度値を有する工程と、３次元画像コンテンツを表示する工程と、最大深度値でテキストを表示する工程とを含む。
【０００９】
本明細書及び特許請求の範囲の更に別の局面によれば、テキストを３次元画像コンテンツと合成するシステムは、３次元画像コンテンツを受信する手段と、３次元コンテンツの最大深度値を求める手段と、最大深度値で３次元画像コンテンツとテキストを合成する手段とを備える。
【００１０】
本明細書及び特許請求の範囲の更に別の局面によれば、テキスト及び３次元画像コンテンツを表示するシステムは、３次元画像コンテンツ及びテキストを受信する手段であって、３次元画像コンテンツが最大深度値を有する手段と、３次元コンテンツ画像コンテンツを表示する手段と、最大深度値でテキストを表示する手段とを備える。
【図面の簡単な説明】
【００１１】
【図１】本明細書及び特許請求の範囲の局面による、テキストを３次元コンテンツと合成するシステムを例示した図である。
【図２】２Ｄ画像、及び２Ｄ画像に関連付けられた深度マップの例を示す図である。
【図３】本明細書及び特許請求の範囲による、２Ｄ画像に関連付けられた深度マップ、及び２Ｄ画像に加えられたテキストの例を示す図である。
【図４】本明細書及び特許請求の範囲による、オフライン・サブタイトル挿入処理を示すフローチャートである。
【図５】本明細書及び特許請求の範囲による、オンライン・サブタイトル挿入処理を示すフローチャートである。
【図６】本明細書及び特許請求の範囲による。オンライン・サブタイトル検出及び挿入処理を示す図である。
【図７】本明細書及び特許請求の範囲による双眼写真と合成されたテキストの例を示す図である。
【発明を実施するための形態】
【００１２】
本発明の前述及び他の局面、構成及び利点は、添付図面とともに読まれる好ましい実施例の以下の詳細な説明に記載されており、前述の説明から明らかになるであろう。図面では、同じ参照符号は、図を通して同じ構成要素を表す。
【００１３】
図面は、本明細書及び特許請求の範囲の概念を例証する目的のためであり、本明細書及び特許請求の範囲を例証するために考えられる唯一の構成で必ずしもない。
【００１４】
図に示す構成要素は、種々の形態のハードウェア、ソフトウェア又はそれらの組合せで実現することができる。好ましくは、前述の構成要素は、プロセッサ、メモリ、及び入出力インタフェースを含み得る適切にプログラムされた１つ又は複数の汎用装置上のハードウェア及びソフトウェアの組合せで実現される。
【００１５】
本明細書は、本明細書及び特許請求の範囲の原理を示す。よって、当業者は、本明細書及び特許請求の範囲に明示的に説明するか、又は示していないが、本願の原理を実施し、その趣旨及び範囲の範囲内に含まれる種々の構成を考え出すことができるであろう。
【００１６】
本明細書及び特許請求の範囲記載の例、及び条件付言語は全て、本明細書及び特許請求の範囲の原理、及び当該技術分野を発展させるために本願の発明者が貢献する概念を読者が理解するための教示の目的を意図しており、前述の、特に記載した例及び条件への限定なしであると解釈するものとする。
【００１７】
更に、本明細書及び特許請求の範囲の原理、局面、及び実施例、並びにそれらの特定例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。
【００１８】
よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本明細書及び特許請求の範囲の原理を実施する例証的な回路の概念図を表すことは当業者によって認識されるであろう。同様に、フローチャート、フロー図、状態遷移図、擬似コード等は何れも、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサにより、前述のコンピュータ又はプロセッサが明記されているかにかかわらず、実行し得る種々の処理を表す。
【００１９】
図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって備えることができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、又は、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを排他的に表すと解するべきでなく、暗黙的には、無制限に、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。
【００２０】
他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念のみである。前述の機能は、プログラム・ロジックの動作によるか、専用ロジックによるか、プログラム制御及び専用ロジックの相互作用によるか、又は手作業によって行うことができ、特定の手法は、前後関係からより具体的に分かるように実現者によって選択可能である。
【００２１】
本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本発明は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということに存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。
【実施例】
【００２２】
次に図１を参照すれば、本明細書及び特許請求の範囲の実施例による例示的なシステム構成部分１０を示す。走査装置１２は、フィルム・プリント１４（例えば、カメラで感光したフィルム・ネガ）をディジタル形式（例えば、シネオン形式や、米国映画テレビ技術者協会（ＳＭＰＴＥ）ディジタル・ピクチャ・エクスチェンジ（ＤＰＸ）ファイル）にスキャンインするために提供され得る。走査装置１２は例えば、一例としてビデオ出力を備えたＡｒｒｉ  ＬｏｃＰｒｏ（商標）などのフィルムからビデオ出力を生成するテレシネ装置又は何れかの装置を含み得る。あるいは、制作後処理からのファイル、又はディジタル映画１６（例えば、既にコンピュータ読み取り可能な形式になっているファイル）を直接使用することが可能である。コンピュータ読み取り可能なファイルの潜在的なソースには、ＡＶＩＤ（商標）エディタ、ＤＰＸファイル、Ｄ５テープ等がある。更に、３Ｄコンテンツ（例えば、立体コンテンツや、２Ｄ画像及び関連深度マップ）はキャプチャ装置１８によって供給することができ、テキスト・ファイル２０（例えば、サブタイトル又はキャプション・ファイル）をスクリプトから作成し、サブタイトル監督者により、システムに供給することができる。
【００２３】
走査されたフィルム・プリント、ディジタル・フィルム画像及び／又は３Ｄコンテンツ、並びにテキスト・ファイルは、後処理装置２２（例えば、コンピュータ）に入力することができる。コンピュータ２２は、１つ又は複数の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）及び／又はリード・オンリ・メモリ（ＲＯＭ）などのメモリ２４、及び、キーボード、カーソル制御装置（例えば、マウス又はジョイスティック）やディスプレイ装置などの入出力（Ｉ／Ｏ）ユーザ・インタフェース２６などのハードウェアを含む種々の既知のコンピュータ・プラットフォームの何れかに実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含む。本明細書及び特許請求の範囲記載の種々の処理及び機能は、オペレーティング・システムによって実行されるアプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。更に、種々の他の周辺装置は、パラレル・ポート、シリアル・ポートやユニバーサル・シリアル・バス（ＵＳＢ）などの種々のバス構造及びインタフェースにより、コンピュータ・プラットフォームに接続することができる。他の周辺装置には、更なる記憶装置２８及びプリンタ３０が含まれ得る。プリンタ３０は、フィルム３２の改訂版（例えば、以下に説明するテキスト挿入手法を使用して１つ又は複数のシーンにテキストが挿入されているフィルムの立体映像版）の印刷に使用することができる。更に、改訂されたフィルム又はビデオのディジタル・ファイル４１を生成し、３Ｄディスプレイ装置に提供することができるので、３Ｄのコンテンツ及び挿入テキストを視聴者によって視ることが可能である。あるいは、ディジタル・ファイル３４は、記憶装置２８上に記憶することができる。
【００２４】
ソフトウェア・プログラムは、以下に更に詳細に説明するように、本願明細書及び特許請求の範囲により、３Ｄコンテンツをテキストと合成するために、メモリ２４に記憶されたテキスト処理モジュール３８を含む。
【００２５】
３Ｄコンテンツを提示する手法はいくつか存在している。最も一般的なものは、アクティブ・グラス又はパッシブ・グラスを必要とする立体ディスプレイである。自動立体ディスプレイ（例えば、レンティキュラーを使用する）は、グラスを必要とせず、家庭内の娯楽及び専門的な娯楽に一層多く利用可能になってきている。前述のディスプレイの多くは、２Ｄ＋深度の形式上で動作する。前述の形式では、２Ｄビデオ及び深度情報を合成して３Ｄ効果をもたらす。
【００２６】
本明細書及び特許請求の範囲は、２Ｄ＋深度及び立体のタイプのディスプレイ用の３Ｄビデオ中にサブタイトルを挿入する方法に関する。２Ｄ＋深度のディスプレイの場合、本願提案の方法は、ピクチャ内の最高深度値と同じレベルでサブタイトル・テキストを挿入する。特に、挿入されたサブタイトルの深度値は、深度マップの最大深度値に一致するよう連続的に調節することができる。ステレオ・コンテンツの場合、本願提案の方法は、右画像内のサブタイトルの視差値を調節する。これは、ビデオの３Ｄ効果を妨げない視覚的により快いサブタイトルをもたらす。
【００２７】
サブタイトルは、オンライン（生）又はオフライン（制作後）という、１つ又は複数のやり方でビデオ信号上に入れることが可能である。オンライン・サブタイトルは、イベントが生起するにつれて行われる。オンライン・サブタイトルの例には、テレビ・ニュース番組、生のセミナーやスポーツ・イベントがある。オンライン・サブタイトルはスクリプトから行っても、リアルタイムで実際に作成してもよい。オフライン・サブタイトルは「事後に」スタジオ内で行われる。オフライン・キャプションの例には、テレビ・ゲーム番組、映画のビデオテープ又はＤＶＤ、企業向ビデオ（例えば、研修用ビデオ）、ケーブル、衛星やインターネットを介して供給される映画等が含まれる。サブタイトルのテキストは、コンピュータ上で作成され、時間コードを使用してビデオと同期化される。テキスト及びビデオは次いで、放送又は配信される前にビデオテープに転送される。
【００２８】
本明細書及び特許請求の範囲では、サブタイトルの作成及び配布は好ましくは、当業者によって知られている従来の処理に従う。例えば、従来の処理の１つは、スクリプトからテキスト・ファイルを作成する。テキスト・ファイルは３つの値（開始フレーム、終了フレーム、及びテキスト）を含む。テキストは次いで、開始フレームから終了フレームまでのフレーム全てにおいて繰り返される。本願は、テキスト場所深度値が、ビデオ・フレーム内の最大深度値に一致するようにテキスト場所の深度値を調節する方法に関する。
【００２９】
市場に出ているコンテンツ形式及びディスプレイにはいくつかのもの（例えば、立体、ホログラフィ、自動立体）が存在している。次に図２を参照すれば、本明細書及び特許請求の範囲記載の一実施例は、２Ｄ＋深度形式を処理する自動立体ディスプレイにおけるサブタイトルの挿入の手法に関する。図２は、２Ｄ＋深度のコンテンツ形式の例を示す。特に、図２は２つのタイプ（すなわち、２Ｄ画像４０、及び２Ｄ画像の深度マップ４２）のコンテンツを示す。深度マップ４２は、２Ｄ画像４０内の各画素の深度値を規定し、明るい画素は視聴者に近い点を表し、暗い画素は、視聴者から遠く離れた点を表す。
【００３０】
前述の通り、サブタイトルを挿入するやり方には、生のコンテンツの場合のオンライン挿入、及び制作後コンテンツの場合のオフライン挿入という２つが存在している。以下に説明する通り、本明細書及び特許請求の範囲に記載した提案する方法は、オフライン及びオンラインのサブタイトル挿入に関する。
【００３１】
次に図３を参照すれば、深度マップ４６に挿入されるテキスト・ボックス５０、及び２Ｄ画像に加えられるテキスト４８の例を示す。テキスト・ボックス４８は、例えば、スクリプトによって規定されるサブタイトル・テキストである一方、テキスト・ボックス５０は、テキスト・ボックスの各点における一定の深度値を表す。
【００３２】
次に図４を参照すれば、本明細書及び特許請求の範囲のオフライン挿入処理５２を示す。サブタイトルのオフライン挿入の場合、サブタイトル・テキスト画像が生成され、制作後における時間コードを使用して２Ｄビデオに同期化させる。工程５４で、挿入テキストの深度値が３Ｄビデオの走査によって求められ、コンテンツ作成中にフレーム毎の深度の最大値が計算される。工程５６で、新たなテキスト・ボックスが、フレームの最大深度値に深度値が等しいサブタイトル場所で挿入され、工程５８で、サブタイトルが２Ｄ画像４４に加えられる。この処理は、サブタイトルについて規定された時間間隔の持続時間について行われる。工程５６及び５８は何れの順序でも行うことができ、同時に行うことが望ましいことがあり得る。
【００３３】
次に図５を参照すれば、オンライン挿入処理６０を示す本願明細書及び特許請求の範囲のフローチャートを示す。オンライン処理では、サブタイトルの場所は事前に分からず、よって、サブタイトルの深度値はオフライン処理５２について説明したやり方と同じやり方で求めることが可能でない。工程６２では、サブタイトルのテキストが入力されると、サブタイトルの開始フレームの深度マップをラスタ走査して最大深度値を求め、工程６４で、サブタイトル・テキストが最大深度値で挿入され、工程６６で、サブタイトルが２Ｄ画像に加えられる。工程６４及び６６は何れの順序でも行うことができ、同時に行うことが望ましいことがあり得る。その後、工程６８で、更なる処理リソースが存在しているか否かについての判定が行われる。工程７０では、利用可能な処理に応じて、サブタイトルは、更なる処理が利用可能でない場合に第１のフレーム深度値に固定され得るか、又は、後続フレームの深度値は、更なる処理が利用可能な場合に、オンライン処理工程６２乃至６６を繰り返すことによって求めることが可能である。
【００３４】
次に図６を参照すれば、サブタイトルを挿入した２Ｄ画像の処理７２を示す本願明細書及び特許請求の範囲のフローチャートを示す。３Ｄコンテンツが２Ｄコンテンツから変換されたかのようにサブタイトルが２Ｄ画像において既に挿入されているケースが存在している。前述のケースの場合、サブタイトルの場所は、工程７４で、テクチャ及び色情報を使用してフレーム内のサブタイトル領域を検出し、位置特定することができるサブタイトル領域検出器によって識別することが可能である。サブタイトル領域検出は、ビデオ処理研究において活発な研究の方向である。現在の文献によれば、ニュース・ビデオなどの一部のビデオの場合、サブタイトル領域検出器は、９５％を上回る局所化精度を達成することが可能である。したがって、サブタイトル領域検出器は、３Ｄサブタイトル挿入に対して信頼度が十分高くなるべきである。工程７４で、サブタイトル領域が局所化され（すなわち、テキスト・ボックスの座標が求められ）、工程７６で、サブタイトル・テキストを画像から分離する（すなわち、サブタイトルの特定の画素が求められる）と、工程７８で、サブタイトル開始フレームの深度マップをサーチ（例えば、ラスタ走査）して最大深度値を求める。次いで、工程８０で、サブタイトル・テキストが最大深度値で挿入される。その後、図５に示すオンライン挿入処理工程６６−７０を施すことができる。
【００３５】
次に図７を参照すれば、本明細書及び特許請求の範囲は、立体コンテンツ８２も包含するよう拡張することが可能である。立体コンテンツの場合、左眼画像又は右眼画像は、立体画像内の最大深度値に一致するようシフトされる。例えば、テキスト８８は、左眼画像８４内では固定であり得るが、右眼画像８６内では調節又は変更することができる。右眼画像８６内のテキスト９０のばらつきは、双眼写真の視差に比例する。視差値は、深度値に反比例する。
【００３６】
眼におけるばらつきは、水平方向のシフトである。多くのアプリケーションの場合、（画面のテキスト外の）負のシフトが好ましい。しかし、本明細書及び特許請求の範囲は、テキストの負のシフト及び正のシフトを可能にする。最小許容シフト値は視覚的に許容可能な最大の正の値に等しく、最大許容シフト値は視覚的に許容可能な最大の負の値に等しい。図７は、右眼画像８６内のテキスト９０のシフト値が１０画素である双眼写真の例を示す。
【００３７】
本明細書及び特許請求の範囲によれば、３Ｄコンテンツの最大深度値にテキストがしばしば、又は連続して位置するように、テキストを３Ｄコンテンツ（例えば、立体コンテンツ又は２Ｄ画像及び関連深度マップ）と合成することが望ましい。以下に、３Ｄコンテンツから深度情報を獲得するためのいくつかの手法を更に説明する。
【００３８】
深度情報の獲得は、アクティブ手法又はパッシブ手法を使用して行うことが可能である。パッシブ手法は、通常の照明状態下で得られた画像又はビデオから３Ｄ幾何構造を獲得する。３Ｄ幾何構造は、画像及びビデオから抽出された幾何学的な特徴又は測光上の特徴を使用して計算される。アクティブ手法は、レーザ、構造光、又は赤外光などの特殊な光源を使用し、表面上に投影された特殊な光に対するシーン及び物体の応答に基づいて幾何構造を計算する。
【００３９】
単一ビュー手法は、単一のカメラ視点から撮られた一画像を使用して３Ｄ幾何構造を回復する。例には、デフォーカスからの深度及び測光立体視が含まれる。マルチビュー手法は、物体の動きから生じたか、又は別々の光源位置によって生じた、複数のカメラ視点から撮られた複数の画像から３Ｄ幾何構造を回復する。立体照合は、双眼写真における左画像及び右画像における画素を照合して画素の深度情報を得るためのマルチビュー３Ｄ回復の例である。
【００４０】
幾何学的手法は、単一の画像又は複数の画像における隅部、線や、輪郭などの幾何学的特徴を検出することにより、３Ｄ幾何構造を回復する。抽出された隅部、線、及び輪郭の間の空間的関係は、画像内の画素の３Ｄ座標を推定するために使用することが可能である。測光手法は、シーン表面の向きによって生じる画像パッチのシェーディング又はシャドウーに基づいて３Ｄ幾何構造を回復する。
【００４１】
本明細書及び特許請求の範囲の適用について、考えられる３つのタイプのコンテンツ（すなわち、コンピュータによって生成されたコンテンツ、立体コンテンツ及び２Ｄコンテンツ）が存在している。動画などに使用されるコンピュータ生成コンテンツの場合、深度情報は、非常に限定された処理で利用可能である。立体コンテンツの場合、右画像及び左画像は、左画像内の画素を右画像内の画素と照合することにより、深度を生成するために使用することが可能である。最も複雑なケースは、２Ｄコンテンツのケースである。最新の手法は、広範囲にわたる手作業処理を伴い、よって、オフラインで行うことが必要である。ディジタル映画のアプリケーションの場合、２Ｄコンテンツは、ディジタル映画館における再生のために双眼写真に変換される。双眼写真が獲得されると、立体手法は、深度マップを得るよう使用することが可能である。一般に、サブタイトル・アプリケーションの場合、非常に精度が高く、密度の高い深度マップは通常、必要でない。
【００４２】
本明細書及び特許請求の範囲の教示を組み入れた実施例を本明細書、特許請求の範囲及び図面に示し、説明しているが、当業者は、前述の教示をなお組み入れた種々の他の多くの実施例を容易に考え出すことが可能である。最適画像データ分割手法を備えたネットワーク・コンピューティング環境における並列画像処理のシステム及び方法の好ましい実施例（例証的であり、限定的でないことを意図している）を説明してきたが、修正及び変形は、前述の教示によって、当該技術分野における当業者によって行うことが可能である。したがって、本明細書及び特許請求の範囲開示の特定の実施例において、特許請求の範囲記載の本発明の範囲の範囲内に収まる変更を行うことができる。
【図１】
2010521738.tif 000003
【図２】
2010521738.tif 000004
【図３】
2010521738.tif 000005
【図４】
2010521738.tif 000006
【図５】
2010521738.tif 000007
【図６】
2010521738.tif 000008
【図７】
2010521738.tif 000009
【国際調査報告】
2010521738.tif 000010
2010521738.tif 000011
2010521738.tif 000012