(57)【要約】【課題】3D映像に重畳して表示される文字情報を、視聴者にストレスを与えることなく提示する。【解決手段】文字情報制御装置２であって、3D映像の左眼映像と右眼映像との変化する映像視差を算出する視差算出手段２４と、3D映像に重畳して表示される文字情報の視差を、前記算出した映像視差以上となるように映像視差に応じて決定し、決定した視差が生じる表示位置に左右の文字情報を制御する制御情報を設定した文字情報ファイルを生成する制御手段２５と、3D映像の左眼映像および右眼映像と、前記文字情報ファイルとを多重する多重手段２６と、を有する。【選択図】図２
2014003419.tif 000002
【特許請求の範囲】
【請求項１】
3D映像の左眼映像と右眼映像との変化する映像視差を算出する視差算出手段と、
3D映像に重畳して表示される文字情報の視差を、前記算出した映像視差以上となるように映像視差に応じて決定し、決定した視差が生じる表示位置に左右の文字情報を制御する制御情報を設定した文字情報ファイルを生成する制御手段と、
前記3D映像の左眼映像および右眼映像と、前記文字情報ファイルとを多重する多重手段と、を有すること
を特徴とする文字情報制御装置。
【請求項２】
請求項１記載の文字情報制御装置であって、
前記制御手段は、前記映像視差と所定の基準値とを比較し、前記映像視差が前記基準値を超えない場合は、前記文字情報の視差を前記基準値とし、前記映像視差が前記基準値を超える場合、前記映像視差以上となるように、前記映像視差に応じて前記文字情報の視差を増加させること
を特徴とする文字情報制御装置。
【請求項３】
請求項１記載の文字情報制御装置であって、
前記制御手段は、前記映像視差以上となるように、次の映像カット点まで前記映像視差に応じて前記文字情報の視差を増加させ、次の映像カット点での映像視差が当該映像カット点の文字情報の視差より小さい場合、前記文字情報の視差を当該映像カット点の映像視差と等しくすること
を特徴とする文字情報制御装置。
【請求項４】
制御装置が行う文字情報の制御方法であって、
3D映像の左眼映像と右眼映像との変化する映像視差を算出する算出ステップと、
3D映像に重畳して表示される文字情報の視差を、前記算出した映像視差以上となるように映像視差に応じて決定し、決定した視差が生じる表示位置に左右の文字情報を制御する制御情報を設定した文字情報ファイルを生成する制御ステップと、
前記3D映像の左眼映像および右眼映像と、前記文字情報ファイルとを多重する多重ステップと、を行うこと
を特徴とする文字情報制御方法。
【請求項５】
請求項４記載の文字情報制御方法であって、
前記制御ステップは、前記映像視差と所定の基準値とを比較し、前記映像視差が前記基準値を超えない場合、前記文字情報の視差を前記基準値とし、前記映像視差が前記基準値を超える場合、前記映像視差以上となるように、前記映像視差に応じて前記文字情報の視差を増加させること
を特徴とする文字情報制御方法。
【請求項６】
請求項４記載の文字情報制御方法であって、
前記制御ステップは、前記映像視差以上となるように、次の映像カット点まで前記映像視差に応じて前記文字情報の視差を増加させ、次の映像カット点での映像視差が当該映像カット点の文字情報の視差より小さい場合、前記文字情報の視差を当該映像カット点の映像視差と等しくすること
を特徴とする文字情報制御方法。
【請求項７】
請求項４から請求項６のいずれか１項に記載の文字情報制御方法を、コンピュータに実行させるための文字情報制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、3D映像において表示される字幕や文字スーパーなどの文字情報を制御する文字情報制御装置、文字情報制御方法、および文字情報制御プログラムに関する。
【背景技術】
【０００２】
2010年に世界的に脚光を浴びた3D映画の上映を皮切りに、昨今では一般家庭向けの3D映像対応のテレビが開発・販売されており、現在一般家庭向けのVOD、多チャンネル放送等の3D映像配信サービスが始まっている。
【０００３】
一方で、字幕や文字スーパーなどの文字情報の2D映像への多重化については、MPEG2-TS方式を採用している地デジ放送時にはすでに確立されており、一般社団法人電波産業会が標準規格（ARIB STD-B24）を定めている。3D映像配信サービスの開始にあたって、3D映像への文字情報の多重方法についても検討が進められている（非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「フルHD 3Dを実現するBlu-ray 3DTM規格」、小川、澤田、金丸、チェン、Panasonic Technical Journal, Vol.56, No.4, Jan. 2011
【発明の概要】
【発明が解決しようとする課題】
【０００５】
3D映像に文字情報を多重して表示する場合、映像が文字情報よりも飛び出していると視聴者は焦点を映像に合わせ、文字情報に焦点を合わせることが困難であるため、映像と文字情報が干渉し、視聴者に負担をかけてしまう。
【０００６】
非特許文献１では、字幕・メニュー用プレーンに適用するシフト量のデータとしてオフセット値を記載している。しかしながら、非特許文献１では、オフセット値にどのような値を設定するのかについては言及していなく、文字情報と映像の干渉を防ぐ具体的な方法は提示されていない。これにより字幕に焦点が合わないことで視聴者にストレスを与えてしまう場合や、文字スーパーで表示される重要な速報（地震速報や選挙速報）が視聴者に伝わらない場合などがある。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、3D映像に重畳して表示される文字情報を、視聴者にストレスを与えることなく提示する文字情報制御装置、文字情報制御方法、および文字情報制御プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明は、3D映像の左眼映像と右眼映像との変化する映像視差を算出する視差算出手段と、3D映像に重畳して表示される文字情報の視差を、前記算出した映像視差以上となるように映像視差に応じて決定し、決定した視差が生じる表示位置に左右の文字情報を制御する制御情報を設定した文字情報ファイルを生成する制御手段と、前記3D映像の左眼映像および右眼映像と、前記文字情報ファイルとを多重する多重手段と、を有する文字情報制御装置。
【０００９】
本発明は、制御装置が行う文字情報の制御方法であって、3D映像の左眼映像と右眼映像との変化する映像視差を算出する算出ステップと、3D映像に重畳して表示される文字情報の視差を、前記算出した映像視差以上となるように映像視差に応じて決定し、決定した視差が生じる表示位置に左右の文字情報を制御する制御情報を設定した文字情報ファイルを生成する制御ステップと、前記3D映像の左眼映像および右眼映像と、前記文字情報ファイルとを多重する多重ステップと、を行う。
【００１０】
本発明は、前記文字情報制御方法を、コンピュータに実行させるための文字情報制御プログラムである。
【発明の効果】
【００１１】
本発明によれば、3D映像に重畳して表示される文字情報を、視聴者にストレスを与えることなく提示する文字情報制御装置、文字情報制御方法、および文字情報制御プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】3D映像と文字情報の関係を説明するための説明図である。
【図２】本発明の実施形態に係るシステムの全体構成を示す図である。
【図３】文字情報の制御過程を説明するための説明図である。
【図４】文字情報ESの構成を示す図である。
【図５】文字情報制御装置の動作を示すフローチャートである。
【図６】映像の視差と、文字情報の視差との関係を示すグラフである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１４】
図１は、3D映像と文字表示の関係について説明するための説明図である。ここで同じ絵が、２つずつずれて描画されているのは、3D映像の左眼映像及び右眼映像が重なっているためである。いわば、3Dテレビで表示されるコンテンツを、3D対応メガネなしで視聴したイメージである。
【００１５】
図１に示す例では、１０１は、3D映像の表示画面であって、１０２は、左右２つの映像（左眼映像および右眼映像）の差である視差（映像視差）である。視差の大きさにより、画面（ディスプレイ）からの飛び出し量、引っ込み量などの立体度が変わる。１０３は、文字スーパーであって、ここでは画面上部に速報として表示されている。１０４は、字幕であって。ここでは画面下部に表示されている。文字スーパー１０３および字幕１０４についても、左右２つの文字情報（左眼文字情報および右眼文字情報）の差である視差を与えることで、画面から飛び出して見せることができる。
【００１６】
図２は、本発明の実施形態に係るシステムの構成図である。本実施形態のシステムは、コンテンツ配信サーバ１と、文字情報制御装置２とを有し、各種コンテンツを配信先３に配信する。コンテンツの配信先３としては、例えば、地上波、BS、CS、IP放送など様々なものが考えられる。
【００１７】
コンテンツ配信サーバ１は、コンテンツを配信するサーバであって、映像音声情報入力部１１と、文字情報入力部１２と、コンテンツ配信部１３と、連携IF部１４とを備える。映像音声情報入力部１１は、映像情報及び音声情報が含まれるコンテンツ（例えば、3D映像コンテンツなど）を入力する。ここでは、映像音声情報が外部から入力されるように記載しているが、映像音声情報入力部１１内にコンテンツが蓄積されていてもよい。
【００１８】
文字情報入力部１２は、コンテンツに重畳して表示する文字情報（例えば、字幕、文字スーパーなど）を入力する。ここでは、文字情報が外部から入力されるように記載しているが、文字情報入力部１２内に文字情報が蓄積されていてもよい。コンテンツ配信部１３は、コンテンツを配信先３に配信する。図２では、コンテンツ配信部１３を便宜上簡略化して示しているが、タイムスタンプ付与、多重化などの配信機能についても具備している。連携IF部１４は、文字情報制御装置２と連携するための通信インターフェースである。なお、コンテンツ配信サーバ１は、詳細には上記以外にも様々な機能ブロックを備えるが、本発明においては重要ではないため簡略化している。
【００１９】
文字情報制御装置２は、連携IF部２１と、demux部２２と、デコード部２３と、視差計算部２４と、文字情報制御部２５と、mux部２６と、作業メモリバッファ２７とを備える。連携IF部２１は、コンテンツ配信サーバ１と連携するための通信インターフェースである。連携IF部２１を通じて、コンテンツ配信サーバ１とコンテンツの送受信を行う。demux部２２は、連携IF部２１を介して入力された3D映像コンテンツを、左眼映像、右眼映像、音声等の構成要素に分離する。デコード部２３は、左眼映像および右眼映像をそれぞれ復号する。視差計算部２４は、デコード部２３で復号された左眼映像および右眼映像を比較し、映像の視差を計算する。3D映像の視差は、再生時間とともに動的に変化するため、視差計算部２４は、所定の単位（例えば、フレーム単位）で視差を算出する。
【００２０】
文字情報制御部２５は、連携IF部２１を介して入力された文字情報を複製し、視差計算部２４で計算された視差に基づいて適切に表示位置をずらすことで、それぞれの文字情報に視差を与え、符号化する。視差の与え方については後述する。mux部２６は、demux部２２で分離された左眼映像、右眼映像および音声と、文字情報制御部２５で制御された文字情報とを多重する。作業メモリバッファ２７は、各部２１〜２６が作業を行う際に使用するメモリである。
【００２１】
上記説明した、コンテンツ配信サーバ１および文字情報制御装置２は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各装置の各機能が実現される。例えば、コンテンツ配信サーバ１および文字情報制御装置２の各機能は、コンテンツ配信サーバ１用のプログラムの場合はコンテンツ配信サーバ１のＣＰＵが、そして、文字情報制御装置２用のプログラムの場合は文字情報制御装置２のＣＰＵがそれぞれ実行することにより実現される。また、コンテンツ配信サーバ１用のプログラムおよび文字情報制御装置２用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【００２２】
図３は、3D映像コンテンツに文字情報を多重した配信コンテンツの生成過程を説明するための説明図である。
【００２３】
3D映像コンテンツ３０１は、コンテンツ配信サーバ１の映像音声情報入力部１１により入力される映像ソースである。図示する3D映像コンテンツ３０１は、TS（Transport Stream）ファイルであって、音声ES（Elementary Stream）３０２と、左眼映像ES３０３と、右眼映像ES３０４とが含まれる。
【００２４】
文字情報制御装置２のdemux部２２は、連携IF部２１を介してコンテンツ配信サーバ１から3D映像コンテンツ３０１を受け取り、当該3D映像コンテンツ３０１を分離し、各ES（音声ES３０２、左眼映像ES３０３、右眼映像ES３０４）を抽出する（Ｓ１１）。ここで分離された各ESは、3D映像コンテンツ３０１の各ES３０２〜３０４と同じものである。
【００２５】
そして、文字情報制御装置２のデコード部２３は、分離された左眼映像ES３０３および右眼映像ES３０４をそれぞれ復号し、復号後の左眼映像ES３０５および右眼映像ES３０６を生成する（Ｓ１２）。そして、文字情報制御装置２の視差計算部２４は、復号後の左眼映像ES３０５と右眼映像ES３０６とを比較し、両者の視差を算出・測定する（Ｓ１３）。なお、図１に示すように、表示される映像の中に複数の物体が存在する場合、最大の視差を算出する。また、3D映像の視差は、時間とともに動的に変動するため、所定の間隔（例えば、ｎフレーム単位：ｎ≦１の整数）で随時、算出する。
【００２６】
一方、文字情報制御装置２の文字情報制御部２５は、連携IF部２１を介してコンテンツ配信サーバ１から文字情報３０７を受け取り、当該文字情報３０７を複製して、左眼文字情報３０８および右眼文字情報３０９を生成する（Ｓ１４）。左眼文字情報３０８および右眼文字情報３０９は、文字情報３０７と同じものである。
【００２７】
そして、文字情報制御部２５は、Ｓ１３で算出・測定した視差の値に基づいて、3D映像に重畳して表示される左眼文字情報３０８および右眼文字情報３０９の視差を決定し、決定した視差が生じるように表示位置を制御する制御情報をそれぞれ文字情報３０８、３０９に付加し、符号化した左眼文字情報ES３１０および右眼文字情報ES３１１（文字情報ファイル）を生成する（Ｓ１５）。制御情報は、例えば、決定した視差が再生時に画面上で生じるように制御するための、左右の文字情報のそれぞれの表示位置（アドレス）、または文字情報の表示領域からの左または右へのシフト量などが考えられる。また、文字情報の視差は、Ｓ１３で算出した動的に変化する映像の視差に対応するものであって、映像の視差と同様の所定の間隔で、随時決定される。本実施形態では、Ｓ１３で算出した映像の視差以上となるように（映像の視差を下回らないように）、文字情報の視差を決定する。これにより、3D映像に重畳して表示される文字情報を、3D映像より手前に（視聴者側に）表示することができる。
【００２８】
図４は、左眼文字情報ES３１０または右眼文字情報ES３１１の具体的な構成例を示す図である。PES（Packetized Elementary Stream）は、ESをパケット化したものである。なお、文字情報の表示位置を制御する制御情報は、例えば、８単位文字符号データ４０１に設定することが考えられる。
【００２９】
そして、文字情報制御装置２のmux部２６は、Ｓ１５で表示位置の制御情報が付加され、符号化された左眼文字情報ES３１０および右眼文字情報ES３１１と、Ｓ１１で分離された音声ES３０２、左眼映像ES３０３および右眼映像ES３０４とを多重して、配信コンテンツ３１２（TSファイル）を生成する。
【００３０】
このようにして生成された配信コンテンツ３１２は、連携IF部２１を介してコンテンツ配信サーバ１に送信され、コンテンツ配信サーバ１が各種の配信先３に配信する。配信先３を通じて配信コンテンツを受信した受信端末は、配信コンテンツの文字情報ES３１０、３１１に付加された制御情報に従って文字情報を表示することで、映像の視差以上の視差を文字情報に与え、映像より手前に（視聴者側に）文字情報を表示し、視聴者にストレスを与えることなく文字情報を提示することができる。
【００３１】
図５は、本実施形態の文字情報制御装置２の動作を示すフローチャートである。なお、図５は、図３の説明図をフローチャートにしたものである。
【００３２】
まず、文字情報制御装置２のdemux部２２は、コンテンツ配信サーバ１から受け取った3D映像コンテンツを、音声ES、左眼映像ES、右眼映像ESに分離する。デコード部２３は、分離した左眼映像ESおよび右眼映像ESを復号する（Ｓ２１）。視差計算部２４は、復号後の左眼映像ESと右眼映像ESの最大の視差Pmovを算出する（Ｓ２２）。また、文字情報制御部２５は、コンテンツ配信サーバ１から文字情報を受け取り、当該文字情報を左眼文字情報および右眼文字情報に複製する（Ｓ２３）。そして、文字情報制御部２５は、Ｓ２２で算出した映像の視差の値に基づいて、文字情報の表示位置をずらし適切な視差を与える制御情報を左右の文字情報にそれぞれ付加し、符号化した左眼文字情報ESおよび右眼文字情報ESを生成する（Ｓ２４）。ここで文字情報の視差については、Pcharとする。
【００３３】
そして、mux部２６は、Ｓ２４で制御情報が付加され、符号化された左眼文字情報ESおよび右眼文字情報ESと、Ｓ２１で分離された音声ES、左眼映像ESおよび右眼映像ESとを多重して配信コンテンツ（TSファイル）を生成し、連携IF部２１を介してコンテンツ配信サーバに転送し（Ｓ２５）、処理を終了する。
【００３４】
次に、本実施形態の文字情報の視差の決定方法について説明する。
【００３５】
図６は、映像の最大視差（Pmov）と、文字情報に与える視差（Pchar）との関係を示すグラフである。図示するグラフの横軸は、3D映像コンテンツ内の時間、縦軸は視差である。ここでは、文字情報制御装置２の視差計算部２４が文字情報の視差Pcharを決定する２つの方法について説明する。両方法ともに、決定する視差については融合限界を超えないものとし、
Pmov≦Pchar      [0＜t＜∞]
を前提条件とする。すなわち、文字情報の視差は、映像の視差以上となるように（映像の視差を下回らないように）決定する。なお、グラフの横軸のt1、t2は、映像のカット点（映像のつなぎ目）であると仮定する。
【００３６】
［第１の方法（特異点対処法）］
第１の方法は、映像視差Pmovと所定の視差基準値Pr（図示するグラフにおいては、2%）とを比較し、映像視差Pmovが視差基準値Prを超えない場合は、文字情報の視差Pcharを視差基準値Prに決定し、映像視差Pmovが視差基準値Prを超える場合は、文字情報の視差Pcharを映像視差Pmov以上となるように、映像視差Pmovに応じて文字情報の視差Pcharを増加させる。ここでは、映像視差Pmovが視差基準値Prを超える場合は、文字情報の視差Pcharを映像視差Pmovと等しくする。
【００３７】
また、文字情報が大きく飛び出し続ける状況を防ぐために、次の映像カット点にて映像視差Pmovが視差基準値Prより小さい値を取った場合は、文字情報の視差Pcharを視差基準値Prまで減少させる。
【００３８】
例えば、図示するグラフの様な視差Pmovの推移を示す映像の場合、文字情報制御部２５は、文字情報の視差Pcharを下記のように設定する。
【００３９】
（ｉ）カット点t0〜t1においては、PmovがPrを上回っていないため、Pchar＝Prとする。
【００４０】
（ii）カット点t1〜t2においては、PmovがPrを上回りはじめる特異点tsから、Pchar＝PmovとなるようにPcharを増加させる。図示するグラフのように、Pmovが極大値に達し、その後減少し始めてもPcharはその時点の値（極大値）を、映像における次のカット点まで維持し続けることとしてもよい。これは、文字情報の視差Pcharの増減を繰り返すことで生じる恐れのある視聴者のストレス（3D酔いなど）を防止するためである。
【００４１】
（iii）カット点t2の段階で、PmovとPrとを比較し、Pmov＜Prである場合はPchar＝Prまで減少させる。
【００４２】
［第２の方法（最大値更新法）］
第２の方法は、第１の方法のように視差基準値を設けるのではなく、より単純に映像視差Pmovを下回らないよう文字情報の視差Pcharを更新し続けていく方法である。すなわち、映像視差Pmov以上となるように、次のカット点まで映像視差Pmovに応じて文字情報の視差Pcharを増加させる。そして、文字情報が大きく飛び出し続ける状況を防ぐために、次のカット点での映像視差Pmovが、その時点での文字情報の視差Pcharより小さい場合、文字情報の視差Pcharを当該時点の映像視差Pmovと等しい値まで減少する。
【００４３】
例えば、図示するグラフの様な視差Pmovの推移を示す映像の場合、文字情報制御部２５は、文字情報の視差Pcharを下記のように設定する。
【００４４】
（ｉ）カット点t0〜t1においては、Pmov≦PcharとなるようにPcharを増加させる。本実施形態では、次のカット点t1が来るまでPcharは減少せず、Pmovに合わせて増加し続ける。
【００４５】
（ii）カット点t1〜t2においては、t1の時点でPmovとPrとを比較し、Pmov＜Pcharとなっているため、PcharをPmovの値まで減少させる。その後については（ｉ）と同様にPmovに合わせて常に増加させる。
【００４６】
（iii）カット点t2の段階で、PmovとPrとを比較し、Pmov＜Pcharとなっているため、PcharをPmovの値まで減少させる。その後の制御については（ｉ）と同様にPmovに合わせて常に増加させる。
【００４７】
以上説明した本実施形態では、3D映像に重畳されて表示される文字情報が、映像より手前に表示されるような視差を、計算によって得られる映像の視差に基づいて柔軟（動的）に決定し、文字情報に付与する。このように、適切な文字情報の視差を与えることにより、3D映像に重畳して表示される文字情報を、視聴者にストレスを与えることなく提示するとともに、文字情報を迅速に視聴者に伝え、文字情報と映像の干渉を防止することができる。
【００４８】
具体的には、3D映像に表示される文字情報が、映像によって見えづらくなってしまうという状況を回避し、視聴者に対して伝えなければいけない優先度の高い情報をどのような3D映像であっても埋もれさせることなく伝えることができるようになる。これによって、ストレスなく、安全に3D映像を視聴者に提供することができる。また、3D映像配信/放送の視聴者にとっての敷居を低くし、3D映像の普及を促進することが可能になる。
【００４９】
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記実施形態では、映像に対して文字情報の飛び出しを大きくする方式について述べたが、逆に文字情報が大きく飛び出しすぎている場合に飛び出しを小さくすることで、文字情報を見やすくするといった応用も可能である。
【符号の説明】
【００５０】
１  ：コンテンツ配信サーバ
１１：映像音声情報入力部
１２：文字情報入力部
１３：コンテンツ配信部
１４：連携IF部
２  ：文字情報制御装置
２１：連携IF部
２２：demux部
２３：デコード部
２４：視差計算部
２５：文字情報制御部
２６：mux部
２７：作業メモリバッファ  
【図１】
2014003419.tif 000003
【図２】
2014003419.tif 000004
【図３】
2014003419.tif 000005
【図４】
2014003419.tif 000006
【図５】
2014003419.tif 000007
【図６】
2014003419.tif 000008