(57)【要約】      （修正有）【課題】クローズドキャプションと映像中の重要領域との重なりを確実に回避する。【解決手段】入力された映像データを記憶する映像記憶手段と、前記映像データ用のクローズドキャプションデータを記憶するクローズドキャプション記憶手段と、前記映像記憶手段から映像データを読み出して、同一内容のクローズドキャプションが表示される時間内の映像データから所定の重要領域とその移動域を算出し、それら以外の領域に前記クローズドキャプションを表示可能な表示位置を計算する映像解析手段と、前記クローズドキャプションの表示位置を用いて前記クローズドキャプションデータを再生成するクローズドキャプションデータ再生成手段と、再生成後のクローズドキャプションデータに基づくクローズドキャプションを前記映像データに合成した映像データを出力する映像・クローズドキャプション合成手段とを有する。【選択図】図１
2013247611.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像データを記憶する映像記憶手段と、
前記映像データ用のクローズドキャプションデータを記憶するクローズドキャプション記憶手段と、
前記映像記憶手段から映像データを読み出して、同一内容のクローズドキャプションが表示される時間内の映像データから所定の重要領域とその移動域を算出し、それら以外の領域に前記クローズドキャプションを表示可能な表示位置を計算する映像解析手段と、
前記クローズドキャプションの表示位置を用いて前記クローズドキャプションデータを再生成するクローズドキャプションデータ再生成手段と、
再生成後のクローズドキャプションデータに基づくクローズドキャプションを前記映像データに合成した映像データを出力する映像・クローズドキャプション合成手段と、
を有することを特徴とする字幕放送出力装置。
【請求項２】
前記映像解析手段は、
前記時間内の映像データから複数の処理対象フレームを決定する対象フレーム算出手段と、
前記複数の処理対象フレームから前記重要領域をそれぞれ算出する重要領域算出手段と、
算出された全ての重要領域を合算し、クローズドキャプション非表示領域とするクローズドキャプション非表示領域算出手段と、
前記クローズドキャプション非表示領域以外の領域に前記クローズドキャプションを表示可能な表示位置を決定するクローズドキャプション新位置情報算出手段と、
を有することを特徴とする請求項１記載の字幕放送出力装置。
【請求項３】
コンピュータにより、
入力された映像データを映像記憶手段に記憶する映像記憶ステップと、
前記映像データ用のクローズドキャプションデータをクローズドキャプション記憶手段に記憶するクローズドキャプション記憶ステップと、
前記映像記憶手段から映像データを読み出して、同一内容のクローズドキャプションが表示される時間内の映像データから所定の重要領域とその移動域を算出し、それら以外の領域に前記クローズドキャプションを表示可能な表示位置を計算する映像解析ステップと、
前記クローズドキャプションの表示位置を用いて前記クローズドキャプションデータを再生成するクローズドキャプションデータ再生成ステップと、
再生成後のクローズドキャプションデータに基づくクローズドキャプションを前記映像データに合成した映像データを出力する映像・クローズドキャプション合成ステップと、
を有することを特徴とする字幕放送出力方法。
【請求項４】
前記映像解析ステップは、
前記時間内の映像データから複数の処理対象フレームを決定する対象フレーム算出ステップと、
前記複数の処理対象フレームから前記重要領域をそれぞれ算出する重要領域算出ステップと、
算出された全ての重要領域を合算し、クローズドキャプション非表示領域とするクローズドキャプション非表示領域算出ステップと、
前記クローズドキャプション非表示領域以外の領域に前記クローズドキャプションを表示可能な表示位置を決定するクローズドキャプション新位置情報算出ステップと、
を有することを特徴とする請求項３記載の字幕放送出力方法。
【請求項５】
請求項３又は４記載の字幕放送出力方法をコンピュータに実行させることを特徴とする字幕放送出力プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕放送を出力する技術に関する。
【背景技術】
【０００２】
テレビの字幕放送には、オープンキャプションとクローズドキャプションの２種類がある。オープンキャプションは、映像信号に予め含まれた状態で送信されるテロップ等の文字情報であり、受信機側でその表示非表示を選択等制御することはできない。これに対しクローズドキャプションは、映像信号とは別に同期的に送信される文字情報であることから、受信機であるデジタルテレビでその制御が可能であり、オンオフ操作に応じて映像に重ねて表示又は非表示することができる。
【０００３】
クローズドキャプションの表示方法は、放送波に含まれる字幕信号（クローズドキャプションデータ）内の文字表示情報（文字コード、フォントサイズ、文字色、表示位置等）に基づいて決定される。特にその表示位置は、映像にオープンキャプションが含まれる場合、そのオープンキャプションと重ならないように指定される。例えば、画面下部にオープンキャプションが含まれる映像の場合、クローズドキャプションを画面中央に表示するような位置座標が指定されている（非特許文献１参照）。
【０００４】
また、字幕が生放送中にリアルタイム生成・送信されるような場合には、不適切な位置座標の指定により、それら２つのキャプションが重なることもある。このような場合、放送波に含まれる字幕信号を受信機側で受信したタイミングで、その時点の画像情報に対してＯＣＲ処理を行い、クローズドキャプションの表示位置を自動変更することにより、その重なりを回避することができる（特許文献１参照）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２０８０１４号公報
【非特許文献】
【０００６】
【非特許文献１】門馬隆雄、外３名、「オフライン字幕制作実用システムにおける自動整形技術の開発」、2003年映像メディア学会冬季大会
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、それら２種類のキャプションの重なりを回避することにより、クローズドキャプションが映像中の重要領域（被写体の顔等）に重なってしまうため、視聴ユーザに対してかえって煩わしさを感じさせてしまうという問題があった。
【０００８】
このような問題に対し、クローズドキャプションを表示する際に重要領域を考慮することも考えらえられる。しかし、同一内容のクローズドキャプションは一定時間継続して表示される（例えば、映像中で発話された内容や発せられた効果音が、その発話者が発話している間や効果音が続いている間、数秒間に渡って表示される）ことから、その時間内に表示される映像データのうち先頭フレーム内の重要領域への重畳は回避できるものの、図６に示すように、同時間内で重要領域Ｒが移動する（Ｒａ→Ｒｂ→Ｒｃ）ことにより、クローズドキャプションＣＣが重要領域Ｒに重なってしまう可能性がある。
【０００９】
本発明は、上記を鑑みてなされたものであり、その課題とするところは、クローズドキャプションと映像中の重要領域との重なりを確実に回避することにある。
【課題を解決するための手段】
【００１０】
請求項１記載の字幕放送出力装置は、入力された映像データを記憶する映像記憶手段と、前記映像データ用のクローズドキャプションデータを記憶するクローズドキャプション記憶手段と、前記映像記憶手段から映像データを読み出して、同一内容のクローズドキャプションが表示される時間内の映像データから所定の重要領域とその移動域を算出し、それら以外の領域に前記クローズドキャプションを表示可能な表示位置を計算する映像解析手段と、前記クローズドキャプションの表示位置を用いて前記クローズドキャプションデータを再生成するクローズドキャプションデータ再生成手段と、再生成後のクローズドキャプションデータに基づくクローズドキャプションを前記映像データに合成した映像データを出力する映像・クローズドキャプション合成手段と、を有することを特徴とする。
【００１１】
請求項２記載の字幕放送出力装置は、請求項１記載の字幕放送出力装置において、前記映像解析手段は、前記時間内の映像データから複数の処理対象フレームを決定する対象フレーム算出手段と、前記複数の処理対象フレームから前記重要領域をそれぞれ算出する重要領域算出手段と、算出された全ての重要領域を合算し、クローズドキャプション非表示領域とするクローズドキャプション非表示領域算出手段と、前記クローズドキャプション非表示領域以外の領域に前記クローズドキャプションを表示可能な表示位置を決定するクローズドキャプション新位置情報算出手段と、を有することを特徴とする。
【００１２】
請求項３記載の字幕放送出力方法は、コンピュータにより、入力された映像データを映像記憶手段に記憶する映像記憶ステップと、前記映像データ用のクローズドキャプションデータをクローズドキャプション記憶手段に記憶するクローズドキャプション記憶ステップと、前記映像記憶手段から映像データを読み出して、同一内容のクローズドキャプションが表示される時間内の映像データから所定の重要領域とその移動域を算出し、それら以外の領域に前記クローズドキャプションを表示可能な表示位置を計算する映像解析ステップと、前記クローズドキャプションの表示位置を用いて前記クローズドキャプションデータを再生成するクローズドキャプションデータ再生成ステップと、再生成後のクローズドキャプションデータに基づくクローズドキャプションを前記映像データに合成した映像データを出力する映像・クローズドキャプション合成ステップと、を有することを特徴とする。
【００１３】
請求項４記載の字幕放送出力方法は、請求項３記載の字幕放送出力方法において、前記映像解析ステップは、前記時間内の映像データから複数の処理対象フレームを決定する対象フレーム算出ステップと、前記複数の処理対象フレームから前記重要領域をそれぞれ算出する重要領域算出ステップと、算出された全ての重要領域を合算し、クローズドキャプション非表示領域とするクローズドキャプション非表示領域算出ステップと、前記クローズドキャプション非表示領域以外の領域に前記クローズドキャプションを表示可能な表示位置を決定するクローズドキャプション新位置情報算出ステップと、を有することを特徴とする。
【００１４】
請求項５記載の字幕放送出力プログラムは、請求項３又は４記載の字幕放送出力方法をコンピュータに実行させることを特徴とする。
【００１５】
以上より、本発明によれば、同一内容のクローズドキャプションが表示される時間内の映像データから所定の重要領域とその移動域を算出し、それら以外の領域にクローズドキャプションを出力させるため、クローズドキャプションと映像中の重要領域との重なりを確実に回避することができる。
【発明の効果】
【００１６】
本発明によれば、クローズドキャプションと映像中の重要領域との重なりを確実に回避することができる。
【図面の簡単な説明】
【００１７】
【図１】字幕放送出力装置の機能ブロック構成を示す図である。
【図２】映像解析部の機能ブロック構成を示す図である。
【図３】映像解析部の動作を説明する際の参照図である。
【図４】字幕放送出力例（クローズドキャプションが１つ）を示すである。
【図５】字幕放送出力例（クローズドキャプションが複数）を示すである。
【図６】従来の字幕放送出力例を示すである。
【発明を実施するための形態】
【００１８】
本発明は、記憶手段に一旦記憶された映像データ及びクローズドキャプションデータを利用し、クローズドキャプション表示時間内に流れる映像の重要度が高い領域とその移動域を算出し、その領域を避けてクローズドキャプションを画面に出力することを主たる特徴とする。
【００１９】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２０】
図１は、本実施の形態に係る字幕放送出力装置１００の機能ブロック構成を示す図である。本字幕放送出力装置１００は、入力された映像データを記憶する映像記憶部１１と、その映像データ用のクローズドキャプションデータを記憶するクローズドキャプション記憶部１２と、同一内容のクローズドキャプションが表示される時間内の映像データから所定の重要領域とその移動域を算出し、それら以外の画面領域にクローズドキャプションを表示可能な表示位置を計算する映像解析部１３と、計算されたクローズドキャプションの表示位置を用いてクローズドキャプションデータを再生成するクローズドキャプションデータ再生成部１４と、再生成後のクローズドキャプションデータに基づくクローズドキャプションを映像データに合成した映像データを画面に出力する映像・クローズドキャプション合成部１５と、を主に備える。
【００２１】
尚、本字幕放送出力装置１００は、例えばデジタルテレビ上で動作可能であって、メモリ等の記憶手段、ＣＰＵ等の計算・制御手段、モニタ等の画面表示手段を具備するコンピュータで実現できる。また、本装置１００を構成する上記各機能部１１〜１５の処理はプログラムによって実行される。
【００２２】
次に、字幕放送出力装置１００の動作を説明する。
【００２３】
最初に、映像記憶部１１により、字幕放送出力装置１００に入力された映像データが記憶され、クローズドキャプション記憶部１２により、その映像データの入力と共に入力された当該映像データ用のクローズドキャプションデータが記憶される（ステップＳ１０１）。
【００２４】
次に、映像解析部１３により、映像記憶部１１とクローズドキャプション記憶部１２から映像データとクローズドキャプションデータがそれぞれ読み出され、同じ内容のクローズドキャプションが表示される時間（以下、ＣＣ区間）毎に各ＣＣ区間内の映像データから重要領域がそれぞれ算出され、その算出結果に基づいて各ＣＣ区間内でのクローズドキャプションの表示位置がそれぞれ決定される（ステップＳ１０２）。
【００２５】
ここで、図２と図３を参照しながら本ステップの処理を以下詳述する。図２は、映像解析部１３の機能ブロック構成を示す図である。図３は、映像解析部１３の動作を説明する際の参照図である。
【００２６】
まず、対象フレーム算出部１３ａにより、クローズドキャプション記憶部１２から出力されたＣＣ区間情報に基づいて各ＣＣ区間に対応するフレームが映像データから割り出され、その中から処理対象とされる複数のフレームが決定される（ステップＳ１０２−１）。尚、本処理対象フレームは、ＣＣ区間内の全てのフレームを対象としてもよいし、例えば１秒毎や０．５秒毎の各フレームを対象として選定してもよい。
【００２７】
次に、重要領域算出部１３ｂにより、処理対象とされた複数のフレームから映像の重要度が高い領域がそれぞれ算出される（ステップＳ１０２−２）。尚、本重要領域は任意であるが、例えば、被写体の顔領域やオープンキャプションの表示領域が例とされる。
【００２８】
被写体の顔領域を算出する方法としては、例えば、顔の向きに応じた特徴量を抽出しておき、その特徴量を用いて入力画像内の領域と類似度計算を行い、その計算結果に基づいて入力画像内の顔領域を認識する方法がある（特開２００９−１５７７６６号公報参照）。
【００２９】
また、オープンキャプションの表示領域を算出する方法としては、例えば、映像データ中の個々の文字表示シーンから文字らしさ特徴を計算し、その文字らしさ特徴に対応するパラメータセットを用いて文字を認識する方法がある（特開２００７−１６４２５３号公報参照）。通常、オープンキャプションの表示位置は映像表示中に変化しないことから、例えば、画面枠から内側の一定幅内をその表示領域としてもよい。
【００３０】
尚、それら重要領域の算出方法は例であって、映像中に表示される特定の画像パターンを検出できる方法であればよい。
【００３１】
次に、クローズドキャプション非表示領域算出部１３ｃにより、処理対象フレーム毎に算出された全ての重要領域が合わせられ、クローズドキャプション非表示領域とされる（ステップＳ１０２−３）。
【００３２】
次に、クローズドキャプション新位置情報算出部１３ｄにより、クローズドキャプション非表示領域以外の画像領域の中からクローズドキャプションを表示可能な位置座標が決定され、クローズドキャプション新位置情報としてＣＣ区間情報と共にクローズドキャプションデータ再生成部１４に送信される（ステップＳ１０２−４）。
【００３３】
尚、その新たな位置座標を決定する方法は、クローズドキャプション非表示領域を避けるように表示可能であれば、その具体的方法は問わない。例えば、後述の図４や図５に示すように、予め指定された位置の上方もしくは下方に決定する方法等が考えられる。
【００３４】
次に、図１に戻り、クローズドキャプションデータ再生成部１４により、映像解析部１３から出力されたクローズドキャプションの表示位置と、クローズドキャプション記憶部１２から出力されたクローズドキャプションデータとを用いて、クローズドキャプションデータが再生成される（ステップＳ１０３）。
【００３５】
具体的には、例えば、クローズドキャプションデータには文字表示情報（文字コード、フォントサイズ、文字色、表示位置等）が含まれることから、その文字表示情報内の表示位置が映像解析部１３からの表示位置に更新される。
【００３６】
最後に、映像・クローズドキャプション合成部１５により、再生成後のクローズドキャプションデータに基づいて表示されるクローズドキャプションが映像記憶部１１から出力された映像データに合成され、その合成された新たな映像データが画面に出力される（ステップＳ１０４）。
【００３７】
以上説明した映像解析部１３の処理は、字幕放送出力装置１００内に映像データとクローズドキャプションデータを最初から最後まで全て記憶し終えてから開始してもよいし、それら各データの一部が記憶された際に所定のタイミングで逐次開始してもよい。
【００３８】
特に後者の場合、まず、映像記憶部１１にＴ秒分の映像データを記録できる記憶域を設けておく。ｉ番目のＣＣ区間の開始点をＳｉ秒、終止点をＥｉ秒とすると、そのＴの値をＥｉ−Ｓｉ≦Ｔとなるように設定すれば、時刻ｔ＝Ｅｉの時にＳｉからＥｉの映像データが映像記憶部に記録１１されていることになる。
【００３９】
そして、映像解析部１３は、クローズドキャプション記憶部１２から受け取ったｉ番目のＣＣ区間情報をもとに時刻ｔがＥｉとなった時に、ＳｉからＥｉ内のフレームに対して上記の処理を開始する。
【００４０】
この後者の方式を例えばデジタルテレビ放送に適用すると、通常、クローズドキャプションの表示時間は長くても１０秒程度であるため、例えばＴ＝１５秒等と決めることができる。この場合、利用者は対象番組の終了を待つことなく、実際の放送時刻より１５秒程度の遅れで映像中に含まれるテロップや被写体の顔部分等、映像の重要度が高い領域とその移動域を避けたクローズドキャプション表示により対象の番組映像を視聴することができる。
【００４１】
以上説明した処理動作によれば、図４や図５に示すように、ＣＣ区間内において重要領域ＲがＲａ→Ｒｂ→Ｒｃに移動しても、クローズドキャプションＣＣが当該重要領域Ｒに重畳することを回避することが可能となる。
【００４２】
すなわち、本実施の形態によれば、同一内容のクローズドキャプションが表示されるＣＣ区間内の映像データから所定の重要領域とその移動域を算出し、それら以外の領域にクローズドキャプションを画面に出力させるので、クローズドキャプションと映像中の重要領域（人間の顔等の動きのある領域）との重なりを確実に回避することができる。
【符号の説明】
【００４３】
１００…字幕放送出力装置
１１…映像記憶部
１２…クローズドキャプション記憶部
１３…映像解析部
１３ａ…対象フレーム算出部
１３ｂ…重要領域算出部
１３ｃ…クローズドキャプション非表示領域算出部
１３ｄ…クローズドキャプション新位置情報算出部
１４…クローズドキャプションデータ再生成部
１５…映像・クローズドキャプション合成部
Ｓ１０１〜Ｓ１０４、Ｓ１０２−１〜Ｓ１０２−４…ステップ
【図１】
2013247611.tif 000003
【図２】
2013247611.tif 000004
【図３】
2013247611.tif 000005
【図４】
2013247611.tif 000006
【図５】
2013247611.tif 000007
【図６】
2013247611.tif 000008