(57)【特許請求の範囲】
【請求項１】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定し、
前記判定により特定された方向に対して前記テロップの移動量推定処理を行うことにより、該テロップの移動ベクトルを算出し、
前記テロップ移動方向の判定は、
フレーム画像を二値化して、二値化画像を導出するステップと、
前記二値化画像の出現パタンを解析し、テロップ移動方向を判定するステップとを含むテロップ移動ベクトル算出方法。
【請求項２】
前記フレーム画像をエッジ検出することにより、前記二値化画像を導出することを特徴とする請求項１に記載のテロップ移動ベクトル算出方法。
【請求項３】
前記フレーム画像と、時間的に近接するフレーム画像の画素値の差分を求め、閾値処理することにより前記二値化画像を導出することを特徴とする請求項１に記載のテロップ移動ベクトル算出方法。
【請求項４】
前記フレーム画像の輝度、色相、彩度のいずれかひとつ又はその組み合わせの値を求め、閾値処理することにより前記二値化画像を導出することを特徴とする請求項１に記載のテロップ移動ベクトル算出方法。
【請求項５】
前記二値化画像の画素値を縦軸及び横軸に射影し、その分布を解析することにより前記二値化画像の出現パタンの解析を行うことを特徴とする請求項１〜３のいずれか１項に記載のテロップ移動ベクトル算出方法。
【請求項６】
前記二値化画像の画素を、当該二値化画像内の上下端または左右端の一定幅内に関してのみ縦軸及び横軸に射影し、その分布を解析することにより出現パタン解析を行うことを特徴とする請求項５に記載のテロップ移動ベクトル算出方法。
【請求項７】
前記フレーム画像に対応する前記二値化画像と、時間的に異なる複数の近接フレーム画像に対応する二値化画像に対し、二値化された画素の重心の位置情報を 二値化画像毎に導出し、その移動ベクトルを解析することにより出現パタン解析を行うことを特徴とする請求項１〜４のいずれか１項に記載のテロップ移動ベクトル算出方法。
【請求項８】
前記二値化画像中の値が縦方向に１画素ずつ交互に現れる領域を求め、当該領域の二値化画素値の出現パタン解析を横方向に行うことを特徴とする請求項４に記載のテロップ移動ベクトル算出方法。
【請求項９】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定し、
前記判定により特定された方向に対して前記テロップの移動量推定処理を行うことにより、該テロップの移動ベクトルを算出し、
前記テロップ移動方向の判定は、
前記映像からフレーム画像を生成するステップと、
前記フレーム画像から奇数ライン及び偶数ラインのみで構成されるフィールド画像を生成するステップと、
前記フレーム画像に対し、テロップ候補部となるエッジ成分を算出してフレームテロップ候補エッジ画像を生成するステップと、
前記フィールド画像に対し、テロップ候補部となるエッジ成分を算出してフィールドテロップ候補エッジ画像を生成するステップと、
前記フレームテロップ候補エッジ画像のエッジ画素数と前記フィールドテロップ候補エッジ画像のエッジ画素数を比較するステップと、
前記エッジ画素数の比較結果に基づいて移動方向を判定するステップとを含むテロップ移動ベクトル算出方法。
【請求項１０】
前記フレーム画像に対し、縦方向のエッジ成分のみを算出してフレームテロップ候補エッジ画像を生成し、
前記フィールド画像に対し、縦方向のエッジ成分のみを算出してフィールドテロップ候補エッジ画像を生成することを特徴とする請求項９に記載のテロップ移動ベクトル算出方法。
【請求項１１】
前記フレーム画像と、時間的に近接するフレーム画像の各々から検出されるエッジ画素を用いて、前記フレーム画像のエッジ画素を除去して、前記フレームテロップ候補エッジ画像を生成し、
前記フィールド画像と、前記時間的に近接するフレーム画像から生成されるフィールド画像の各々から検出されるエッジ画素を用いて、前記フィールド画像の エッジ画素を除去して、前記フィールドテロップ候補エッジ画像を生成することを特徴とする請求項９又は１０に記載のテロップ移動ベクトル算出方法。
【請求項１２】
フィールド画像を縦方向に補間した少なくとも１つのフレーム画像サイズの画像に対してエッジ検出を行い、フィールドテロップ候補エッジ画像を生成することを特徴とする請求項９又は１０に記載のテロップ移動ベクトル算出方法。
【請求項１３】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定し、
前記判定により特定された方向に対して前記テロップの移動量推定処理を行うことにより、該テロップの移動ベクトルを算出し、
前記テロップ移動方向の判定は、
フレーム画像の縦方向に対し、周期が２画素の矩形波パタンを持つフィルタを用いて、縦方向に画素値が１画素ずつ高低を繰り返す領域を抽出し、フィルタリング処理結果を出力するステップと、
前記フィルタリング処理結果に対して横方向の出現パタン解析を行い、テロップの移動方向を判定するステップを有するテロップ移動ベクトル算出方法。
【請求項１４】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定し、
前記判定により特定された方向に対して前記テロップの移動量推定処理を行うことにより、該テロップの移動ベクトルを算出し、
前記テロップ移動方向の判定は、
フレーム画像と、時間的に異なる複数の近接フレーム画像のうち、２フレーム画像ずつ画素値の差分を順次算出し、複数のフレーム間差分画像を導出するステップと、
前記複数のフレーム間差分画像に対して、画素値の絶対値の総和を画素毎に算出し、フレーム間累積差分画像を導出するステップと
前記フレーム間累積差分画像の画像値を解析し、テロップ移動方向を判定するステップを含むテロップ移動ベクトル算出方法。
【請求項１５】
前記フレーム間累積差分画像の画素値を縦軸及び横軸に射影し、その分布を解析することにより画像値解析を行うことを特徴とする請求項１４に記載のテロップ移動ベクトル算出方法。
【請求項１６】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定し、
前記判定により特定された方向に対して前記テロップの移動量推定処理を行うことにより、該テロップの移動ベクトルを算出し、
入力される映像が圧縮映像であり、
前記テロップ移動方向の判定は、
圧縮映像データ内に含まれるヘッダー情報を抽出するステップと、
抽出された前記ヘッダー情報を解析するステップと、
前記ヘッダー情報の解析結果に基づいて、移動方向を判定するステップを含むテロップ移動ベクトル算出方法。
【請求項１７】
前記テロップ移動方向の判定で、方向が１つ又は複数の方向に特定されなかった場合は、あらかじめ定めた方向に対して移動量推定処理を行うことにより、テロップの移動ベクトルを算出する請求項１〜１６のいずれか１項に記載のテロップ移動ベクトル算出方法。
【請求項１８】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定する移動方向判定手段と、
前記移動方向判定手段により特定された方向に対して前記テロップの移動量推定処理を行うことにより、前記テロップの移動ベクトルを算出する移動ベクトル算出手段と、
を備え、
前記移動方向判定手段は、
フレーム画像を二値化して二値化画像を導出する二値化処理手段と、
前記二値化画像の出現パタンを解析し、テロップ移動方向を判定する二値化画素出現パタン解析手段を有するテロップ移動ベクトル算出装置。
【請求項１９】
前記二値化処理手段は、前記フレーム画像をエッジ検出することにより、前記二値化画像を導出するフレームエッジ画像生成手段を有する請求項１８に記載のテロップ移動ベクトル算出装置。
【請求項２０】
前記二値化処理手段は、
前記フレーム画像と、時間的に近接するフレーム画像の画素値の差分を求めるフレーム間差分画像生成手段と、
前記フレーム間差分画像生成手段により生成されたフレーム間差分画像を閾値処理することにより前記二値化画像を導出するフレーム間差分画像閾値処理手段とを有する請求項１８に記載のテロップ移動ベクトル算出装置。
【請求項２１】
前記二値化処理手段は、
前記フレーム画像の輝度、色相、彩度のいずれかひとつ又はその組み合わせの値を求める輝度色相彩度変換手段と、
前記輝度色相彩度変換手段により生成された輝度、色相、彩度のいずれかひとつ又はその組み合わせの値を閾値処理することにより前記二値化画像を導出する輝度色相彩度閾値処理手段とを有する請求項１８に記載のテロップ移動ベクトル算出装置。
【請求項２２】
前記二値化画像の画素値を縦軸及び横軸に射影する二値化画像射影手段と、
前記二値化画像射影手段により射影された画素値の分布を解析することにより前記二値化画像の出現パタンの解析を行う二値化画像分布解析手段とを有する請求項１９〜２１のいずれか１項に記載のテロップ移動ベクトル算出装置。
【請求項２３】
前記二値化画像の画素を、当該二値化画像内の上下端または左右端の一定幅内に関してのみ縦軸及び横軸に射影し、その分布を解析することにより出現パタン解析を行うことを特徴とする請求項２２に記載のテロップ移動ベクトル算出装置。
【請求項２４】
前記フレーム画像に対応する前記二値化画像と、時間的に異なる複数の近接フレーム画像に対応する二値化画像に対し、二値化された画素の重心の位置情報を二値化画像毎に導出する二値化画素重心算出手段と、
前記二値化画素重心算出手段により導出された二値化された画素の重心の移動ベクトルを解析することにより出現パタン解析を行う重心位置動き解析手段とを有する請求項１８〜２１のいずれか１項に記載のテロップ移動ベクトル算出装置。
【請求項２５】
前記二値化画像中の値が縦方向に１画素ずつ交互に現れる領域を求める縦方向二値交互出現領域探索手段と、
前記縦方向二値交互出現領域探索手段により求められた領域の二値化画素値の出現パタン解析を横方向に行う横方向出現値化移籍手段とを有する請求項２１に記載のテロップ移動ベクトル算出装置。
【請求項２６】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定する移動方向判定手段と、
前記移動方向判定手段により特定された方向に対して前記テロップの移動量推定処理を行うことにより、前記テロップの移動ベクトルを算出する移動ベクトル算出手段と、
を備え、
前記移動方向判定手段は、
前記映像からフレーム画像を生成するフレーム画像生成手段と、
前記フレーム画像から奇数ライン及び偶数ラインのみで構成されるフィールド画像を生成するフィールド画像生成手段と、
前記フレーム画像に対し、テロップ候補部となるエッジ成分を算出してフレームテロップ候補エッジ画像を生成するフレームテロップ候補エッジ画像生成手段と、
前記フィールド画像に対し、テロップ候補部となるエッジ成分を算出してフィールドテロップ候補エッジ画像を生成するフィールドテロップ候補エッジ画像生成手段と、
前記フレームテロップ候補エッジ画像のエッジ画素数と前記フィールドテロップ候補エッジ画像のエッジ画素数を比較するエッジ画素数比較手段と、
前記エッジ画素数の比較結果に基づいて移動方向を判定する判定手段とを含むテロップ移動ベクトル算出装置。
【請求項２７】
前記フレーム画像に対し、縦方向のエッジ成分のみを算出してフレームテロップ候補エッジ画像を生成し、
前記フィールド画像に対し、縦方向のエッジ成分のみを算出してフィールドテロップ候補エッジ画像を生成することを特徴とする請求項２６に記載のテロップ移動ベクトル算出装置。
【請求項２８】
前記フレームテロップ候補エッジ画像生成手段は、
前記フレーム画像と、時間的に近接するフレーム画像の各々から検出されるエッジ画素を用いて、前記フレーム画像のエッジ画素を除去して、前記フレームテロップ候補エッジ画像を生成する静止物体フレームエッジ画像画素除去手段を有し、
前記フィールドテロップ候補エッジ画像生成手段は、
前記フィールド画像と、前記時間的に近接するフレーム画像から生成されるフィールド画像の各々から検出されるエッジ画素を用いて、前記フィールド画像の エッジ画素を除去して、前記フィールドテロップ候補エッジ画像を生成する静止物体フィールドエッジ画像画素除去手段を有する請求項２６又は２７に記載のテロップ移動ベクトル算出装置。
【請求項２９】
前記フィールドテロップ候補エッジ画像生成手段は、
フィールド画像を縦方向に補間するフィールド画像縦方向補間手段と、
フィールド画像縦方向補間手段により補間した少なくとも１つのフレーム画像サイズの画像に対してエッジ検出を行い、フィールドテロップ候補エッジ画像を生成する縦方向補間フィールド画像エッジ検出手段を有する請求項２６又は２７に記載のテロップ移動ベクトル算出装置。
【請求項３０】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定する移動方向判定手段と、
前記移動方向判定手段により特定された方向に対して前記テロップの移動量推定処理を行うことにより、前記テロップの移動ベクトルを算出する移動ベクトル算出手段と、
を備え、
前記移動方向判定手段は、
フレーム画像の縦方向に対し、周期が２画素の矩形波パタンを持つフィルタを用いて、縦方向に画素値が１画素ずつ高低を繰り返す領域を抽出し、フィルタリング処理結果を出力するフィルタリング処理手段と、
前記フィルタリング処理結果に対して横方向の出現パタン解析を行い、テロップの移動方向を判定するフィルタリング処理出力値パタン解析手段を有するテロップ移動ベクトル算出装置。
【請求項３１】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定する移動方向判定手段と、
前記移動方向判定手段により特定された方向に対して前記テロップの移動量推定処理を行うことにより、前記テロップの移動ベクトルを算出する移動ベクトル算出手段と、
前記移動方向判定手段は、
フレーム画像と、時間的に異なる複数の近接フレーム画像のうち、２フレーム画像ずつ画素値の差分を順次算出し、複数のフレーム間差分画像を導出するフレーム間差分画像算出手段と、
前記複数のフレーム間差分画像に対して、画素値の絶対値の総和を画素毎に算出し、フレーム間累積差分画像を導出するフレーム間累積差分画像算出手段と、
前記フレーム間累積差分画像の画像値を解析し、テロップ移動方向を判定する判定手段とを備えるテロップ移動ベクトル算出装置。
【請求項３２】
前記判定手段は、
前記フレーム間累積差分画像の画素値を縦軸及び横軸に射影するフレーム間累積差分画像射影手段と、
前記フレーム間累積差分画像射影手段により射影された画素値の分布を解析することにより画像値解析を行うフレーム間累積差分画像分布解析手段とを有する請求項３１に記載のテロップ移動ベクトル算出装置。
【請求項３３】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向を上下左右の４方向のいずれかから判定する移動方向判定手段と、
前記移動方向判定手段により特定された方向に対して前記テロップの移動量推定処理を行うことにより、前記テロップの移動ベクトルを算出する移動ベクトル算出手段と、を備え、
前記入力される映像は圧縮映像であり、
前記移動方向判定手段は、
圧縮映像データ内に含まれるヘッダー情報を抽出するヘッダー情報抽出手段と、
前記ヘッダー情報抽出手段で得られた前記ヘッダー情報を解析するヘッダー情報解析手段と、
前記ヘッダー情報解析手段の解析結果に基づいて、移動方向を判定する判定手段を備えるテロップ移動ベクトル算出装置。
【請求項３４】
前記テロップ移動方向の判定で、方向が１つ又は複数の方向に特定されなかった場合は、あらかじめ定めた方向に対して移動量推定処理を行うことにより、テロップの移動ベクトルを算出する請求項１８〜３３のいずれか１項に記載のテロップ移動ベクトル算出装置。
【請求項３５】
入力される映像に対し、移動量成分の算出とは独立に、テロップ移動方向の判定を行い、
前記判定により特定された方向に対して前記テロップの移動量推定処理を行うことにより、該テロップの移動ベクトルを算出するステップを含む処理をコンピュータに実行させ、
前記テロップ移動方向の判定では、
フレーム画像を二値化して、二値化画像を導出するステップと、
前記二値化画像の出現パタンを解析し、テロップ移動方向を判定するステップとを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テロップ移動ベクトル算出方法、装置及びプログラムを格納する記録媒体に関し、特に、映像コンテンツ中に重畳された動きを伴いながら表示されるテロップ（移動テロップ）の検出・認識において、該テロップの移動ベクトルを算出する方法、装置、及びプログラムを格納する記録媒体に関する。
【背景技術】
【０００２】
従来、映像コンテンツ中に重畳された、動きを伴いながら表示されるテロップの検出・認識においては、各フレーム画像のテロップ周辺から抽出される特徴量を用いて算出されるテロップ移動ベクトルに基づいた方法が数多く提案されている。例えば、特許文献１では、テロップ移動方向を一方向に仮定して、その方向に対するテロップ移動量を推定することで、テロップ移動ベクトルが算出される。これはテロップ移動方向が既知であることが前提であり、テロップ移動方向が既知でない場合は、そのまま適用することができない。【０００３】
一方、特許文献２では、テロップ移動方向が既知でない場合、想定される全てのテロップ移動方向を対象としてテロップ検出処理を行い、検出が成功した場合にのみ、その結果を採用する方式が提案されている。この方式では、フレーム画像に対して想定される全ての方向に探索を行い、その中で最適な方向を決定している。
【特許文献１】特許第３４３９１０５号公報
【特許文献２】特開２００７−６２１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
映像コンテンツ中に重畳されたテロップの移動方向が既知でない場合、従来の方式は、テロップ移動方向の判定とテロップ移動量の推定を同時に行っている。この方式は、移動テロップの移動ベクトル算出の際、全ての方向について探索を行うため、算出処理時間がかかるという問題点があった。【０００５】
本発明は、このような事情を背景としてなされたものであり、本発明の目的は、映像コンテンツ中に重畳された移動テロップの移動ベクトル算出処理を高速化することができるテロップ移動ベクトル算出方法、装置及びプログラムを格納する記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様に係るテロップ移動ベクトル算出方法は、入力される映像に対しテロップ移動方向の判定を行い、前記判定により特定された方向に対して前記テロップの移動量推定処理を行うことにより、該テロップの移動ベクトルを算出する。【０００７】
本発明の一態様に係るテロップ移動ベクトル算出装置は、入力される映像に対し、テロップ移動方向の判定を行う移動方向判定手段と、前記移動方向判定手段により特定された方向に対して前記テロップの移動量推定処理を行うことにより、前記テロップの移動ベクトルを算出する移動ベクトル算出手段とを備えるものである。【０００８】
本発明の一態様に係るテロップ移動ベクトル算出プログラムを格納する記録媒体は、入力される映像に対しテロップ移動方向の判定を行い、前記判定により特定された方向に対して前記テロップの移動量推定処理を行うことにより、該テロップの移動ベクトルを算出するステップを含む処理をコンピュータに実行させるものである。
【発明の効果】
【０００９】
本発明によれば、映像コンテンツ中に重畳された移動テロップの移動ベクトル算出処理を高速化することができるテロップ移動ベクトル算出方法、装置及びプログラムを格納する記録媒体を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係るテロップ移動ベクトル算出装置の概略構成を示すブロック図である。
【図２】テロップ移動方向判定手段の構成例を示すブロック図である。
【図３】第１の実施の形態に係るテロップ移動ベクトル算出方法を説明するためのフローチャートである。
【図４】フレームテロップ候補エッジ画像生成手段の一例を示すブロック図である。
【図５】フレームテロップ候補エッジ画像生成手段の一例を示すブロック図である。
【図６】フィールドテロップ候補エッジ画像生成手段の一例を示すブロック図である。
【図７】フィールドテロップ候補エッジ画像生成手段の一例を示すブロック図である。
【図８】フィールドテロップ候補エッジ画像生成手段の一例を示すブロック図である。
【図９】第１の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図１０】第１の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図１１】第１の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図１２】第２の実施の形態におけるテロップ移動方向判定手段の構成例を示すブロック図である。
【図１３】第２の実施の形態に係るテロップ移動ベクトル算出方法を説明するためのフローチャートである。
【図１４】二値化処理手段の一例を示すブロック図である。
【図１５】第２の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図１６】二値化処理手段の一例を示すブロック図である。
【図１７】第２の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図１８】二値化処理手段の一例を示すブロック図である。
【図１９】第２の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図２０】二値化画素出現パタン解析手段の一例を示すブロック図である。
【図２１】第２の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図２２】二値化画素出現パタン解析手段の一例を示すブロック図である。
【図２３】第２の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図２４】二値化画素出現パタン解析手段の一例を示すブロック図である。
【図２５】第２の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図２６】第３の実施の形態におけるテロップ移動方向判定手段の構成例を示すブロック図である。
【図２７】第３の実施の形態に係るテロップ移動ベクトル算出方法を説明するためのフローチャートである。
【図２８】第４の実施の形態におけるテロップ移動方向判定手段の構成例を示すブロック図である。
【図２９】第４の実施の形態に係るテロップ移動ベクトル算出方法を説明するためのフローチャートである。
【図３０】画像値解析手段の一例を示すブロック図である。
【図３１】第４の実施の形態におけるテロップ移動方向判定処理の一例を示すフローチャートである。
【図３２】第５の実施の形態におけるテロップ移動方向判定手段の構成例を示すブロック図である。
【図３３】第５の実施の形態に係るテロップ移動ベクトル算出方法を説明するためのフローチャートである。
【符号の説明】
【００１１】
１１  映像入力手段
１２  テロップ移動方向判定手段
１３  テロップ移動ベクトル算出手段
１４  テロップ移動ベクトル出力手段
１０１  フレーム画像生成手段
１０２  フィールド画像生成手段
１０３  フレームテロップ候補エッジ画像生成手段
１０４  フィールドテロップ候補エッジ画像生成手段
１０５  エッジ画素数比較手段
１０６  エッジ画素数比較結果閾値判定手段
１００１  フレームエッジ画像生成手段
１００２  フレームエッジ画像記憶手段
１００３  静止物体フレームエッジ画素除去手段
１１０１  フィールドエッジ画像生成手段
１１０２  フィールドエッジ画像記憶手段
１１０３  静止物体フィールドエッジ画素除去手段
１２０１  フィールド画像縦方向補間手段
１２０２  縦方向補間フィールド画像エッジ検出手段
２０１  二値化処理手段
２０２  二値化画素出現パタン解析手段
２００１  フレーム画像記憶手段
２００２  フレーム間差分画像生成手段
２００３  フレーム間差分画像閾値処理手段
２１０１  輝度色相彩度変換手段
２１０２  輝度色相彩度閾値処理手段
２２０１  二値化画像射影手段
２２０２  二値化画像分布解析手段
２３０１  二値化画素重心算出手段
２３０２  重心算出結果記憶手段
２３０３  重心位置動き解析手段
２４０１  縦方向二値交互出現領域探索手段
２４０２  横方向出現値解析手段
３０１  フィルタリング処理手段
３０２  フィルタリング処理出力値パタン解析手段
４０１  フレーム間差分画像記憶手段
４０２  フレーム間累積差分画像生成手段
４０３  画像値解析手段
３００１  フレーム間累積差分画像和射影手段
３００２  フレーム間累積差分画像分布解析手段
５０１  ヘッダー情報抽出手段
５０２  ヘッダー情報記憶手段
５０３  ヘッダー情報解析手段
【発明を実施するための最良の形態】
【００１２】
第１の実施の形態．
本発明の第１の実施の形態に係るテロップ移動ベクトル算出装置について、図１を参照して説明する。図１は、本実施の形態に係るテロップ移動ベクトル算出装置の概略構成を示すブロック図である。図１に示すように、本発明に係るテロップ移動ベクトル算出装置は、処理対象の映像データを入力する映像入力手段１１、映像入力手段１１から入力される映像データ中に重畳されたテロップのテロップ移動方向を判定するテロップ移動方向判定手段１２、テロップ移動方向判定手段１２で判定されたテロップ移動方向の情報を用いてテロップ移動ベクトルを算出するテロップ移動ベクトル算出手段１３、テロップ移動ベクトル算出手段１３で算出されたテロップ移動ベクトルを出力するテロップ移動ベクトル出力手段１４を備えている。【００１３】
映像入力手段１１では、圧縮された映像、あるいは該映像を復号した映像のデータが、映像データとして入力される。圧縮された映像のデータが入力される場合、その圧縮形式はＭＰＥＧでも良いし、Ｈ．２６４でも良い。【００１４】
テロップ移動方向判定手段１２は、映像入力手段１１から入力される映像データに対し、該映像データ中に重畳されたテロップのテロップ移動方向をフレーム画像単位で判定して、そのフレーム画像単位のテロップ移動方向に関する情報を出力する。テロップ移動方向の判定に際し、高い確度でのテロップ移動方向判定が困難である場合、そのフレーム画像におけるテロップ移動方向は「判定不可」としても良い。この場合は、判定不可を通知する情報を出力する。【００１５】
また、映像中に重畳されるテロップは、その移動方向が特定の方向に限定される場合が多いため、一例として、縦又は横の二方向に限定して判定しても良い。この場合は、縦、横の二方向を識別する情報を出力する。あるいは、判定不可を含んで、縦、横、判定不可の３つを識別する情報であっても良い。テロップの移動の向きを事前に仮定できる場合には、その情報を出力してもよい。すなわち、判定不可を含んで、上、下、左、右、判定不可の５つを識別する情報であっても良い。本手段は、例えば、あらかじめ定められたルールにて動作するプログラムを搭載したＣＰＵにより実現される。テロップ移動方向判定手段１２の詳細については後述する。【００１６】
テロップ移動ベクトル算出手段１３は、映像入力手段１１から入力される映像データに対しテロップ移動方向判定手段１２から出力されるフレーム画像単位のテロップ移動方向の情報を用いて、該テロップ移動方向に対してのみ同一テロップの位置の探索を行い、テロップの移動量を推定する処理を行うことで、テロップ移動ベクトルをフレーム単位で算出する。一例として、縦方向を示す情報が入力された時には、縦方向のみの探索を行う。また、テロップの移動の向きを事前に仮定でき、一方向のみを示す情報が入力された時は、該方向のみの探索を行う。例えば、上方向が指定された時には、下方向の移動は考慮せず上方向のみを探索すれば良い。テロップ移動方向判定手段１２から出力されるテロップ移動方向の情報が「判定不可」である場合は、特定の方向だけではなく、全ての方向に対して移動量を推定する処理を行うことにより、テロップ移動ベクトルを算出する。本手段は例えば、あらかじめ定められたルールにて動作するプログラムを搭載したＣＰＵにより実現される。【００１７】
テロップ移動ベクトル出力手段１４では、テロップ移動ベクトル算出手段１３で算出されたフレーム画像単位でのテロップ移動ベクトルに関して、その向き（テロップ移動方向）とその大きさ（テロップ移動量）に関する情報を出力する。例えば、本発明がプログラムとして実装されており、後段の処理を行うプログラムにメモリを介して情報を通知する場合には、テロップ移動ベクトル出力手段１４は移動ベクトルに関する情報をメモリに出力する。【００１８】
次に、図２を参照して、テロップ移動方向判定手段１２について詳述する。図２は、本実施の形態におけるテロップ移動方向判定手段１２の構成例を示すブロック図である。図２に示すように、テロップ移動方向判定手段１２は、フレーム画像生成手段１０１、フィールド画像生成手段１０２、フレームテロップ候補エッジ画像生成手段１０３、フィールドテロップ候補エッジ画像生成手段１０４、エッジ画素数比較手段１０５、エッジ画素数比較結果閾値判定手段１０６を備える。【００１９】
フレーム画像生成手段１０１は、映像入力手段１１から入力される映像データから、フレーム画像を生成する。映像データが圧縮映像である場合には該圧縮映像を復号し、フレーム画像の構築を行う。映像データがすでに復号化された非圧縮映像である場合には、抽出によりフレーム画像の構築を行う。フィールド画像生成手段１０２は、フレーム画像生成手段１０１からフレーム画像を受け取り、該フレーム画像の奇数ライン及び偶数ラインのみで構成される画像（フィールド画像）を生成する。【００２０】
フレームテロップ候補エッジ画像生成手段１０３は、フレーム画像生成手段１０１からフレーム画像を受け取り、該フレーム画像に対してテロップ候補部となるエッジ成分を算出し、フレームテロップ候補エッジ画像を生成する。フレームテロップ候補エッジ画像生成手段１０３のより詳細な説明は後述する。フィールドテロップ候補エッジ画像生成手段１０４は、フィールド画像生成手段１０２からフィールド画像を受け取り、該フィールド画像に対してテロップ候補部となるエッジ成分を算出し、フィールドテロップ候補エッジ画像を生成する。フィールドテロップ候補エッジ画像生成手段１０４のより詳細な説明は後述する。【００２１】
エッジ画素数比較手段１０５は、フレームテロップ候補エッジ画像生成手段１０３から受け取るフレームテロップ候補エッジ画像と、フィールドテロップ候補エッジ画像生成手段１０４から受け取るフィールドテロップ候補エッジ画像について、その２つの画像のエッジ画素数を比較する。エッジ画素数比較手段１０５は、例えばフレームテロップ候補エッジ画像のエッジ画素数に対するフィールドテロップ候補エッジ画像のエッジ画素数の割合による比較が可能である。フレームテロップ候補エッジ画像生成手段１０３とフィールドテロップ候補エッジ画像生成手段１０４では、該フレーム画像及びフィールド画像に対してテロップ候補部となる縦方向のエッジ成分のみを算出し、フレームテロップ候補エッジ画像及びフィールドテロップ候補エッジ画像を生成することも可能である。その場合、エッジ画素数比較手段１０５では、該フレーム画像及びフィールド画像における縦方向のエッジ成分が算出された画素数の比較を行う。【００２２】
エッジ画素数比較結果閾値判定手段１０６は、エッジ画素数比較手段１０５によって得られる比較結果を閾値処理し、その結果に応じてテロップ移動方向を判定する。例えば、テロップ移動方向が縦か横の２方向のみであり、フレームテロップ候補エッジ画像のエッジ画素数に対するフィールドテロップ候補エッジ画像のエッジ画素数の割合に対して閾値処理を行う場合、閾値以上であればテロップ移動方向は横、閾値よりも低ければテロップ移動方向は縦と判定する。これは、テロップ移動方向が横である場合、フレームテロップ候補エッジ画像中の縦方向のエッジ成分が検出される画素数が少なくなることによる。【００２３】
ここで、図３を参照して、本実施の形態に係るテロップ移動ベクトル算出方法について説明する。図３は、本実施の形態に係るテロップ移動ベクトル算出方法を説明するためのフローチャートである。図３においては、図１に示した映像入力手段１１、テロップ移動方向判定手段１２、テロップ移動ベクトル算出手段１３、テロップ移動ベクトル出力手段１４を含めた、第１の実施の形態に係るテロップ移動ベクトル算出装置全体の処理フローを示す。【００２４】
図３に示すように、まず、Ｓ１１において映像データが入力され（Ｓ１０１）、フレーム総数ＮＥＮＤ分の映像データが取得される（Ｓ１０２）。このとき、処理済フレーム数は、Ｎ＝０である（Ｓ１０３）。その後、入力された映像データに基づいて、重畳されたテロップのテロップ移動方向を判定する（Ｓ１２）。具体的には、フレーム画像を生成し（Ｓ１０４）、フィールド画像を生成（Ｓ１０５）する。そして、フレームテロップ候補エッジ画像を生成して、エッジ画素数Ｎ１を算出する（Ｓ１０６）。また、フィールドテロップ候補エッジ画像を生成して、エッジ画素数Ｎ２を算出する（Ｓ１０７）。【００２５】
次に、フレームテロップ候補エッジ画像のエッジ画素数Ｎ１とフィールドテロップ候補エッジ画像のエッジ画素数Ｎ２を比較する（Ｓ１０８）。例えば、Ｎ２／Ｎ１の値が算出される。なお、次のフレームに対して同様の処理を行うため、インクリメントＮ＋＋がなされる。そして、このＮ２／Ｎ１の値とあらかじめ設定された閾値とが比較される（Ｓ１０９）。これにより、テロップ移動方向が決定される。【００２６】
そして、決定されたテロップ移動方向に対してのみ、テロップの位置の探索を行い、テロップ移動ベクトルが算出される（Ｓ１３）。具体的には、Ｓ１０９において、Ｎ２／Ｎ１の値が閾値以上の場合（Ｓ１０９ＹＥＳ）テロップ移動方向は横と判定し、横方向に対して同一テロップの位置の探索を行う（Ｓ１１０）。また、Ｎ２／Ｎ１の値が閾値よりも低い場合（Ｓ１０９ＮＯ）テロップ移動方向は縦と判定し、縦方向に対して同一テロップの位置の探索を行う（Ｓ１１１）。【００２７】
そして、テロップ移動方向の情報を用いてテロップの移動量を推定する処理を行うことで、テロップ移動ベクトルをフレーム単位で算出する（Ｓ１１２）。その後、算出されたテロップ移動ベクトルを出力する（Ｓ１１３）。処理フレームが、フレーム総数ＮＥＮＤ以下である場合、再度Ｓ１２に戻って全フレームについて同様の処理を行う（Ｓ１１４）。このように、本実施の形態においては、テロップの移動方向の判定を行い、判定により特定された方向に対してのみ、当該テロップの移動量推定処理を行う。このため、映像コンテンツ中に重畳された移動テロップの移動ベクトル算出の際の処理量を低減することができ、処理を高速化することができる。【００２８】
ここで、図４及び図５を参照して、本実施の形態におけるフレームテロップ候補エッジ画像生成手段１０３の構成例について説明する。図４及び図５は、それぞれフレームテロップ候補エッジ画像生成手段１０３の構成例を示すブロック図である。図４に示すように、フレームテロップ候補エッジ画像生成手段１０３はフレームエッジ画像生成手段１００１のみで構成することが可能である。フレームエッジ画像生成手段１００１では、フレーム画像生成手段１０１から受け取ったフレーム画像に対し、２次元のラプラシアンフィルタやＣａｎｎｙフィルタ等のエッジ検出フィルタが使用される。縦方向のエッジ成分のみを算出する場合は、１次元のエッジ検出フィルタを使用しても良い。エッジ検出フィルタ使用後の値は閾値処理され、二値化された画像となる。テロップが存在する箇所からはエッジ成分が多く算出されるため、ここで生成されるフレームエッジ画像は、テロップの存在候補領域を示す画像となる。【００２９】
図５に示すように、フレームテロップ候補エッジ画像生成手段１０３は、フレームエッジ画像生成手段１００１、フレームエッジ画像記憶手段１００２、静止物体フレームエッジ画素除去手段１００３で構成することも可能である。フレームエッジ画像生成手段１００１は図４と同様である。フレームエッジ画像記憶手段１００２は、フレームエッジ画像生成手段１００１で生成したフレームエッジ画像をメモリ上に記憶・蓄積する。静止物体フレームエッジ画素除去手段１００３は、処理対象フレーム画像と、時間的に近接するフレーム画像の各々から作成されるフレームエッジ画像をフレームエッジ画像記憶手段１００２からそれぞれ読み出し、処理対象フレーム画像から作成されたフレームエッジ画像から２つのフレームエッジ画像中の重複したエッジ画素を除去して、静止物体フレームエッジ除去画像を作成する。これにより、フレーム画像中の静止物体から検出されるエッジを除去することが可能となる。【００３０】
また、図６、図７及び図８を参照して、本実施の形態におけるフィールドテロップ候補エッジ画像生成手段１０４の構成例について説明する。図６、図７及び図８は、それぞれフィールドテロップ候補エッジ画像生成手段１０４の構成例を示すブロック図である。図６に示すように、フィールドテロップ候補エッジ画像生成手段１０４はフィールドエッジ画像生成手段１１０１のみで構成することが可能である。フィールドエッジ画像生成手段１１０１は、入力がフィールド画像生成手段１０２から受け取ったフィールド画像となり、出力がフィールドエッジ画像となることを除き、フレームエッジ画像生成手段１００１と動作は同様である。【００３１】
図７に示すように、フィールドテロップ候補エッジ画像生成手段１０４は、フィールドエッジ画像生成手段１１０１、フィールドエッジ画像記憶手段１１０２、静止物体フィールドエッジ画素除去手段１１０３で構成することも可能である。フィールドエッジ画像生成手段１１０１は図６と同様である。フィールドエッジ画像記憶手段１１０２は、フィールドエッジ画像生成手段１１０１で生成したフィールドエッジ画像をメモリ上に記憶・蓄積する。静止物体フィールドエッジ画素除去手段１１０３は、処理対象フィールド画像と、時間的に近接するフレーム画像から生成されるフィールド画像の各々から作成されるフィールドエッジ画像をフィールドエッジ画像記憶手段１１０２からそれぞれ読み出し、処理対象フィールド画像から作成されたフィールドエッジ画像から２つのフィールドエッジ画像中の重複したエッジ画素を除去して静止物体フィールドエッジ除去画像を作成する。これにより、フィールド画像中の静止物体から検出されるエッジを除去することが可能となる。【００３２】
また、図８に示すように、フィールドテロップ候補エッジ画像生成手段１０４は、フィールド画像縦方向補間手段１２０１、縦方向補間フィールド画像エッジ検出手段１２０２で構成することも可能である。フィールド画像縦方向補間手段１２０１は、フィールド画像生成手段１０２から受け取った少なくとも１つのフィールド画像を縦方向に補間してフレーム画像サイズの画像を取得する。ここで、フィールド画像を縦方向に補間する際は、フィールド画像の隣接する行の同列の画素値を用い、例えば平均値を求めることにより行間の画素値を推定し、その値を行間に補間する。端の行については、その行における画素値をそのまま上または下の行に補間する。縦方向補間フィールド画像エッジ検出手段１２０２は、フィールド画像縦方向補間手段１２０１から受け取った縦方向補間フィールド画像に対し、２次元のラプラシアンフィルタやＣａｎｎｙフィルタ等のエッジ検出フィルタが使用される。縦方向のエッジ成分のみを算出する場合は、１次元のエッジ検出フィルタを使用しても良い。エッジ検出フィルタ使用後の値は閾値処理され、二値化された画像となる。テロップが存在する箇所からはエッジ成分が多く算出されるため、ここで生成される縦方向補間フィールドエッジ画像は、テロップの存在候補領域を示す画像となる。【００３３】
図８で示すフィールドテロップ候補エッジ画像生成手段１０４は、図６で示すフィールドテロップ候補エッジ画像生成手段１０４の構成で、同一の出力結果を得ることも可能である。すなわち、フィールド画像縦方向補間手段１２０１で得られる出力結果に対してエッジ検出を行うのではなく、上記処理と同一の結果が得られるようなエッジ検出フィルタを作成し、該エッジ検出フィルタをフィールド画像に対して直接適用する。【００３４】
本実施の形態によれば、テロップ移動ベクトルの算出に際して、判定された移動方向にのみテロップの移動量を求めればよく、テロップ移動量推定時における探索範囲の絞込みが可能になる。このように、本発明では、方向性抽出にテロップ周辺から抽出される特徴量等を用いた照合以外の方式が適用できるため、テロップ移動ベクトル算出処理の高速化が可能となる。また、偶然のベクトル一致により実際のテロップとは異なる方向にテロップが移動していると判定される事象を抑制できるため、高精度化が可能となる。【００３５】
図４に示すフレームテロップ候補エッジ画像生成手段１０３と、図６に示すフィールドテロップ候補エッジ画像生成手段１０４を用いた場合のテロップ移動方向判定処理フロー（Ｓ１２）の一例を図９に示す。図９に示す例では、図４に示すフレームエッジ画像生成手段１００１により、テロップの存在候補領域を示すフレームエッジ画像を生成する（Ｓ１００１）。また、図６に示すフィールドエッジ画像生成手段１１０１により、フィールドエッジ画像を生成する（Ｓ１００２）。他の処理は、図３に示す処理と同様である。【００３６】
図５に示すフレームテロップ候補エッジ画像生成手段１０３と、図７に示すフィールドテロップ候補エッジ画像生成手段１０４を用いた構成とした場合のテロップ移動方向判定処理フローの一例を図１０に示す。図１０に示す例では、フレームエッジ画像を生成し（Ｓ１００１）、フィールドエッジ画像を生成し（Ｓ１００２）、これらを記憶させる（Ｓ１００３、Ｓ１００４）。【００３７】
そして、処理対象のフレーム画像と、時間的に近接するフレーム画像の各々から作成されるフレームエッジ画像を用いて、処理対象フレーム画像から作成されたフレームエッジ画像から２つのフレームエッジ画像中の重複したエッジ画素を除去した静止物体フレームエッジ除去画像を作成する（Ｓ１００５）。また、処理対象のフィールド画像と、時間的に近接するフィールド画像の各々から作成されるフィールドエッジ画像を用いて、処理対象フィールド画像から作成されたフィールドエッジ画像から２つのフィールドエッジ画像中の重複したエッジ画素を除去した静止物体フィールドエッジ除去画像を作成する（Ｓ１００６）。その後、静止物体フレームエッジ除去画像のエッジ画素数Ｎ１'と静止物体フィールドエッジ除去画像のエッジ画素数Ｎ２'を比較する（Ｓ１０８）。例えば、Ｎ２'／Ｎ１'の値が算出され、この値とあらかじめ設定された閾値とが比較される（Ｓ１０９）。以降の処理については、図３に示す処理と同様である。【００３８】
図４に示すフレームテロップ候補エッジ画像生成手段１０３と、図８に示すフィールドテロップ候補エッジ画像生成手段１０４を用いた場合のテロップ移動方向判定処理フロー（Ｓ１２）の一例を図１１に示す。図１１に示す例では、フレームエッジ画像を生成する（Ｓ１００１）。また、フィールド画像を縦方向に補間して、縦方向補間フィールド画像を生成する（Ｓ１００７）。そして、縦方向補間フィールド画像に対しエッジ検出フィルタが使用され、縦方向補間フィールドエッジ画像が生成される。そして、同様に、エッジ画素数の比較が行われ、以降図３に示す処理と同様の処理が行われる。【００３９】
第２の実施の形態．
本発明の第２の実施の形態に係るテロップ移動ベクトル算出装置について、図１２を参照して説明する。図１２は本実施の形態に係るテロップ移動方向判定手段１２の構成例を示すブロック図である。第２の実施の形態に係るテロップ移動ベクトル算出装置の概略構成は、テロップ移動方向判定手段１２が図１２のような構成となる点が第１の実施の形態と異なる。なお、テロップ移動方向判定手段１２以外の構成要素については、第１の実施の形態と同様であり、詳細な説明は省略する。【００４０】
図１２に示すように、本実施の形態に係るテロップ移動方向判定手段１２は、フレーム画像生成手段１０１、二値化処理手段２０１、二値化画素出現パタン解析手段２０２を備える。フレーム画像生成手段１０１は、第１の実施の形態と同様であり、詳細な説明は省略する。二値化処理手段２０１は、フレーム画像生成手段１０１からフレーム画像を受け取り、該フレーム画像に対して二値化処理を行い、二値化画像を生成する。二値化処理手段２０１のより詳細な説明は後述する。二値化画素出現パタン解析手段２０２は、二値化処理手段２０１から二値化画像を受け取り、該二値化画像の画素の出現パタンを解析することによってテロップ移動方向を判定し、判定されたテロップ移動方向の情報を出力する。二値化画素出現パタン解析手段２０２のより詳細な説明は後述する。【００４１】
ここで、図１３を参照して、本実施の形態に係るテロップ移動ベクトル算出方法について説明する。図１３は、本実施の形態に係るテロップ移動ベクトル算出方法の一例を説明するためのフローチャートである。映像入力手段１１、テロップ移動ベクトル算出手段１３、テロップ移動ベクトル出力手段１４の動作については、第１の実施の形態と同様であるため、図１３ではテロップ移動方向判定手段１２の処理フローのみ示す。【００４２】
図１３に示すように、フレーム画像を生成し（Ｓ１０４）、生成されたフレーム画像に対して二値化処理を行う（Ｓ２０１）。そして、二値化画像の画素の出現パタンの解析を行う（Ｓ２０２）ことにより、テロップ移動方向の情報を出力する。そして、テロップ移動方向の情報から、上述したようにあらかじめ定められた閾値と比較し、テロップの移動方向の判定を行う。【００４３】
ここで、図１４、図１６及び図１８を参照して、本実施の形態における二値化処理手段２０１の構成例について説明する。図１４、図１６及び図１８は、それぞれ二値化処理手段２０１の構成例を示すブロック図である。図１４に示すように、二値化処理手段２０１は、フレームエッジ画像生成手段１００１のみで構成することが可能である。この場合のフレームエッジ画像生成手段１００１の動作は、第１の実施の形態における図４のフレームテロップ候補エッジ画像生成手段１０３と同様であり、詳細な説明は省略する。【００４４】
また、図１６に示すように、二値化処理手段２０１は、フレーム画像記憶手段２００１、フレーム間差分画像生成手段２００２、フレーム間差分画像閾値処理手段２００３で構成することも可能である。フレーム画像記憶手段２００１は、フレーム画像生成手段１０１で生成したフレーム画像をメモリ上に記憶・蓄積する。フレーム間差分画像生成手段２００２は、処理対象フレーム画像と、時間的に近接するフレーム画像をフレーム画像記憶手段２００１からそれぞれ読み出し、２つのフレーム画像間で画素値の差分を画素毎に求め、フレーム間差分画像を生成する。フレーム間差分画像閾値処理手段２００３は、フレーム間差分画像生成手段２００２により生成されたフレーム間差分画像に対し、その画素値の絶対値を閾値に応じて二値化する処理である。映像中で使用されるテロップは、背景とのコントラストが大きい物が使用されることが多いため、移動するテロップが存在する箇所においては、フレーム間差分画像の画素値の絶対値が大きくなる。つまり、フレーム間差分画像閾値処理手段２００３から出力される二値化画像は、テロップの存在候補領域を示す画像となる。【００４５】
また、図１８に示すように、二値化処理手段２０１は、輝度色相彩度変換手段２１０１、輝度色相彩度閾値処理手段２１０２で構成することも可能である。輝度色相彩度変換手段２１０１は、フレーム画像生成手段１０１からフレーム画像を受け取り、輝度画像、色相画像、彩度画像を生成する。輝度色相彩度閾値処理手段２１０２は、輝度色相彩度変換手段２１０１で生成された輝度画像、色相画像、彩度画像のいずれかの画素値、又はその組み合わせの画素値を求め、その値を閾値処理し、その閾値処理結果をあわせて一つの二値化画像を生成する。映像中で使用されるテロップは、背景とのコントラストが大きくなるような輝度、色相、彩度のものが使用されることが多いため、輝度画像、色相画像、彩度画像の各閾値処理結果のいずれか１つかあるいは必要に応じて組み合わせることで、テロップの存在候補領域を示す二値化画像が生成される。【００４６】
二値化処理手段２０１を図１４に示す構成とした場合のテロップ移動方向判定処理フロー（Ｓ１２）の一例を図１５に、図１６の構成とした場合のテロップ移動方向判定処理フロー（Ｓ１２）を図１７に、図１８の構成とした場合のテロップ移動方向判定処理フロー（Ｓ１２）を図１９にそれぞれ示す。図１５に示す例では、フレームエッジ画像生成手段１００１により、テロップの存在候補領域を示すフレームエッジ画像を生成する（Ｓ１００１）。そして、生成されたフレームエッジ画像に対して二値化画素の出現パタン解析を行い（Ｓ２０２）、移動方向の判定が行われる。【００４７】
図１７に示す例では、フレーム画像を生成し（Ｓ１０４）、これを記憶する（Ｓ２００１）。そして、処理対象フレーム画像と、時間的に近接するフレーム画像を読み出し、２つのフレーム画像間で画素値の差分を画素毎に求め、フレーム間差分画像を生成する（Ｓ２００２）。その後、生成されたフレーム間差分画像に対し、その画素値の絶対値を閾値に応じて二値化する（Ｓ２００３）。そして、二値化されたフレーム間差分画像に対して二値化画素の出現パタン解析を行い（Ｓ２０２）、移動方向の判定が行われる。【００４８】
図１９に示す例では、フレーム画像から、輝度画像、色相画像、彩度画像を生成し（Ｓ２００４）、そして、生成された輝度画像、色相画像、彩度画像のいずれか、又はその組み合わせの値を求め、その値を閾値処理し、二値化画像を生成する（Ｓ２００５）。そして、二値化されたフレーム間差分画像に対して二値化画素の出現パタン解析を行い（Ｓ２０２）、移動方向の判定が行われる。【００４９】
次に図２０、図２２及び図２４を参照して、本実施の形態における二値化画素出現パタン解析手段２０２の構成例について説明する。図２０、図２２及び図２４は、それぞれ二値化画素出現パタン解析手段２０２の構成例を示すブロック図である。図２０に示すように、二値化画素出現パタン解析手段２０２は、二値化画像射影手段２２０１、二値化画像分布解析手段２２０２で構成することが可能である。二値化画像射影手段２２０１は、二値化処理手段２０１から受け取った二値化画像の画素値を縦軸及び横軸に射影する。二値化画像分布解析手段２２０２は、二値化画像射影手段２２０１における二値化画像の画素値の射影結果の分布を解析し、テロップ移動方向を判定する。例えば、テロップが横方向に移動している場合、移動テロップが表示され始めてから十分に時間が経過した段階では、横軸への射影結果は全体的に均等な分布を示すのに対し、縦軸への射影結果はテロップが表示されている行のみ高い値を示す分布となる。【００５０】
そこで、例えば射影結果に対する閾値処理を行えば、縦軸の一部の領域のみが抽出され、横軸は抽出されない。その違いを利用して、テロップ移動方向が横であると判定することが可能となる。あるいは、それぞれの軸に対する射影結果の分散を求めると、縦軸のみが大きな値となり、横軸は小さな値となる。この違いを利用して、テロップ移動方向が横であると判定することも可能である。二値化画像射影手段２２０１において、二値化画像内の上下端または左右端の一定幅内に関してのみ縦軸及び横軸に射影しても良い。その場合、二値化画像分布解析手段２２０２は、二値化画像射影手段２２０１により出力される各軸への射影結果の差に基づき、テロップ移動方向を判定する。【００５１】
例えば、テロップが横方向に移動する場合、移動テロップが表示され始めてから十分に時間が経過した段階では、テロップは横方向に十分な広がりを持っている。テロップは通常、画像の上下及び左右の端から一定の間隔だけ離れた箇所に表示されることが多い。したがって、この場合の二値化画像射影結果は、横軸への射影結果は縦軸への射影結果と比べて非常に大きくなる。この各軸への射影結果の違いを利用して、テロップ移動方向が横であると判定することも可能である。【００５２】
また、図２２に示すように、二値化画素出現パタン解析手段２０２は、二値化画素重心算出手段２３０１、重心算出結果記憶手段２３０２、重心位置動き解析手段２３０３で構成することも可能である。二値化画素重心算出手段２３０１は、二値化処理手段２０１から二値化画像を受け取り、二値化画像における二値化された画素の重心の位置情報をフレーム画像毎に導出する。重心算出結果記憶手段２３０２は、二値化画素重心算出手段２３０１で算出された二値化画像の重心位置情報をメモリ上に記憶・蓄積する。重心位置動き解析手段２３０３は、重心算出結果記憶手段２３０２から受け取ったフレーム画像毎の二値化画素の重心位置情報を用い、その動きを解析してテロップ移動方向を判定する。例えば、テロップが横方向に移動する場合、重心算出結果記憶手段２３０２から受け取る複数フレーム画像分の重心位置情報を考えると、その重心の動きは横方向に比べて縦方向にはほとんどないと考えられる。したがって、各方向に対する動き量の相対的な差を利用することにより、テロップ移動方向を判定することが可能となる。【００５３】
また、図２４に示すように、二値化画素出現パタン解析手段２０２は、縦方向二値交互出現領域探索手段２４０１、横方向出現値解析手段２４０２で構成することも可能である。縦方向二値交互出現領域探索手段２４０１は、二値が縦方向に１画素ずつ交互に現れる領域を探索する。探索される、二値が１画素ずつ交互に現れる領域は、映像中で使用されるテロップの縦方向のサイズと同程度の大きさであるのが最良であるが、そうでなくても良い。横方向出現値解析手段２４０２は、縦方向二値交互出現領域探索手段２４０１で探索された領域に関して、二値化画素値の横方向の出現パタン解析を行うことにより、テロップ移動方向を判定する手段である。【００５４】
テロップが横方向に移動する場合には、縦方向に伸びる文字ストロークは、インターレース方式においては、横方向に分離する。このため、二値が１画素ずつ交互に現れる２つの領域が生成されるが、その２つの領域における二値の出現パタンは逆になっている。一方、テロップが縦方向に移動する場合には、縦方向に伸びる文字ストロークは、縦方向に分離し、文字ストロークが存在する列上に二値が１画素ずつ交互に現れる領域が出現する。従って、まず、ある列において二値が１画素ずつ交互に現れる領域が存在する場合、その箇所を基準として、同じ行の値（横方向の値）を探索する。その行上に、二値が１画素ずつ交互に現れる領域が存在する場合、その二値の出現パタンが、基準とする箇所の二値の出現パタンと異なっていれば、テロップ移動方向は横であると判定する。基準とする箇所の二値の出現パタンと同じであれば、テロップ移動方向は縦であると判定する。【００５５】
このように、本実施の形態においても、実施の形態１と同様に、判定された移動方向にのみテロップの移動量を求めればよく、テロップ移動ベクトル算出処理の高速化が可能となる。また、偶然のベクトル一致により実際のテロップとは異なる方向にテロップが移動していると判定される事象を抑制できるため、高精度化が可能となる。【００５６】
二値化画素出現パタン解析手段２０２を、図２０に示す構成とした場合のテロップ移動判定方向処理フロー（Ｓ１２）の一例を図２１に、図２２に示す構成とした場合のテロップ移動方向判定処理フロー（Ｓ１２）を図２３に、図２４の構成とした場合のテロップ移動方向判定処理フロー（Ｓ１２）を図２５にそれぞれ示す。図２１に示す例では、二値化画像の画素値を縦軸及び横軸に射影する（Ｓ２１０１）。そして、二値化画像の画素値の射影結果の分布を解析し（Ｓ２１０２）、テロップ移動方向を判定する。【００５７】
図２３に示す例では、二値化画像における二値化された画素の重心の位置情報をフレーム画像毎に導出する（Ｓ２１０３）。そして、算出された二値化画像の重心位置情報をメモリ上に記憶・蓄積する（Ｓ２１０４）。その後、記憶されたフレーム画像毎の二値化画素の重心位置情報を用い、その動きを解析して（Ｓ２１０５）、テロップ移動方向を判定する。【００５８】
図２５に示す例では、二値が縦方向に１画素ずつ交互に現れる領域の探索が行われる（Ｓ２１０７）。この出現領域がない場合には、列数のインクリメントＷ＋＋が行われ、次の列に対して同様の処理が行われる。出現領域がある場合には、探索された領域に関して、二値化画素値の横方向の出現パタン解析を行う（Ｓ２１０８）。横方向に関して、縦方向二値交互出現領域がない場合には、列数のインクリメントＷ＋＋が行われ、次の列に対して同様の処理が行われる。縦方向二値出現領域がある場合には、縦方向二値交互出現パタンの解析が行われる（Ｓ２１０９）。これにより、テロップ移動方向が判定される。【００５９】
第３の実施の形態．
本発明の第３の実施の形態に係るテロップ移動ベクトル算出装置について、図２６を参照して説明する。図２６は本実施の形態に係るテロップ移動方向判定手段１２の構成例を示すブロック図である。第３の実施の形態に係るテロップ移動ベクトル算出装置の概略構成は、テロップ移動方向判定手段１２が図２６のような構成となる点が第１の実施の形態と異なる。なお、テロップ移動方向判定手段１２以外の構成要素については、第１の実施の形態と同様であり、詳細な説明は省略する。【００６０】
図２６に示すように、本実施の形態に係るテロップ移動方向判定手段１２は、フレーム画像生成手段１０１、フィルタリング処理手段３０１、フィルタリング処理出力値パタン解析手段３０２から構成される。フレーム画像生成手段１０１は、第１の実施の形態と同様であり、詳細な説明は省略する。フィルタリング処理手段３０１は、フレーム画像生成手段１０１からフレーム画像を受け取り、該フレーム画像の縦方向に対し、１画素おきに画素値を強調するフィルタリング処理を行う。このフィルタリング処理を行うための、フィルタとしては、例えば、周期が２画素のパタンを持つフィルタを用いてフィルタリング処理を行う。この矩形波パタンを持つフィルタの係数の和は０とする。フィルタのサイズは、映像中で使用されるテロップの縦方向のサイズと同程度に設定するのが最良であるが、そうでなくても良い。【００６１】
このフィルタリング処理は、上述のフィルタをフレーム画像の縦方向にずらしながら適用することにより実現することができる。このとき、フィルタリング処理を行う列において、該フィルタの重複する領域の有無は問わない。ただし、該フィルタを縦方向にずらす量は、全ての列で一致させなければならない。ここで生成されるフィルタリング処理出力結果は、縦方向に１画素ずつ画素値の高低が繰り返される領域のみが抽出されたものとなる。特に、映像中で使用されるテロップは、背景とのコントラストが大きい物が使用されることが多く、テロップの文字は一般的に一様な明るさ・色を持っているため、１画素毎にテロップ文字の一部が出現するようなパタンの箇所において、該フィルタリング処理結果の絶対値が大きくなる。【００６２】
フィルタリング処理出力値パタン解析手段３０２は、フィルタリング処理手段３０１から受け取った、フレーム画像に対するフィルタリング結果に対し、フィルタリング処理出力値の横方向の出現パタンを解析することによってテロップ移動方向を判定し、判定されたテロップ移動方向の情報を出力する。テロップが横方向に移動する場合には、縦方向に伸びる文字ストロークは、横方向に分離し、１画素ずつ画素値の高低が縦方向に繰り返される２つの領域が生成されるが、その２つの領域における画素値の高低パタンは逆になっている。【００６３】
また、テロップが縦方向に移動する場合には、縦方向に伸びる文字ストロークは、縦方向に分離し、文字ストロークが存在する列上に１画素ずつ画素値の高低が繰り返される領域が出現する。従って、まず、ある列においてフィルタリング処理出力値の絶対値が大きい箇所が存在する場合、その出力値の出現する箇所を基準として、同じ行の値（横方向の値）を探索する。その行上に、絶対値は大きいが、基準とする箇所のフィルタリング処理出力値と符号が異なるフィルタリング処理出力値が出現した時、テロップ移動方向は横であると判定する。また、その行上に、絶対値が大きく、基準とする箇所のフィルタリング処理出力値と符号も同じフィルタリング処理出力値が出現した時、テロップ移動方向は縦であると判定する。第１の実施の形態同様に、本実施の形態においても、テロップ移動ベクトル算出処理の高速化が可能となり、また、高精度化が可能となる。【００６４】
ここで、図２７を参照して、本実施の形態に係るテロップ移動ベクトル算出方法について説明する。図２７は、本実施の形態に係るテロップ移動ベクトル算出方法の一例を説明するためのフローチャートである。映像入力手段１１、テロップ移動ベクトル算出手段１３、テロップ移動ベクトル出力手段１４の動作については、第１の実施の形態と同様であるため、図２７ではテロップ移動方向判定手段１２の処理フローのみ示す。【００６５】
図２７に示すように、フレーム画像を生成する（Ｓ１０４）。このとき、フィルタリング処理済み列数はＷ＝０である（Ｓ３０１）。そして、フィルタリング処理済み列数がフレーム画像の横幅以下のときに、縦方向のフィルタリング処理を行う（Ｓ３０２）。そして、縦方向に画素値が１画素ずつ高低を繰り返す領域があるか否かを判断する。縦方向に画素値が１画素ずつ高低を繰り返す領域がない場合には、インクリメントＷ＋＋を行い、フィルタリング処理を行った列の次の列に対して、同様の処理を行う。一方、縦方向に画素値が１画素ずつ高低を繰り返す領域がある場合には、フレーム画像に対するフィルタリング結果に対し、横方向のフィルタリング処理出力値の解析を行う（Ｓ３０３）。【００６６】
そして、横方向に出現パタンの解析を行った結果、縦方向に画素値が１画素ずつ高低を繰り返す領域がない場合には、インクリメントを行い、再度縦方向のフィルタリング処理を行う（Ｓ３０２）。一方、横方向に出現パタンの解析を行った結果、縦方向に画素値が１画素ずつ繰り返す領域がある場合には、フィルタリング処理値の符号を確認する（Ｓ３０４）。これにより、テロップ移動方向を判定することができる。【００６７】
第４の実施の形態．
本発明の第４の実施の形態に係るテロップ移動ベクトル算出装置について、図２８を参照して説明する。図２８は本実施の形態に係るテロップ移動方向判定手段１２の構成例を示すブロック図である。第４の実施の形態に係るテロップ移動ベクトル算出装置の概略構成は、テロップ移動方向判定手段１２が図２８のような構成となる点が第１の実施の形態と異なる。なお、テロップ移動方向判定手段１２以外の構成要素については、第１の実施の形態と同様であり、詳細な説明は省略する。【００６８】
図２８に示すように、本実施の形態に係るテロップ移動方向判定手段１２は、フレーム画像生成手段１０１、フレーム画像記憶手段２００１、フレーム間差分画像生成手段２００２、フレーム間差分画像記憶手段４０１、フレーム間累積差分画像生成手段４０２、画像値解析手段４０３から構成される。フレーム画像生成手段１０１は、第１の実施の形態と同様であり、詳細な説明は省略する。フレーム画像記憶手段２００１及びフレーム間差分画像生成手段２００２は、第２の実施の形態における二値化処理手段２０１での動作と同一であり、詳細な説明は省略する。【００６９】
フレーム間差分画像記憶手段４０１は、フレーム間差分画像生成手段２００２で生成されたフレーム間差分画像をメモリ上に記憶・蓄積する。フレーム間累積差分画像生成手段４０２は、複数枚のフレーム間差分画像をフレーム間差分画像記憶手段４０１から読み出し、それらの画素値の絶対値の総和を画素毎に算出したフレーム間累積差分画像を生成する。映像中で使用されるテロップは、背景とのコントラストが大きい物が使用されることが多いため、移動するテロップが存在する箇所においては、フレーム間差分画像の画素値の絶対値が大きくなる。したがって、フレーム間累積差分画像生成手段４０２で生成されるフレーム間累積差分画像は、移動するテロップが存在する領域に関して、大きな画素値がテロップ移動方向にのみ全体的に分布することとなる。画像値解析手段４０３は、フレーム間累積差分画像生成手段４０２で生成されたフレーム間累積差分画像の画像値を解析し、テロップ移動方向を判定する。画像値解析手段４０３の詳細な説明は後述する。【００７０】
ここで、図２９を参照して、本実施の形態に係るテロップ移動ベクトル算出方法について説明する。図２９は、本実施の形態に係るテロップ移動ベクトル算出方法の一例を説明するためのフローチャートである。映像入力手段１１、テロップ移動ベクトル算出手段１３、テロップ移動ベクトル出力手段１４の動作については、第１の実施の形態と同様であるため、図２９ではテロップ移動方向判定手段１２の処理フローのみ示す。【００７１】
図２９に示すように、フレーム画像を生成し（Ｓ１０４）、フレーム画像を記憶する（Ｓ２００１）。そして、フレーム数が１以上の場合に、フレーム間差分画像を生成し（Ｓ２００２）、フレーム間差分画像を記憶する（Ｓ４０１）。その後、任意の複数枚のフレーム画像ＮＴを用いて、それらの画素値の絶対値の総和を画素毎に算出したフレーム間累積差分画像を生成する（Ｓ４０２）。その後、フレーム間累積差分画像の画像値を解析し（Ｓ４０３）、テロップ移動方向を判定する。【００７２】
図３０は、画像値解析手段４０３の構成例である。図３０に示すように、画像値解析手段４０３は、フレーム間累積差分画像射影手段３００１、フレーム間累積差分画像分布解析手段３００２で構成することが可能である。フレーム間累積差分画像射影手段３００１は、フレーム間累積差分画像生成手段４０２によって生成されたフレーム間累積差分画像の画素値を縦軸及び横軸に射影する。フレーム間累積差分画像分布解析手段３００２は、フレーム間累積差分画像射影手段３００１におけるフレーム間累積差分画像の画素値の射影結果の分布を解析し、テロップ移動方向を判定する。【００７３】
例えば、テロップが横方向に移動している場合、横軸への射影結果は全体的にほぼ均等な分布となり、縦軸への射影結果は一部領域のみ高い値を示す分布となる。そこで、例えば射影結果に対する閾値処理を行えば、縦軸の一部の領域のみが抽出され、横軸は抽出されない。その違いを利用して、テロップ移動方向が横であると判定することが可能となる。あるいは、それぞれの軸に対する射影結果の分散を求めると、縦軸のみが大きな値となり、横軸は小さな値となる。この違いを利用して、テロップ移動方向が横であると判定することも可能である。【００７４】
第１の実施の形態同様、本実施の形態における方向性抽出には、テロップ周辺から抽出される特徴量等を用いた照合以外の方式が適用できるため、テロップ移動ベクトル算出処理の高速化が可能となる。また偶然のベクトル一致により実際のテロップとは異なる方向にテロップが移動していると判定される事象を抑制できるため、高精度化が可能となる。特に、本実施の形態では、複数枚のフレーム間差分画像を累積していることから、一枚のフレーム間差分画像では移動するテロップの存在箇所が抽出されないような複雑な背景を持つ映像の場合にも、精度良くテロップ移動ベクトルを算出可能である。【００７５】
画像値解析手段４０３を図３０に示す構成とした場合のテロップ移動方向判定処理フロー（Ｓ１２）の一例を図３１に示す。図３１に示す例では、図２９に示すように、フレーム間累積差分画像を生成した後（Ｓ４０２）、フレーム間累積差分画像の画素値を縦軸及び横軸に射影する（Ｓ４００１）。そして、フレーム間累積差分画像の画素値の射影結果の分布を解析し（Ｓ４００２）、テロップ移動方向を判定する。【００７６】
第５の実施の形態．
本発明の第５の実施の形態に係るテロップ移動ベクトル算出装置について、図３２を参照して説明する。図３２は本実施の形態に係るテロップ移動方向判定手段１２の構成例を示すブロック図である。第５の実施の形態に係るテロップ移動ベクトル算出装置の概略構成は、テロップ移動方向判定手段１２が図３２のような構成となる点が第１の実施の形態と異なる。なお、テロップ移動方向判定手段１２以外の構成要素については、第１の実施の形態と同様であり、詳細な説明は省略する。図３２に示すように、本実施の形態におけるテロップ移動方向判定手段１２は、ヘッダー情報抽出手段５０１、ヘッダー情報記憶手段５０２、ヘッダー情報解析手段５０３から構成される。【００７７】
ヘッダー情報抽出手段５０１は、映像入力手段１１から入力される圧縮映像中のヘッダー情報を抽出する。例えば、ＭＰＥＧ形式で圧縮された映像が入力される場合、ヘッダー情報中には、マクロブロック単位で使用されたＤＣＴのモード（フレームＤＣＴかフィールドＤＣＴか）に関する情報が格納されており、該情報をヘッダー情報抽出手段５０１で取得する。ヘッダー情報記憶手段５０２は、ヘッダー情報抽出手段５０１で取得したヘッダー情報をメモリ上に記憶・蓄積する。【００７８】
ヘッダー情報解析手段５０３は、ヘッダー情報記憶手段５０２から読み出したヘッダー情報を解析し、その結果に応じてテロップ移動方向を判定する。例えば、ＭＰＥＧ形式で圧縮された映像の場合、移動方向判定を行う対象のフレーム画像に対し、該フレーム画像内に存在するマクロブロックにおいて使用されたＤＣＴのモードに関する全情報をヘッダー情報記憶手段５０２から読み出し、該フレーム画像全体におけるＤＣＴの各モードの使用頻度を算出する。ＭＰＥＧで使用されるマクロブロック単位のＤＣＴは、変換符号化した際のデータ量が少なくなるモードが選択されるが、映像に移動テロップが重畳されている場合、縦方向に１画素ずつ画素値の高低が繰り返される領域が移動テロップ周辺で多く存在するため、フレームＤＣＴではなくフィールドＤＣＴが選択される可能性が高くなる。従って、フィールドＤＣＴが選択されたマクロブロックが横方向に広く存在する場合、テロップ移動方向は横であると判定し、逆にフィールドＤＣＴが選択されたマクロブロックが縦方向に広く存在する場合、テロップ移動方向は縦であると判定する。【００７９】
第１の実施の形態同様、本実施の形態における方向性抽出には、テロップ周辺から抽出される特徴量等を用いた照合以外の方式が適用できるため、テロップ移動ベクトル算出処理の高速化が可能となる。また偶然のベクトル一致により実際のテロップとは異なる方向にテロップが移動していると判定される事象を抑制できるため、高精度化が可能となる。【００８０】
ここで、図３３を参照して、本実施の形態に係るテロップ移動ベクトル算出方法について説明する。図３３は、本実施の形態に係るテロップ移動ベクトル算出方法の一例を説明するためのフローチャートである。映像入力手段１１、テロップ移動ベクトル算出手段１３、テロップ移動ベクトル出力手段１４の動作については、第１の実施の形態と同様であるため、図３３ではテロップ移動方向判定手段１２の処理フローのみ示す。【００８１】
図３３に示すように、処理開始時には、情報抽出済みマクロブック数はＢ＝０である。まず、入力される圧縮映像中のヘッダー情報を抽出し（Ｓ５０１）、取得したヘッダー情報をメモリ上に記憶する（Ｓ５０２）。そして、当該情報抽出済みマクロブック数Ｂが、フレーム画像内のマクロブック数以下である場合には、インクリメントＢ＋＋が行われる。一方、情報抽出済みマクロブック数がフレーム画像内のマクロブック数以下ではない場合、記憶されたヘッダー情報を読み出し、その解析を行い（Ｓ５０３）、その結果に応じてテロップ移動方向を判定する。【００８２】
以上説明したように、本発明によれば、映像中に重畳されたテロップのテロップ移動ベクトル算出に基づいたテロップ検出及びテロップ認識の実現により、テロップ中で使用される単語と関連のあるシーンだけを閲覧可能にするシステムや、放送番組の始めや終わりに流れるテロップから権利情報を抽出するシステムに適用可能である。【００８３】
この出願は、２００８年４月２２日に出願された日本出願特願２００８―１１１５８３を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
【産業上の利用可能性】
【００８４】
本発明は、映像コンテンツ中に重畳された動きを伴いながら表示されるテロップ（移動テロップ）の検出・認識において適用可能である。
【図１】
0005397372.tif 000002
【図２】
0005397372.tif 000003
【図３】
0005397372.tif 000004
【図４】
0005397372.tif 000005
【図５】
0005397372.tif 000006
【図６】
0005397372.tif 000007
【図７】
0005397372.tif 000008
【図８】
0005397372.tif 000009
【図９】
0005397372.tif 000010
【図１０】
0005397372.tif 000011
【図１１】
0005397372.tif 000012
【図１２】
0005397372.tif 000013
【図１３】
0005397372.tif 000014
【図１４】
0005397372.tif 000015
【図１５】
0005397372.tif 000016
【図１６】
0005397372.tif 000017
【図１７】
0005397372.tif 000018
【図１８】
0005397372.tif 000019
【図１９】
0005397372.tif 000020
【図２０】
0005397372.tif 000021
【図２１】
0005397372.tif 000022
【図２２】
0005397372.tif 000023
【図２３】
0005397372.tif 000024
【図２４】
0005397372.tif 000025
【図２５】
0005397372.tif 000026
【図２６】
0005397372.tif 000027
【図２７】
0005397372.tif 000028
【図２８】
0005397372.tif 000029
【図２９】
0005397372.tif 000030
【図３０】
0005397372.tif 000031
【図３１】
0005397372.tif 000032
【図３２】
0005397372.tif 000033
【図３３】
0005397372.tif 000034