(57)【特許請求の範囲】
【請求項１】
入力として与えられた、テロップを含む映像からフレームを取得するフレーム取得手段と、前記フレーム取得手段によって得られた各フレームについて、テロップの存在する領域を検出するテロップ検出手段を備え、
前記テロップ検出手段が、
前記フレーム取得手段によって得られた各フレームについて、フレーム内でのテロップを探索する範囲を、前フレームにおけるテロップの検出位置の近傍領域を一次探索範囲として設定し、かつ当該検出位置から縦横に帯状に延びる領域を二次探索範囲として設定する探索範囲設定手段と、
前記フレーム取得手段によって得られた各フレームについて、前記探索範囲設定手段によって設定された探索範囲において、前記一次探索範囲においてテロップの探索を行い、テロップが検出されない場合には前記二次探索範囲において再度テロップの探索を行うテロップ探索手段と、
前記テロップ探索手段によって探索されたテロップの検出位置を記録する検出位置記憶手段
を有する映像文字検出装置。
【請求項２】
前記探索範囲設定手段は、前記二次探索範囲を、想定されるテロップの移動速度とフレーム取得間隔から想定されるフレーム間のテロップ移動画素距離をもとに、絞り込む、請求項１に記載の映像文字検出装置。
【請求項３】
前記テロップ探索手段は、前記二次探索範囲において再度テロップの探索を行う際、画面の上端ないし下端の所定の範囲内にある前フレームテロップについては横方向を優先して探索し、これにあてはまらないものは縦方向を優先して探索する、請求項１または２に記載の映像文字検出装置。
【請求項４】
前記探索範囲設定手段は、複数のフレームで連続して位置が検出されているスクロールテロップの現フレームの位置を推定してその位置周辺に優先探索範囲を設定し、前記テロップ探索手段は、前記優先探索範囲を、前記一次、二次の探索範囲探索に優先して探索する、請求項１から３のいずれかに記載の映像文字検出装置。
【請求項５】
前記テロップ探索手段は、あるテロップが検出され、探索範囲を限定している際に出現する別のテロップを検知するため、画面全体でのテロップ検出を所定のフレーム区間毎に行う、請求項１から３のいずれかに記載の映像文字検出装置。
【請求項６】
前記テロップ探索手段は、継続して出現し続けるテロップに対しては、テロップの両端を重複させた複数のテロップ領域を順次設定しつつ検出を行い、一連の領域から得られた検出結果を順次連結する、請求項１から５のいずれかに記載の映像文字検出装置。
【請求項７】
入力として与えられた、テロップを含む映像からフレームを取得するフレーム取得ステップと、
前記フレーム取得ステップより得られた各フレームについて、テロップの存在する領域を検出するテロップ検出ステップと、
を有し、
前記テロップ検出ステップが、
前記フレーム取得ステップより得られた各フレームについて、フレーム内でのテロップを探索する範囲を、前フレームにおけるテロップの検出位置の近傍領域を一次探索範囲として設定し、かつ当該検出位置から縦横に帯状に延びる領域を二次探索範囲として設定する探索範囲設定ステップと、
前記フレーム取得ステップより得られた各フレームについて、前記探索範囲設定ステップによって設定された探索範囲において、前記一次探索範囲においてテロップの探索を行い、テロップが検出されない場合には前記二次探索範囲において再度テロップの探索を行うテロップ探索ステップと、
前記テロップ探索ステップによって探索されたテロップの検出位置を記録する検出位置記憶ステップと
を含む映像文字検出方法。
【請求項８】
入力として与えられたテロップを含む映像からフレームを取得するフレーム取得手順と、
前記フレーム取得手順より得られた各フレームについて、テロップの存在する領域を検出するテロップ検出手順
を有し、前記テロップ検出手順が
前記フレーム取得手順より得られた各フレームについて、フレーム内でのテロップを探索する範囲を、前フレームにおけるテロップの検出位置の近傍領域を一次探索範囲として設定し、かつ当該検出位置から縦横に帯状に延びる領域を二次探索範囲として設定する探索範囲設定手順と、
前記フレーム取得手順より得られた各フレームについて、前記探索範囲設定手順によって設定された探索範囲において、前記一次探索範囲においてテロップの探索を行い、テロップが検出されない場合には前記二次探索範囲において再度テロップの探索を行うテロップ探索手順と、
前記テロップ探索手順によって探索されたテロップの検出位置を記録する検出位置記憶手順と
を含み、各手順をコンピュータに実行させるための映像文字検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像解析装置、映像解析方法、および映像解析用プログラムに関し、特に放送映像中のテロップ文字を検出するのに用いられる映像文字検出装置、映像文字検出方法、および映像文字検出用プログラムに関する。
【背景技術】
【０００２】
放送のテロップに代表されるような、映像中に現れる文字等の図形を検出し、認識する技術が提案されている。
【０００３】
例えば特許文献１は、映像中の連続フレームを解析して輝度平均・分散や固定エッジなどを調べ、映像中のテロップを検出し認識する技術についての発明を開示している。この発明はテロップ表示位置が画面内で静止していることを前提としているが、その他の発明では画面中で移動するテロップを検出可能なものもある。たとえば特許文献２および特許文献３は、映像画面中の文字周辺に現れる特徴点を一定時間間隔のフレーム間で追跡することでテロップ全体の移動量を推定しつつ検出を行う技術についての発明を開示している。
【０００４】
また、特許文献４には、圧縮された映像の一部を復号した情報を用いて、画面中で移動するテロップを、位置を予測しながら検出する技術についての発明を開示している。
【特許文献１】特開２００１−２８５７１６号公報
【特許文献２】特開平１１−２０５６７９号公報
【特許文献３】特開２００７−６２１６号公報
【特許文献４】特開２００２−１９９４０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
テロップ出現の類型には静止・横スクロール・縦スクロールなどそれぞれの頻出パタンがある。また、テロップは読み易さを考慮して一定時間以上継続して表示される場合が大半である。
【０００６】
しかし上記に列挙した発明を含む関連する技術は、これらの知見を少なくとも同時に使うことはなく、フレーム毎に画面全体を一律に探索するか、静止テロップのみを対象として特定の箇所を探索するのみであり、多種のパタンのテロップの同時検出を行えるものはなく、また単純に組み合わせた場合でも過大な処理量を要し非効率的であるという問題があった。
【０００７】
この問題に対し、特許文献４の発明のように圧縮映像の一部を用いて効率化を図る手法もあるが、特定の形式で圧縮された映像を前提としており適用できる映像が限定されるため汎用性に欠ける問題もあった。
【０００８】
このため、対象映像が限定されること無く、かつ複数のテロップ頻出パタンに対応できる、適切で効率的なテロップ検出手法が求められていた。
【０００９】
本発明の目的は、映像中のテロップが静止・横スクロール・縦スクロールで混在する状況においても、その効率的な追跡・探索を行え、その結果処理量を削減できる、映像文字検出装置、映像文字検出方法、および映像文字検出プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の映像文字検出装置はフレーム取得手段とテロップ検出手段を備え、テロップ検出手段が探索範囲設定手段とテロップ探索手段と検出位置記憶手段とで構成される。
【００１１】
フレーム取得手段は、入力として与えられた、テロップを含む映像からフレームを取得する。テロップ検出手段は、フレーム取得手段より得られた各フレームについて、テロップの存在する領域を検出する。探索範囲設定手段は、フレーム取得手段によって得られた各フレームについて、フレーム内でのテロップを探索する範囲を、前フレームにおけるテロップの検出位置の近傍領域を一次探索範囲として設定し、かつ当該検出位置から縦横に帯状に延びる領域を二次探索範囲として設定する。テロップ探索手段は、フレーム取得手段によって得られた各フレームについて、探索範囲設定手段によって設定された探索範囲において、一次探索範囲においてテロップの探索を行い、テロップが検出されない場合には二次探索範囲において再度テロップの探索を行う。検出位置記憶手段は、テロップ探索手段によって探索されたテロップの検出位置を記録する。
【発明の効果】
【００１２】
本発明は、映像中のテロップを効率的に探索して検出し、かつテロップが静止・横スクロール・縦スクロールで混在する状況においても、効率的な追跡・探索を行え、テロップの検出における処理量を削減できる効果がある。その理由は、一次探索範囲においてテロップの探索を行い、テロップが検出されない場合には二次探索範囲において再度テロップの探索を行うことにより、映像中の各フレームにおいて画面内全域の探索を回避するためである。
【発明を実施するための最良の形態】
【００１３】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１４】
図１を参照すると、本発明の第１の実施の形態の映像文字検出装置はフレーム取得部１とテロップ検出部２とから構成され、テロップ検出部２は探索範囲設定部２１とテロップ探索部２２と検出位置記憶部２３とから構成されている。フレーム取得部１、テロップ検出部２、探索範囲設定部２１、テロップ探索部２２、検出位置記憶部２３はそれぞれ本発明におけるフレーム取得手段、テロップ検出手段、探索範囲設定手段、テロップ探索手段、検出位置記憶手段に相当する。
【００１５】
フレーム取得部１は、入力として与えられた、テロップを含む映像からフレームを取得する。テロップ検出部２は、フレーム取得部１より得られた各フレームについて、テロップの存在する領域を検出する。テロップ検出部２を構成する探索範囲設定部２１は、フレーム取得部１より得られた各フレームについて、フレーム内でのテロップを探索する範囲を、前フレームにおけるテロップの検出位置を基準として設定する。テロップ探索部２２は、フレーム取得部１より得られた各フレームについて、探索範囲設定部２１によって設定された探索範囲において、テロップを探索する。検出位置記憶部２３は、テロップ探索部２２によって探索されたテロップの検出位置を記録する。
【００１６】
次に、本実施の形態の全体の動作について図１および図２のフローチャートを参照して詳細に説明する。
【００１７】
なお、以下はリアルタイム映像フレームを連続的に扱う場合を想定して説明するが、これに限られるものではなく、蓄積されたオフライン映像を対象に処理を行う構成としてもよい。
【００１８】
テロップを含む映像から、フレーム取得部１によってフレームが取得され、テロップ検出部２に与えられる。テロップ検出部２では、フレーム毎にテロップの存在する領域の検出処理が行われる。
【００１９】
テロップ検出部２での処理を具体的に説明する。テロップ検出部２に与えられたフレームは、探索範囲設定部２１に与えられ、ここでフレーム内でのテロップ存在を探索する範囲が設定される。この探索範囲設定部２１は、検出位置記憶部２３に記憶されている、先のフレームにおけるテロップ検出結果を元に、現在フレームでの探索範囲を設定する。
【００２０】
以下、探索範囲の設定基準につき説明する。
最初のフレームの場合を含め、検出位置記録部２３に直前フレームでのテロップ検出結果が記録されていない場合には、画面全体を処理対象としてテロップ探索部２２に与える。
検出位置記録部２３に前フレームでのテロップ検出位置が記録されている場合には、まずその検出位置を中心とする周辺領域を一次探索範囲として設定する(図２中のステップ１０１)。これは静止しているテロップは読みやすさのためしばらく継続して表示されることを仮定しており、これに従ってテロップ探索部２２はまず先のフレームでテロップが検出された場所を優先してテロップ探索を実施する。この一次探索範囲においてテロップが検出された場合には、先のフレームで検出されたものと同一のテロップが継続表示されているものとし、このテロップについての以降の周辺探索は打ち切る(ステップ１０２のＹｅｓ)。上記の処理で一次探索範囲においてもテロップを検出できなかった場合(ステップ１０２のＮｏ)は、探索範囲設定部２１の処理に戻り、再度当該検出位置を基準にした二次探索範囲を設定する(ステップ１０３)。この場合はスクロールするテロップを想定し、当該検出矩形から縦横に帯状に延びる領域を二次探索範囲とする（図３参照）。この二次探索範囲において、テロップ探索部２２で再度検出が行われ、テロップが得られた場合(ステップ１０４のＹｅｓ)には、前フレームのテロップが移動したものとみなし探索を終了する。
【００２１】
いずれの場合においてもテロップ探索部２２は、検出位置記録部２３によって設定された探索範囲においてテロップを検出する処理を行い、その結果を検出位置記録部２３に記録すると共に、テロップ検出部２における最終処理結果として出力する(ステップ１０５)。なおこのテロップ検出に用いる処理は既知の手法を用いてよい。
【００２２】
本実施の形態では、テロップの定常性を仮定し、前後のフレームにおけるテロップの出現位置を用いて探索範囲を絞り込み、かつ移動するテロップの典型的な出現パタンを元に探索範囲を順次設定しつつテロップの検出を行うように構成されているため、映像中の各フレームにおいて画面内全域の探索を回避しつつ、映像中のテロップを効率的に探索して認識することができ、かつテロップが静止・横スクロール・縦スクロールで混在する状況においても、効率的な追跡・探索を行いテロップ認識の処理負荷を軽減できる。これによって、多数の映像コンテンツを含むデータベースのメタデータ作成や、探索その他への応用展開が容易となる。
【００２３】
なお、本発明は上記の実施の形態に限られるものではなく、種々の変形、変更が可能である。
【００２４】
例えば、二次探索範囲として縦横双方に帯状の領域を設定しているが、図３に示すように必ずしも画面端まで探索する必要はない。探索範囲設定部２１は、想定されるテロップの移動速度とフレーム取得間隔から想定されるフレーム間のテロップ移動画素距離をもとに、探索範囲をより絞り込むようにしてもよい。これにより、探索時間がさらに削減される。
【００２５】
また、縦と横のいずれを優先して探索するかについて、基準とする前フレームテロップ位置によって判定する処理を含めてもよい。図に示すように、横スクロールテロップは画面の上端ないし下端に表示される場合が多いが、スタッフロール等の縦スクロールテロップについては画面内の場所への依存性は少ないものと考えられる。この知見を用いて、テロップ探索部２２は、たとえば画面の上端ないし下端の所定の範囲内にある前フレームテロップについては横方向を優先して探索し、これにあてはまらないものは縦方向を優先して探索するようにしてもよい。これにより、探索時間がさらに削減される。
【００２６】
さらに、探索範囲設定部２１は、スクロールテロップの移動速度が変化することは少ないとの仮定から、複数のフレームで連続して位置が検出されているスクロールテロップの現フレームの位置を推定してその位置周辺に優先探索範囲を設定し、テロップ探索部２２がこれを一次・二次の探索範囲探索に優先して探索するようにしてもよい。
【００２７】
あるテロップが検出され、探索範囲を限定している際に出現する別のテロップを検知するため、テロップ探索部２２は、画面全体でのテロップ検出を所定のフレーム区間毎に必ず行う構成としてもよい。
【００２８】
探索範囲設定部２１は、横スクロールテロップなどで継続して出現し続けるテロップに対しては、両端を重複させた複数のテロップ領域を順次設定しつつ、テロップ探索部２２で探索を行い、一連の領域から得られた探索結果を順次連結するようにしてもよい。
【００２９】
なお、上記におけるすべての構成において、検出テロップ出力を既知の手法を用いるテロップ認識手段に与えてその表示内容を認識する構成としてもよい。
【００３０】
次に、具体例を用いて本発明の実施の形態の動作を説明する。
ここではテレビジョンなどによって放送される映像に含まれるテロップを認識する場合を例に取り詳説する。なお、以下では図示しない記録装置に録画された映像を入力とする場合を説明するが、任意の媒体を介して放送されている映像を直接入力として扱ってもよい。
図４は対象とする映像におけるテロップを含む画面例を表す模式図である。放送映像に頻出するテロップのパタンとして、静止テロップ、横スクロールテロップ、縦スクロールテロップが挙げられる。
【００３１】
静止テロップは出現から消滅まで画面中の一定の箇所に表示され移動しないテロップであり、比較的読みやすく最も出現頻度が高い。代表的な出現パタンとしては図中の画面中央ないし画面隅に現れる場合が多く、可読性のため一定時間以上表示される。出現時や消滅時に何らかのアクションが入るテロップも静止表示される期間が含まれる場合には広義の静止テロップとして扱う。
【００３２】
また、左右の横方向に移動する形で表示されるテロップを、横スクロールテロップと呼ぶ。図４の画面下端に表示しているものが代表的な出現パタンであり、順次長文を表示できるため災害時等に多数の情報を継続して付加するために用いられる場合が多い。
【００３３】
さらに、図４には図示しないパタンとして、縦方向に移動する縦スクロールテロップもある。これはドラマなどの番組終了時に出演者やスタッフ等を表示するスタッフロールで使用されることが多く、画面全域で横書きされた多数の関係者名が下から上に移動するものが多い。
【００３４】
上記のような類型で分類できないテロップの出現パタンも当然存在し、たとえば拡大しながら表示されるものや文字が変形ないし動作するものなど様々である。これらの出現パタンを採るテロップは、多くの場合文字列を視聴者に印象付けるための特殊効果として用いられており、番組の種別にもよるがその出現頻度は上記に上げた３種類のテロップに比べて低いと考えられる。
【００３５】
本実施形態では、このような知見を積極的に仮定することで、対象テロップの追跡の効率化を目指す。
【００３６】
このようなテロップの表示画面を含むニュース番組映像を入力として与えられたフレーム取得部１によって、フレームが取得されてテロップ検部２に与えられる。テロップ検出部２では、フレーム毎にテロップの存在する領域の検出処理が行われる。
【００３７】
テロップ検出部２での処理を具体的に説明する。テロップ検出部２に与えられたフレームは、探索範囲設定部２１に与えられ、ここでフレーム内でのテロップ存在を探索する範囲が設定される。この探索範囲設定部２１は、検出位置記憶部２３に記憶されている、先のフレームにおけるテロップ検出結果を元に、現在フレームでの探索範囲を設定する。以下、図を参照して探索範囲の設定基準につき説明する。
【００３８】
最初のフレームの場合を含め、検出位置記録部２３に直前フレームでのテロップ検出結果が記録されていない場合には、画面全体を処理対象としてテロップ探索部２２に与える。
検出位置記録部２３に前フレームでのテロップ検出位置が記録されている場合には、まずその検出位置を中心とする周辺領域を一次探索範囲として設定する（図３参照）。これは静止しているテロップは読みやすさのためしばらく継続して表示されることを仮定しており、これに従ってテロップ探索部２２はまず先のフレームでテロップが検出された場所を優先してテロップ探索を実施する。この一次探索範囲においてテロップが検出された場合には、先のフレームで検出されたものと同一のテロップが継続表示されているものとし、このテロップについての以降の周辺探索は打ち切る。
【００３９】
上記の処理で一次探索範囲においてもテロップを検出できなかった場合は、探索範囲設定部２１に戻り再度当該検出位置を基準にした二次探索範囲を設定する。この場合はスクロールするテロップを想定し、当該検出矩形から縦横に帯状に延びる領域を二次探索範囲とする（図３参照）。この二次探索範囲において、テロップ探索部２２で再度検出が行われ、テロップが得られた場合には、前フレームのテロップが移動したものとみなし探索を終了する。
【００４０】
テロップ探索部２２は、検出位置記録部２３によって設定された探索範囲においてテロップを検出する処理を行い、その結果を検出位置記録部２３に記録すると共に、最終的な検出結果が出力される。なお、このテロップ検出の具体的処理は既知の手法を用いてよい。例えば特開平１０−３２０５５７号公報にあげられる、エッジ勾配が対向する２つのエッジがある走査方向において隣接し、対をなす箇所、すなわちエッジペア特徴を探索して文字の存在領域を検出するなどの既知の手段を用いてよい。
【００４１】
これによってテロップが静止・横スクロール・縦スクロールで混在する状況において、テロップの頻出パタンや検出位置に応じ複数種の探索範囲とその優先順を設定して、効率的な追跡・探索を行うことによって、テロップ認識の処理負荷を軽減できる映像文字検出処理が実現できる。
【００４２】
なお、本映像文字検出装置の機能は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。
【産業上の利用可能性】
【００４３】
本発明によれば、多数の放送映像に含まれる情報を抽出し、展開応用を容易にするシステムに広く適用できる。たとえば、映像コンテンツを含むデータベースのメタデータ作成や、映像探索システムにおけるサムネイル画像などによるインデクス作成等の用途に用いることができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施の形態による映像文字検出装置のロック図である。
【図２】図１の映像文字検出装置の動作を示す流れ図である。
【図３】探索範囲設定部の動作を説明する模式図である。
【図４】本発明の実施例において対象とするテロップを含む映像の画面例を表す模式図である。
【符号の説明】
【００４５】
１    フレーム取得部
２    テロップ検出部
２１    探索範囲設定部
２２    テロップ探索部
２３    検出位置記憶部
１０１〜１０５  ステップ
【図１】
0005176487.tif 000002
【図２】
0005176487.tif 000003
【図３】
0005176487.tif 000004
【図４】
0005176487.tif 000005