(57)【特許請求の範囲】
【請求項１】
動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する文字出現フレーム抽出装置において，
動画像をフレーム単位に入力して記憶する第１の手段と，
フレーム分割に複数の階層を設け，前記第１の手段を用いて入力された各フレームを各階層毎に異なるサイズの部分矩形領域をもつ複数のフレームに分割する第２の手段と，
前記第２の手段を用いて部分矩形領域に分割された各フレームにおいて，各部分矩形領域に対して輝度ヒストグラムを生成する第３の手段と，
文字出現検出処理対象時刻を指定する第４の手段と，
前記第４の手段を用いて指定された時刻に対応するフレームと該フレームの時刻から時間軸の前後に予め設定した１種類以上の時間間隔ずつ離れた１以上の時刻に対応するフレームに対して，前記第２の手段を用いて得られた各部分矩形領域毎に前記第３の手段を用いて得られた輝度ヒストグラムが生成された場合に文字出現検出処理を開始することを決定する第５の手段と，
文字出現検出処理対象時刻のフレームと該フレームの時刻から時間軸の前後に予め設定した１種類以上の時間間隔ずつ離れた１以上の時刻に対応するフレームとの間で，前記第２の手段を用いて得られた各部分矩形領域毎に前記第３の手段を用いて得られた輝度ヒストグラムを用いて輝度ヒストグラム差分値を算出する第６の手段と，
前記第２の手段を用いて得られた各部分矩形領域毎に，前記第６の手段を用いて求めた輝度ヒストグラム差分値において，前記第４の手段で指定した文字出現検出処理対象時刻のフレームより前の時刻のフレームとの間で算出した差分値の中で予め設定した第１の閾値以上の値が１個以上存在し，且つ文字出現検出処理対象時刻のフレームより後の時刻のフレームとの間で算出した差分値は全て予め設定した第２の閾値よりも小さいという条件を満たすかどうか判定し，該条件を満たす部分矩形領域を持つ場合に該フレームを文字出現フレームとして検出する第７の手段と，
前記第７の手段を用いて文字出現フレームとして検出されたフレームを出力する第８の手段とを備えた
ことを特徴とする文字出現フレーム抽出装置。
【請求項２】
動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する文字出現フレーム抽出方法において，
動画像をフレーム単位に入力する過程と，
動画像を構成する各フレームを予め決められた方法で部分矩形領域に分割する過程と，
部分矩形領域に分割された各フレームにおいて，各部分矩形領域に対して輝度ヒストグラムを生成する過程と，
前後の時刻の複数のフレームとの間で対応する部分矩形領域内で輝度ヒストグラム差分値を算出する過程と，
各フレームと前後の時刻の複数のフレームとの間で求めた部分矩形領域毎の複数の輝度ヒストグラム差分値の中で，前の時刻の複数のフレームとの間で求めた差分値は予め設定した閾値よりも大きい値が１つ以上存在し，且つ後の時刻の複数のフレームとの間で求めた差分値は全ての値が予め設定した閾値より小さいという条件を満たす部分矩形領域を持つ場合に，該フレームを文字出現フレームとして抽出し出力する過程とを有する
ことを特徴とする文字出現フレーム抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は，動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する文字出現フレーム抽出装置および文字出現フレーム抽出方法に関するものである。
【０００２】
【従来の技術】
動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する技術に関しては，近年多くの研究が行われている。その一つとして，各フレームにおいて輝度に関して高コントラスト部分の面積を求め，面積値が時間軸上で急激に増加した時刻のフレームを文字出現フレームとする方法が提案されている。この方法に関する参考文献としては，以下の参考文献［１］［２］［３］がある。
【０００３】
また，ニュース映像中の文字出現フレーム抽出に特化した次の参考文献［４］に示されているような方法なども提案されている。これは，テロップ文字がシーンチェンジが行われたフレームに表示されることを利用するもので，シーンチェンジフレームの中でスタジオシーンを選択して，このフレームを文字出現フレームとして抽出する方法である。
【０００４】
〔参考文献〕
［１］中島，堀，塩原：“キーワード画像抽出による動画像サマリの作成”，情処全大，１Ｆ−１０，（１９９４後期）．
［２］根本，半谷，宮内：“テロップの認識による資料映像の検索について”，信学全大，Ｄ−４２７  ，（１９９４春季）．
［３］高野，中村：“Ｈ．２６１  符号ハンドリングによるテロップ検出”，画像電子学会研究会予稿，９４−０６−０４，ｐｐ．１３−１６，（１９９４−０６）．
［４］茂木，有木：“ニュース映像中の文字認識に基づく記事の索引付け”，信学技報，ＩＥ９５−１５３，ＰＲＵ９５−２４０，ｐｐ．３３−４０，（１９９６−０３）．
【０００５】
【発明が解決しようとする課題】
従来手法の中で，輝度の高コントラスト部分の面積の時間変化に基づく方法では，被写体が複数フレームに渡って激しく連続して動く場合やフラッシュがたかれた場合のフレームを文字出現フレームとして過剰検出してしまうという問題点がある。
【０００６】
さらに，出現した文字の面積が画像全体の面積に比べ相対的に小さい場合，あるいは文字がフェード出現するような場合には，高コントラスト部の急激な増加という形では現れにくくなるため，文字出現フレームとして認識できず，検出不可能になるという問題点もある。
【０００７】
また，シーンチェンジフレームを利用する方法では，シーンチェンジが文字出現によって発生したかどうかの判断を行っていないため，文字出現ではないシーンチェンジフレームを誤って文字出現フレームとして検出するという問題点がある。
【０００８】
本発明は，以上のような従来手法で問題となった文字出現フレーム抽出失敗，および過剰検出を減少させ，文字が出現するフレームの抽出精度を向上させることを目的としている。
【０００９】
【課題を解決するための手段】
本発明は，予め決められた方法で，動画像を構成する各フレームを部分矩形領域に分割し，前後の時刻の複数のフレームとの間で対応する部分矩形領域内で輝度ヒストグラム差分値を算出しておき，
各フレームと前後の時刻の複数のフレームとの間で求めた複数の輝度ヒストグラム差分値の中で，前の時刻の複数のフレームとの間で求めた差分値は，予め設定した第１の閾値よりも大きい値が１つ以上存在し，且つ後の時刻の複数のフレームとの間で求めた差分値は全ての値が予め設定した第２の閾値より小さいという条件を満たす部分矩形領域を持つ場合，該フレームを文字出現フレームとして抽出する。
【００１０】
本発明の作用は以下のとおりである。
映像中のテロップ文字やフリップボード上の文字を投影した場合，文字が出現することで前のフレームとの画素値の差が生じ，文字が出現したフレームの後，数フレームに渡っては文字部分は変化が少ないというパターンをとる場合が多い。したがって，前述した条件を満たす部分矩形領域を持つフレームを検出する文字出現判断手段（請求項１記載の第７の手段）により，文字出現を検出することができる。
【００１１】
被写体が複数フレームに渡って激しく連続して動く場合やフラッシュがたかれた場合には，前の時刻のフレームとの間で算出した輝度ヒストグラム差分値だけでなく，後の時刻のフレームとの間で算出した輝度ヒストグラムも急激に変化する。したがって，請求項１記載の第７の手段で用いる前の時刻のフレームとの輝度ヒストグラム差分値の中で，予め設定した閾値より大きい値が１個以上存在し，且つ後の時刻のフレームとの輝度ヒストグラム差分値は全て予め設定した閾値より小さいという条件を満たす時刻のフレームを文字出現フレームと検出する手段により，被写体が複数フレームに渡って激しく連続して動く場合やフラッシュがたかれた場合を文字出現フレームとして過剰抽出することを抑制することができる。
【００１２】
また，文字がフェード出現する場合，隣接する時刻のフレーム間の輝度ヒストグラム差分値は小さいが，差分値を算出するフレーム同士の時間間隔を大きくすると，前の時刻のフレームとの輝度ヒストグラム差分は大きくなる。フェードの効果が終了し，文字領域の輝度が以後のフレームに渡って一定となる時刻のフレームに対しては，後の時刻のフレームとの輝度ヒストグラム差分は小さくなり，これは，前記の文字出現フレーム抽出への閾値処理の条件を満たす。したがって，請求項１記載の第７の手段において複数の前の時刻のフレームとの輝度ヒストグラム差分値を算出して判定することにより，文字のフェード出現の場合にも安定して文字出現フレームを抽出することができる。
【００１３】
文字出現部分の面積が部分矩形領域の面積と比べ，相対的に小さく，輝度ヒストグラムの分布パターンの変化に反映されにくい場合に対しては，部分矩形領域を階層性をもつ複数のサイズに予め設定しておき，重なりのある異なる階層の部分矩形領域の文字出現検出処理結果の中で，いずれかが文字出現として判定された場合に文字出現とすることで対処することができる。
【００１４】
【発明の実施の形態】
以下，本発明の実施の形態を図１を参照して詳細に説明する。
図１は，本発明を実施する装置の構成の一例を示すブロック図である。図中，１は動画像入力記憶部，２は部分矩形領域分割部，３は輝度ヒストグラム生成部，４は文字出現検出処理対象時刻指定部，５は文字出現検出処理開始制御部，６は輝度ヒストグラム差分値算出部，７は文字出現判断部，８は文字出現フレーム抽出処理結果の出力部である。
【００１５】
動画像入力記憶部１では，動画像を構成する複数のフレームをメモリ上に記憶する。
部分矩形領域分割部２では，動画像入力記憶部１の処理で記憶した動画像を構成する各フレームに対して，予め設定した複数のフレーム分割法により部分矩形領域に分割する（図２参照）。図２はフレーム分割法の一例を示すものであり，複数の階層を設け，各階層毎に異なるサイズの部分矩形領域にフレームを分割している。
【００１６】
輝度ヒストグラム生成部３では，部分矩形領域分割部２の処理で部分矩形領域に分割された各フレームにおいて，各フレームの部分矩形領域における輝度ヒストグラムを生成する。この場合のヒストグラムの輝度階級幅は予め設定した階級幅を用いる。
【００１７】
図３は輝度ヒストグラム説明図である。輝度ヒストグラム生成部３は，図２に示す各部分矩形領域毎に，例えば図３（Ａ）に示すような輝度ヒストグラムを生成する。ヒストグラムの横軸は輝度値（濃度値）であり，縦軸は画素数である。この例では，輝度値レンジを［０．０，１．０］とし，０．２刻みで画素数をカウントしている。
【００１８】
文字出現検出処理対象時刻指定部４では，輝度ヒストグラム生成部３により輝度ヒストグラムが生成されたフレームのうち，文字出現検出処理を行っていないフレームに対して，予め決められた方法で文字出現検出処理を行うフレームの時刻を設定する。時刻の決め方は，例えば時刻の順に決めればよい。
【００１９】
文字出現検出処理開始制御部５では，文字出現検出処理対象時刻指定部４で指定された時刻に対応するフレームと該フレームから時間軸の前後に予め設定した１種類以上の時間間隔ずつ離れた１以上の時刻に対応するフレームについて，輝度ヒストグラム生成部３で得られた各フレーム内の各部分矩形領域毎の輝度ヒストグラムが生成されたかどうかを判断し，生成されていれば，文字出現検出処理の開始を決定する。
【００２０】
輝度ヒストグラム差分値算出部６では，文字出現検出処理対象時刻のフレームＦ（Ｔ）に対し，文字出現検出処理開始制御部５の条件を満たす前後の複数フレームをＦ（Ｔ−Ｎ），…，Ｆ（Ｔ−１），およびＦ（Ｔ＋１），…，Ｆ（Ｔ＋Ｎ）とした場合，Ｆ（Ｔ）とＦ（Ｔ−Ｎ），Ｆ（Ｔ−Ｎ＋１），…，Ｆ（Ｔ−１），およびＦ（Ｔ）とＦ（Ｔ＋１），Ｆ（Ｔ＋２），…，Ｆ（Ｔ＋Ｎ）の間でそれぞれ対応する部分矩形領域間の輝度ヒストグラム差分値を算出する。
【００２１】
図４は，輝度ヒストグラム差分値算出部６の処理フローチャートである。
輝度ヒストグラム差分値算出部６は，図４に示すように，まず，Ｆ（Ｔ）とＦ（Ｔ−ｎ）の輝度ヒストグラム差分値（ただし，ｎは１，２，…，Ｎ）を算出し，次にＦ（Ｔ）とＦ（Ｔ＋ｎ）の輝度ヒストグラム差分値（ただし，ｎは１，２，…，Ｎ）を算出して，結果の輝度ヒストグラム差分値を文字出現判断部７へ送る。
【００２２】
輝度ヒストグラムの差分値は，各階級における度数の差で定義し，対応する部分矩形領域同士の間で求める。つまり，算出される差分値の数は，各部分矩形領域毎に入力した前後のフレーム数となる。
【００２３】
図５に，その輝度ヒストグラム差分値算出部６による差分値算出の一例を示す。図５の例では，前フレーム２枚と後フレーム２枚が輝度ヒストグラム差分値の算出対象となっている。これらのフレームにおける対応する部分矩形領域間で輝度ヒストグラム差分値を算出する。
【００２４】
文字出現判断部７では，各部分矩形領域毎に輝度ヒストグラム差分値算出部６の処理で算出した複数の差分値に関して，前の時刻の複数フレームとの間で算出した値の中で予め設定した閾値以上の値が１個以上存在し，且つ後の時刻の複数フレームとの間で算出した値は全て予め設定した閾値よりも小さいという条件を満たすかどうかの判定を行い，該条件を満たす部分矩形領域を持つ場合，該フレームを文字出現フレームと判断する。輝度ヒストグラム差分値算出部６の処理で算出した複数の差分値に関して，該条件を満たさない場合，該フレームを非文字出現フレームと判断し，文字出現検出処理対象時刻指定部４の処理に戻る。
【００２５】
すなわち，文字出現フレームと判断する条件は，まず第１に，例えば図５のフレームＦ（Ｔ）と前フレームＦ（Ｔ−１），Ｆ（Ｔ−２）間で対応する輝度ヒストグラムについて，各階級で度数差分値を算出し，その度数差分値の中で予め設定した度数閾値以上のものが１個以上存在するということである。例えば図３（Ｂ）に示すような輝度ヒストグラムの差分値が存在する場合，この条件を満たすことになる。
【００２６】
第２の条件は，例えば図５のフレームＦ（Ｔ）と後フレームＦ（Ｔ＋１），Ｆ（Ｔ＋２）間で対応する輝度ヒストグラムについて，各階級で度数差分値を算出し，その度数差分値が予め設定した度数閾値よりも全て小さいということである。全ての輝度ヒストグラムの差分値が，例えば図３（Ｃ）に示すように所定の閾値より小さい場合には，この条件を満たすことになる。
【００２７】
出力部８では，文字出現判断部７の処理で得られた文字出現フレーム抽出結果を出力する。
【００２８】
【発明の効果】
以上の説明の通り，本発明によれば，文字出現前後の一定時間の輝度値の変化パターンを反映した量により，動画像を構成する各フレームに対し，文字出現フレームかどうかを判断しているため，従来の手法に比べ，より高精度に文字出現フレームの抽出が可能となる。
【図面の簡単な説明】
【図１】本発明を実施する装置の構成を示すブロック図である。
【図２】部分矩形領域分割部によるフレーム分割法の一例を示す図である。
【図３】輝度ヒストグラム説明図である。
【図４】輝度ヒストグラム差分値算出部による処理の一例を示すフローチャートである。
【図５】輝度ヒストグラム差分値算出部による差分値算出の一例を示す図である。
【符号の説明】
１  動画像入力記憶部
２  部分矩形領域分割部
３  輝度ヒストグラム生成部
４  文字出現検出処理対象時刻指定部
５  文字出現検出処理開始制御部
６  輝度ヒストグラム差分値算出部
７  文字出現判断部
８  文字出現フレーム抽出処理結果の出力部
【図１】
0003569390.tif 000002
【図２】
0003569390.tif 000003
【図３】
0003569390.tif 000004
【図４】
0003569390.tif 000005
【図５】
0003569390.tif 000006