(57)【特許請求の範囲】
【請求項１】
動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する文字出現フレーム抽出装置において，
動画像をフレーム単位に入力して記憶する第１の手段と，
フレーム分割に複数の階層を設け，前記第１の手段を用いて入力された各フレームを各階層毎に異なるサイズの部分矩形領域をもつ複数のフレームに分割する第２の手段と，
文字出現検出処理対象時刻を指定する第３の手段と，
前記第３の手段を用いて指定された文字出現検出処理対象時刻より１単位時間だけ前の時刻のフレームが文字出現フレームでない場合，第５の手段に進むことを決定し，文字出現検出処理対象時刻より１単位時間だけ前のフレームが文字出現フレームである場合，第６の手段へ進むことを決定する第４の手段と，
文字出現検出処理対象時刻のフレームに関して，予め決められた文字出現検出方法で文字出現が起こったかどうか判断する第５の手段と，
文字出現検出処理対象時刻のフレームとそれより１単位時間だけ前の時刻の文字出現フレームとの間で，対応する部分矩形領域毎に，対応画素間の輝度差分値が予め設定した差分値閾値よりも小さい画素の個数を求める第６の手段と，
文字出現検出処理対象時刻のフレームに関して，前記第６の手段を用いて求めた画素の個数が予め設定した個数閾値より少ない部分矩形領域が存在するという条件を満たすかどうか判定し，該条件を満たす場合，該フレームを部分シーンチェンジ発生フレームと判断する第７の手段と，
文字出現検出処理対象時刻のフレームが前記第７の手段を用いて部分シーンチェンジ発生フレームと判断された場合，文字出現検出処理対象時刻のフレームとそれより時間軸の後方向に予め設定した１種類以上の時間間隔ずつ離れた１以上の時刻に対応するフレームとの間で前記第７の手段において部分シーンチェンジ発生の条件を満たした部分矩形領域における対応画素間の輝度差分値が予め設定した差分値閾値よりも小さい画素の個数を求める第８の手段と，
文字出現検出処理対象時刻のフレームに関して，前記第８の手段を用いて算出した画素の個数が，全て予め設定した個数閾値以上存在するという条件を満たすかどうか判定し，該条件を満たす場合，該フレームを文字出現フレームと判断する第９の手段と，
前記第５の手段および前記第９の手段を用いて文字出現フレームと判断されたフレームを出力する手段とを備えた
ことを特徴とする文字出現フレーム抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は，動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する文字出現フレーム抽出装置に関するものである。
【０００２】
【従来の技術】
動画像を構成する複数のフレームの中から文字が含まれるフレームを抽出する技術に関しては，近年多くの研究が行われている。その一つとして，各フレームにおいて輝度に関して高コントラスト部分の面積を，エッジ強度の高い画素の個数などを用いて求め，面積値が時間軸上で急激に増加した時刻のフレームを文字出現フレームとする方法が提案されている。この方法に関する参考文献としては，下記の参考文献［１］［２］［３］がある。
【０００３】
また，下記の参考文献［４］では，文字出現フレームの抽出が目的ではないが，動画像を構成する各フレームにおける高コントラスト部分の面積の時間変化を求める量として，フレーム間の輝度ヒストグラム差分値を提案している。これは前述のエッジ強度の高い画素の個数を求める場合と比べて計算量が少ないという性質を持つ。
【０００４】
また，ニュース映像中の文字出現フレーム抽出に特化した方法なども提案されている（参考文献［５］）。これは，テロップ文字がシーンチェンジが行われたフレームに表示されることを利用するもので，シーンチェンジフレームの中でスタジオシーンを選択して，このフレームを文字出現フレームとして抽出する方法である。
【０００５】
〔参考文献〕
［１］中島，堀，塩原：“キーワード画像抽出による動画像サマリの作成”，情処全大，１Ｆ−１０，（１９９４後期）．
［２］根本，半谷，宮内：“テロップの認識による資料映像の検索について”，信学全大，Ｄ−４２７，（１９９４  春季）．
［３］高野，中村：“Ｈ．２６１符号ハンドリングによるテロップ検出”，画像電子学会研究会予稿，９４−０６−０４，ｐｐ．１３−１６，  （１９９４−０６）  ．
［４］長坂，田中：“カラービデオ映像における自動索引付け法と物体探索法”，情処論，Ｖｏｌ．３３，Ｎｏ．４，ｐｐ．５４３−５５０，  （１９９２−０４）  ．
［５］茂木，有木：“ニュース映像中の文字認識に基づく記事の索引付け”，信学技報，ＩＥ９５−１５３，ＰＲＵ９５−２４０，  ｐｐ．３３−４０，  （１９９６−０３）  ．
【０００６】
【発明が解決しようとする課題】
従来手法の中で，輝度の高コントラスト部分の面積の時間変化に基づく方法では，フレーム内の高コントラスト部分のフレーム内における空間的位置情報や形状情報の時間変化は考慮されていない。このため，異なる文字が，間に１フレームも間隔を置かずに連続して現れる場合等，文字出現の際の高コントラスト部分の面積の時間変化が小さい場合の文字出現フレームの抽出が安定して行えないなどの問題点がある。
【０００７】
また，シーンチェンジフレームを利用する方法でも，異なる文字が，間に１フレームも間隔を置かずに連続して現れる場合等，フレーム内の色や輝度の時間変化が少ない場合には，シーンチェンジの検出ができないため，文字出現フレームの抽出に失敗するという問題点がある。
【０００８】
本発明は，従来手法で問題となった文字出現フレーム抽出失敗を減少させ，文字が出現するフレームの抽出精度を向上させることを目的としている。
【０００９】
【課題を解決するための手段】
上記の目的を達成するため，本発明は，以下の手段を備えることを主要な特徴とする。
【００１０】
１．動画像をフレーム単位に入力して記憶する手段，
２．フレーム分割に複数の階層を設け，前記１の手段を用いて入力された各フレームを各階層毎に異なるサイズの部分矩形領域をもつ複数のフレームに分割する手段，
３．文字出現検出処理対象時刻を指定する手段，
４．前記３の手段を用いて指定された時刻に対応するフレームと該フレームの時刻から時間軸の前後に予め設定した１種類以上の時間間隔ずつ離れた１以上の時刻に対応するフレームが前記２の手段を用いて部分矩形領域に分割された場合に，文字出現検出処理対象時刻より１単位時間だけ前の時刻のフレームが文字出現フレームであるかどうかを調べ，文字出現フレームでない場合，次の第５の手段に進むことを決定し，文字出現検出処理対象時刻より１単位時間だけ前のフレームが文字出現フレームである場合，第６の手段へ進むことを決定する手段，
５．文字出現検出処理対象時刻のフレームに関して，予め決められた文字出現検出方法で文字出現が起こったかどうか判断する手段，
６．文字出現検出処理対象時刻のフレームとそれより１単位時間だけ前の時刻の文字出現フレームとの間で，対応する部分矩形領域毎に，対応画素間の輝度差分値が予め設定した差分値閾値よりも小さい画素の個数を求める手段，
７．文字出現検出処理対象時刻のフレームに関して，前記６の手段を用いて求めた画素の個数が予め設定した個数閾値より少ない部分矩形領域が存在するという条件を満たすかどうか判定し，該条件を満たす場合，該フレームを部分シーンチェンジ発生フレームと判断する手段，
８．文字出現検出処理対象時刻のフレームが前記７の手段を用いて部分シーンチェンジ発生フレームと判断された場合，文字出現検出処理対象時刻のフレームとそれより時間軸の後方向に予め設定した１種類以上の時間間隔ずつ離れた１以上の時刻に対応するフレームとの間で前記７の手段において部分シーンチェンジ発生の条件を満たした部分矩形領域における対応画素間の輝度差分値が予め設定した差分値閾値よりも小さい画素の個数を求める手段，
９．文字出現検出処理対象時刻のフレームに関して，前記８の手段を用いて算出した画素の個数が，全て予め設定した個数閾値以上存在するという条件を満たすかどうか判定し，該条件を満たす場合，該フレームを文字出現フレームと判断する手段，
１０．前記５の手段および前記９の手段を用いて文字出現フレームと判断されたフレームを出力する手段。
【００１１】
本発明の作用は，以下のとおりである。
映像中で類似した面積値を持つ異なる文字が間に１フレームも間隔を置かずに連続して現れる場合（例えば，ニュース映像において，あるニュース項目の開始時に，そのニュース内容の概要を示すヘッドラインが表示され，それに続いて間に１フレームも間隔を置かずに，ヘッドラインと同程度の文字数，および大きさを持つニュースの詳細を説明するためのヘッドラインとは内容が異なるテロップ文字が表示される場合など），最初の文字が現れていたフレームと次の文字が現れたフレームとの間の高コントラスト部分の面積差分値は，必ずしも大きい値をとるとは限らない。しかし，両フレーム内の各々の文字を構成する各画素の存在位置は異なることが多いため，対応画素間輝度差分値が小さい画素の数は少なくなる。
【００１２】
また，文字が出現したフレームの後，数フレームに渡っては，文字は同じ位置に静止して表示されるため，文字を構成する各画素の存在位置の変化がない。したがって，前の時刻のフレームが文字出現フレームである場合，１単位時間だけ前の時刻の文字出現フレームとの間の輝度値の対応画素間輝度差分値が予め設定した差分値閾値よりも小さい画素の個数が，予め設定した個数閾値より小さいフレームを，文字出現の特徴を反映した部分シーンチェンジ発生フレームとして抽出しておき，さらに該フレームに対して，後の時刻の一つ，あるいは複数のフレームとの対応画素間の輝度差分値が予め設定した差分値閾値より小さい画素の個数が全て予め設定した個数閾値以上であるという条件を満たす場合，該フレームを文字出現フレームとして抽出する手段により，文字連続出現の場合にも，従来手法の問題点であった文字出現フレームの抽出漏れを防ぐことができる。
【００１３】
また，対応画素間輝度差分値算出処理は，前記のように部分シーンチェンジを検出することが可能であるため，従来手法の問題点であった連続文字出現の場合の文字出現フレームの抽出漏れを抑制するために用いるだけでなく，文字が表示されていないフレームに続いて，最初に文字が出現する場合（この場合の文字出現を前記の「連続文字出現」に対して，「最初の文字出現」と呼ぶことにする）の文字出現フレーム抽出にも適用可能である。
【００１４】
ただし，対応画素間輝度差分値を用いて前記の最初の文字出現フレーム抽出を行う場合，文字出現検出処理対象時刻のフレームとそれより１単位時間だけ前の時刻のフレームとの間で対応画素間輝度差分値算出処理対象の部分矩形領域内の全ての画素について，対応画素間輝度差分値を算出するため，前述した参考文献［４］に示されているような従来の手法で提案されたフレーム間輝度ヒストグラム差分値と差分値算出の回数を比較すると，従来手法の輝度ヒストグラム差分値の算出の方が処理量が少ない。また，通常，映像中の文字出現パターンとしては「連続文字出現」に比べ，「最初の文字出現」の方が出現頻度が高いため，「最初の文字出現」パターンに対しても，対応画素間輝度差分値を用いて，文字が出現するフレームを抽出することは，処理量が多くなる。
【００１５】
したがって，特許請求の範囲に記載の第４の手段により，「最初の文字出現」パターンに対しては，従来手法で用いられている量で文字出現検出処理対象時刻のフレームの文字出現を判断し，「連続文字出現」パターンに対しては，対応画素間輝度差分値を用いて文字出現検出処理対象時刻のフレームの文字出現を判断することで，「最初の文字出現」および「連続文字出現」の両方の場合の文字出現フレームを効率的に検出することができる。
【００１６】
【発明の実施の形態】
以下，本発明の実施の形態を図１を用いて詳細に説明する。
図１は，本発明を実施する装置の一構成例を示すブロック図である。１は動画像入力記憶部，２は部分矩形領域分割部，３は文字出現検出処理対象時刻指定部，４は文字出現検出処理開始制御部，５は第１の文字出現判断部，６は第１の対応画素間輝度差分値算出部，７は部分シーンチェンジ判断部，８は第２の対応画素間輝度差分値算出部，９は第２の文字出現判断部，１０は文字出現フレーム抽出処理結果の出力部である。
【００１７】
動画像入力記憶部１では，動画像を構成する複数のフレームを入力してメモリ上に記憶する。
部分矩形領域分割部２では，動画像入力記憶部１の処理で記憶した動画像を構成する各フレームに対して，予め設定した複数のフレーム分割法により，フレームを部分矩形領域に分割する（図２参照）。図２は，フレーム分割の一例を示すものであり，複数の階層を設け，各階層毎に異なるサイズの部分矩形領域にフレームを分割している。
【００１８】
文字出現検出処理対象時刻指定部３では，部分矩形領域分割部２の処理により部分矩形領域に分割されたフレームのうち，文字出現検出処理を行っていないフレームに対して，予め決められた方法で文字出現検出処理を行うフレームの時刻を設定する。時刻の決め方は，例えば，時刻の順に決めればよい。
【００１９】
文字出現検出処理開始制御部４では，文字出現検出処理対象時刻指定部３で指定された時刻に対応するフレームと該フレームの時刻から時間軸の前後に予め設定した１種類以上の時間間隔ずつ離れた１以上の時刻に対応するフレームが部分矩形領域分割部２の処理で部分矩形領域に分割された場合，文字出現検出処理対象時刻より１単位時間だけ前の時刻のフレームが文字出現フレームであるかどうかを，１単位時間だけ前の時刻のフレームの文字出現検出処理結果のフラグ情報から判断し，文字出現でないと判断された場合，文字出現検出処理対象時刻のフレームに対し，第１の文字出現判断部５により文字出現検出処理を開始することを決定する。一方，文字出現検出処理対象時刻のフレームより１単位時間だけ前のフレームが文字出現フレームであると判断された場合，第１の対応画素間輝度差分値算出部６の処理を行う。
【００２０】
第１の文字出現判断部５では，文字出現検出処理対象フレームに対し，予め決められた方法（例えば参考文献［４］に記載の方法）を用いて文字出現フレームかどうかを判断し，文字出現フレームと判断された場合，該フレームに対し，文字出現をフラグ情報として付与する。文字出現でないと判断された場合，文字非出現をフラグ情報として付与し，文字出現検出処理対象時刻指定部３の処理に戻る。
【００２１】
第１の対応画素間輝度差分値算出部６では，文字出現検出処理対象フレームと１単位時間だけ前の時刻の文字出現フレームとの間で，対応する部分矩形領域における対応画素間の輝度差分値が予め設定した差分値閾値よりも小さい画素の個数を求める（図３参照）。
【００２２】
図３は，第１の対応画素間輝度差分値算出部６の機能の一例を示すものであり，文字出現検出処理対象時刻のフレームとそれより１単位時間だけ前の時刻のフレームとの間で対応する部分矩形領域における対応画素間で輝度の差分値を算出することを示している。図３の例では，部分矩形領域を構成する４８個の画素中，輝度差分値が所定の閾値より小さい画素数を求めている。
【００２３】
部分シーンチェンジ判断部７では，文字出現検出処理対象フレームに関して，各部分矩形領域毎に第１の対応画素間輝度差分値算出部６の処理で求めた前の時刻の文字出現フレームとの対応画素間の輝度差分値が予め設定した差分値閾値より小さい画素の個数が，予め設定した個数閾値より少ないかどうか判定し，該条件を満たす部分矩形領域を持つ場合，該フレームを部分シーンチェンジ発生フレームとして判断する。
【００２４】
第１の対応画素間輝度差分値算出部６の処理で求めた画素数が該条件を満たさない場合，該フレームを文字が前の時刻から継続して出現しているフレームと判断し，該フレームに対して，文字出現のフラグ情報を付与し，文字出現検出処理対象時刻指定部３の処理に戻る。
【００２５】
第２の対応画素間輝度差分値算出部８では，部分シーンチェンジ判断部７の処理で部分シーンチェンジ発生フレームとして判断された文字出現検出処理対象フレームとそれより時間軸の後方向に予め設定した１種類以上の時間間隔ずつ離れた１以上の時刻のフレームとの間で，対応する部分矩形領域における対応画素間の輝度差分値が予め設定した差分値閾値よりも小さい画素の個数を求める（図４参照）。
【００２６】
図４は，第２の対応画素間輝度差分値算出部８の機能の一例を示すものであり，文字出現検出処理対象時刻のフレームとそれより後の１以上の時刻のフレームとの間で対応する部分矩形領域における対応画素間で輝度の差分値を算出することを示している。この図４の例では，対応画素間輝度差分値算出処理対象の後時刻の複数のフレームを６枚としており，部分矩形領域を構成する４８個の画素中，輝度差分値が所定の閾値より小さい画素数を後の時刻の６フレーム分について求めている。
【００２７】
第２の文字出現判断部９では，部分シーンチェンジ判断部７の処理で部分シーンチェンジ発生フレームとして判断されたフレーム内の部分シーンチェンジ発生の条件を満たした部分矩形領域において，第２の対応画素間輝度差分値算出部８で求めた文字出現検出処理対象時刻のフレームの後の時刻の１以上のフレームとの間の対応する部分矩形領域における対応画素間の輝度差分値が小さい画素数が全て予め設定した個数閾値以上の場合，該フレームを文字出現フレームとして判断し，該フレームに対し，文字出現をフラグ情報として付与する。
【００２８】
また，第２の対応画素間輝度差分値算出部８で算出した１種類以上の画素数の中で予め設定した個数閾値より少ない値が一つでも存在すれば，文字非出現フレームと判断し，当該フレームに対して，文字非出現のフラグ情報を付与し，文字出現検出処理対象時刻指定部３の処理に戻る。
【００２９】
出力部１０では，第１の文字出現判断部５および第２の文字出現判断部９の処理で得られた文字出現フレーム抽出結果を出力する。
以上の説明では，第１の対応画素間輝度差分値算出部６および第２の対応画素間輝度差分値算出部８において，対応画素間の輝度差分値が所定の閾値より小さい画素の数を求めるとしたが，もちろん輝度差分値が所定の閾値以上の画素の数を求め，該当する画素数と閾値との大小の比較を変えれば，実質的に同等であり，同様に本発明を実施することが可能であることは言うまでもない。
【００３０】
【発明の効果】
以上説明したように，本発明によれば，画像中から予め決められた方法で抽出された文字出現フレームとそれより１単位時間だけ後の時刻のフレームとの間のフレーム間対応画素間輝度差分値を算出することで，従来手法では困難であった文字の連続出現を検出するため，従来の手法に比べ，より高精度に文字出現フレームの抽出が可能となる。
【図面の簡単な説明】
【図１】本発明を実施する装置の一構成例を示すブロック図である。
【図２】部分矩形領域分割部の機能の一例を説明する図である。
【図３】第１の対応画素間輝度差分値算出部の機能の一例を説明する図である。
【図４】第２の対応画素間輝度差分値算出部の機能の一例を説明する図である。
【符号の説明】
１    動画像入力記憶部
２    部分矩形領域分割部
３    文字出現検出処理対象時刻指定部
４    文字出現検出処理開始制御部
５    第１の文字出現判断部
６    第１の対応画素間輝度差分値算出部
７    部分シーンチェンジ判断部
８    第２の対応画素間輝度差分値算出部
９    第２の文字出現判断部
１０  文字出現フレーム抽出処理結果の出力部
【図１】
0003569391.tif 000002
【図２】
0003569391.tif 000003
【図３】
0003569391.tif 000004
【図４】
0003569391.tif 000005