(57)【要約】【課題】テロップ矩形領域中の図形部分を除いた文字列矩形領域内で文字と背景を分離する処理が可能であり、また、図形部分の除去処理を高速に実行するテロップ文字領域抽出方法を提供する。【解決手段】形状特徴による判定１０１、図形輪郭候補領域周辺のエッジ領域数による判定１０２、2つの図形輪郭候補領域の対応関係による判定１０３、図形輪郭領域除去１０４を実行して、テロップ矩形領域から図形輪郭領域を除去し、得られた文字列矩形領域内で文字領域抽出を実行して、テロップ文字領域を抽出する。【選択図】  図１
2009017325.tif 000002
【特許請求の範囲】
【請求項１】
映像からテロップを含むテロップ矩形領域を抽出するテロップ矩形抽出部と、
前記抽出したテロップ矩形領域からテロップ内の図形の部分を除去する図形除去部と、
前記除去して残った領域から文字領域を抽出する文字領域抽出部とを有するテロップ文字領域抽出装置。
【請求項２】
請求項１のテロップ文字領域抽出装置であって、
前記図形除去部は、テロップ矩形領域からエッジ領域を抽出するエッジ抽出部と、
前記抽出したエッジ領域に対して直線状とかぎ括弧状か否かを判定する形状特徴判定部と、
前記直線状あるいはかぎ括弧状と判定されたエッジ領域を図形輪郭として判定する第1図形輪郭判定部と、
前記図形輪郭と判定されなかったエッジ領域に対して、エッジ部分の画素を1、それ以外の画素を0としたとき、横方向または縦方向にランと呼ばれる1画素だけの連続した並びを求め、その長さが所定の値以上のランを図形輪郭候補領域として抽出する図形輪郭候補領域抽出部と、
前記抽出した図形輪郭候補領域の周辺からエッジ領域を探し出す周辺エッジ領域探索部と、
前記探索されたエッジ領域の数が所定の値より大きいとき、前記抽出した図形輪郭候補領域を図形輪郭と判定する第２図形輪郭判定部と、
前記抽出した図形輪郭候補領域全てに対して勾配方向を求める勾配方向算出部と、
前記第２図形輪郭判定部で図形輪郭と判定されなかった図形輪郭候補領域に対して、勾配方向が180°異なる図形輪郭候補領域を周辺から探索する対応図形輪郭候補領域探索部と、
前記対応図形輪郭候補領域探索部で探索した結果、対応する図形輪郭候補領域がない場合、または、対応する図形輪郭候補領域が別の連結成分であった場合、その図形輪郭候補領域を図形輪郭と判定する第３図形輪郭判定部と、
前記第1図形輪郭判定部で図形輪郭として判定されたエッジ領域と、第２図形輪郭判定部あるいは第３図形輪郭判定部で図形輪郭と判定された図形輪郭候補領域を除去する図形輪郭除去部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は、映像中のテロップから文字領域を抽出する装置及び方法に関する。
【背景技術】
【０００２】
本明細書において、テロップとは、テレビ放送等の映像において、字幕等をカメラで撮影した画像に付加して送信された字幕や絵等をいうものとする。
【０００３】
テロップから文字領域を抽出する方法として、例えば、非特許文献１、非特許文献２では、テロップ矩形領域を抽出し、得られた領域から背景部分を除くことで領域を絞り込み、その領域から文字・背景分離により文字領域を抽出している。前記絞り込み領域として、非特許文献１では、テロップ矩形領域内のエッジ領域を膨張させた領域を用い、また、非特許文献２では、テロップ矩形内のエッジ画像から横方向に投影をとって文字行領域を抽出し、その文字行領域から縦方向に投影をとって抽出した文字矩形を用いている。
【０００４】
非特許文献３では、輝度、色相、彩度を用いてフレーム画像を領域分割し、分割された各領域が次の文字領域判定条件を満たすとき文字とする方法が提案されている。（1）次のフレームでサイズと位置の変化が小さい、（2）サイズが妥当、（3）フレームに接触しない。
【０００５】
また、非特許文献４では、図形部分に着目した研究として、文書画像からエッジ画像を抽出し、その外接矩形から文字画像を求め、さらに文字認識させて得た確信度を用いて図形輪郭を除去する方法が提案されている。
【０００６】
【非特許文献１】堀修他, ”テロップ認識のための映像からのロバストな文字部抽出法”,  信学論, Vol.J84-D-II, No.8, pp.1800-1808, 2001.
【非特許文献２】Ｘ．  Ｔａｎｇ  ｅｔ  ａｌ．，  “Ａ  Ｓｐａｔｉａｌ−Ｔｅｍporal Approach for Video Caption Detection and Recognition,”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ, Vol.13, No.4, July 2002.
【非特許文献３】Ｈ．  Ｋｕｗａｎｏ  ｅｔ  ａｌ．，  “Ｔｅｌｏｐ  Ｃｈａｒａｃｔｅｒ  Ｅｘｔｒａｃｔｉｏｎ  ｆｒｏｍ  Ｖｉｄｅｏ  Ｄａｔａ，”  Ｉｎ  Ｐｒｏｃ．  ｏｆ  ＤＩＡ’９７，  ｐｐ．８２？８８, 1997。
【０００７】
【非特許文献４】藤本克仁他, “低解像度カラー文書画像から高品質な文字画像を抽出する二値化方式”, 信学技法, PRMU99-89, pp.7-14, 1999.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、図形上に文字が描かれたテロップでは図形と背景の境界がエッジとして抽出されるため、非特許文献１、非特許文献２の方法も領域を絞り込めず、図形の部分が抽出されてしまう。特に図形が複数の行に連なっているテロップでは、複数の行が統合された領域が抽出されてしまい、ロバストな文字・背景分離が困難になる。
【０００９】
また、非特許文献３の方法では、前述した文字領域判定条件を満たす図形部分があるため、図形部分が誤抽出されてしまう。
【００１０】
非特許文献４の方法では、文字認識する必要があるため、図形の輪郭除去に処理時間がかかるという問題がある。
【課題を解決するための手段】
【００１１】
そこで、テロップ矩形領域中の図形部分を除いた文字列矩形領域内で文字と背景を分離する処理が可能であり、また、図形部分の除去処理を高速に実行するテロップ文字領域抽出方法を提供する。
【００１２】
具体的に例えば、テロップ矩形領域内のエッジ領域に対して、形状特徴による判定部図形輪郭候補領域の周辺エッジ領域数による判定、2つの図形輪郭候補領域の対応関係による判定を用いて文字輪郭と図形輪郭に分類し、図形の輪郭部分を除去し、得られた文字列矩形領域内で文字領域抽出部を実行して、テロップ文字領域を抽出する。
【発明の効果】
【００１３】
テロップの文字領域を従来よりも高精度に抽出できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施に好適な実施形態の例を説明する。
【００１５】
図２はテロップ文字領域抽出の処理全体の例を示すフローチャートである。テロップ文字領域抽出は、フレーム画像入力２０２、テロップ矩形抽出２０３、文字列矩形抽出２０４、文字領域抽出２０５の４ステップにて行われる。
【００１６】
フレーム画像入力２０２では、後述する補助記憶装置３０３に格納されている動画データ２０１をフレーム画像に展開して取り込む。
【００１７】
テロップ矩形抽出２０３では、フレーム画像入力２０２で取り込んだフレーム画像からテロップと判断される矩形領域を抽出する。以降、テロップと判断される矩形領域をテロップ矩形領域と呼ぶ。
【００１８】
文字列矩形抽出２０４では、テロップ矩形抽出２０３で抽出されたテロップ矩形領域から文字または文字列であると判断される矩形領域を抽出する。以降、文字列であると判断される矩形領域を文字列矩形領域と呼ぶ。
【００１９】
文字領域抽出２０５では、文字列矩形抽出２０４で抽出された文字列矩形領域内から文字であると判断される画素領域を抽出し、文字画像２０６を生成する。以降、文字であると判断される画素領域を文字領域と呼ぶ。
【００２０】
以下、テロップ文字領域抽出処理を行う装置と文字列矩形抽出２０４の処理の詳細について説明する。なお、テロップ矩形抽出２０３については、例えば、特開平７−１９２００３号公報で記載されている連続するフレームにおいてエッジと高輝度画素が同じ位置に存在する画素をテロップ画素として抽出し、その画素の連結成分を求めテロップ矩形領域とする公知の手法を用いることができる。また、文字領域の抽出方法は、文字であると判断される画素領域を求める方法は、特開２００２−２７９４３３、特開２００６−５９１２４などで知られる公知の手法を用いることができる。
【００２１】
図３は、テロップ文字領域抽出装置のハードウェア構成の一例である。テロップ文字領域抽出装置は、ＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５から構成される。また、放送データを受信して動画データを取得する場合には、さらに、放送データ入力装置３０６を有する。また、ネットワークを介して動画データを取得する場合には、さらに、データ送受信装置３０７を有する。上記３０１から３０７までの各装置はバス３０８によって接続され、各装置間で相互にデータの送受信が行われる。ただしテロップ文字領域抽出装置がこの全ての構成を備える必要はない。
【００２２】
ＣＰＵ３０１は、主記憶装置３０２や補助記憶装置３０３に格納されているプログラムを実行する。
【００２３】
主記憶装置３０２は、例えば、ランダムアクセスメモリ（ＲＡＭ）やリードオンリーメモリ（ＲＯＭ）等で実現される。主記憶装置３０２は、ＣＰＵ３０１によって実行されるプログラムやテロップ文字領域抽出装置において処理されるデータや動画データ等を格納する。
【００２４】
補助記憶装置３０３は、例えば、ハードディスク（ＨＤＤ）、Ｂｌｕ−ｒａｙ Ｄｉｓｃや、ＤＶＤなどの光ディスクドライブ、フロッピー(登録商標)ディスクなどの磁気ディスクドライブ、あるいはフラッシュメモリ等の不揮発性メモリ等を、単体あるいは複数組合せて構成される。補助記憶装置３０３は、ＣＰＵ３０１によって実行されるソフトウェアやテロップ文字領域抽出装置において処理されるデータや動画データ等を格納する。
【００２５】
表示装置３０４は、例えば、液晶ディスプレイ、プラズマディスプレイ、プロジェクタ等によって実現され、本テロップ文字領域抽出装置において処理される動画データや本テロップ文字領域抽出装置の処理結果を表示する。
【００２６】
入力装置３０５は、例えば、リモコン、キーボード、マウス等で実現され、利用者は本入力装置３０５を通してテロップ文字領域抽出装置の処理に関する設定や操作を行う。
【００２７】
放送データ取得装置３０６は、例えば、チューナ等で実現され、アンテナで受信した電波から利用者が選局したチャンネルの動画データを補助記憶装置３０３に記憶する。
【００２８】
ネットワーク送受信装置３０７は、例えば、ＬＡＮカード等のネットワークカードによって実現され、ネットワークで繋がっている他の装置から動画データを取得し、補助記憶装置３０３に格納する。
【００２９】
図４は、文字列矩形抽出２０４の処理例を示すフローチャートである。文字列矩形抽出は、エッジ領域抽出４０２、図形輪郭除去４０３、ノイズ除去４０４、連結成分生成４０５、領域統合４０６のステップにて行われる。
【００３０】
エッジ領域抽出４０２では、テロップ矩形抽出２０３で抽出されたテロップ矩形領域４０１からエッジ検出によりテロップ領域内でエッジとされる画素を求め、それらの画素をまとめて連結成分を生成し、その連結成分をエッジ領域とする。また同時に各エッジ画素の勾配方向も求める。
【００３１】
図形輪郭除去４０３では、エッジ領域抽出４０２で抽出されたエッジ領域を図形輪郭と文字輪郭に分類し、図形輪郭と判定されたエッジ領域の全てまたは一部分を除去する。
【００３２】
ノイズ除去４０４では、図形輪郭除去４０３で除去されなかったエッジ領域に対してノイズか否かを判定し、ノイズと判定されたエッジ領域を除去する。
【００３３】
連結成分生成４０５では、ノイズ除去４０４で除去されなかったエッジ領域に対して、連結している画素をまとめ、連結成分を求める。
【００３４】
領域統合４０６では、連結成分生成４０５で求めた連結成分を統合条件にしたがって統合して得られた領域を文字列矩形領域４０７とする。
【００３５】
なお、テロップ矩形抽出２０３でエッジ領域が抽出され、主記憶装置あるいは補助記憶装置に保存されている場合は、そのエッジ領域を図形輪郭除去４０３に入力することで処理時間の短縮が図れる。
【００３６】
以下、図３の図形輪郭除去４０３の処理の詳細について説明する。なお、エッジ領域抽出４０２、ノイズ除去４０４、連結成分生成４０５については従来の技術と同様であり、また、領域統合４０６については、高橋他, ”多重仮説検定を用いた割書・振り分け行に対応した文字行抽出方式”, FIT2004, I-027, 2004.に記載されている公知の方法を適用できる。
【００３７】
図１は、図形輪郭除去４０３において、エッジ領域を図形輪郭と文字輪郭に分類する方法のフローチャートである。図形輪郭と文字輪郭の分類は、形状特徴による判定１０１、図形輪郭候補領域周辺のエッジ領域数による判定１０２、2つの図形輪郭候補領域の対応関係による判定１０３、図形輪郭領域除去１０４、４つのステップにて行われる。
【００３８】
形状特徴による判定１０１では、図５に示すような直線状５０１、かぎ括弧状５０２の形状のエッジ領域を除去する。直線状５０１、かぎ括弧状５０２と判定する手順は、まず、エッジ領域から横方向と縦方向にランを生成する。ここでランとは画像中の前景を1、それ以外の画素を0としたとき、横方向あるいは縦方向に1ランと呼ばれる1画素だけの連続した並びのことを指す。以降、横方向のランを横ランと呼び、縦方向のランを立てランと呼ぶ。所定の長さ以上の横ランを抽出し、その両端において縦方向に伸びる画素を探索し、両端に画素がないとき直線状と判定し、片端に画素があるときはかぎ括弧状と判定する。所定の長さ以上の縦ランを抽出し、その両端において横方向に伸びる画素を探索し、両端に画素がないとき直線状と判定し、その図形輪郭候補の片端に画素があるときはかぎ括弧状と判定する。直線状またはかぎ括弧状と判定されたエッジ領域を図形輪郭と判定する。以降の処理では、一定長以上の横ランと一定長以上の縦ランを図形輪郭候補として扱う。
【００３９】
図形輪郭候補領域周辺のエッジ領域数による判定１０２では、形状特徴による判定１０１で直線状またはかぎ括弧状と判定されなかったエッジ領域に対して、図形輪郭候補領域の周辺に存在する別のエッジ領域を探索する。探索の結果、エッジ領域が2つ以上複数発見された場合、図形輪郭候補領域を図形輪郭と判定する。
【００４０】
2つの図形輪郭候補領域の対応関係による判定１０３では、まず、全ての図形輪郭候補領域に対して勾配方向を算出する。算出方法は、図形輪郭候補領域を構成する画素において、エッジ領域抽出３０２で求めた勾配方向の頻度が最も大きい勾配方向を図形輪郭候補の勾配方向とする。次に、図形輪郭候補領域周辺のエッジ領域数による判定１０２で図形輪郭と判定されなかった図形輪郭候補領域に対して、勾配方向が180°異なる図形輪郭候補領域をその周囲から探索する。探索の結果、該当する図形輪郭候補領域が見つからない、あるいは、該当する図形輪郭候補領域が別の連結成分であった場合、図形輪郭候補領域を図形輪郭と判定する。
【００４１】
図形輪郭領域序除去１０４では、形状特徴による判定１０１、図形輪郭候補領域周辺のエッジ領域数による判定１０２、2つの図形輪郭候補領域の対応関係による判定１０３で図形輪郭と判定されたエッジ領域、あるいは、図形輪郭候補領域を除去し、文字輪郭領域を得る。
【００４２】
次に、図形輪郭と文字輪郭との分類に用いた上記３つの判定の有効性を示す根拠を述べる。
【００４３】
まず、形状特徴による判定１０１を用いる根拠を説明する。エッジ領域が図形輪郭の場合は、図５に示す直線状５０１、かぎ括弧状５０２、大括弧状５０３、四角形５０４、文字輪郭と一体化５０５が存在する傾向があるのに対し、文字輪郭の場合は、直線状５０１、かぎ括弧状５０２は見られない傾向がある。したがって、直線状５０１、かぎ括弧状５０２形状を判定することで図形輪郭のみ抽出することできる。
次に、図形輪郭候補領域周辺のエッジ領域数による判定１０２を用いる根拠を説明する。
【００４４】
文字輪郭と一体化した輪郭５０５のエッジ領域に対しては、エッジ領域自体を図形輪郭と文字輪郭に分離しなれければならない。エッジ領域を横一行または縦一行で捉えると、エッジ領域が図形輪郭の場合、少数の一定長以上のランで構成される傾向があるのに対して、文字輪郭の場合、多数の一定長未満のランで構成される傾向がある。ただし、‘国’の上部のような文字幅と同じ長さの水平な部分のエッジ領域の横一行は、図形輪郭と同様に一定長以上のランで構成される。一定長以上のランの周辺に着目すると、一定長以上のランが図形輪郭の場合、図６に示すような一定長以上のラン６０１ａを含む図形輪郭６０３ａの上下に一文字以上の文字輪郭６０２ａが並ぶ、または、一定長以上のラン６０１ｂを含む図形輪郭６０３ｂによって一文字以上の文字輪郭６０２ｂを囲む場合が存在する。一方、一定長以上のランが文字輪郭の場合、文字輪郭の周辺に複数のエッジ領域が存在しない傾向があった。したがって、周辺に存在する別連結成分数が複数である一定長のランを抽出することで図形輪郭のみを抽出するこができる。
【００４５】
次に、2つの図形輪郭候補領域の対応関係による判定１０３を用いる根拠を、図６を用いて説明する。
【００４６】
一定長以上のラン６０１ｃが図形輪郭であり、その周辺に存在する輪郭成分６０２ｃが１つの場合、輪郭成分６０２ｃは一文字分の輪郭である傾向があり、一定長以上のラン６０１ｃの付近に、文字輪郭の一定長以上のラン６０４が存在する。一方、一定長以上のラン６０１ｄが文字輪郭であり、その周辺に存在する輪郭成分６０２ｄが１つの場合、輪郭成分６０２ｄは文字の一部の輪郭である傾向があり、一定長以上のラン６０１d付近に同一連結成分の一定長以上のラン６０５が存在する。したがって、最も近くに存在する一定長以上のランが図形輪郭か文字輪郭かを判定することで図形輪郭のみを抽出することができる。
【００４７】
以上、上述した実施例によれば、従来方法より高精度にテロップの文字領域を抽出する方法を提供できる。
【図面の簡単な説明】
【００４８】
【図１】図４の図形輪郭除去ステップ４０３において、エッジ領域を図形輪郭と文字輪郭に分類する処理例を示すフローチャートである。
【図２】テロップ文字領域抽出の処理の例を示すフローチャートである。
【図３】テロップ文字領域抽出装置のハードウェア構成例を示すブロック図である。
【図４】図２の文字列矩形抽出ステップ２０４の処理例を示すフローチャートである。
【図５】形状特徴の例を示す概念図である。
【図６】図形輪郭と文字輪郭との位置関係の例を示す概念図である。
【符号の説明】
【００４９】
１０１…形状特徴による判定、１０２…図形輪郭候補領域周辺のエッジ領域数による判定、１０３…2つの図形輪郭候補領域の対応関係による判定、１０４…図形輪郭領域除去、２０１…フレーム画像入力、２０２…テロップ矩形抽出、２０３…文字列矩形抽出、２０４…文字領域抽出
【図１】
2009017325.tif 000003
【図２】
2009017325.tif 000004
【図３】
2009017325.tif 000005
【図４】
2009017325.tif 000006
【図５】
2009017325.tif 000007
【図６】
2009017325.tif 000008