(57)【要約】【課題】  テレビ映像に含まれるテロップなど、自然画中に描画されている斜体文字を文字認識処理が可能な文字情報として好適に取り出す。【解決手段】  テロップは背景に対して輝度が高いという特徴を利用して、入力画像をＹＵＶ変換し、このうちＹ成分に対してエッジ計算を行なう。さらに２値化して、文字部分のエッジだけを残す。続いて、エッジ画像を縮退して細線化し、細線化したエッジ画像から直線を検出する。エッジ画像を細線化処理することで、直権検出で誤検出を減らすことができる。そして、検出された直線の傾きの平均を斜体文字の傾斜角として用いる。【選択図】  図１
2006331057.tif 000002
【特許請求の範囲】
【請求項１】
入力画像中に描画された文字情報を抽出する文字情報抽出装置であって、
文字情報が斜体文字である場合に、文字の傾斜を補正して直立文字に変換してから文字認識を行なうために該文字情報の傾斜角を算出する際に、
入力画像のエッジ情報を検出するエッジ情報検出手段と、
前記エッジ情報検出手段により検出されたエッジ画像に対し所定の閾値を用いて２値化処理する２値化処理手段と、
前記２値化処理手段により２値化されたエッジ画像を、連結性を保持したまま所定の太さの線分まで縮退して細線化する細線化処理手段と、
細線化されたエッジ画像から直線を検出する直線検出手段と、
前記直線検出手段により検出された直線を用いて文字情報の傾斜角を算出する傾斜角計算手段と、
を備えることを特徴とする文字情報抽出装置。
【請求項２】
前記入力画像はテレビ映像であり、該テレビ映像中に描画されたテロップを文字情報として抽出する、
ことを特徴とする請求項１に記載の文字情報抽出装置。
【請求項３】
前記エッジ情報検出手段は、入力画像の横方向のエッジを検出する、
ことを特徴とする請求項１に記載の文字情報抽出装置。
【請求項４】
前記エッジ情報検出手段は、入力画像をＹＵＶ変換し、Ｙ成分に対してエッジ検出を行なう、
ことを特徴とする請求項１に記載の文字情報抽出装置。
【請求項５】
前記直線検出手段は、検出する直線の傾きを制限する、
ことを特徴とする請求項１に記載の文字情報抽出装置。
【請求項６】
入力画像中に描画された文字情報を抽出する文字情報抽出方法であって、
文字情報が斜体文字である場合に、文字の傾斜を補正して直立文字に変換してから文字認識を行なうために該文字情報の傾斜角を算出する際に、
入力画像のエッジ情報を検出するエッジ情報検出ステップと、
前記エッジ情報検出ステップにおいて検出されたエッジ画像に対し所定の閾値を用いて２値化処理する２値化処理ステップと、
前記２値化処理ステップにおいて２値化されたエッジ画像を、連結性を保持したまま所定の太さの線分まで縮退して細線化する細線化処理ステップと、
細線化されたエッジ画像から直線を検出する直線検出ステップと、
前記直線検出ステップにおいて検出された直線を用いて文字情報の傾斜角を算出する傾斜角計算ステップと、
を備えることを特徴とする文字情報抽出方法。
【請求項７】
前記入力画像はテレビ映像であり、該テレビ映像中に描画されたテロップを文字情報として抽出する、
ことを特徴とする請求項６に記載の文字情報抽出方法。
【請求項８】
前記エッジ情報検出ステップでは、入力画像の横方向のエッジを検出する、
ことを特徴とする請求項６に記載の文字情報抽出方法。
【請求項９】
前記エッジ情報検出ステップでは、入力画像をＹＵＶ変換し、Ｙ成分に対してエッジ検出を行なう、
ことを特徴とする請求項６に記載の文字情報抽出方法。
【請求項１０】
前記直線検出ステップでは、検出する直線の傾きを制限する、
ことを特徴とする請求項６に記載の文字情報抽出方法。
【請求項１１】
入力画像中に描画された文字情報を抽出する文字情報抽出処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
文字情報が斜体文字である場合に、文字の傾斜を補正して直立文字に変換してから文字認識を行なうために該文字情報の傾斜角を算出する際に、前記コンピュータ・システムに対し、
入力画像のエッジ情報を検出するエッジ情報検出手順と、
前記エッジ情報検出手順において検出されたエッジ画像に対し所定の閾値を用いて２値化処理する２値化処理手順と、
前記２値化処理手順において２値化されたエッジ画像を、連結性を保持したまま所定の太さの線分まで縮退して細線化する細線化処理手順と、
細線化されたエッジ画像から直線を検出する直線検出手順と、
前記直線検出手順において検出された直線を用いて文字情報の傾斜角を算出する傾斜角計算手順と、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に描画されている文字情報を抽出する文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムに係り、特に、例えばテレビ放送の録画により得られた画像フレームに含まれているテロップから文字情報を抽出する文字情報を抽出する文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、画像中に描画されている文字情報を一般的なＯＣＲエンジンで文字認識処理が可能となる形態で取り出す文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムに係り、特に、テレビ映像に斜体文字として描画されるテロップを文字認識処理が可能な文字情報として取り出す文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
現代の情報文明社会において、放送の役割は計り知れない。とりわけ、音響とともに映像情報を視聴者の元に直接届けるテレビ放送の影響は大きい。放送技術は、信号処理やその送受信、音声や映像の情報処理など、幅広い技術を包含する。テレビの普及率は極めて高く、ほとんどすべての家庭内に設置されており、各放送局から配信される放送コンテンツは不特定多数の人々によって視聴されている。
【０００４】
最近では、放送コンテンツを視聴する他の形態として、受信したコンテンツをハード・ディスク・レコーダなどで一旦録画しておき、好きな時間に再生するという視聴形態が一般的となりつつある。ここで、ハード・ディスクの大容量化に伴い、数十時間分にも及ぶ番組録画が可能であるため、録画した映像コンテンツをユーザがすべて視聴することは不可能に近い。そこで、ユーザが興味を持つ場面だけをうまくシーン検索し、ダイジェスト視聴するというスタイルが、より効率的であるとともに録画コンテンツの有効活用にもなる。
【０００５】
このような録画コンテンツにおけるシーン検索やダイジェスト視聴を行なうには、映像に対しインデックス付けを行なう必要がある。
【０００６】
例えば、ニュース番組やバラエティ番組などのテレビ放送においては、番組の制作・編集の手法として、フレームの四隅に番組のトピックを明示的あるいは暗示的に表現したテロップを表示することが一般的に採用されている。フレーム中で表示されるテロップは、その表示区間での放送番組のトピックを特定又は推定するための重要な手がかりになる。したがって、映像コンテンツからテロップを抽出し、テロップの表示内容を文字認識して得られる文字情報を指標として映像インデックス付けを行なうことが可能であると考えられる。
【０００７】
例えば、フレーム中のテロップを特徴画部分として検出し、テロップだけの映像データを抽出して放送番組の内容を示すメニューを自動的に作成する放送番組内容メニュー作成装置について提案がなされている（例えば、特許文献１を参照のこと）。
【０００８】
通常、画像に埋め込まれた文字情報を取り出すには、光学的な画像データから文字データを認識処理するＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）エンジンを用いて文字認識を行なう必要がある。例えば、映像からテロップが表示されている領域を検出し、テロップ文字を構成する画素のみを抽出して、ＯＣＲ処理で認識を行なうテロップ情報処理装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００９】
ところが、テレビ画像中のテロップには斜体が使わることが多いのに対し、既存のＯＣＲエンジンは斜体文字に対応していない。このため、ほとんどのテロップを自動認識することができず、有効な映像インデックス付けを行ないない、という問題がある。
【００１０】
斜体文字を文字認識するための解決する主な方法として、ＯＣＲエンジンを斜体に対応させる、あるいは斜体を直立文字に変換するという２通りの方法が挙げられる。
【００１１】
前者の解決方法では、ＯＣＲエンジンが用意すべき辞書の規模が非常に大きくなり、また辞書サイズに比例して認識処理にも時間を要してしまうため、現実的ではない。
【００１２】
また、後者の解決方法として、具体的には以下の方法が挙げられる。
【００１３】
（１）エッジの向きを利用する方法（非特許文献１を参照のこと）
（２）文字輪郭を利用した縦方向のストロークを検出する方法（非特許文献２並びに非特許文献３を参照のこと）
（３）実際に剪断処理を行なう方法（非特許文献４を参照のこと）
【００１４】
ここで、剪断処理を行なう方法では、角度を制限して剪断処理を行ない、各処理結果に重み付けをし、重みが最も大きくなる角度を斜体文字の傾斜角として採用し、文字の傾斜を補正する処理を行なう。
【００１５】
ところが、従来の文字認識技術の多くは印刷物など白地に形成された黒文字を認識することを基本としており、テレビ画像中のテロップのように自然画中に埋め込まれた文字の認識には適していないという問題がある。テロップの背景が白地のように均一であることは稀である。
【００１６】
【特許文献１】特開２００４−３６４２３４号公報
【特許文献２】特開２００１−２８５７１６号公報
【非特許文献１】Ｃ．Ｓｕｎ ａｎｄ Ｄ．Ｓｉ，“Ｓｋｅｗ ａｎｄ Ｓｌａｎｔ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｇｒａｄｉｅｎｔ Ｄｉｒｅｃｔｉｏｎ”（Ｐｒｏｃ．ＩＣＤＡＲ，ｖｏｌ１，ｐｐ１４２−１４６，Ａｕｇ．１９９７）
【非特許文献２】Ｇ． Ｋｉｍ ａｎｄ Ｖ．Ｇｏｖｉｎｄａｒａｊｕ，“Ａ ｌｅｘｉｃｏｎ ｄｒｉｖｅｎ ａｐｐｒｏａｃｈ ｔｏ ｈａｎｄｗｒｉｔｔｅｎ ｗｏｒｄ ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ ｒｅａｌ−ｔｉｍｅ ａｐｐｌｉｃａｔｉｏｎｓ”（ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ，Ｖｏｌ．１９，ｐｐ３６６−３７９，Ａｐｒｉｌ１９９７）
【非特許文献３】Ｆ． Ｋｉｍｕｒａ，Ｍ．Ｓｈｒｉｄｈａｒ，ａｎｄ  Ｚ．Ｃｈｅｎ， “Ｉｍｐｒｏｖｅｍｅｎｔｓ ｏｆ ａ ｌｅｘｉｃｏｎ ｄｉｒｅｃｔｅｄ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｕｎｃｏｎｓｔｒａｉｎｅｄ ｈａｎｄｗｒｉｔｔｅｎ ｗｏｒｄｓ”（Ｐｒｏｃ．２ｎｄ ＩＣＤＡＲ．，ｐｐ．１８−２２，Ｏｃｔ．１９９３）
【非特許文献４】Ｅ． Ｋａｖａｌｌｉｅｒａｔｏｕ ｅｔ ａｌ，“Ｎｅｗ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ｓｋｅｗｉｎｇ ｃｏｒｒｅｃｔｉｏｎ ａｎｄ ｓｌａｎｔ ｒｅｍｏｖａｌ ｏｎ ｗｏｒｄ−ｌｅｖｅｌ”（Ｐｒｏｃ．６ｔｈ ＩＣＥＣＳ，ｖｏｌ．２， Ｓｅｐ．１９９９）
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、画像フレームに含まれている文字情報を一般的なＯＣＲエンジンで文字認識処理が可能となる形態で取り出すことができる、優れた文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムを提供することにある。
【００１８】
本発明のさらなる目的は、テレビ映像に含まれるテロップなど、自然画中に描画されている活字を文字認識処理が可能な文字情報として好適に取り出すことができる、優れた文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムを提供することにある。
【００１９】
本発明のさらなる目的は、テレビ映像に含まれるテロップなど、自然画中に描画されている斜体文字を文字認識処理が可能な文字情報として好適に取り出すことができる、優れた文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２０】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、入力画像中に描画された文字情報を抽出する文字情報抽出装置であって、
文字情報が斜体文字である場合に、文字の傾斜を補正して直立文字に変換してから文字認識を行なうために該文字情報の傾斜角を算出する際に、
入力画像のエッジ情報を検出するエッジ情報検出手段と、
前記エッジ情報検出手段により検出されたエッジ画像に対し所定の閾値を用いて２値化処理する２値化処理手段と、
前記２値化処理手段により２値化されたエッジ画像を、連結性を保持したまま所定の太さの線分まで縮退して細線化する細線化処理手段と、
細線化されたエッジ画像から直線を検出する直線検出手段と、
前記直線検出手段により検出された直線を用いて文字情報の傾斜角を算出する傾斜角計算手段と、
を備えることを特徴とする文字情報抽出装置である。
【００２１】
本発明は、画像中に描画されている文字情報を抽出する文字情報抽出装置に関する。本発明は、とりわけテレビ映像からテロップの文字情報を抽出する際に適用される。
【００２２】
ここで、テレビ映像中に描画されるテロップには斜体文字が多く使われることや、自然画中に文字情報が描画されていることが文字認識を行なう場合の問題となる。斜体文字を一般的なＯＣＲエンジンで処理可能にするための手法として斜体を直立文字に変換すればよいが、従来の斜体文字変換方法は、テロップのように自然画中に描画された斜体文字の処理には適していない。
【００２３】
そこで、本発明に係る文字情報抽出装置は、自然画中に描画された活字の傾斜角を算出する際に、まず入力画像からエッジ情報を検出し、さらに２値化して文字のエッジ情報を抽出し、続いてエッジ画像を縮退して細線化し、細線化したエッジ画像から直線を検出し、検出された直線の傾きを斜体文字の傾斜角として用いることにした。
【００２４】
テロップは背景に対して輝度が高いという特徴を利用して、入力画像をＹＵＶ変換し、このうちＹ成分に対して横方向のエッジ計算を行なう。さらに、テロップは背景に対して輝度が高いので、エッジ情報を２値化処理することで、文字部分のエッジだけを残すことができる。そして、エッジ画像に対し細線化処理することで、直線検出で誤検出を減らすことができる。
【００２５】
また、斜体文字と言っても、視認性などによりその傾斜角には限度がある（通常、３０度以上傾いていることはない）。そこで、直線検出手段は、求める直線の傾きを制限して、誤検出を減らすことができる。
【００２６】
また、本発明の第２の側面は、入力画像中に描画された文字情報を抽出する文字情報抽出処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
文字情報が斜体文字である場合に、文字の傾斜を補正して直立文字に変換してから文字認識を行なうために該文字情報の傾斜角を算出する際に、前記コンピュータ・システムに対し、
入力画像のエッジ情報を検出するエッジ情報検出手順と、
前記エッジ情報検出手順において検出されたエッジ画像に対し所定の閾値を用いて２値化処理する２値化処理手順と、
前記２値化処理手順において２値化されたエッジ画像を、連結性を保持したまま所定の太さの線分まで縮退して細線化する細線化処理手順と、
細線化されたエッジ画像から直線を検出する直線検出手順と、
前記直線検出手順において検出された直線を用いて文字情報の傾斜角を算出する傾斜角計算手順と、
を実行させることを特徴とするコンピュータ・プログラムである。
【００２７】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る文字情報抽出装置と同様の作用効果を得ることができる。
【発明の効果】
【００２８】
本発明によれば、画像フレームに含まれている文字情報を一般的なＯＣＲエンジンで文字認識処理が可能となる形態で取り出すことができる、優れた文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムを提供することができる。
【００２９】
また、本発明によれば、テレビ映像に含まれるテロップなど、自然画中に描画されている斜体文字を文字認識処理が可能な文字情報として好適に取り出すことができる、優れた文字情報抽出装置及び文字情報抽出方法、並びにコンピュータ・プログラムを提供することができる。
【００３０】
本発明によれば、自然画中に描画された活字の傾斜角を自動的に高精度で算出することが可能になる。とりわけ、文字形状が複雑な日本語においても正しく傾斜角を求めることができるので、文字傾斜の補正を正確に行なうことで、ＯＣＲによる文字認識の精度を向上させることができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３３】
本発明は、画像中に描画されている文字情報を抽出する文字情報抽出システムに関する。本発明では、とりわけテレビ映像からテロップの文字情報を抽出する際に適用される。この種のシステムの用途として、録画したテレビ番組コンテンツに対しシーン検索やダイジェスト視聴を行なうための映像インデックス付けなどが考えられる。
【００３４】
ここで、テレビ映像中のテロップを文字認識する際の問題点として、テロップには斜体文字が多く使われることや、自然画中に文字情報が描画されていることが挙げられる。斜体文字を一般的なＯＣＲエンジンで処理可能にするための手法として斜体を直立文字に変換する方法が挙げられる。すなわち、入力画像から取り出された文字情報の傾斜角を算出し、文字の傾斜を補正して直立文字に変換してからＯＣＲエンジンに投入する。しかしながら、従来の斜体文字変換方法は基本的には白地に描かれた黒文字など印刷文字を対象としており、テロップのように自然画中に描画された斜体文字の処理には適していない。
【００３５】
そこで、本発明では、自然画中に描画された活字の傾斜角を算出する際に、まず入力画像からエッジ情報を検出し、さらに２値化して文字のエッジ情報を抽出し、続いてエッジ画像を縮退して細線化し、細線化したエッジ画像から直線を検出し、検出された直線の傾きを斜体文字の傾斜角として用いることにした。
【００３６】
テロップは背景に対して輝度が高いという特徴を利用して、入力画像をＹＵＶ変換し、このうちＹ成分に対してエッジ計算を行なう。さらに、テロップは背景に対して輝度が高いので、エッジ情報を２値化処理することで、文字部分のエッジだけを残すことができる。そして、エッジ画像に対し細線化処理することで、直線検出で誤検出を減らすことができる。
【００３７】
したがって、本発明に係る文字情報抽出システムによれば、自然画中に描画された活字の傾斜角を自動的に高精度で算出することが可能になる。とりわけ、文字形状が複雑な日本語においても正しく傾斜角を求めることができるので、文字傾斜の補正を正確に行なうことで、ＯＣＲによる文字認識の精度を向上させることができる。
【００３８】
図１には、本発明の一実施形態に係る文字情報抽出システム１０の機能的構成を模式的に示している。図示のシステム１０は、傾斜角計算部１１と、文字傾斜補正部１２と、文字認識部１３という各機能モジュールを備えている。同システム１０は、専用のハードウェア装置としてデザインできる他、パーソナル・コンピュータ（ＰＣ）などの一般的な計算機システム上で所定のアプリケーション・プログラムを実行すると言う形態で実現することも可能である。以下、各機能モジュールについて説明する。
【００３９】
入力画像：
システム１０に入力される画像は、テレビ映像など自然画中にテロップなどの文字情報が描画された画像フレームである。例えば、ハード・ディスク・レコーダなどテレビ番組を録画した映像蓄積装置（図示しない）から画像が入力される。
【００４０】
例えばニュース番組やバラエティ番組といったジャンルのテレビ放送では、視聴者の理解や賛同を得る、あるいは興味を抱かせ番組内に気持ちを引き込ませるといった目的で、テロップを表示する方法が採られる。その多くの場合、図２に示すように画面の四隅のいずれかの領域を利用して静止テロップが存在するので、これらの領域から文字情報を抽出するようにしてもよい。
【００４１】
傾斜角計算部：
傾斜角計算部１１は、入力された画像における文字の傾斜角θを計算する。図３には、傾斜角の計算処理手順をフローチャートの形式で示している。同図に示すように、傾斜角の計算処理は、入力画像の横方向エッジの計算（Ｓ１）と、２値化処理（Ｓ２）と、細線化処理（Ｓ３）と、直線検出（Ｓ４）と、直線の傾き計算（Ｓ５）からなる。また、図４には、入力されたオリジナル画像がこれらの計算処理の各ステップにより加工されていく様子を示している。
【００４２】
まず、ステップＳ１では、入力されたオリジナル画像に対し横方向のエッジを計算することにより、図４（ａ）に示したオリジナル画像から、図４（ｂ）に示すようなエッジ画像を得ることができる。
【００４３】
エッジ情報を検出する際、入力画像をＹＵＶ変換し、Ｙ成分に対してエッジ計算を行なう。これは、テロップが背景に対して輝度が高いという特徴を利用するためである。そして、例えばＸ方向のＳｏｂｅｌフィルタを用いてエッジを検出することができる。Ｓｏｂｌｅフィルタについては、例えば、田村 秀行著「コンピュータ画像処理」（ｐｐ１８８−１９１、オーム社）を参照されたい。但し、本発明の要旨はエッジ検出にＳｏｂｅｌフィルタを用いることに限定されない。
【００４４】
参考のため、元画像から横方向すなわちＸ方向のエッジを算出した場合と、縦方向すなわちＹ方向のエッジを算出した場合の例を図５に示しておく。同図からも分かるように、Ｘ方向のエッジ抽出することにより、縦方向のストロークを検出することができる。
【００４５】
続くステップＳ２では、ステップＳ１で求めたエッジ画像に対し２値化処理を適用し、画素値が閾値未満のエッジをすべて０に、閾値以上のエッジをすべて１にする処理を行ない、図４（ｃ）に示すエッジ画像を生成する。
【００４６】
テロップはその背景に比べて輝度が高いという特徴があるので、このような閾値処理を適切に行なうことで、文字部分のエッジだけを残すようにすることができる。
【００４７】
閾値を求める方法として、大津のアルゴリズムを用いることができる。大津のアルゴリズムに関しては、例えば、大津著「判別および最小２乗基準に基づく自動しきい値選定法」（電子通信学会論文誌、Ｖｏｌ．Ｊ６３−Ｄ、Ｎｏ．４、ｐｐ３４９−３５６、１９８０）を参照されたい。但し、本発明の要旨はこれに限定されるものではない。
【００４８】
さらに、ステップＳ３では、２値化処理後のエッジ画像に対し細線化処理を行なう。ここで言う細線化処理とは、エッジ部分を、連結性を保持したまま太さ１（画素）の線分まで縮退させる処理であり、図４（ｄ）に示すようなエッジ画像を生成する。
【００４９】
細線化処理は、後続の直線検出処理において誤検出を減らす目的で行なわれる。図６には、エッジ画像を細線化処理した場合としない場合における直線検出の相違を図解している。高さｈ（画素）のエッジを細線化した場合、ｈ点以上を通過する直線の検出を行なうと、縦の直線だけが検出される。これに対し、細線化を施していない場合には、同様にｈ点以上を通過する直線の検出を行なった結果として、複数の直線が誤検出されることになる。
【００５０】
細線化処理として、マスクを用いたアルゴリズムを用いることができる。例えば、“骨格化と細線化処理”（Ｃ  Ｍａｇａｚｉｎｅ ２０００年９月号  ｐｐ１２２−１３１）を参照されたい。但し、本発明の要旨はこれに限定されるものではない。
【００５１】
そして、ステップＳ４では、細線化処理されたエッジ画像から直線検出を行なう。図４（ｅ）では、文字「お」から直線が検出された様子を示している。
【００５２】
例えば、細線化されたエッジ画像に対し、Ｈｏｕｇｈ変換を用いて直線検出を行なうことができる。Ｈｏｕｇｈ変換に関しては、例えば、田村 秀行著「コンピュータ画像処理」（ｐｐ２０４−２０６、オーム社）を参照されたい。但し、本発明の要旨はこれに限定されるものではない。
【００５３】
図７には、直線検出処理の手順をフローチャートの形式で示している。
【００５４】
まず、求める直線の通過する画素数Ｎの初期値として、画像の高さの２分の１を与える（ステップＳ１１）。
【００５５】
そして、Ｈｏｕｇｈ変換による直線検出を行ない（ステップＳ１２）、検出された直線の数をチェックする（ステップＳ１３）。
【００５６】
ここで、直線が検出されなかった場合には、求める直線の通過する画素数Ｎをデクリメントしてから（ステップＳ１５）、ステップＳ１２に戻り、直線検出を繰り返し行なう。
【００５７】
一方、１以上の直線が検出された場合には、傾きが０〜３０度の範囲に収まっている直線が１以上あるかどうかをチェックする（ステップＳ１４）。視認性などにより文字の傾斜角には限度があり、通常は３０度以上傾いていることはあり得ない。そこで、このように求める直線の傾きを制限して、誤検出を減らすことができる。
【００５８】
ここで、傾きが０〜３０度の範囲に収まっている直線がない場合には、求める直線の通過する画素数Ｎをデクリメントしてから（ステップＳ１５）、ステップＳ１２に戻り、直線検出を繰り返し行なう。一方、１以上の直線が検出された場合には、これを直線検出の結果として出力する。
【００５９】
そして、ステップＳ５において、検出された直線の傾きの平均を計算し、これを入力画像における文字情報の傾斜角として、後続の文字傾斜補正部１２に出力する。
【００６０】
文字傾斜補正部：
文字傾斜補正部１２では、傾斜角計算部１１により算出された文字の傾斜角θを用いて剪断処理を行ない、斜体の文字を直立化する。ここで言う剪断処理とは、ある画素座標（ｘ，ｙ）の移動後の位置を（ｘ´，ｙ´）とすると、下式のように計算する（図８を参照のこと）。
【００６１】
ｘ´＝ｘ−（ｈｅｉｇｈｔ−ｙ）×ｔａｎθ
ｙ´＝ｙ
【００６２】
図９に示すようなＴＶ式ラスタ走査によって画像上を走査し、すべての画素について上記の計算を行なう。剪断処理後の位置が重なる画素が存在する場合には、上書きや平均などの処理を施す。
【００６３】
文字認識部：
文字認識部１３では、入力された画像を文字認識し、文字情報を出力する。文字認識処理としては、既存のＯＣＲエンジンを適用することができる。その一例として、本出願人に既に譲渡されている特許第２８９３７８１号明細書に記載の文字認識装置を挙げることができる。
【産業上の利用可能性】
【００６４】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００６５】
本明細書では、テレビ映像で描画されているテロップから文字情報を抽出する場合を例にとって説明してきたが、本発明の要旨はこれに限定されるものではない。テレビ映像以外であっても、自然画中に描画された斜体文字、あるいは通常の印刷物として形成された斜体文字から文字情報を取り出す場合であっても、同様に本発明を適用することができることは言うまでもない。
【００６６】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲の記載を参酌すべきである。
【図面の簡単な説明】
【００６７】
【図１】図１は、本発明の一実施形態に係る文字情報抽出システム１０の機能的構成を模式的に示した図である。
【図２】図２は、テロップ領域を含んだテレビ番組の画面構成例を示した図である。
【図３】図３は、傾斜角の計算処理手順を示したフローチャートである。
【図４】図４は、入力されたオリジナル画像が傾斜角の計算処理の各ステップにより加工されていく様子を示した図である。
【図５】図５は、元画像から横方向すなわちＸ方向のエッジを算出した場合と、縦方向すなわちＹ方向のエッジを算出した場合の例を示した図である。
【図６】図６は、エッジ画像を細線化処理した場合としない場合における直線検出の相違を説明するための図である。
【図７】図７は、直線検出処理の手順を示したフローチャートである。
【図８】図８は、文字の傾斜角θを用いて剪断処理を行ない、斜体の文字を直立化する様子を示した図である。
【図９】図９は、ＴＶ式ラスタ走査を行なう様子を示した図である。
【符号の説明】
【００６８】
１０…文字情報抽出システム
１１…傾斜角計算部
１２…文字傾斜補正部
１３…文字認識部
【図１】
2006331057.tif 000003
【図２】
2006331057.tif 000004
【図３】
2006331057.tif 000005
【図４】
2006331057.tif 000006
【図５】
2006331057.tif 000007
【図６】
2006331057.tif 000008
【図７】
2006331057.tif 000009
【図８】
2006331057.tif 000010
【図９】
2006331057.tif 000011