(57)【要約】２値化画像に基づいて筆画エッジ情報を取得するステップ（Ｓ３１０）と、各筆画エッジピクセルに関する、少なくとも４つの方向における筆画幅として、前記筆画エッジピクセルから前記筆画エッジピクセルと前記方向とによって規定される直線上の別の筆画エッジピクセルまでの距離を算出するステップ（Ｓ３２０）と、各筆画エッジピクセルに関して算出された少なくとも４つの方向における筆画幅を、当該筆画エッジピクセルを通過する当該方向上の各筆画内ピクセルとそれぞれ関連付けるステップ（Ｓ３３０）と、それぞれの筆画内ピクセルについて、当該筆画内ピクセルと関連付けられた複数の筆画幅のうちの最小値を、当該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択するステップ（Ｓ３４０）とを含む推定筆画幅（ＥＳＷ）算出方法、およびその装置。
2017535891.tif 000002
【特許請求の範囲】
【請求項１】
２値化画像に基づいて筆画エッジ情報を取得するステップと、
各筆画エッジピクセルに関する、少なくとも４つの方向における筆画幅として、前記筆画エッジピクセルから前記筆画エッジピクセルと前記方向とによって規定される直線上の別の筆画エッジピクセルまでの距離を算出するステップと、
各筆画エッジピクセルに関して算出された少なくとも４つの方向における筆画幅を、当該筆画エッジピクセルを通過する当該方向上の各筆画内ピクセルとそれぞれ関連付けるステップと、
各筆画内ピクセルについて、該筆画内ピクセルと関連付けられた複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択するステップと、
を含む、推定筆画幅（ＥＳＷ）算出方法。
【請求項２】
前記算出ステップは、それぞれの筆画エッジピクセルに対し、少なくとも４つの方向における筆画幅を算出する処理を含み、
前記関連付けステップは、算出された前記少なくとも４つの方向における筆画幅を、当該方向上の各筆画内ピクセルとそれぞれ関連付けて記憶する処理を含み、
前記選択ステップは、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられて記憶された複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）とする処理を含む、請求項１に記載のＥＳＷ算出方法。
【請求項３】
前記算出ステップは、
前記少なくとも４つの方向のうちの一方向毎に、各筆画エッジピクセルに関する筆画幅を算出する処理を含み、
前記関連付けステップは、
当該方向上のまだ関連付け記憶が行われていない筆画内ピクセルについて、算出された筆画幅を該筆画内ピクセルと関連付けて記憶する処理と、
当該方向上のすでに関連付け記憶が行われた筆画内ピクセルについて、算出された筆画幅と、すでに該筆画内ピクセルと関連付けられて記憶された値とを比較し、該筆画内ピクセルと関連付けられて記憶された値よりも前記筆画幅のほうが小さい場合、該筆画内ピクセルと関連付けられて記憶された値を、前記筆画幅を用いて上書きする処理と、
を含む、請求項１に記載のＥＳＷ算出方法。
【請求項４】
前記少なくとも４つの方向の数は４である、請求項１〜３の何れか１項に記載のＥＳＷ算出方法。
【請求項５】
前記少なくとも４つの方向は水平方向と垂直方向とを１つずつ含む、請求項１〜３の何れか１項に記載のＥＳＷ算出方法。
【請求項６】
４つの方向のうち、何れか１つの方向と、その隣接する方向とが成す角度は共に４５°である、請求項４に記載のＥＳＷ算出方法。
【請求項７】
４つの方向は、それぞれ水平方向、垂直方向、右上４５°の斜め方向、右下４５°の斜め方向である、請求項４に記載のＥＳＷ算出方法。
【請求項８】
テキスト特性に関する連続領域特徴、および、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴を利用する非テキスト除去方法であって、
テキスト特性に関する連続領域特徴には、各ピクセルについて請求項１〜７の何れか１項に記載のＥＳＷ算出方法によって算出されたＥＳＷと、連続領域内のＥＳＷの分散とが含まれ、
連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、連続領域内の各ピクセルについて請求項１〜７の何れか１項に記載のＥＳＷ算出方法によって算出されたＥＳＷの平均値である、連続領域の平均ＥＳＷが含まれることを特徴とする、非テキスト除去方法。
【請求項９】
テキスト特性に関する連続領域特徴には、矩形外縁の縦横比、および、前景ピクセル面積が領域内で占めている比率のうち、１つまたは複数がさらに含まれる、請求項８に記載の非テキスト除去方法。
【請求項１０】
連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、互いに隣接する領域の矩形外縁の同士間距離、領域の平均面積、および領域の平均グレースケールのうち、１つまたは複数がさらに含まれる、請求項８または９に記載の非テキスト除去方法。
【請求項１１】
請求項８〜１０の何れか１項に記載の方法を用いて非テキストを除去する処理を含むプリ処理ステップを含む、ＯＣＲ方法。
【請求項１２】
２値化画像に基づいて筆画エッジ情報を取得する取得ユニットと、
各筆画エッジピクセルに関する、少なくとも４つの方向における筆画幅として、前記筆画エッジピクセルから前記筆画エッジピクセルと前記方向とによって規定される直線上の別の筆画エッジピクセルまでの距離を算出する算出ユニットと、
各筆画エッジピクセルに関して算出された、少なくとも４つの方向における筆画幅を、当該筆画エッジピクセルを通過する当該方向上の各筆画内ピクセルとそれぞれ関連付ける関連付けユニットと、
各筆画内ピクセルについて、該筆画内ピクセルと関連付けられた複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択する選択ユニットと、
を含む、推定筆画幅（ＥＳＷ）算出装置。
【請求項１３】
前記算出ユニットは、筆画エッジピクセル毎に、少なくとも４つの方向における筆画幅を算出し、
前記関連付けユニットは、算出された前記少なくとも４つの方向における筆画幅を、当該方向上の各筆画内ピクセルとそれぞれ関連付けて記憶し、
前記選択ユニットは、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられて記憶された複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択する、請求項１２に記載のＥＳＷ算出装置。
【請求項１４】
前記算出ユニットは、
前記少なくとも４つの方向のうちの一方向毎に、各筆画エッジピクセルに関する筆画幅を算出し、
前記関連付けユニットは、
当該方向上のまだ関連付け記憶が行われていない筆画内ピクセルについては、算出された筆画幅を該筆画内ピクセルと関連付けて記憶し、
当該方向上のすでに関連付け記憶が行われた筆画内ピクセルについては、算出された筆画幅と、すでに該筆画内ピクセルと関連付けられて記憶された値とを比較し、該筆画内ピクセルと関連付けられて記憶された値よりも前記筆画幅のほうが小さい場合、該筆画内ピクセルと関連付けられて記憶された値を、前記筆画幅を用いて上書きする、請求項１２に記載のＥＳＷ算出装置。
【請求項１５】
前記少なくとも４つの方向の数は４である、請求項１２〜１４の何れか１項に記載のＥＳＷ算出装置。
【請求項１６】
前記少なくとも４つの方向は水平方向と垂直方向とを１つずつ含む、請求項１２〜１４の何れか１項に記載のＥＳＷ算出装置。
【請求項１７】
４つの方向のうち、何れか１つの方向と、その隣接する方向とが成す角度は共に４５°である、請求項１５に記載のＥＳＷ算出装置。
【請求項１８】
４つの方向は、それぞれ水平方向、垂直方向、右上４５°の斜め方向、右下４５°の斜め方向である、請求項１５に記載のＥＳＷ算出装置。
【請求項１９】
請求項１２〜１８の何れか１項に記載のＥＳＷ算出装置を含み、テキスト特性に関する連続領域特徴、および、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴を利用する非テキスト除去装置であって、
テキスト特性に関する連続領域特徴には、各ピクセルについて前記ＥＳＷ算出装置によって算出されたＥＳＷと、連続領域内のＥＳＷの分散とが含まれ、
連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、連続領域内の各ピクセルについて前記ＥＳＷ算出装置によって算出されたＥＳＷの平均値である、連続領域の平均ＥＳＷが含まれることを特徴とする、非テキスト除去装置。
【請求項２０】
テキスト特性に関する連続領域特徴には、矩形外縁の縦横比、および、前景ピクセル面積が領域内で占めている比率のうち、１つまたは複数がさらに含まれる、請求項１９に記載の非テキスト除去装置。
【請求項２１】
連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、互いに隣接する領域の矩形外縁の同士間距離、領域の平均面積、および領域の平均グレースケールのうち、１つまたは複数がさらに含まれる、請求項１９または２０に記載の非テキスト除去装置。
【請求項２２】
請求項１９〜２１の何れか１項に記載の非テキスト除去装置を含むプリ処理装置を含む、ＯＣＲシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヒューマンコンピュータインタラクション技術に関する。具体的にはテキスト検出または光学文字識別（ＯＣＲ）技術に関する。
【背景技術】
【０００２】
自然情景には、膨大な図形情報のみならず、例えば、道路標識、店舗名等の豊富なテキスト情報も存在している。情景内容の説明や理解のために、これらのテキスト情報は重要な価値を有する。該情報は情景画像検索のキーである。そのため、情景画像資料のサーチ・検索・閲覧や、情景内容の理解、画像資料の管理効率の向上といったサービスのために、自然情景におけるテキストを識別し、情景の中のテキスト情報を取得するオートマチックツールが必要になる。一般的に、携帯電話、ＰＤＡ、デスクトップコンピュータ、ノートパソコン、タブレットコンピュータおよび他の電子機器は何れもテキスト検出または光学文字識別（ＯＣＲ）をサポートすることが可能である。
【０００３】
筆画幅の変換（ＳＷＴ）は、従来技術における常用のテキスト検出方法である。「Ｄｅｔｅｃｔｉｎｇ  Ｔｅｘｔ  ｉｎ  Ｎａｔｕｒａｌ  Ｓｃｅｎｅｓ  ｗｉｔｈ  Ｓｔｒｏｋｅ  Ｗｉｄｔｈ  Ｔｒａｎｓｆｏｒｍ」（ＩＥＥＥコンピュータ視覚およびパターン識別ＣＶＰＲ；２０１０）には、ＳＷＴに基づいたテキスト検出方法が提案されており、その中に記載されたように、筆画幅の変換（ＳＷＴ）は、自然情景におけるテキストを検出するための有効な方法であるとされている。該方法は、テキストのズーミング、方向、フォントおよび言語にかかわらず、テキストを検出することができる。筆画情報を抽出するために、ＳＷＴは、まずＣａｎｎｙエッジ検出器によって画像のエッジを算出する。その後、各エッジピクセルのグラデーション方向に基づいて、その筆画幅を特定する。ＳＷＴは、局所画像演算子であり、ピクセル毎に、該ピクセルを含む最も考えられる筆画幅を算出する。ＳＷＴによる出力は、入力画像と同等な大きさを有し、ピクセルと関連付けられた筆画幅が各ドットに記憶された画像である。
【０００４】
図１はＳＷＴを実現する方法を示す模式図である。図２はＳＷＴを実現する方法を示すフローチャートである。以下、図１および図２に基づいてＳＷＴ方法を説明する。図１の（ａ）は、筆画のピクセルの色が背景のピクセルよりも濃い典型的な筆画の模式図である。まず、図２のステップＳ１００では、エッジ検出器（例えばＣａｎｎｙエッジ検出器）によって入力画像のエッジを算出する。その後、ステップＳ１１０では、筆画エッジ上および筆画内のすべてのピクセルの関連付け記憶値を初期値＋∞に設定する。筆画エッジ上の各ピクセル（例えば図１の（ｂ）のｐ）について、該ピクセルｐの接線方向を算出する。その後、グラデーション（法線）方向（グラデーション方向と接線方向とが互いに垂直する）を算出する（ステップＳ１２０）。次に、ステップＳ１３０では、図１の（ｂ）のように、グラデーション方向における、筆画の反対側エッジ上のピクセルｑを取得し、ピクセルｐとｑとの間の距離を算出し、該距離をピクセルｐに関する筆画幅ｗとする。ステップＳ１４０では、ｐとｑの間のすべてのピクセルｔ（図１の（ｃ）参照）について、ｔと関連付けられた記憶値ａを取得する。そして、ピクセルｐに関する筆画幅ｗが、ピクセルｔと関連付けられた記憶値ａよりも小さいか否かを判断する（ステップＳ１５０）。筆画幅ｗが、ピクセルtと関連付けられた記憶値ａよりも小さい場合、ピクセルtと関連付けられた記憶値ａで上書きし、筆画幅ｗを新しい関連付け記憶値ａとする（ステップＳ１６０）。その後、グラデーション方向上の他のピクセルに対しても、以上の動作を繰り返す（ステップＳ１７０）。最後に、筆画エッジ上の他のピクセルに対して、以上の動作を繰り返す（ステップＳ１８０）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、以上のＳＷＴアルゴリズムを考察すると、該アルゴリズムに以下の課題が存在することが容易にわかる。すなわち、筆画エッジが不規則な形状を呈しているため、ステップＳ１２０において、ピクセルｐに関する接線方向の算出は非常に複雑なプロセスであり、該プロセスは計算が複雑で、且つ、膨大なプロセッサリソースおよび計算時間を消費するものである。また、ステップＳ１５０では、筆画幅ｗと、ピクセルｔに関連付けられた記憶値ａとを比較するが、筆画エッジのドットの数が多く、且つ、筆画エッジの形状が不規則であるため、複数の法線が筆画内部を通過する可能性があり、比較する回数が多くなり、処理が非常に複雑になることがある。
【０００６】
したがって、ＳＷＴを用いるテキスト検出処理は複雑で時間もかかる。従来技術には、このようなテキスト検出の時間が０.９４秒であったと記載されているが、自然情景に対するＯＣＲシステムにとって、テキスト検出後のＯＣＲ処理プロセスにおいても時間がかかり、さらにその後、例えば翻訳または検索等への適用もある。そのため、ＳＷＴのこのような速度は、ＯＣＲシステムのプリ処理ステップとしては遅すぎ、自然情景に対するＯＣＲシステムのリアルタイム性を実現できない。
【課題を解決するための手段】
【０００７】
以上の技術課題を解決するために、本発明は、推定筆画幅（ＥＳＷ）に関して簡略化された新しいテキスト検出方法を提案する。ＥＳＷは、エッジピクセルに関する、複数の所定方向における距離を筆画幅として測定する。これにより、計算の複雑さを低減させ、プロセッサリソースおよび計算時間を節約することができる。
【０００８】
具体的には、ＳＷＴでは各エッジピクセルについて、その接線方向およびグラデーション（法線）方向を算出することによって、グラデーション方向における、筆画の反対側エッジ上のピクセルとの距離を算出し、該距離を筆画幅としていた。これに対して、本発明において、ＥＳＷに関しては、複数の所定方向において、筆画の各エッジピクセルから該筆画の反対側エッジ上のピクセルまでの距離の最小値を測定し、該最小値を該エッジピクセルに関する筆画幅とする。ＥＳＷの場合、筆画のエッジ上のピクセル毎にその接線方向を算出する必要がなく、複数の所定方向を用いている。さらに、所定方向を用いるため、筆画内の各ピクセルに関する比較回数が相対的に一定となり、計算の複雑さを低減させ、プロセッサリソースおよび計算時間を節約することができる。
【０００９】
具体的には、本発明の一態様によれば、２値化画像に基づいて筆画エッジ情報を取得するステップと、各筆画エッジピクセルに関する、少なくとも４つの方向における筆画幅として、前記筆画エッジピクセルから前記筆画エッジピクセルと前記方向とによって規定される直線上の別の筆画エッジピクセルまでの距離を算出するステップと、各筆画エッジピクセルに関して算出された、少なくとも４つの方向における筆画幅を、当該筆画エッジピクセルを通過する当該方向上の各筆画内ピクセルとそれぞれ関連付けるステップと、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられた複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択するステップとを含む、推定筆画幅（ＥＳＷ）算出方法を提供する。
【００１０】
一実施例において、前記算出ステップは、それぞれの筆画エッジピクセルに対し、少なくとも４つの方向における筆画幅を算出する処理を含み、前記関連付けステップは、算出された前記少なくとも４つの方向における筆画幅を、当該方向上の各筆画内ピクセルとそれぞれ関連付けて記憶する処理を含み、さらに、前記選択ステップは、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられて記憶された複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択する処理を含む。
【００１１】
一実施例において、前記算出ステップは、前記少なくとも４つの方向のうちの一方向毎に、各筆画エッジピクセルに関する筆画幅を算出する処理を含み、前記関連付けステップは、当該方向上のまだ関連付け記憶が行われていない筆画内ピクセルについて、算出された筆画幅を該筆画内ピクセルと関連付けて記憶する処理と、当該方向上のすでに関連付け記憶が行われた筆画内ピクセルについて、算出された筆画幅と、すでに該筆画内ピクセルと関連付けられて記憶された値とを比較し、該筆画内ピクセルと関連付けられて記憶された値よりも前記筆画幅のほうが小さい場合、該筆画内ピクセルと関連付けられて記憶された値を、前記筆画幅で上書きする処理と、を含む。
【００１２】
一実施例において、前記少なくとも４つの方向の数は４である。
【００１３】
一実施例において、前記少なくとも４つの方向は水平方向と垂直方向とを１つずつ含む。
【００１４】
一実施例において、４つの方向のうち、何れか１つの方向とその隣接する方向とが成す角度は共に４５°である。
【００１５】
一実施例において、４つの方向は、それぞれ水平方向、垂直方向、右上４５°の斜め方向、右下４５°の斜め方向である。
【００１６】
本発明の別の態様によれば、テキスト特性に関する連続領域特徴、および、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴を利用する非テキスト除去方法であって、テキスト特性に関する連続領域特徴には、各ピクセルについて前記ＥＳＷ算出方法によって算出されたＥＳＷと、連続領域内のＥＳＷの分散とが含まれ、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、連続領域内の各ピクセルについて前記ＥＳＷ算出方法によって算出されたＥＳＷの平均値である、連続領域の平均ＥＳＷが含まれることを特徴とする非テキスト除去方法を提供する。
【００１７】
一実施例において、テキスト特性に関する連続領域特徴には、矩形外縁の縦横比、および、前景ピクセル面積が領域内で占めている比率のうち、１つまたは複数がさらに含まれる。
【００１８】
一実施例において、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、互いに隣接する領域の矩形外縁の同士間距離、領域の平均面積、および領域の平均グレースケールのうち、１つまたは複数がさらに含まれる。
【００１９】
本発明の別の態様によれば、前記方法を用いて非テキストを除去する処理を含むプリ処理ステップを含む、ＯＣＲ方法を提供する。
【００２０】
本発明の別の態様によれば、２値化画像に基づいて筆画エッジ情報を取得する取得ユニットと、各筆画エッジピクセルに関する、少なくとも４つの方向における筆画幅として、前記筆画エッジピクセルから前記筆画エッジピクセルと前記方向とによって規定される直線上の別の筆画エッジピクセルまでの距離を算出する算出ユニットと、各筆画エッジピクセルに関して算出された、少なくとも４つの方向における筆画幅を、当該筆画エッジピクセルを通過する当該方向上の各筆画内ピクセルとそれぞれ関連付ける関連付けユニットと、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられた複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択する選択ユニットと、を含む推定筆画幅（ＥＳＷ）算出装置を提供する。
【００２１】
一実施例において、前記算出ユニットは、それぞれの筆画エッジピクセルに対し、少なくとも４つの方向における筆画幅を算出し、前記関連付けユニットは、算出された前記少なくとも４つの方向における筆画幅を、当該方向上の各筆画内ピクセルとそれぞれ関連付けて記憶し、前記選択ユニットは、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられて記憶された複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択する。
【００２２】
一実施例において、前記算出ユニットは、前記少なくとも４つの方向のうちの一方向毎に、各筆画エッジピクセルに関する筆画幅を算出し、前記関連付けユニットは、当該方向上のまだ関連付け記憶が行われていない筆画内ピクセルについては、算出された筆画幅を該筆画内ピクセルと関連付けて記憶し、当該方向上のすでに関連付け記憶が行われた筆画内ピクセルについては、算出された筆画幅と、すでに該筆画内ピクセルと関連付けられて記憶された値とを比較し、該筆画内ピクセルと関連付けられて記憶された値よりも前記筆画幅のほうが小さい場合、該筆画内ピクセルと関連付けられて記憶された値を、前記筆画幅を用いて上書きする。
【００２３】
一実施例において、前記少なくとも４つの方向の数は４である。
【００２４】
一実施例において、前記少なくとも４つの方向は水平方向と垂直方向とを１つずつ含む。
【００２５】
一実施例において、４つの方向のうち、何れか１つの方向と、その隣接する方向とが成す角度は共に４５°である。
【００２６】
一実施例において、４つの方向は、それぞれ水平方向、垂直方向、右上４５°の斜め方向、右下４５°の斜め方向である。
【００２７】
本発明の別の態様によれば、前記ＥＳＷ算出装置を含み、テキスト特性に関する連続領域特徴、および、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴を利用する非テキスト除去装置であって、テキスト特性に関する連続領域特徴には、各ピクセルについて前記ＥＳＷ算出装置によって算出されたＥＳＷと、連続領域内のＥＳＷの分散とが含まれ、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、連続領域内の各ピクセルについて前記ＥＳＷ算出装置によって算出されたＥＳＷの平均値である、連続領域の平均ＥＳＷが含まれることを特徴とする非テキスト除去装置を提供する。
【００２８】
一実施例において、テキスト特性に関する連続領域特徴には、矩形外縁の縦横比、および、前景ピクセル面積が領域内で占めている比率のうち、１つまたは複数がさらに含まれる。
【００２９】
一実施例において、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、互いに隣接する領域の矩形外縁の同士間距離、領域の平均面積、および領域の平均グレースケールのうち、１つまたは複数がさらに含まれる。
【００３０】
本発明の別の態様によれば、前記非テキスト除去装置を含むプリ処理装置を含む、ＯＣＲシステムを提供する。
【００３１】
本発明を用いれば、計算の複雑さを低減させ、プロセッサリソースおよび計算時間を節約することができ、自然情景に対するリアルタイムＯＣＲシステムへの需要を満たすことができる。
以下、図面に基づいて本発明を詳細に説明することにより、本発明の前記およびその他の特徴をより明らかにする。
【図面の簡単な説明】
【００３２】
【図１】従来技術のＳＷＴを実現する方法を示す模式図である。
【図２】従来技術のＳＷＴを実現する方法を示すフローチャートである。
【図３】本発明に係るＥＳＷ算出方法を示すフローチャートである。
【図４】本発明に係るＥＳＷ算出方法の一実施形態を示すフローチャートである。
【図５】本発明に係るＥＳＷ算出方法における３つの異なる方向を示す図である。
【図６】本発明に係るＥＳＷ算出方法の別の実施形態を示すフローチャートである。
【図７】本発明に係るＥＳＷ算出方法の別の実施形態の実行例を示す模式図である。
【図８】本発明に係るＯＣＲ方法を示すフローチャートである。
【図９】本発明に係るＯＣＲ方法の各ステップで処理された後の画像を示すイメージ図である。
【図１０】本発明に係る推定筆画幅（ＥＳＷ）算出装置を示すブロック図である。
【図１１】本発明に係る、非テキスト除去装置を示すブロック図である。
【図１２】本発明に係るＯＣＲシステムを示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、図面および具体的な実施例に基づいて、推定筆画幅（ＥＳＷ）に関して簡略化された本発明のテキスト検出方法をさらに詳しく説明する。なお、本発明は以下の具体的な実施例に限定されない。さらに、便宜上の観点から、本発明に対する理解が混同されないように、本発明と直接的に関連しない公知知識を省略する。
【００３４】
以下、複数の特定の方向を用いて筆画内の各ピクセルに関する筆画幅を算出する場合を例とし、具体的に本発明の複数の実施例を説明する。ただし、本発明は以下の実施例に限定されず、さらに多くの他のテキスト検出や光学文字識別（ＯＣＲ）方法及びシステムに適用できる。
【００３５】
以下、図３〜７に基づいてＥＳＷ算出方法を詳細に説明する。
【００３６】
図３はＥＳＷ算出方法を示すフローチャートである。まず、２値化画像に基づいて筆画エッジ情報を取得する（ステップＳ３１０）。ステップＳ３２０では、各筆画エッジピクセルに関する、少なくとも４つの方向における筆画幅を算出する。その後、ステップＳ３３０では、各筆画エッジピクセルに関して算出された、少なくとも４つの方向における筆画幅を、当該筆画エッジピクセルを通過する当該方向上の各筆画内ピクセルとそれぞれ関連付ける。最後に、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられた複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択する（ステップＳ３４０）。
【００３７】
図４はＥＳＷ算出方法の一実施形態を示すフローチャートである。図５は３つの異なる方向に基づいてＥＳＷ算出方法の実現を説明する図である。図５の（ａ）はよく使われている仮名の一例を示している。図５の（ｂ）は、図５の（ａ）に示す仮名のエッジ上のドットの拡大図である。図５の（ｂ）のように、水平方向（Ｏｘ）、垂直方向（Ｏｙ）、右上４５°の斜め方向（Ｏｓ）、右下４５°の斜め方向（Ｏｔ）との４つの方向を本実施例における測定方向とする。ステップＳ４１０では、時間を短縮するために、本発明は、エッジ検出器を用いるエッジ算出を行わず、２値化ステップによって得られたエッジのみを用いる。ステップＳ４２０では、それぞれの筆画エッジピクセルに対し、少なくとも４つの方向における筆画幅を算出する。即ち、図４の（ｂ）のように、筆画エッジピクセルＯについて、距離Ｏｘ、Ｏｙ、Ｏｓ、Ｏｔを算出する。本発明において、各方向における筆画幅は、該筆画エッジピクセルから、該筆画エッジピクセルと該方向とによって規定される直線上に存在する別の筆画エッジピクセルまでの距離である。そして、ステップＳ４３０では、算出された前記少なくとも４つの方向における筆画幅を、当該方向上の各筆画内ピクセルとそれぞれ関連付けて記憶する。本実施例において、Ｏｓ方向上の筆画幅を１０とすると、値１０を、その対応する方向上の各筆画内ピクセル（Ｏｓ方向におけるｍを含む）と関連付けて記憶する。他の筆画エッジピクセルが存在する場合、他の筆画エッジピクセルに対し、少なくとも４つの方向における筆画幅を算出する。他の筆画エッジピクセルが存在しない場合、ステップＳ４４０において、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられて記憶された複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択する。例えば、図５の（ｃ）の筆画について、筆画内のドットＱには、４つの方向Ｑｘ、Ｑｙ、Ｑｔ、Ｑｓにおける４つの筆画幅が関連付けられて記憶されているとする場合、筆画内のドットＱに関する推定筆画幅（ＥＳＷ）は、方向Ｑｘ、Ｑｙ、Ｑｔ、Ｑｓにおける筆画幅のうちの最小値、すなわちＱｔ方向における筆画幅である。
【００３８】
グラデーション方向上の各ピクセルにその現在値のうちの最小値を割り当て、筆画幅を算出する従来のＳＷＴに対して、本実施例のＥＳＷアルゴリズムは、３回の比較のみで済み、しかも、４つの方向上における隣接するピクセルの座標の算出は何れも非常に簡単である（隣接するピクセルのｘ軸およびｙ軸の座標は、その直前のピクセルのｘ軸およびｙ軸の座標と比べ、同様であるか、差分が「１」である）。さらに、横筆画および縦筆画が多く存在する中国語、日本漢字および韓国語などの場合、上記構成に関する鉛直方向および水平方向はちょうどこれらのピクセルの接線方向であり、計算が最も正確である。
【００３９】
図５の（ｄ）は、図５の（ｂ）の４つの方向と関連する別の方向を示している。具体的には、図５の（ｄ）の４つの方向は、図５の（ｃ）の４つの方向を一定の角度（（０、９０°））回転させて、得たものである。該４つの方向のうち、互いに隣接する２つの方向が成す角度は共に４５°である。そのため、全体の３６０°方向に対して、該４つの方向の分布は均一である。ただし、該４つの方向には水平方向および垂直方向が含まれていないため、図５の（ｄ）のＥＳＷの計算量は、図５の（ｂ）のＥＳＷの計算量よりも多くなる。
【００４０】
図５の（ｅ）は４つの方向の分布が不均一である場合の実施例を示している。該実施例の構成は、各方向に関する分布が不均一である。該構成における方向のうちの２つの方向を垂直および水平とすると、該２つの方向は、ちょうど横筆画および縦筆画の接線方向となる。この場合、該構成は、横筆画および縦筆画が多く存在する中国語、日本漢字および韓国語などに同様に適用できる。
【００４１】
以上、いくつかの異なる測定方向に基づいて、推定筆画幅（ＥＳＷ）に関して簡略化された本発明のテキスト検出方法を説明した。前記実施例において、４つの方向を用いるＥＳＷ構成のみが示されたが、本発明は４つを超える数の方向を用いる場合にも適用できる。さらに、ＥＳＷについては、エッジピクセルに関する、複数の所定方向における距離を筆画幅として測定するため、計算の複雑さを低減させ、プロセッサリソースおよび計算時間を節約することができる。
【００４２】
図６は、ＥＳＷ算出方法の別の実施形態を示すフローチャートである。図７は、ＥＳＷ算出方法の該別の実施形態に対応する実行例を示している。優先的に筆画エッジ上のドットについてスキャンする図４の実施形態に対して、本実施形態は優先的に特定の固定方向についてスキャンする。ステップＳ６１０では、ステップＳ４１０と類似的に、２値化ステップによって得られたエッジを用いるため、その詳細な説明を省略する。ステップＳ６２０では、前記少なくとも４つの方向のうち一方向毎に、各筆画エッジピクセルに関する筆画幅を算出する。即ち、所定の固定方向に沿って、筆画エッジ上のすべてのピクセルをスキャンし、各当該ピクセルに関する、前記固定方向上の筆画幅を算出する。図７のように、所定の固定方向（例えば、右上４５°の斜め方向）に沿って、筆画エッジ上のすべてのピクセルをスキャンし、各当該ピクセルに関する、前記固定方向における筆画幅（即ち、距離Ｏｓ）を算出する。その後、ステップＳ６３０では、該方向上のまだ関連付け記憶が行われていない筆画内ピクセルについては、算出された筆画幅を該筆画内ピクセルと関連付けて記憶する。該方向上のすでに関連付け記憶が行われた筆画内ピクセルについては、算出された筆画幅と、すでに該筆画内ピクセルと関連付けられて記憶された値とを比較し、該筆画内ピクセルと関連付けられて記憶された値よりも前記筆画幅のほうが小さい場合、該筆画内ピクセルと関連付けられて記憶された値を、前記筆画幅で上書きする。本実施例において、Ｏｓ方向上の筆画幅を１０とすると、初回スキャンの場合には、該筆画幅を当該筆画内ピクセルと関連付けて記憶する。そうでない場合には、該筆画幅を、当該筆画内ピクセル（例えば、Ｏｓ方向上のドットｍ）と関連付けられて記憶された値と比較し、該筆画内ピクセルと関連付けられて記憶された値よりも該筆画幅（例えば１０）のほうが小さい場合、該筆画内ピクセルと関連付けられて記憶された値を１０に変更する。ステップＳ６３５では、次の固定方向についてスキャンすべきか否かを判断する。スキャンすべき場合、ステップＳ６２０に戻って、以上のプロセスを繰り返す。他のスキャンすべき固定方向が存在しない場合、各筆画内ピクセルに関する、前記４つの方向における複数の筆画幅のうちの最小値が、該筆画内ピクセルと関連付け記憶値になっているため、ステップＳ６４０において該最小値を該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）とする。
【００４３】
図８は本発明のＥＳＷ構成を適用可能なＯＣＲ方法のフローチャートである。図９はＯＣＲ方法の各ステップで処理された後の画像を示すイメージ図である。以下、図８および図９に基づいてＯＣＲ方法の原理を詳しく説明する。
【００４４】
図８のように、ＯＣＲ方法は、主にプリ処理Ｓ８１０と、ＯＣＲエンジン処理Ｓ８２０との２つのステップに分けられる。まずは、自然情景の画像（たとえば図９の画像９０１）について、画像プリ処理ステップＳ８１０を行う。画像プリ処理ステップＳ８１０では、実用に適合させるために、本発明は、サブ画像領域の画像コントラストに基づいて２値化された局所閾値を用いる。なお、入力画像の前景と背景との違いが少ない場合、画像のコントラストを増強する。前景の色が背景の色よりも明るい場合、２値化する前に、該サブ画像領域のグレースケールを反転させる。
【００４５】
ステップＳ８１１では、得られたグレースケール画像に対して２値化処理を行う。一定のルールに基づき、グレースケール画像の中の各ピクセルを２種類、即ち「０」と「１」に分ける。
【００４６】
ステップＳ８１２では、本発明は、異なる２種類の連続領域特徴を用いて、非テキスト領域を除去する。１つの連続領域特徴が、テキスト特徴であり、もう１つの連続領域特徴が、連続領域とその周囲の連続領域との関連特徴である。自然情景とマッチングするために、テキスト特徴の１つとして、簡略化がなされた推定筆画幅（ＥＳＷ）という特徴を用いる。
【００４７】
１つのキャラクタは、幅が近い筆画を常に含み、且つ筆画の境界もほぼ滑らかである。テキスト特徴に関する連続領域（ＣＣ）特徴を用いて連続領域を識別してもよい。テキスト特徴に関する連続領域特徴には、以下の１つまたは複数が含まれる（これらに限定されない）。
（１）過大または過小の連続領域の除外。
（２）矩形外縁の比率：横（ｗ）縦（ｈ）比。該特徴により、細長い連続領域など、要求に合致しない連続領域（例えば長さと横幅との比が大きい電柱などという領域）を除外することができる。
（３）前景ピクセル面積が領域内で占めている比率。通常、文字領域の面積は常に領域内の背景面積より小さい。
（４）各ピクセルに関する推定筆画幅（ＥＳＷ）。テキスト領域内の連続領域におけるすべてのＥＳＷ値の変動が少なく、すなわち、分散は比較的に小さい。候補となる各連続領域内の筆画幅の分散を算出し、分散が大きすぎる領域を除外する。この特徴により、窓、木の葉のような領域を除外することができる。最大差分となる閾値を該連続領域内の推定筆画幅の平均値の半分に設定することが好ましい。
【００４８】
テキストはグループの形で表われると考えられる。同じグループのテキストは、例えば、筆画幅、キャラクタ幅、高さ、キャラクタ間隔などにおいて類似点があり、且つ前後のキャラクタの間隔はほぼ同じである。１つの連続領域とその周囲の連続領域との関係を示す連続領域特徴を用いて、１グループのテキストを識別してもよい。１つの連続領域とその周辺の連続領域との関係を示す連続領域特徴には、以下の１つまたは複数が含まれる（これらに限定されない）。
（１）連続領域の平均ＥＳＷ。１グループのテキストに含まれるキャラクタは、幅が近い筆画を常に含んでいるため、各連続領域のＥＳＷ平均値と、その周囲の連続領域のＥＳＷ平均値とはほぼ等しい。互いに隣接する連続領域のＥＳＷ平均値の比は、２．０よりも小さいことが好ましい。
（２）領域の平均グレースケール。１グループのテキストに含まれるキャラクタ同士は、常に類似のグレースケール分布を有する。
（３）単独のアルファベット（漢字または偏旁）連続領域をノイズとして画像から除外する。通常、画像には、文字が単語または漢字連語の形で現われ、単独のアルファベット（漢字または偏旁）として現れることがない。
（４）候補となるキャラクタの矩形外縁の平均領域面積。１グループのテキストに含まれる各キャラクタ成分（アルファベット文字、または漢字の偏旁であるかもしれない）の面積は、それほど大きく異なることはない。
【００４９】
ステップＳ８１３では、ステップＳ８１２において残された、テキストと思われる幾つかの隣接する連続領域を、キャラクタ候補として組み合わせる。例えばラテン語系の場合、１アルファベット文字が１キャラクタである。一方、中国漢字の場合、上下、左右、包囲などの構造に応じて各キャラクタ成分を１つの漢字キャラクタとして組み合わせてもよい。その後、以下の１つまたは複数のルールを考慮する。
（１）互いに隣接するキャラクタ候補の矩形外縁の同士間距離。互いに隣接するキャラクタ候補の矩形外縁の同士間隔はほぼ等しいと考えられる。互いに隣接するキャラクタ候補の矩形外縁の同士間隔は、幅広なキャラクタの幅の３倍を超えないことが好ましい。
（２）キャラクタ候補の矩形外縁の平均領域面積。１グループのテキストに含まれる各キャラクタの面積はほぼ等しい。
（３）キャラクタ候補の矩形外縁の平均高さ。１つグループのテキストに含まれる各キャラクタの高さはほぼ等しい。
【００５０】
以上の特徴に基づき、連続領域内の、条件を満たしたキャラクタをクラスタ化し、テキスト行（または列）を形成する。
【００５１】
筆画幅変換（ＳＷＴ）の特徴と比べ、本発明の方法は、より高速にＥＳＷ特徴を算出することができる。そのため、自然情景に対するリアルタイムＯＣＲシステムの前段のプリ処理システムに適用することができる。
【００５２】
ステップＳ８１３で検出されたテキスト領域（例えば図９の画像９０２）をＯＣＲエンジン処理ステップＳ８２０へ出力する。最終的には、ＯＣＲエンジン処理ステップＳ８２０から得た文字識別の結果を、アプリケーションのユーザインターフェースに出力する（例えば図９の画像９０３）。
【００５３】
図１０は、本発明に係る推定筆画幅（ＥＳＷ）算出装置１０００を示すブロック図である。該推定筆画幅（ＥＳＷ）算出装置１０００は、２値化画像に基づいて筆画エッジ情報を取得する取得ユニット１０１０と、各筆画エッジピクセルに関する、少なくとも４つの方向における筆画幅として、前記筆画エッジピクセルから前記筆画エッジピクセルと前記方向とによって規定される直線上の別の筆画エッジピクセルまでの距離を算出する算出ユニット１０２０と、各筆画エッジピクセルに関して算出された、少なくとも４つの方向における筆画幅を、当該筆画エッジピクセルを通過する当該方向上の各筆画内ピクセルとそれぞれ関連付ける関連付けユニット１０３０と、各筆画内ピクセルについて、該筆画内ピクセルと関連付けられた複数の筆画幅のうちの最小値を、該筆画内ピクセルに関する推定筆画幅（ＥＳＷ）として選択する選択ユニット１０４０と、を含む。
【００５４】
図１１は、本発明に係る非テキスト除去装置を示すブロック図である。非テキスト除去装置１１００は、前記のようにＥＳＷを算出する装置１１１０を含み、前記非テキスト除去装置１１１０は、テキスト特性に関する連続領域特徴、および、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴を利用し、テキスト特性に関する連続領域特徴には、各ピクセルについて前記ＥＳＷ算出装置によって算出されたＥＳＷと、連続領域内のＥＳＷの分散とが含まれ、連続領域とその周囲の連続領域との関連情報に関する連続領域特徴には、連続領域内の各ピクセルについて前記ＥＳＷ算出装置によって算出されたＥＳＷの平均値である、連続領域の平均ＥＳＷが含まれる。
【００５５】
図１２は、本発明に係るＯＣＲシステムを示すブロック図である。図１２のように、該システムは、プリ処理装置１２１０とＯＣＲエンジン装置１２２０との２つの主要装置を含む。まず、画像プリ処理装置１２１０において、自然情景の画像（例えば図９の画像９０１）に対して画像プリ処理を行う。画像プリ処理装置１２１０では、リアルタイムの適用を実現するために、本発明の実施例は、サブ画像領域の画像コントラストに基づいて２値化された局所閾値を用いる。入力画像の前景と背景との違いが少ない場合、画像のコントラストを増強する。前景の色が背景の色よりも明るい場合、２値化する前に、該サブ画像領域のグレースケールを反転させる。
【００５６】
２値化処理装置１２１１では、得られたグレースケール画像に対して２値化処理を行う。一定のルールに基づき、グレースケール画像の中の各ピクセルを２種類、即ち「０」と「１」に分ける。
【００５７】
非テキスト除去装置１２１２では、本発明は、異なる２種類の連続領域特徴を用いて、非テキスト領域を除去する。１つの連続領域特徴が、テキスト特徴であり、もう１つの連続領域特徴が、連続領域とその周囲との関係を示す特徴である。自然情景とマッチングするために、テキスト特徴の１つとして、簡略化がなされた推定筆画幅（ＥＳＷ）という特徴を用いる。
【００５８】
テキスト検出装置１２１３では、装置１２１２において残された、テキストと思われる幾つかの隣接する連続領域を、キャラクタ候補として組み合わせる。ステップＳ８１３に関して説明されたルールに基づき、連続領域内のキャラクタをクラスタ化し、テキスト行（または列）を形成する。そして、結果（例えば図９の画像９０２）をＯＣＲエンジン装置１２２０に出力する。最終的には、ＯＣＲエンジン装置１２２０から得た文字識別の結果を、アプリケーションのユーザインターフェースに出力する（図９の画像９０３のように）。
【００５９】
本発明は、推定筆画幅（ＥＳＷ）に関して簡略された新しいテキスト検出方法を実現している。ＥＳＷは、エッジピクセルに関する、複数の所定方向における距離を筆画幅として測定する。これにより、計算の複雑さを低減させ、プロセッサリソースおよび計算時間を節約することができる。そのため、自然情景に対するリアルタイムＯＣＲシステムの前段のプリ処理システムに適用することができる。
【００６０】
本発明の前記実施例において、４つの方向を用いるＥＳＷ構成のみが示されたが、本発明は、４つを超える数の方向を用いる場合にも適用できることは理解される。本発明の構成は、携帯電話、ＰＤＡ、デスクトップコンピュータ、ノートパソコン、タブレットコンピュータ、および、一般にテキスト検出または光学文字識別（ＯＣＲ）をサポートする他の電子機器上において実現できる。本発明の構成は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組合せにより実現可能である。例えば、前記実施例における装置内部の各アセンブリは、アナログ回路デバイス、デジタル回路デバイス、デジタル信号処理（ＤＳＰ）回路、プログラマブルプロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、プログラマブル・ロジックデバイス（ＣＰＬＤ）などを含む様々なデバイスによって実現できるが、これらに限定されない。
【００６１】
以上、本発明の好ましい実施形態を例示しつつ、本発明を説明したが、当業者に理解されるように、本発明は、その精神および範囲から逸脱しない限り、様々な変更、置換および追加を行うことができる。したがって、本発明は、前記実施例に限定されず、添付される特許請求の範囲およびその等価物によって限定されるべきである。
【図１（ａ）】
2017535891.tif 000003
【図１（ｂ）】
2017535891.tif 000004
【図１（ｃ）】
2017535891.tif 000005
【図２】
2017535891.tif 000006
【図３】
2017535891.tif 000007
【図４】
2017535891.tif 000008
【図５（ａ）】
2017535891.tif 000009
【図５（ｂ）】
2017535891.tif 000010
【図５（ｃ）】
2017535891.tif 000011
【図５（ｄ）】
2017535891.tif 000012
【図５（ｅ）】
2017535891.tif 000013
【図６】
2017535891.tif 000014
【図７】
2017535891.tif 000015
【図８】
2017535891.tif 000016
【図９】
2017535891.tif 000017
【図１０】
2017535891.tif 000018
【図１１】
2017535891.tif 000019
【図１２】
2017535891.tif 000020
【国際調査報告】
2017535891.tif 000021
2017535891.tif 000022
2017535891.tif 000023
2017535891.tif 000024