(57)【要約】【課題】文字領域を精度よく検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像処理装置１０は、入力画像に基づいてエッジを検出したエッジ検出画像を生成する一次微分処理部１１と、生成されたエッジ検出画像に対し、所定の範囲ごとに注目画素から複数方向へ放射状に探索を行って、文字の特徴を抽出するスポークフィルタ処理部１２とを備える。例えばスポークフィルタではペア画素や囲みエッジ画素を抽出する。【選択図】図１
2017107350.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に基づいてエッジを検出したエッジ検出画像を生成するエッジ検出部と、
前記生成されたエッジ検出画像に対し、所定の範囲ごとに注目画素から複数方向へ放射状に探索を行って、文字の特徴を抽出する複数方向探索フィルタと、
を備える画像処理装置。
【請求項２】
前記エッジ検出部は、前記入力画像に対し一次微分処理を行って前記エッジ検出画像を生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記複数方向探索フィルタは、前記放射状に延びる第１の方向で検出されるエッジ画素と前記第１の方向と反対に延びる第２の方向で検出されるエッジ画素とを含むペア画素を、前記文字の特徴として抽出する、
請求項１または２に記載の画像処理装置。
【請求項４】
前記複数方向探索フィルタは、前記第１の方向のエッジ画素のエッジ方向と、前記第２の方向のエッジ画素のエッジ方向が反対の場合に、前記ペア画素を抽出する、
請求項３に記載の画像処理装置。
【請求項５】
前記複数方向探索フィルタは、前記放射状に延びる複数の方向で検出されたエッジ画素である囲みエッジ画素を、前記文字の特徴として抽出する、
請求項３または４に記載の画像処理装置。
【請求項６】
前記複数方向探索フィルタは、前記抽出されたペア画素のペア数と前記抽出された囲みエッジ画素数との合計と、前記ペア数及び前記囲みエッジ画素数の最大値との比を出力する、
請求項５に記載の画像処理装置。
【請求項７】
前記入力画像と前記エッジ検出画像とに基づいて、前記入力画像の分散値を算出する分散値算出部と、
前記算出結果の画像と前記探索結果の画像とを合成する合成部と、
を備える、請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記分散値算出部は、前記入力画像と前記エッジ検出画像とに基づいたヒストグラムを算出する、
請求項７に記載の画像処理装置。
【請求項９】
前記エッジ検出部は、前記入力画像を含む複数のフレーム画像のエッジ検出結果に基づいて、前記エッジ検出画像を生成する、
請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記エッジ検出部は、現在のフレーム画像のエッジ検出結果と１フレーム前までのエッジ検出結果とを所定の割合でブレンドして前記エッジ検出画像を生成する、
請求項９に記載の画像処理装置。
【請求項１１】
前記探索結果を含む画像から、白または黒の領域を抽出する白黒マスク部を備える、
請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記探索結果を含む画像に対し、画像の上部または下部の領域に重み付けを行う領域ウェイト部を備える、
請求項１乃至１１のいずれか一項に記載の画像処理装置。
【請求項１３】
入力画像に基づいてエッジを検出したエッジ検出画像を生成し、
前記生成されたエッジ検出画像に対し、所定の範囲ごとに注目画素から複数方向へ放射状に探索を行って、文字の特徴を抽出する、
画像処理方法。
【請求項１４】
コンピュータに画像処理方法を実行させるための画像処理プログラムであって、
前記画像処理方法は、
入力画像に基づいてエッジを検出したエッジ検出画像を生成し、
前記生成されたエッジ検出画像に対し、所定の範囲ごとに注目画素から複数方向へ放射状に探索を行って、文字の特徴を抽出する、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
テレビ放送などの画像（映像）には、時刻表示や字幕などのように所定の領域に文字やテロップが含まれる場合が多い。ノイズリダクションや翻訳等に利用するため、画像から文字やテロップを検出する技術が知られている。関連する技術として、例えば、特許文献１〜３が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−２６４７号公報
【特許文献２】特開２０１３−２１０８９９号公報
【特許文献３】特開２００６−２４６４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
Ｍｐｅｇ−２などでエンコードされた画像は、文字などのエッジ周辺にモスキートノイズが大量に発生する。このため、モスキートノイズを抑制するためにバイラテラルフィルタなどの平滑化処理を行うのが一般的である。しかし、画像全体にフィルタをかけてしまうと、肌などの細かいテクスチャを含んだ領域まで平滑化してしまい、結果的に質感が消失してしまうという問題があった。このため、文字領域のみを精度よく検出する技術が望まれる。
【０００５】
特許文献１に記載の技術では、閾値を２パターン設定し、方向別微分処理を行っているが、これは単にエッジを検出している程度である。その後のラベリング処理にて文字を含む色々な図形を２種類の閾値で一致した場合に検出としているため、特許文献１では文字を検出するものではない。
【０００６】
特許文献２に記載の技術では、色を使って文字色と背景色を分離しているが、文字色及び背景色がそれぞれ一つの色で構成されているものに限定される。例えば、文字内部がグラデーションになっていた場合は検出することができない。また背景にテクスチャなどを含んでいる場合も検出することができない。
【０００７】
特許文献３に記載の技術では、輝度ヒストグラムから文字と背景が最もよく分離する閾値を使い文字領域を検出しているが、背景にテクスチャが含まれる場合は分離することが困難である。また文字内部にグラデーションがある場合も同様に分離することができない。
【０００８】
したがって、関連する技術では、文字領域を精度よく検出することが困難であるという問題があった。
【０００９】
本発明は、このような問題を解決するためになされたものであり、画像から文字領域を精度よく検出することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像処理装置は、入力画像に基づいてエッジを検出したエッジ検出画像を生成するエッジ検出部と、前記生成されたエッジ検出画像に対し、所定の範囲ごとに注目画素から複数方向へ放射状に探索を行って、文字の特徴を抽出する複数方向探索フィルタと、を備えるものである。
【００１１】
本発明に係る画像処理方法は、入力画像に基づいてエッジを検出したエッジ検出画像を生成し、前記生成されたエッジ検出画像に対し、所定の範囲ごとに注目画素から複数方向へ放射状に探索を行って、文字の特徴を抽出するものである。
【００１２】
本発明に係る画像処理プログラムは、コンピュータに画像処理方法を実行させるための画像処理プログラムであって、前記画像処理方法は、入力画像に基づいてエッジを検出したエッジ検出画像を生成し、前記生成されたエッジ検出画像に対し、所定の範囲ごとに注目画素から複数方向へ放射状に探索を行って、文字の特徴を抽出するものである。
【発明の効果】
【００１３】
本発明によれば、文字領域を精度よく検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１に係る画像処理装置の構成例を示す構成図である。
【図２】実施の形態１に係る画像処理装置の動作例を示すフローチャートである。
【図３】実施の形態１に係る画像処理装置で処理する画像例を示す図である。
【図４】実施の形態１に係る画像処理装置で処理する画像例を示す図である。
【図５】実施の形態１に係る画像処理装置の動作を説明するための説明図である。
【図６】実施の形態１に係る画像処理装置の動作例を示すフローチャートである。
【図７】実施の形態１に係る画像処理装置の動作を説明するための説明図である。
【図８】実施の形態１に係る画像処理装置で処理する画像例を示す図である。
【図９】実施の形態１に係る画像処理装置で処理するヒストグラムの例を示す図である。
【図１０】実施の形態１に係る画像処理装置で処理するヒストグラムの例を示す図である。
【図１１】実施の形態１に係る画像処理装置で処理する画像例を示す図である。
【図１２】実施の形態１に係る画像処理装置で処理する画像例を示す図である。
【図１３】実施の形態２に係る画像処理装置の構成例を示す構成図である。
【発明を実施するための形態】
【００１５】
（実施の形態１）
以下、図面を参照して実施の形態１について説明する。図１は、本実施の形態に係る画像処理装置の構成例を示している。
【００１６】
本実施の形態に係る画像処理装置１０は、入力された画像（映像）の中から文字を含む文字領域を検出する文字検出装置（文字領域検出装置）である。画像処理装置１０は、主に、文字やテロップを含む輝度画像に対してｘｙ方向の一次微分画像を取得し、一次微分画像からスポークフィルタを使った第一の文字候補画像と輝度ヒストグラムを利用した第二の文字候補画像を作成し、それぞれを掛けあわせることで最終的な文字検出画像を出力する。例えば、画像処理装置１０から出力される検出結果の画像は、ノイズリダクションや翻訳等に利用可能である。
【００１７】
図１に示すように、本実施の形態に係る画像処理装置１０は、一次微分処理部１１、スポークフィルタ処理部１２、ヒストグラム処理部１３、乗算部１４を備えている。
【００１８】
なお、後述するような本実施の形態に係る画像処理方法が実現できれば、その他の機能ブロックで構成してもよい。図１の画像処理装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。画像処理装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に後述する画像処理方法を行うための画像処理プログラムを格納し、画像処理装置の各機能を、記憶装置に格納された画像処理プログラムをＣＰＵで実行することにより実現してもよい。
【００１９】
一次微分処理部１１は、入力された画像（輝度画像）に対し縦方向（ｙ方向）及び横方向（ｘ方向）の一次微分処理を行い、一次微分画像を生成する一次微分画像生成部である。一次微分を行うことにより、一次微分とスポークフィルタを組み合わせて、文字領域を確実に検出することができる。一次微分によって画像のエッジを検出できるため、一次微分処理部１１は、入力画像に基づいてエッジを検出したエッジ検出画像（一次微分画像）を生成するエッジ検出部であるとも言える。
【００２０】
スポークフィルタ処理部１２は、一次微分処理部１１が生成した一次微分画像に対しスポークフィルタを適用し、スポークフィルタ結果画像を生成する。スポークフィルタは、後述のように、所定の範囲ごとに注目画素から複数方向へ放射状に探索を行って、文字の特徴を抽出する複数方向探索フィルタである。少なくともスポークフィルタを適用することにより、文字の特徴を持つ領域を抽出できるため、文字領域の検出精度を向上することができる。スポークフィルタ処理部１２は、本実施の形態に係るスポークフィルタ処理を実現するため、一例として、８方向探索部２１、ペア画素検出部２２、囲みエッジ画素検出部２３、スポークフィルタ結果出力部２４を備える。
【００２１】
８方向探索部２１は、注目画素から所定の範囲内で、例えば８方向に探索を行う。ペア画素検出部（ペア画素抽出部）２２は、探索範囲内で、放射状に延びる第１の方向で検出されるエッジ画素と第１の方向と反対に延びる第２の方向で検出されるエッジ画素とを含むペア画素を、文字の特徴として抽出（検出）する。囲みエッジ画素検出部（囲みエッジ画素抽出部）２３は、探索範囲内で、放射状に延びる複数の方向で検出されたエッジ画素である囲みエッジ画素を、文字の特徴として抽出（検出）する。スポークフィルタ結果出力部２４は、ペア画素と囲みエッジの検出に基づいてスポークフィルタ結果の画像を出力する。例えば、抽出されたペア画素のペア数と抽出された囲みエッジ画素数との合計と、ペア数及び囲みエッジ画素数の最大値との比を出力する。文字領域は、その特徴としてペア画素及び囲みエッジ画素を含む可能性が高いため、ペア画素及び囲みエッジ画素を抽出することで、文字領域の検出精度を向上することができる。
【００２２】
ヒストグラム処理部（ヒストグラム算出部）１３は、一次微分処理部１１が生成した一次微分画像に基づき、一次微分前の入力画像（輝度画像）からヒストグラムを算出し、輝度ヒストグラム分散結果画像を生成する。ヒストグラム処理は分散処理の一例であるため、ヒストグラム処理部１３は、入力画像とエッジ検出画像とに基づいて、入力画像の分散値を算出する分散値算出部であるとも言える。乗算部１４は、スポークフィルタ処理部１２が生成したスポークフィルタ結果画像（複数方向探索を行った画像）と、ヒストグラム処理部１３が生成した輝度ヒストグラム分散画像（入力画像に基づいた画像）とを乗算により合成し、最終的な文字検出画像を生成する合成部である。
【００２３】
図２は、本実施の形態に係る画像処理装置で実行される画像処理方法（文字検出方法）を示している。
【００２４】
図２に示すように、まず、一次微分処理部１１は、入力画像（輝度画像）から一次微分処理を行った一次微分画像を生成する（Ｓ１１）。一次微分処理部１１は、画像の縦方向微分（差分）と横方向微分（差分）が閾値以上の場合に加算を行い、縦横方向を加算した結果を微分画像とする。
【００２５】
例えば、一次微分処理部１１は、次の（式１）により一次微分結果（Ｄｉｆｆ）を求め、求めた値により生成された一次微分結果画像をスポークフィルタ処理部１２及びヒストグラム処理部１３へ出力する。
【数１】
2017107350.tif 000003
【００２６】
（式１）では、ｘ方向の画素差分（∇ｘ）が閾値Ｔｈより大きいか、またはｙ方向の画素差分（∇ｙ）が閾値Ｔｈより大きい場合に画素差分を出力している。
【００２７】
図３は、入力画像であるオリジナル画像（輝度画像）の例であり、図４は、図３のオリジナル画像に対する一次微分結果画像の例である。一次微分処理部１１は、図３のオリジナル画像が入力されると、（式１）の一次微分演算を行い、図４のような一次微分結果画像を出力する。図４のように、縦方向及び横方向の一次微分により、縦方向及び横方向のエッジが出力（検出）される。一次微分では隣接画素の差分が大きい場合のみ出力されるため、文字以外のエッジも出力（検出）される。このため一次微分結果画像のみで文字領域を検出することはできない。そこで、本実施の形態では、この一次微分画像に対してスポークフィルタを適用する。
【００２８】
Ｓ１１に続いて、スポークフィルタ処理部１２は、スポークフィルタを適用したスポークフィルタ結果画像を生成する（Ｓ１２）。本実施の形態では、文字検出用に改良したスポークフィルタ（複数方向探索フィルタ）を使ってエッジの文字性を解析（文字の特徴を抽出）することで文字領域（テロップ）を検出する。
【００２９】
スポークフィルタ処理部１２は、スポークフィルタ処理として、Ｓ１１にて予め検出した一次微分画像（Ｄｉｆｆｘ，ｙ）に対して、任意の注目画素から放射状に８方向（もしくは１６，３２方向など）に探索を行い、見つかった画素の微分値と、探索方向に対して１８０度回転して見つかった画素の微分値の符号が反転している場合にペア画素とみなし、ペア画素の抽出を行う。
【００３０】
例えば、図５のように、オリジナル画像に対し一次微分結果画像が生成され、注目画素Ｐ０から第１の探索方向とその反対の第２の探索方向に探索を行う。このとき、第１の探索方向で検出される画素Ｐ５１の微分値と第２の探索方向で検出される画素Ｐ５２の微分値は、符号が反転（エッジ方向が逆方向）しているため、ペア画素であるとみなす。また、第１の探索方向で検出される画素Ｐ５３の微分値と第２の探索方向で検出される画素Ｐ５４の微分値は、符号が同じ（エッジ方向が同じ方向）であるため、ペア画素ではないと判断する。すなわち、一方向に見た場合の微分値（エッジ方向）が、背景と文字間のエッジで変化し、文字と背景間のエッジで逆方向に変化する文字の特徴を利用している。
【００３１】
ここで、図６に、Ｓ１２のスポークフィルタ処理の具体例を示す。図６に示すように、スポークフィルタ処理部１２（８方向探索部２１）は、注目画素ごとに所定の範囲内で８方向に探索を行う（Ｓ２１）。
【００３２】
例えば、図７に示すように、任意の注目画素Ｐ０から予め決められた範囲にて８方向（もしくは１６、３２方向など）に探索する。探索範囲は、検出したい文字領域（テロップ）の大きさを考慮して設定することが好ましい。ここでは１方向について１５ｐｉｘｅｌを探索範囲と設定する。また、探索方向は、注目画素から放射状（スポーク状）に延びていればよく、８方向、１６方向、３２方向やその他の数の方向でもよい。
【００３３】
続いて、スポークフィルタ処理部１２（ペア画素検出部２２）は、８方向探索の範囲の中からペア画素を検出する（Ｓ２２）。Ｓ２１の探索範囲でペアとなる画素を文字候補（文字の特徴）として抽出する。
【００３４】
図７の例では、注目画素Ｐ０の左上方向に検出された画素Ｐ７１と、注目画素Ｐ０の右下方向に検出された画素Ｐ７２は、微分値の符号が反転しているため、ペア画素であると判断する。同様に、注目画素Ｐ０の上方向に検出された画素Ｐ７３と下方向に検出された画素Ｐ７４、注目画素Ｐ０の右上方向に検出された画素Ｐ７５と左下方向に検出された画素Ｐ７６は、それぞれペア画素であると判断する。一方、注目画素Ｐ０の左方向に検出された画素Ｐ７７に対し、注目画素Ｐ０の右方向では１５ｐｉｘｅｌ内（探索範囲内）にエッジ画素が検出されないため、ペア画素はないと判断する。この例からもわかるように、文字の場合には、探索範囲内でペア画素が検出される可能性が高い。このため、ペア画素を検出することで、文字領域の検出精度を向上することができる。
【００３５】
続いて、スポークフィルタ処理部１２（囲みエッジ画素検出部２３）は、８方向探索の範囲の中から囲みエッジ画素を検出する（Ｓ２３）。ペア画素に加えて、文字は囲みエッジパターン（Ｓｕｒｒｏｕｎｄパターン）になることが多い。このため、本実施の形態では、ペア数（ペア画素の組の数）と囲みエッジ画素の数が多いほど文字らしい（文字の特徴がある）とみなす。囲みエッジ画素とは８（または１６、３２）方向探索の際に、エッジとして存在する画素を指す。ただしペア数が１以下の場合は単なるエッジの可能性が高いため、文字候補としての抽出は行わない。図７の例では、８方向探索で、右方向のみ探索範囲の１５ｐｉｘｅｌ内に何も見つからず、Ｐ７１〜Ｐ７７を囲みエッジ画素として検出する。
【００３６】
続いて、スポークフィルタ処理部１２（スポークフィルタ結果出力部２４）は、ペア画素と囲みエッジ画素の検出結果よりスポークフィルタ結果を出力する（Ｓ２４）。８方向探索時のスポークフィルタ結果画像の算出式は次の（式２）となる。スポークフィルタ処理部１２は、次の（式２）によりスポークフィルタ結果（Ｓｐｏｋｅ）を求め、求めた値により生成されたスポークフィルタ結果画像を乗算部１４へ出力する。
【数２】
2017107350.tif 000004
【００３７】
（式２）では、ペア数（Ｐａｉｒ）が１より大きい場合、ペア数と囲みエッジ画素数（Ｓｕｒｒｏｕｎｄ）の合計の比率を出力する。ペア数は最大で４、囲みエッジ画素数は最大で８になり分母は４＋８＝１２となる。図７では、注目画素Ｐ０を探索した結果、３つのペアと７つの囲みエッジ画素が検出されるため、（３＋７）／１２＝０．８３が出力される。
【００３８】
図８は、図４の一次微分結果画像に対するスポークフィルタ結果画像の例である。スポークフィルタ処理部１２は、図４の一次微分結果画像が入力されると、（式２）のスポークフィルタ演算を行い、図８のようなスポークフィルタ結果画像を出力する。図８のように、スポークフィルタによって、ペア画素及び囲みエッジ画素の部分が抽出されるため、文字領域が精度よく出力されている。
【００３９】
一方、Ｓ１１に続いて、ヒストグラム処理部１３は、一次微分画像と輝度画像からヒストグラムを算出する（Ｓ１３）。ヒストグラム処理部１３は、Ｓ１１にて予め検出した一次微分画像（Ｄｉｆｆｘ,ｙ）と、一次微分前の輝度画像よりヒストグラム分散処理を行う。
【００４０】
文字領域（テロップ）は背景に比べて目立つような配色で挿入されることが多く、結果として背景と文字領域との輝度分散が高くなる傾向があるため、本実施の形態では、この性質を利用する。なお、ここでは、背景と文字の分離精度が高くなるようにヒストグラム分散処理を利用しているが、ヒストグラムではなく単なる分散処理でも良い。もしくはＳｏｂｅｌ Ｆｉｌｔｅｒなどで算出した輝度エッジ画像などでも代用可能である。
【００４１】
図９及び図１０に示すように、Ｓ１１で検出した一次微分画像にて値が０ではない画素位置を基に輝度画像からｍ×ｎサイズの輝度ヒストグラム（Ｖａｒｉａｎｃｅ）を算出する。図９及び図１０ではサイズを１５×１５とし、ｂｉｎの数をＬ＝８としている。
【００４２】
例えば、ヒストグラム処理部１３は、次の（式３）によりヒストグラム（Ｖａｒｉａｎｃｅ）を求め、求めた値により生成されたヒストグラム分散結果画像を乗算部１４へ出力する。
【数３】
2017107350.tif 000005
【００４３】
（式３）では、投票数（Ｆｒｅｑｕｅｎｃｙ）、縦サイズ（Ｈｅｉｇｈｔ）、横サイズ（Ｗｉｄｔｈ）、ｂｉｎ数（Ｌ）から平均値（Ｍｅａｎ）を求め、平均値に対する分散が閾値より大きく、かつ、一次微分値（Ｄｉｆｆ）が０より大きい場合に、分散値を出力している。
【００４４】
図１１は、図３のオリジナル画像及び図４の一次微分結果画像に対する輝度ヒストグラム分散結果画像の例である。ヒストグラム処理部１３は、図３のオリジナル画像（輝度画像）及び図４の一次微分結果画像が入力されると、（式３）のヒストグラム演算を行い、図１１のような輝度ヒストグラム分散結果画像を出力する。図１１のように、検出されたエッジ画素部分について、分散値が出力されている。
【００４５】
Ｓ１２及びＳ１３に続いて、乗算部１４は、一次微分画像と輝度ヒストグラム画像を合成する（Ｓ１４）。乗算部１４は、スポークフィルタ結果と輝度ヒストグラム分散結果を掛けあわせて最終画像を取得する。例えば、乗算部１４は、次の（式４）により出力値（Ｏｕｔｐｕｔ）を求め、求めた値により生成された最終画像（文字検出画像）を出力する。
【数４】
2017107350.tif 000006
【００４６】
（式４）では、スポークフィルタ値（Ｓｐｏｋｅ）とヒストグラム値（Ｖａｒｉａｎｃｅ）を乗算した値を８ビット（最大値＝２５５）として出力している。
【００４７】
図１２は、図８のスポークフィルタ結果画像及び図１１の輝度ヒストグラム分散結果画像に対する最終画像の例である。乗算部１４は、図８のスポークフィルタ結果画像及び図１１の輝度ヒストグラム分散結果画像が入力されると、（式４）の出力演算を行い、図１２のような最終画像を出力する。図１２のように、スポークフィルタ結果画像と輝度ヒストグラム分散結果画像を掛け合わせることで、文字領域がさらに精度よく出力される。
【００４８】
以上のように、本実施の形態では、一次微分画像、スポークフィルタ、輝度ヒストグラム画像を組み合わせることで文字検出を行う。従来手法では背景に複雑なテクスチャを含む場合、テロップの誤検出や未検出が目立った。これに対し、本実施の形態によるスポークフィルタと輝度ヒストグラム分散処理の組み合わせによりこれらの問題点を解決し、複雑な背景の中に存在する文字や文字内部にグラデーションを持つ場合でも正確に検出することが可能であり、従来手法よりも非常に単純な構成で、高速、高精度、かつローコスト(ローメモリ)で文字の検出が可能になる。本実施の形態により文字領域のみを確実に検出することができるため、例えば、ノイズリダクションに適用した場合には、質感を消失すること無くノイズを抑制することができる。
【００４９】
（実施の形態２）
以下、図面を参照して実施の形態２について説明する。本実施の形態では、実施の形態１に対しさらに文字検出精度を向上させるいくつかの例を説明する。
【００５０】
図１３は、本実施の形態に係る画像処理装置の構成例を示している。図１３に示すように、本実施の形態に係る画像処理装置１０は、フレームバッファ１５、ディレイ１６、白黒マスク処理部１７、領域ウェイト処理部１８を備えている。その他の構成は、実施の形態１と同様である。
【００５１】
フレームバッファ１５は、一次微分処理部１１がこれまでに処理したフレーム（画像）や算出値を記憶し、ディレイ１６は、フレームバッファ１５が記憶するフレームや算出値を一次微分処理部１１へ出力する。
【００５２】
テロップは複数のフレームに跨って同じ位置に存在する特徴がある。このため、現在のフレームの一次微分値（Ｄｉｆｆｘ,ｙ）と前のフレームまでの結果（Ｐｒｅｘ,ｙ）をブレンドすることで一次微分画像の安定性を確保することができる。つまり、時間方向に画像を安定させることで、文字検出精度を向上することができる。
【００５３】
そこで、本実施の形態では、一次微分処理部１１は、フレームバッファ１５及びディレイ１６を用いることで、入力画像を含む複数のフレーム画像の一次微分結果（エッジ検出結果）に基づいて、一次微分結果画像を生成する。例えば、一次微分処理部１１は、次の（式５）により一次微分ブレンド（ＤｉｆｆＢｌｅｎｄ）を求め、求めた値により生成された一次微分結果画像を出力する。
【数５】
2017107350.tif 000007
（式５）では、現在のフレーム一次微分値（Ｄｉｆｆｘ,ｙ）と１フレーム前に算出した一次微分ブレンド値（Ｐｒｅｘ,ｙ）を、ブレンド率に応じた割合でブレンドし出力する。なお、スポークフィルタ処理部１２は、ブレンドされた一次微分画像（ＤｉｆｆＢｌｅｎｄｘ,ｙ）に対してスポークフィルタを適用し、ヒストグラム処理部１３は、ブレンドされた一次微分画像（ＤｉｆｆＢｌｅｎｄｘ,ｙ）を用いてヒストグラムを算出する。
【００５４】
白黒マスク処理部１７は、スポークフィルタ結果画像から白または黒のみの画像を抽出する。白黒マスク処理部１７は、ＣｂＣｒ色画像を用いて白または黒の領域を検出し、スポークフィルタ結果画像から白または黒の領域のみを抽出する。乗算部１４は、白または黒の領域のみのスポークフィルタ結果を用いて出力画像を生成する。時計表示や字幕のようにテロップが白または黒の場合、対象領域を白と黒に限定することで、文字検出精度を向上することができる。
【００５５】
領域ウェイト処理部１８は、出力画像の所定領域に重み付けを行い、重み付けられた領域の画像を抽出する。領域ウェイト処理部１８は、乗算結果の出力画像に対し、例えば画像の上部や下部に重み付けを行う。テロップは画面上部と下部に集中する場合、対象領域を画像の上部や下部に限定することで、文字検出精度を向上することができる。
【００５６】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
【００５７】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００５８】
１０      画像処理装置
１１      一次微分処理部
１２      スポークフィルタ処理部
１３      ヒストグラム処理部
１４      乗算部
１５      フレームバッファ
１６      ディレイ
１７      白黒マスク処理部
１８      領域ウェイト処理部
２１      ８方向探索部
２２      ペア画素検出部
２３      エッジ画素検出部
２４      スポークフィルタ結果出力部
【図１】
2017107350.tif 000008
【図２】
2017107350.tif 000009
【図３】
2017107350.tif 000010
【図４】
2017107350.tif 000011
【図５】
2017107350.tif 000012
【図６】
2017107350.tif 000013
【図７】
2017107350.tif 000014
【図８】
2017107350.tif 000015
【図９】
2017107350.tif 000016
【図１０】
2017107350.tif 000017
【図１１】
2017107350.tif 000018
【図１２】
2017107350.tif 000019
【図１３】
2017107350.tif 000020