(57)【要約】【課題】画像から文字を形成する画素を精度よく検出することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置１は、エッジ方向画像生成部１３と、文字画素検出部１４とを有する。エッジ方向画像生成部１３は、入力画像のエッジ方向を表すエッジ方向画像を生成する。また、文字画素検出部１４は、エッジ方向画像生成部１３により生成されたエッジ方向画像から、エッジ方向が互いに反対方向であるエッジ画素ペアを、入力画像に含まれる文字を形成する画素をとして検出する。【選択図】図１
2016103152.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のエッジ方向を表すエッジ方向画像を生成するエッジ方向画像生成手段と、
前記エッジ方向画像生成手段により生成されたエッジ方向画像から、エッジ方向が互いに反対方向であるエッジ画素ペアを、前記入力画像に含まれる文字を形成する画素をとして検出する文字画素検出手段と
を有する画像処理装置。
【請求項２】
前記文字画素検出手段は、前記エッジ方向画像生成手段により生成されたエッジ方向画像内の注目画素から予め定められた複数の方向に探索した際の探索方向とエッジ方向とが一致したエッジ画素である方向一致画素を、前記エッジ画素ペアの候補とする
請求項１に記載の画像処理装置。
【請求項３】
前記文字画素検出手段は、前記方向一致画素よりも探索方向に外側に存在する画素の画素値と前記注目画素の画素値との差が予め定められた閾値以上でない場合、該方向一致画素を前記エッジ画素ペアの候補から除外する
請求項２に記載の画像処理装置。
【請求項４】
前記文字画素検出手段は、前記注目画素が、前記予め定められた複数の方向のうち予め定められた数以上の方向においてエッジ画素に囲まれていない場合、前記注目画素を起点にした探索により発見された前記方向一致画素を前記エッジ画素ペアの候補から除外する
請求項２又は３に記載の画像処理装置。
【請求項５】
前記文字画素検出手段は、前記注目画素から予め定められた距離範囲内の画素について探索を行う
請求項２乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記文字画素検出手段は、前記エッジ画素ペアを、前記入力画像に含まれる文字を形成する画素をとして検出して、文字画像を生成する
請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記入力画像のエッジの強度を表すエッジ強度画像を生成するエッジ強度画像生成手段をさらに有し、
前記文字画素検出手段により生成された文字画像と、前記エッジ強度画像生成手段により生成されたエッジ強度画像とを対比して、前記文字画像において前記入力画像に含まれる文字を形成する画素を補間する補正手段
をさらに有する請求項６に記載の画像処理装置。
【請求項８】
前記補正手段は、さらに、前記文字画像において前記入力画像に含まれる文字を形成する画素を拡大する
請求項７に記載の画像処理装置。
【請求項９】
前記入力画像のエッジの強度を表すエッジ強度画像を生成するエッジ強度画像生成手段と、
前記エッジ強度画像生成手段により生成されたエッジ強度画像に対し細線化処理を行う細線化処理手段をさらに有し、
前記エッジ方向画像生成手段は、前記細線化処理手段により細線化処理されたエッジ強度画像に対応するエッジ方向画像を生成する
請求項３に記載の画像処理装置。
【請求項１０】
前記入力画像に対し平滑化処理を行う平滑化処理手段と、
前記平滑化処理手段により平滑化処理された前記入力画像のエッジの強度を表すエッジ強度画像を生成するエッジ強度画像生成手段と
をさらに有し、
前記エッジ方向画像生成手段は、前記エッジ強度画像生成手段により生成されたエッジ強度画像に対応するエッジ方向画像を生成する
請求項１乃至６いずれか一項に記載の画像処理装置。
【請求項１１】
前記平滑化処理手段は、エッジ保存フィルタにより平滑化処理を行う
請求項１０に記載の画像処理装置。
【請求項１２】
入力画像のエッジ方向を表すエッジ方向画像を生成するエッジ方向画像生成ステップと、
前記エッジ方向画像生成ステップで生成されたエッジ方向画像から、エッジ方向が互いに反対方向であるエッジ画素ペアを、前記入力画像に含まれる文字を形成する画素をとして検出する文字画素検出ステップと
を有する画像処理方法。
【請求項１３】
入力画像のエッジ方向を表すエッジ方向画像を生成するエッジ方向画像生成ステップと、
前記エッジ方向画像生成ステップで生成されたエッジ方向画像から、エッジ方向が互いに反対方向であるエッジ画素ペアを、前記入力画像に含まれる文字を形成する画素をとして検出する文字画素検出ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
テレビ放送などの画像に含まれるテロップや文字を検出し、検出結果を文字の翻訳又は文字部分周辺のノイズリダクション処理などに活用する技術が知られている。このような技術においては、文字の検出精度の向上が求められている。
【０００３】
文字の検出に関しては、例えば、特許文献１に記載の技術がある。特許文献１では、対をなす２つの濃度変化が走査線上に存在する場合に、これに対応する隣接する２つのエッジ画素を１組のエッジペアと数え、このエッジペアの数によりテロップ文字が表示されているフレームか否かを判定することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１７８００７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、走査線上のエッジ部分における濃度変化の対の数のみに着目して、テロップが表示されているフレームか否かを判定しているため、特に画像が複雑である場合には文字を検出することが難しくなる恐れがある。また、特許文献１に記載の技術では、テロップを含むフレームを特定するに過ぎず、文字自体を形成する画素を検出するものではない。このように、画像から文字を精度よく検出する技術が求められている。
【０００６】
本発明は、このような問題を解決するためになされたものであり、画像から文字を形成する画素を精度よく検出することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様にかかる画像処理装置は、入力画像のエッジ方向を表すエッジ方向画像を生成するエッジ方向画像生成手段と、前記エッジ方向画像生成手段により生成されたエッジ方向画像から、エッジ方向が互いに反対方向であるエッジ画素ペアを、前記入力画像に含まれる文字を形成する画素をとして検出する文字画素検出手段とを有する。
【０００８】
また、本発明の第２の態様にかかる画像処理方法は、入力画像のエッジ方向を表すエッジ方向画像を生成するエッジ方向画像生成ステップと、前記エッジ方向画像生成ステップで生成されたエッジ方向画像から、エッジ方向が互いに反対方向であるエッジ画素ペアを、前記入力画像に含まれる文字を形成する画素をとして検出する文字画素検出ステップとを有する。
【０００９】
また、本発明の第３の態様にかかるプログラムは、入力画像のエッジ方向を表すエッジ方向画像を生成するエッジ方向画像生成ステップと、前記エッジ方向画像生成ステップで生成されたエッジ方向画像から、エッジ方向が互いに反対方向であるエッジ画素ペアを、前記入力画像に含まれる文字を形成する画素をとして検出する文字画素検出ステップとをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、本発明の構成を有しない場合に比較して、画像から文字を形成する画素を精度よく検出することができる画像処理装置、画像処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態にかかる画像処理装置の構成の一例を示すブロック図である。
【図２】実施の形態にかかる文字画素検出部が設定する探索方向の一例について示す模式図である。
【図３】実施の形態にかかる方向判定部による判定について説明する模式図である。
【図４】実施の形態にかかる画素値判定部による判定について説明する模式図である。
【図５】実施の形態にかかる画像処理装置における動作の一例を示すフローチャートである。
【図６】実施の形態にかかる画像処理装置における文字画素の検出に関する動作の詳細について示すフローチャートである。
【図７】実施の形態にかかる画像処理装置に入力される入力画像の一例を示す図である。
【図８】実施の形態にかかるエッジ強度画像生成部が生成するエッジ強度画像の一例を示す図である。
【図９】実施の形態にかかる細線化処理部によって細線化処理がなされたエッジ強度画像の一例を示す図である。
【図１０】実施の形態にかかるエッジ方向画像生成部により生成されるエッジ方向画像の一例を示した図である。
【図１１】実施の形態にかかる文字画素検出部により検出されるエッジ画素ペアの一例を説明する模式図である。
【図１２】実施の形態にかかる文字画素検出部により生成される文字画像の一例を示す図である。
【図１３】実施の形態にかかる補正部により補正された文字画像の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態について説明する。
図１は、画像処理装置１の構成の一例を示すブロック図である。画像処理装置１は、平滑化処理部１０と、エッジ強度画像生成部１１と、細線化処理部１２と、エッジ方向画像生成部１３と、文字画素検出部１４と、補正部１５とを備えている。
【００１３】
なお、画像処理装置１の各構成要素は、例えば、コンピュータである画像処理装置１が備える図示しないＣＰＵ（Central Processing Unit）の制御によって、プログラムが実行されることによって実現できる。より具体的には、画像処理装置１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、ＣＰＵの制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。
【００１４】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
【００１５】
平滑化処理部１０は、入力画像に対し平滑化処理を行う。平滑化処理部１０は、平滑化処理が行われた入力画像を、エッジ強度画像生成部１１に出力する。ここで、入力画像は、文字検出の対象となる画像であり、例えば、デジタルカメラや携帯電話などで撮影した静止画像や、テレビ放送や映画などの動画像を構成するフレーム画像などが含まれる。平滑化処理部１０は、例えば、予め定められた平滑化フィルタを用いて、入力画像に対して平滑化処理を行う。平滑化処理部１０による平滑化処理により、入力画像に含まれるノイズ及び細かなテクスチャが除去される。ただし、平滑化処理部１０による平滑化処理によりエッジがぼけすぎてしまうと、文字部分のエッジが後続の処理にて検出されなくなってしまうため、平滑化処理部１０は、バイラテラルフィルタ（Bilateral Filter）、εフィルタなどのエッジ保存フィルタにより平滑化処理を行うことが好ましい。このような平滑化により、文字検出に不要なノイズ及びテクスチャが除去され、後続の文字検出処理の処理負荷の抑制及び文字検出精度が向上する。
【００１６】
エッジ強度画像生成部１１は、平滑化処理部１０により平滑化処理された入力画像のエッジ強度画像を生成する。なお、上述の通り、入力画像に対し、平滑化処理を行うことが好ましいが、平滑化処理は必ずしも必要ではない。このため、エッジ強度画像生成部１１は、平滑化処理がなされていない入力画像についてのエッジ強度画像を生成してもよい。この場合、平滑化処理部１０は設けなくてもよい。
【００１７】
エッジ強度画像生成部１１は、具体的には、例えばソーベルフィルタ（Sobel Filter）、ラプラシアンフィルタ（Laplacian Filter）などの微分フィルタを適用して、入力画像のエッジの強度を表すエッジ強度画像を生成する。エッジ強度画像は、画像の座標位置ごとに当該座標位置におけるエッジの強度を表している。
【００１８】
細線化処理部１２は、エッジ強度画像生成部１１により生成されたエッジ強度画像に対し細線化処理を行う。細線化処理部１２は、例えば、ノンマキシマムサプレッション（Non-maximum Suppression）処理などの公知の手法により、エッジ部分の細線化を行う。
【００１９】
エッジ方向画像生成部１３は、入力画像のエッジ方向を表すエッジ方向画像を生成する。ここで、エッジ方向とは、画像の二次元平面上の方向であって、画像に含まれるエッジ部分の画素値の勾配の方向である。エッジ方向画像は、画像の座標位置ごとに当該座標位置におけるエッジ画素のエッジ方向を表している。エッジ方向画像は、例えば、エッジ方向を示す値を保持した画像データとして表される。エッジ方向画像生成部１３は、公知の手法により、エッジ方向画像を生成すればよい。例えば、エッジ方向画像生成部１３は、微分フィルタの適用により得られたｘ方向微分画像ｆx（ｘ，ｙ）とｙ方向微分画像ｆy（ｘ，ｙ）とを用いて（１）式によりエッジ方向画像θ（ｘ，ｙ）を生成する。
【００２０】
【数１】
2016103152.tif 000003
【００２１】
本実施の形態では、細線化処理部１２によりエッジ強度画像に対し細線化処理を行うため、エッジ方向画像生成部１３は、細線化処理部１２により細線化処理がなされたエッジ強度画像に対応するエッジ方向画像を生成する。しかしながら、細線化処理は必ずしも必要ではないため、細線化処理が行われない場合には、エッジ方向画像生成部１３は、細線化処理がなされていないエッジ強度画像に対応するエッジ方向画像を生成してもよい。なお、細線化処理を行うことにより、後述する画素値判定部１４１による判定において誤判定を抑制することができる。
【００２２】
文字画素検出部１４は、エッジ方向画像生成部１３により生成されたエッジ方向画像から、エッジ方向が互いに反対方向であるエッジ画素のペア（以下、エッジ画素ペアと呼ぶ）を、入力画像に含まれる文字を形成する画素をとして検出する。また、文字画素検出部１４は、検出結果から文字画像を生成する。なお、エッジ方向が互いに反対方向とは、言い換えれば、エッジ方向が対称であることをいう。文字画素検出部１４は、具体的には、図１に示されるように、方向判定部１４０と、画素値判定部１４１と、囲み判定部１４２と、エッジペア判定部１４３とを含んでいる。
【００２３】
文字画素検出部１４は、図２に示されるように、エッジ方向画像内に設定された注目画素２０を中心に、予め定められた複数の方向に探索を行うことにより、エッジ画素ペアを見つける。なお、図２に示した例では、注目画素２０を中心に、８方向に探索方向が設定されているが、探索方向の数はこれに限られない。例えば、４方向や２方向であってもよい。文字画素検出部１４は、注目画素から予め定められた距離範囲内のエッジ画素を対象に探索を行ってもよい。この予め定められた距離範囲は、下限値のみが設定されていてもよいし、上限値のみが設定されていてもよいし、下限値及び上限値が設定されていてもよい。このように、注目画素からの探索範囲を設定することにより、探索範囲に応じたサイズの文字を形成する画素を検出することができる。以下、文字画素検出部１４の処理の詳細について説明する。
【００２４】
方向判定部１４０は、エッジ方向画像内の注目画素から予め定められた複数の方向に探索して検出されたエッジ画素のエッジ方向が、探索方向と一致しているか否かを判定する。なお、上述の探索範囲が設定されている場合には、方向判定部１４０は、注目画素から予め定められた距離範囲内のエッジ画素を探索する。方向判定部１４０による判定により、方向一致画素が抽出される。ここで、方向一致画素とは、エッジ方向画像内の注目画素から予め定められた複数の方向に探索した際の探索方向とエッジ方向とが一致したエッジ画素である。文字画素検出部１４は、方向判定部１４０による判定によって抽出された方向一致画素をエッジ画素ペアの候補とする。
【００２５】
図３は、方向判定部１４０による判定について説明する模式図である。図３において、黒く塗りつぶされている四角は、注目画素２０を表している（後述する図４においても同様である）。また、図中の他の四角は、文字「Ｉ」を形成するエッジ画素を表している（後述する図４においても同様である）。注目画素２０からのびる複数の矢印は、予め定められた複数の探索方向を表している。エッジ画素からのびる矢印は、当該エッジ画素のエッジ方向を示している。エッジ方向は、例えば、予め定められた探索方向のいずれかに該当するよう量子化されている。なお、図３において、説明のため、各エッジ画素のエッジ方向の違いは、エッジ画素を表す四角に付された模様の違いにより表されている（後述する図４においても同様である）。
【００２６】
図３に示される例では、エッジ画素２１、エッジ画素２２、エッジ画素２３及びエッジ画素２４は、エッジ方向が探索方向と一致しているが、エッジ画素２５、エッジ画素２６、エッジ画素２７及びエッジ画素２８は、エッジ方向が探索方向と異なっている。エッジ画素２１、エッジ画素２２、エッジ画素２３及びエッジ画素２４が方向一致画素でありエッジ画素ペアの候補となる。
【００２７】
画素値判定部１４１は、方向一致画素よりも探索方向に外側に存在する画素の画素値と注目画素の画素値（例えば、輝度又は色など）との差が予め定められた閾値以上であるか否かを判定する。なお、方向一致画素よりも探索方向に外側に存在する画素は、言い換えれば、注目画素を基準にして、方向一致画素よりも探索方向に離れた画素といえる。画素値判定部１４１は、方向一致画素よりも探索方向に外側に存在する画素として、例えば、方向一致画素から予め定められた距離だけ探索方向外側に遠い画素を選択する。文字画素検出部１４は、方向一致画素よりも探索方向に外側に存在する画素の画素値と注目画素の画素値との差が予め定められた閾値以上でない場合、この方向一致画素をエッジ画素ペアの候補から除外する。文字と背景の色又は輝度が類似している場合、文字が読み取りにくくなるため、テロップの制作にあたっては、一般的に色又は輝度を類似させない。したがって、画素値判定部１４１による判定により、画素値の差が閾値未満の方向一致画素をエッジ画素ペアの候補から除外することで、文字検出の精度が向上する。
【００２８】
図４は、画素値判定部１４１による判定について説明する模式図である。注目画素２０からのびる矢印は、方向一致画素であるエッジ画素２１が存在する探索方向を表している。画素値判定部１４１は、図４に示されるように、注目画素２０から見てエッジ画素２１よりも探索方向に離れた位置に存在する画素３０の画素値と、注目画素２０の画素値との差が予め定められた閾値以上であるか否かを判定する。画素３０の画素値と注目画素２０の画素値との差が予め定められた閾値未満である場合、文字画素検出部１４は、エッジ画素２１をエッジ画素ペアの候補から除外する。画素値判定部１４１はエッジ画素２２、エッジ画素２３及びエッジ画素２４についても、同様に判定する。
【００２９】
細線化処理部１２により細線化処理がなされている場合、エッジ画素の幅は、図４に示されるように例えば１画素である。このため、画素値判定部１４１による判定において、方向一致画素であるエッジ画素２１から予め定められた距離だけ探索方向外側に遠い画素を選択した際に、選択された画素がエッジ画素以外（例えば、背景）であることが期待される。このため、細線化処理部１２により細線化処理がなされている場合、細線化処理を行わない場合に比べて、文字検出の精度が向上する。
【００３０】
囲み判定部１４２は、注目画素が、予め定められた複数の探索方向のうち予め定められた数以上の方向においてエッジ画素に囲まれているか否かを判定する。文字画素検出部１４は、注目画素が、予め定められた複数の探索方向のうち予め定められた数以上の方向においてエッジ画素に囲まれていない場合、この注目画素を起点にした探索により発見された方向一致画素をエッジ画素ペアの候補から除外する。なお、探索方向の総数と、囲まれていなければならない方向の数が同じでなくてもよい。例えば、探索方向が８方向である場合に、文字画素検出部１４は、注目画素が６以上の方向においてエッジ画素に囲まれていない場合、当該注目画素を起点にした探索により発見された方向一致画素をエッジ画素ペアの候補から除外してもよい。
【００３１】
注目画素２０を起点とした探索により発見された方向一致画素がエッジ画素２１、エッジ画素２２、エッジ画素２３及びエッジ画素２４である場合を例に、囲み判定部１４２の判定について説明する。この場合、図３に示されるように、注目画素２０は、８つの探索方向全てにおいてエッジ画素に囲まれている。より具体的には、注目画素２０は、エッジ画素２１、エッジ画素２２、エッジ画素２３、エッジ画素２４、エッジ画素２５、エッジ画素２６、エッジ画素２７及びエッジ画素２８に囲まれている。ここで、囲まれていなければならない方向の数が６であるとすると、注目画素２０は８つの探索方向においてエッジ画素に囲まれているため、エッジ画素２１、エッジ画素２２、エッジ画素２３及びエッジ画素２４は、エッジ画素ペアの候補から除外されない。注目画素が文字内部の画素である場合、この注目画素はエッジに囲まれていることが期待されるため、囲み判定部１４２による判定を行うことにより、文字検出の精度が向上する。
【００３２】
エッジペア判定部１４３は、探索により発見された方向一致画素のなかに、エッジ方向が互いに反対方向であるエッジ画素のペアが存在するか否かを判定する。具体的には、エッジペア判定部１４３は、方向判定部１４０による判定によって抽出された、エッジ画素ペアの候補である方向一致画素のうち、画素値判定部１４１及び囲み判定部１４２による判定によって除外されなかったものについて、エッジ方向が互いに反対方向であるエッジ画素のペアが存在するか否かを判定する。文字画素検出部１４は、エッジペア判定部１４３によりエッジ方向が互いに反対方向であるエッジ画素のペアであると判定された両エッジ画素が、入力画像に含まれる文字を形成する画素であると特定する。
【００３３】
上述のエッジ画素２１、エッジ画素２２、エッジ画素２３及びエッジ画素２４を例に説明すると、エッジ画素２１とエッジ画素２２は、エッジ方向が互いに反対方向であるエッジ画素である。また、エッジ画素２３とエッジ画素２４も、エッジ方向が互いに反対方向であるエッジ画素である。したがって、文字画素検出部１４は、エッジ画素２１、エッジ画素２２、エッジ画素２３及びエッジ画素２４を、入力画像に含まれる文字を形成する画素として検出する。なお、本説明において、入力画像に含まれる文字を形成する画素について文字画素と呼ぶことがある。
【００３４】
文字画素検出部１４は、エッジペア判定部１４３の判定により特定された文字画素を記録する。具体的には、例えば、文字画素検出部１４は、文字画像データのためのバッファとして入力画像のサイズと同じサイズのバッファを用意し、エッジペア判定部１４３の判定により特定された文字画素の位置の画素値を予め定められた値（例えば、２５５）に設定する。なお、文字画像データにおいて、文字画素と特定されていない位置における画素値は、例えば０が設定される。文字画素検出部１４は、文字画素検出部１４に入力された画像データに対し、例えばラスタスキャンにより順次、注目画素を設定し、上述の各判定部による判定を繰り返し、文字画素を検出する。文字画素検出部１４により生成された文字画像は、補正部１５に出力される。
【００３５】
補正部１５は、文字画素検出部１４により生成された文字画像を補正する処理を行う。文字画素検出部１４により生成された文字画像には、入力画像に含まれる文字画素が全て反映されていることが望ましい。しかしながら、入力画像に含まれる文字画素の一部については、文字画素検出部１４により生成された文字画像に反映されていない可能性がある。例えば、エッジペア判定部１４３によりエッジペアと判定されなかった場合には、文字画素の欠落が生じる。このため、補正部１５は、エッジ強度画像と対比して、文字画素検出部１４により検出しきれなかった文字画素を補間する。
【００３６】
具体的には、補正部１５は、文字画像と、エッジ強度画像とを対比して、文字画像において文字画素を補間する。なお、本実施の形態では、補正部１５は、文字画素検出部１４により生成された文字画像と細線化処理部１２により細線化処理がなされたエッジ強度画像とを対比するが、文字画素検出部１４により生成された文字画像とエッジ強度画像生成部１１により生成されたエッジ強度画像とを対比してもよい。
【００３７】
補正部１５は、例えば、文字画素検出部１４により生成された文字画像をラスタスキャンして文字画素を検出すると、当該文字画素の周囲の画素（例えば８画素）について、文字画素として補間すべきであるか否かを判定する。ここで、補間すべきであるか否かの確認対象である画素の位置を確認対象位置と呼ぶこととする。補正部１５は、具体的には、エッジ強度画像において確認対象位置の画素がエッジ画素であるか否かを確認し、文字画素検出部１４により生成された文字画像における確認対象位置の画素が文字画素ではなく、かつ、エッジ強度画像における確認対象位置の画素がエッジ画素である場合、文字画像における確認対象位置の画素を文字画素に置き換える。このように、補正部１５は、文字画像に含まれる文字画素の周囲の画素について、エッジ強度画像と比較することで補間を行う。なお、補正部１５は、文字画像において補間により新たに文字画素に置き換えられた画素についても、同様に、その画素の周囲の画素について、文字画素として補間すべきであるか否かを判定する。
【００３８】
また、補正部１５は、文字画素の補間後、さらに、文字画像において文字画素を拡大する処理を行ってもよい。補正部１５は、各文字画素の予め定められた距離内の周囲の画素を文字画素に置き換えることにより文字画素を拡大する。例えば、補正部１５は、文字画素を中心とする７×７画素を全て文字画素にすることにより、文字画素を拡大する。このように文字画素を拡大することにより文字が際立ち、例えば、文字画像に対して文字認識処理を行う場合に、文字認識精度の向上が期待される。
【００３９】
次に、画像処理装置１における動作について説明する。図５は、画像処理装置１における動作の一例を示すフローチャートである。また、図６は、図５に示されるステップ５（Ｓ５）の詳細について示すフローチャートである。なお、以下の説明では、図７に示されるような入力画像に対する処理結果を適宜参照する。
【００４０】
ステップ１（Ｓ１）において、平滑化処理部１０が、入力画像に対し平滑化処理を行う。次に、ステップ２（Ｓ２）において、エッジ強度画像生成部１１がエッジ強度画像を生成する（図８参照）。次に、ステップ３（Ｓ３）において、細線化処理部１２が、エッジ強度画像に対し細線化処理を行う（図９参照）。
【００４１】
次に、ステップ４（Ｓ４）において、エッジ方向画像生成部１３が、エッジ方向画像を生成する。図１０は、エッジ方向画像生成部１３により生成されるエッジ方向画像の一例を示した図である。なお、図１０では、図３及び図４と同様、説明のため、模様の違いにより各エッジ画素のエッジ方向を表している。
【００４２】
ステップ５（Ｓ５）において、文字画素検出部１４が、エッジ方向画像から文字画素を検出し、文字画像を生成する。そして、ステップ６（Ｓ６）において、補正部１５は、ステップ５で生成された文字画像を補正する処理を行う。
【００４３】
次に、上記ステップ４の処理について、図６を参照してさらに説明する。
ステップ５０（Ｓ５０）において、文字画素検出部１４は、エッジ方向画像を構成する画素の中から注目画素を選択する。
【００４４】
ステップ５１（Ｓ５１）において、方向判定部１４０は、ステップ５０で選択された注目画素から予め定められた複数の方向に探索して検出されたエッジ画素のエッジ方向が、探索方向と一致しているか否かを判定する。これにより、探索により発見されたエッジ画素のうち、方向一致画素であるものが抽出される。抽出された方向一致画素は、エッジ画素ペア、すなわち文字画素の候補となる。ステップ５１において、方向一致画素が抽出された場合には、処理はステップ５２へ移行し、方向一致画素が抽出されなかった場合には、処理はステップ５６に移行する。
【００４５】
ステップ５２（Ｓ５２）において、ステップ５１で発見された方向一致画素それぞれについて、画素値判定部１４１による判定が行われる。画素値判定部１４１は、方向一致画素よりも探索方向に外側に存在する画素の画素値とステップ５０で選択された注目画素の画素値との差が予め定められた閾値以上であるか否かを判定する。画素値判定部１４１により差が閾値未満であると判定された方向一致画素は、エッジ画素ペアの候補から除外される。
【００４６】
ステップ５３（Ｓ５３）において、囲み判定部１４２は、ステップ５０で選択された注目画素が、予め定められた複数の探索方向のうち予め定められた数以上の方向においてエッジ画素に囲まれているか否かを判定する。ステップ５０で選択された注目画素が、予め定められた複数の探索方向のうち予め定められた数以上の方向においてエッジ画素に囲まれていない場合、注目画素を起点にした探索によりステップ５１で発見された全ての方向一致画素がエッジ画素ペアの候補から除外される。
【００４７】
ステップ５４（Ｓ５４）において、エッジペア判定部１４３が、ステップ５２及びステップ５３で除外されなかった方向一致画素について、エッジ方向が互いに反対方向であるエッジ画素のペアが存在するか否かを判定する。エッジ方向が互いに反対方向であるエッジ画素のペアが存在する場合、処理はステップ５５へ移行し、存在しない場合、処理はステップ５６へ移行する。
【００４８】
ステップ５５（Ｓ５５）において、文字画素検出部１４は、エッジ方向が互いに反対方向であるエッジ画素のペアについて、文字画素として記録する。図１１は、エッジ画素ペアの一例を説明する模式図である。図１１において矢印で対応付けられたエッジ画素が、エッジ画素ペアの一例である。なお、図１１では、理解しやすいよう、一部のエッジ画素ペアのみを矢印で対応付けて表している。図１１に示されるように、また、図３に示されるエッジ画素２１とエッジ画素２２又はエッジ画素２３とエッジ画素２４のように、文字は、エッジ方向が互いに反対方向であるエッジ画素のペアを有する。文字画素検出部１４は、文字のこの性質を利用し、エッジ方向が互いに反対方向であるエッジ画素を見つけることにより、文字画素を抽出している。したがって、本構成を有しない場合に比較して文字検出の精度を向上することができる。
【００４９】
ステップ５６（Ｓ５６）において、文字画素検出部１４は、次に選択すべき注目画素が残っているかを判定する。例えば、文字画素検出部１４は、エッジ方向画像の全ての画素について、注目画素として設定されたか否かを判定する。選択すべき注目画素が残っている場合、処理はステップ５０に戻り、次の注目画素が選択される。これに対し、選択すべき注目画素が残っていない場合、文字画素検出部１４は、文字画素が記録された文字画像を出力する（図１２参照）。その後、上述の通り、ステップ６（図５参照）により補正処理が行われる。この補正処理では、例えば、図１２に示される文字画像と、図９で示されるエッジ強度画像とが対比され、文字画素の補間が行われる。その結果、例えば、図１３に示されるような補間後の文字画像が得られる。
【００５０】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の通り、平滑化処理及び細線化処理のうちいずれか一方又は両方が行われなくてもよい。また、上記した実施の形態では、文字画素検出部１４が、方向判定部１４０、画素値判定部１４１、囲み判定部１４２及びエッジペア判定部１４３を有する構成について示したが、文字画素検出部１４はこれら全ての構成の機能を備えていなくてもよい。例えば、文字画素検出部１４が、エッジペア判定部１４３による機能のみを備えていてもよい。また、例えば、文字画素検出部１４は、方向判定部１４０及びエッジペア判定部１４３により構成されてもよい。また、文字画素検出部１４は、方向判定部１４０、画素値判定部１４１及びエッジペア判定部１４３により構成されてもよいし、方向判定部１４０、囲み判定部１４２及びエッジペア判定部１４３により構成されてもよい。
【００５１】
また、上記ステップ５の処理（図６参照）において、注目画素としてエッジ方向画像の全ての画素が選択されなくてもよい。例えば、ステップ５における繰り返し処理において、重複したエッジ画素ペアが抽出されないよう、エッジ画素ペアの抽出結果に応じて、ステップ５０において注目画素として選択される画素の位置を調整してもよい。このような選択位置の調整を行うことにより、ステップ５における処理負荷が低減される。
【符号の説明】
【００５２】
１    画像処理装置
１０    平滑化処理部
１１    エッジ強度画像生成部
１２    細線化処理部
１３    エッジ方向画像生成部
１４    文字画素検出部
１５    補正部
１４０    方向判定部
１４１    画素値判定部
１４２    囲み判定部
１４３    エッジペア判定部
【図１】
2016103152.tif 000004
【図２】
2016103152.tif 000005
【図３】
2016103152.tif 000006
【図４】
2016103152.tif 000007
【図５】
2016103152.tif 000008
【図６】
2016103152.tif 000009
【図１０】
2016103152.tif 000010
【図１１】
2016103152.tif 000011
【図７】
2016103152.tif 000012
【図８】
2016103152.tif 000013
【図９】
2016103152.tif 000014
【図１２】
2016103152.tif 000015
【図１３】
2016103152.tif 000016