(57)【要約】【課題】画像から文字領域を検出することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するエッジ検出部１０と、エッジ強度、エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出する方向符号算出部２０と、方向符号に対してハフ変換を行い、画像中の直線を検出するハフ変換部３０と、方向符号の各符号値に対する、直線を構成する方向符号のヒストグラムを、複数の無効符号しきい値について算出するヒストグラム算出部４０と、複数の無効符号しきい値について算出したヒストグラムを予め用意した文字ヒストグラムと比較して、画像に文字が含まれるか否かを判定する文字検出部５０とを備える。【選択図】図１
2015049807.tif 000002
【特許請求の範囲】
【請求項１】
画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するエッジ検出部と、
前記エッジ強度、前記エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出する方向符号算出部と、
前記方向符号に対してハフ変換を行い、前記画像中の直線を検出するハフ変換部と、
前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムを、複数の前記無効符号しきい値について算出するヒストグラム算出部と、
前記複数の無効符号しきい値について算出したヒストグラムを予め用意した文字ヒストグラムと比較して、前記画像に文字が含まれるか否かを判定する文字検出部と
を備えた画像処理装置。
【請求項２】
画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するエッジ検出部と、
前記エッジ強度、前記エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出する方向符号算出部と、
前記方向符号に対してハフ変換を行い、前記画像中の直線を検出するハフ変換部と、
前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムを、複数の前記無効符号しきい値について算出するヒストグラム算出部と、
前記ヒストグラムのエントロピを算出するエントロピ算出部と、
前記複数の無効符号しきい値に対する、前記エントロピの傾きを算出する傾き算出部と、
前記傾きに基づいて前記画像に文字が含まれるか否かを判定する文字検出部と
を備えた画像処理装置。
【請求項３】
前記文字検出部は、前記傾きが所定のしきい値よりも小さいときに、前記画像に文字が含まれると判定する
請求項２記載の画像処理装置。
【請求項４】
前記ハフ変換部は、前記直線を構成する方向符号と、前記直線を構成する方向符号に対して所定の範囲の傾きを有する方向符号とを検出し、
前記ヒストグラム算出部は、前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムに代えて、前記方向符号の各符号値に対する、前記直線を構成する方向符号と前記直線を構成する方向符号に対して前記所定の範囲の傾きを有する方向符号とによるヒストグラムを算出する
請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記文字検出部は、前記画像を分割したブロック毎に文字が含まれるか否かを判定する
請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するステップと、
前記エッジ強度、前記エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出するステップと、
前記方向符号に対してハフ変換を行い、前記画像中の直線を検出するステップと、
前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムを、複数の前記無効符号しきい値について算出するステップと、
前記複数の無効符号しきい値について算出したヒストグラムを予め用意した文字ヒストグラムと比較して、前記画像に文字が含まれるか否かを判定するステップと
を有する画像処理方法。
【請求項７】
画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するステップと、
前記エッジ強度、前記エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出するステップと、
前記方向符号に対してハフ変換を行い、前記画像中の直線を検出するステップと、
前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムを、複数の前記無効符号しきい値について算出するステップと、
前記ヒストグラムのエントロピを算出するステップと、
前記複数の無効符号しきい値に対する、前記エントロピの傾きを算出するステップと、前記傾きに基づいて前記画像に文字が含まれるか否かを判定するステップと
を有する画像処理方法。
【請求項８】
前記傾きが所定のしきい値よりも小さいときに、前記画像に文字が含まれると判定する
請求項７記載の画像処理方法。
【請求項９】
前記直線を構成する方向符号と、前記直線を構成する方向符号に対して所定の範囲の傾きを有する方向符号とを検出するステップ
を更に有し、
前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムに代えて、前記方向符号の各符号値に対する、前記直線を構成する方向符号と前記直線を構成する方向符号に対して前記所定の範囲の傾きを有する方向符号とによるヒストグラムを算出する
請求項６ないし請求項８のいずれか１項に記載の画像処理方法。
【請求項１０】
前記画像を分割したブロック毎に文字が含まれるか否かを判定する
請求項６ないし請求項９のいずれか１項に記載の画像処理方法。
【請求項１１】
請求項６ないし請求項１０のいずれか１項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
原稿画像中の文字を認識する技術がある。特許文献１には、スキャナにより原稿を２値画像として入力し、文字行イメージを切り出し、文字イメージを切り出し、特徴量を抽出して文字を認識する文字認識装置が開示されている。特許文献１には、文字行イメージ、文字イメージの切り出し方法について具体的に開示されていないが、一般的には、入力した２値画像の黒画素を行方向である横方向に射影して文字行の存在する領域を検出し、文字行イメージを切り出し、文字行イメージの黒画素を縦方向に射影して文字の存在する領域を検出し、文字イメージを切り出すことが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９０３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように、背景技術に係る文字認識装置により原稿画像中の文字を認識することができる。一方、デジタルカメラや携帯電話などで撮影した草木やテクスチャなど文字以外のものも写っている自然画像中の文字を認識したいという要望が増えてきている。しかしながら、さまざまなものが含まれる自然画像から文字の存在する領域を検出することが難しいという問題があった。
【０００５】
本発明は、このような問題を解決するためになされたものであり、入力画像から文字領域を検出することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するエッジ検出部と、前記エッジ強度、前記エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出する方向符号算出部と、前記方向符号に対してハフ変換を行い、前記画像中の直線を検出するハフ変換部と、前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムを、複数の前記無効符号しきい値について算出するヒストグラム算出部と、前記複数の無効符号しきい値について算出したヒストグラムを予め用意した文字ヒストグラムと比較して、前記画像に文字が含まれるか否かを判定する文字検出部とを備えるものである。この構成により、入力画像から文字領域を検出することができる。
【０００７】
また、本発明に係る画像処理装置は、画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するエッジ検出部と、前記エッジ強度、前記エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出する方向符号算出部と、前記方向符号に対してハフ変換を行い、前記画像中の直線を検出するハフ変換部と、前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムを、複数の前記無効符号しきい値について算出するヒストグラム算出部と、前記ヒストグラムのエントロピを算出するエントロピ算出部と、前記複数の無効符号しきい値に対する、前記エントロピの傾きを算出する傾き算出部と、前記傾きに基づいて前記画像に文字が含まれるか否かを判定する文字検出部とを備えるものである。この構成により、文字を検出するときの特徴の次元数を減らして、頑健に入力画像から文字領域を検出することができる。
【０００８】
また、本発明に係る画像処理装置は、前記文字検出部は、前記傾きが所定のしきい値よりも小さいときに、前記画像に文字が含まれると判定するものである。この構成により、更に簡易に入力画像から文字領域を検出することができる。
【０００９】
また、本発明に係る画像処理装置は、前記ハフ変換部は、前記直線を構成する方向符号と、前記直線を構成する方向符号に対して所定の範囲の傾きを有する方向符号とを検出し、前記ヒストグラム算出部は、前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムに代えて、前記方向符号の各符号値に対する、前記直線を構成する方向符号と前記直線を構成する方向符号に対して前記所定の範囲の傾きを有する方向符号とによるヒストグラムを算出するものである。この構成により、エッジ勾配方向のばらつきを考慮して精度良く入力画像から文字領域を検出することができる。
【００１０】
また、本発明に係る画像処理装置は、前記文字検出部は、前記画像を分割したブロック毎に文字が含まれるか否かを判定するものである。この構成により、文字の大きさを考慮して精度良く入力画像から文字領域を検出することができる。
【００１１】
本発明に係る画像処理方法は、画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するステップと、前記エッジ強度、前記エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出するステップと、前記方向符号に対してハフ変換を行い、前記画像中の直線を検出するステップと、前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムを、複数の前記無効符号しきい値について算出するステップと、前記複数の無効符号しきい値について算出したヒストグラムを予め用意した文字ヒストグラムと比較して、前記画像に文字が含まれるか否かを判定するステップとを有するものである。これにより、入力画像から文字領域を検出することができる。
【００１２】
また、本発明に係る画像処理方法は、画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するステップと、前記エッジ強度、前記エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出するステップと、前記方向符号に対してハフ変換を行い、前記画像中の直線を検出するステップと、前記方向符号の各符号値に対する、前記直線を構成する方向符号のヒストグラムを、複数の前記無効符号しきい値について算出するステップと、前記ヒストグラムのエントロピを算出するステップと、前記複数の無効符号しきい値に対する、前記エントロピの傾きを算出するステップと、前記傾きに基づいて前記画像に文字が含まれるか否かを判定するステップとを有するものである。これにより、文字を検出するときの特徴の次元数を減らして、頑健に入力画像から文字領域を検出することができる。
【００１３】
また、本発明に係る画像処理方法は、前記傾きが所定のしきい値よりも小さいときに、前記画像に文字が含まれると判定するものである。これにより、更に簡易に入力画像から文字領域を検出することができる。
【００１４】
また、本発明に係る画像処理方法は、前記直線を構成する方向符号と、前記直線を構成する方向符号に対して所定の範囲の傾きを有する方向符号とを検出するステップとを更に有し、前記方向符号の各符号値に対する、前記直線を構成する方向符号と前記直線を構成する方向符号に対して前記所定の範囲の傾きを有する方向符号とによるヒストグラムを算出するものである。これにより、エッジ勾配方向のばらつきを考慮して精度良く入力画像から文字領域を検出することができる。
【００１５】
また、本発明に係る画像処理方法は、前記画像を分割したブロック毎に文字が含まれるか否かを判定するものである。これにより、文字の大きさを考慮して精度良く入力画像から文字領域を検出することができる。
【００１６】
また、本発明に係る画像処理プログラムは、前述の画像処理方法をコンピュータに実行させるためものである。これにより、入力画像から文字領域を検出することができる。
【００１７】
なお、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムにおいて、画像に含まれるか否かを判定される対象である「文字」は、文字を構成する一部分であっても良い。つまり、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムは、画像に文字の一部分でも含まれていれば、当該文字の一部分を「文字」として検出するものである。
【発明の効果】
【００１８】
本発明により、入力画像から文字領域を検出することのできる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１９】
【図１】実施の形態１に係る画像処理装置１の概略ブロック図である。
【図２】実施の形態１に係る画像入力部１０が入力した画像ｆ（ｘ，ｙ）中の文字が含まれる領域を示す図である。
【図３】実施の形態１に係る画像入力部１０が入力した画像ｆ（ｘ，ｙ）中の文字が含まれない領域を示す図である。
【図４】実施の形態１に係る方向符号算出部３０が算出した方向符号画像ｆOC（ｘ，ｙ）を示す図である。
【図５】実施の形態１に係るヒストグラム算出部５０が算出したヒストグラムｇcを示す図である。
【図６】実施の形態１に係る画像処理装置１の処理手順を示すフローチャートである。
【図７】実施の形態２に係る画像処理装置２の概略ブロック図である。
【図８】実施の形態２に係るエントロピ算出部８０が算出したエントロピＨEEを示す図である。
【図９】実施の形態２に係る傾き算出部９０が文字が含まれるサンプルブロック毎に算出した傾きＴの分布を示す図である。
【図１０】実施の形態２に係る画像入力部１０が入力した文字が含まれる自然画像を示す図である。
【図１１】実施の形態２に係る傾き算出部９０が算出した自然画像におけるブロック毎の傾きＴの分布を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態について説明する。
発明の実施の形態１
図１は、本実施の形態１に係る画像処理装置１の概略ブロック図である。
画像処理装置１は、画像入力部１０、エッジ検出部２０、方向符号算出部３０、ハフ変換部４０、ヒストグラム算出部５０、文字検出部６０及び結果出力部７０を備えている。
【００２１】
画像入力部１０は、文字検出の対象となる画像ｆ（ｘ，ｙ）を入力する。画像ｆ（ｘ，ｙ）には、デジタルカメラや携帯電話などで撮影した静止画像や、テレビ放送や映画などの動画像を構成するフレーム画像なども含まれる。画像ｆ（ｘ，ｙ）は輝度画像であると良い。
図２は、本実施の形態１に係る画像入力部１０が入力した画像ｆ（ｘ，ｙ）中の文字が含まれる領域を示す図である。この領域にはアルファベットのＮと草木の一部とが写っている。また、図３は、本実施の形態１に係る画像入力部１０が入力した画像ｆ（ｘ，ｙ）中の文字が含まれない領域を示す図である。この領域には草木の一部が写っている。
【００２２】
エッジ検出部２０は、入力画像ｆ（ｘ，ｙ）の任意の位置におけるエッジ強度とエッジ勾配方向とを算出する。具体的には、エッジ検出部２０は、入力画像ｆ（ｘ，ｙ）に対してソーベルフィルタなどの微分フィルタを用いて、下記の（１）式によりｘ方向微分画像ｆx（ｘ，ｙ）とｙ方向微分画像ｆy（ｘ，ｙ）とを、（２）式によりエッジ強度画像η（ｘ，ｙ）を、そして、（３）式によりエッジ勾配画像θ（ｘ，ｙ）を算出する。
【００２３】
【数１】
2015049807.tif 000003
【００２４】
方向符号算出部３０は、エッジ勾配画像θ（ｘ，ｙ）を複数のブロック、例えば、１００×１００ブロックに分割する。ブロックサイズは、入力画像ｆ（ｘ，ｙ）において一文字が存在する程度の大きさであって、文字が含まれるブロックと文字が含まれていないブロックとを判別しやすい大きさとし、例えば、１２８×１２８ピクセルとする。そして、方向符号算出部３０は、ブロック毎に任意の位置、例えば、各画素において、エッジ勾配方向である輝度勾配方向を量子化して記述した特徴量である方向符号（ＯＣ：Orientation Code）に基づく方向符号画像ｆOC（ｘ，ｙ）を（４）式により算出する。方向符号の符号値ｃはエッジ勾配画像θ（ｘ，ｙ）より求めることができる。
【００２５】
【数２】
2015049807.tif 000004
【００２６】
本実施の形態１に係る方向符号算出部３０では量子化数Ｑ＝８とした。また、輝度勾配強度η（ｘ，ｙ）が無効符号しきい値Γ以下の強度となる画素では方向符号の符号値はＮとする。以下、符号値がＮである方向符号を「無効符号」、符号値が０〜Ｑ−１である方向符号を「有効符号」という。
【００２７】
図４は、本実施の形態１に係る方向符号算出部３０が算出した方向符号画像ｆOC（ｘ，ｙ）を示す図である。図２に示した文字と草木の一部とが含まれる領域を仮に１ブロックとして分割したときに、方向符号算出部３０が算出する方向符号画像ｆOC（ｘ，ｙ）である。
【００２８】
方向符号は輝度勾配の方向を記述した特徴量であるから、その分布がエッジに影響されることは自明であり、文字の場合は、図４に示す符号値１と符号値５の方向符号のように、エッジに沿って同じ値の方向符号が連続する分布が得られる。一方、文字ではない一般的な物体が持つエッジは複雑であり、方向符号が連続して分布する範囲は比較的小さい。
【００２９】
ハフ変換部４０は、各ブロックの方向符号画像ｆOC（ｘ，ｙ）、すなわち、各ブロックの方向符号に対してハフ変換を行い、ＯＣエッジＬciを検出する。
ハフ変換は線の検出を行う処理であり、ｘｙ座標空間中のある直線を（５）式のように表したときの傾きａとｙ切片ｂの２つのパラメータを用いて、当該直線をａｂパラメータ空間に写像すると点になるという性質を利用して、ｘｙ座標空間中の想定されるすべての直線候補、つまりａｂパラメータ空間での点候補に投票を行い、ａｂパラメータ空間での投票数を解析することにより、ｘｙ座標空間に含まれる直線を検出するものである。
ｙ＝ａｘ＋ｂ          ・・・（５）
【００３０】
ハフ変換部４０では、投票数がしきい値ＴBを超えたときに直線を検出したものとし、検出した直線上の方向符号、または、検出した直線を構成する方向符号を直線群Λciとする。
しかし、実際のエッジのエッジ勾配方向は相互に多少ずれることがある。そこで、ハフ変換部４０は、ハフ変換の投票数のしきい値ＴBの他に、傾きのしきい値Θc1、Θc2 を設けることで（６）式によりＯＣエッジＬciを検出する。（６）式中のｉはＯＣエッジＬciの番号を表している。ＯＣエッジＬciは、エッジに沿って同じ符号値を持つ方向符号が連続する領域に相当し、その傾きと方向符号の値との間に強い関係性を有する。ハフ変換部４０は、ブロック内にある直線群Λci全てに（６）式を適用して、ＯＣエッジＬciを検出する。
【００３１】
【数３】
2015049807.tif 000005
【００３２】
ヒストグラム算出部５０は、ブロック毎にＯＣエッジＬciを数えたヒストグラム（ＯＣＥＨ：OC Edge Histogram）ｇcを（７）式により算出する。つまり、ヒストグラムｇcはＯＣエッジＬciの集合である。
図５は、本実施の形態１に係るヒストグラム算出部５０が算出したヒストグラムｇcを示す図である。横軸は符号値ｃを、縦軸はＯＣエッジＬciの度数をそれぞれ示す。図２に示した文字と草木の一部とが含まれる領域を仮に１ブロックとして分割したときの、無効符号しきい値Γが１０と１５０の場合のヒストグラムｇcである。無効符号しきい値Γが１０の場合と１５０の場合のヒストグラムｇcを比較するとほぼ一致していることがわかる。一般に、文字はどの方向にも一様に、一定以上のエッジ強度のエッジを有しており、文字が含まれる画像に対して方向符号の値が連続する領域をハフ変換によって保存したときは、無効符号しきい値Γを変えてもほとんど影響を受けない。
【００３３】
文字検出部６０は、ブロック毎に無効符号しきい値Γが小さい場合と大きい場合、例えば、無効符号しきい値Γが１０、１５０の場合のヒストグラムｇcを予め用意した文字ヒストグラムｇcと比較して、当該ブロックに文字が含まれるか否か判定する。文字検出部６０は、文字が含まれるサンプルブロック及び文字が含まれないサンプルブロックの無効符号しきい値Γが小さい場合及び大きい場合のヒストグラムｇcを予め学習しておくことで、ヒストグラム算出部５０が算出した無効符号しきい値Γが小さい場合と大きい場合のヒストグラムｇcを予め用意した文字ヒストグラムｇcと比較して、当該ブロックに文字が含まれるか否か判定することができる。
結果出力部７０は、文字が含まれるブロック、すなわち、入力画像ｆ（ｘ，ｙ）から検出した文字領域を外部に出力する。また、結果出力部７０は、入力画像ｆ（ｘ，ｙ）から文字領域を検出できなかったときは、その旨を外部に出力する。
【００３４】
なお、本実施の形態１の画像処理装置１が実現する各構成要素は、例えば、コンピュータである画像処理装置１が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現できる。より具体的には、画像処理装置１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。
【００３５】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
【００３６】
図６は、本実施の形態１に係る画像処理装置１の処理手順を示すフローチャートである。画像処理装置１の各構成が行う処理をフローチャートにしたものである。
【００３７】
なお、本実施の形態１では、方向符号算出部３０が文字検出の対象となる画像を複数のブロックに分割し、文字検出部６０がブロック毎に文字が含まれるか否かを判定したが、少なくともヒストグラムｇc作成前であれば、方向符号算出部３０以外の、例えば、エッジ検出部２０またはハフ変換部４０が文字検出の対象となる画像を複数のブロックに分割し、文字検出部６０がブロック毎に文字が含まれるか否かを判定するようにしても良い。また、画像入力部１０が文字検出の対象となる画像をあらかじめ適切なサイズに分割したブロック画像を入力し、このブロック画像を更に分割することなく、文字検出部６０がブロック画像毎に文字が含まれるか否かを判定するようにしても良い。
【００３８】
以上、説明したように、本実施の形態１に係る画像処理装置は、画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するエッジ検出部と、エッジ強度、エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出する方向符号算出部と、方向符号に対してハフ変換を行い、画像中の直線を検出するハフ変換部と、方向符号の各符号値に対する、直線を構成する方向符号のヒストグラムを、複数の無効符号しきい値について算出するヒストグラム算出部と、複数の無効符号しきい値について算出したヒストグラムを予め用意した文字ヒストグラムと比較して、画像に文字が含まれるか否かを判定する文字検出部とを備えるものである。この構成により、入力画像から文字領域を検出することができる。
【００３９】
また、本実施の形態１に係る画像処理装置は、ハフ変換部が、直線を構成する方向符号と、直線を構成する方向符号に対して所定の範囲の傾きを有する方向符号とを検出し、ヒストグラム算出部が、方向符号の各符号値に対する、直線を構成する方向符号と直線を構成する方向符号に対して所定の範囲の傾きを有する方向符号とによるヒストグラムを算出するものである。この構成により、エッジ勾配方向のばらつきを考慮して精度良く入力画像から文字領域を検出することができる。
【００４０】
また、本実施の形態１に係る画像処理装置は、文字検出部が、画像を分割したブロック毎に文字が含まれるか否かを判定するものである。この構成により、文字の大きさを考慮して精度良く入力画像から文字領域を検出することができる。
【００４１】
本実施の形態１に係る画像処理装置により、入力画像中に含まれる回転した文字やさまざまな大きさの文字を、簡単な構成で正確に検出することができる。
また、本実施の形態１に係る画像処理装置により、テレビ放送に含まれるテロップや文字を検出して、画像中のノイズを削減したり、検出した文字を認識して翻訳などに用いたりすることができる。
【００４２】
発明の実施の形態２
図７は、本実施の形態２に係る画像処理装置２の概略ブロック図である。
画像処理装置２は、画像入力部１０、エッジ検出部２０、方向符号算出部３０、ハフ変換部４０、ヒストグラム算出部５０、エントロピ算出部８０、傾き算出部９０、文字検出部１００及び結果出力部７０を備えている。図１に示した実施の形態１に係る画像処理装置１の文字検出部６０に代えて、エントロピ算出部８０、傾き算出部９０、文字検出部１００を備えるものである。それ以外の点については実施の形態１と同様であるため、詳細な説明を省略する。
【００４３】
エントロピ算出部８０は、ヒストグラム算出部５０が算出したブロック毎のヒストグラムｇcについてエントロピＨEEを算出する。ヒストグラムｇcは方向符号の量子化数Ｑと同じ数の次元を持つ多次元の特徴であるので、ヒストグラムｇcのエントロピＨEEを（８）式により計算することで次元数を削減して１次元の特徴とすることができる。
【００４４】
【数４】
2015049807.tif 000006
【００４５】
エントロピとは乱雑さを表す指標であり、ブロック内でＱ個の方向符号が同じように出現するとき、つまり、方向符号が一様に分布するときに、エントロピ算出部８０が算出するエントロピＨEEは最大となる。また、ブロック内の有効符号の数と方向符号の分布とが無効符号しきい値Γを変えても変化しないときは、エントロピ算出部８０が算出するエントロピＨEEも一定に推移する。
【００４６】
図８は、本実施の形態２に係るエントロピ算出部８０が算出したエントロピＨEEを示す図である。横軸は無効符号しきい値Γを、縦軸はエントロピＨEEをそれぞれ示す。図８中の線ａは、図２に示した文字が含まれる領域を仮に１ブロックとして分割したときのエントロピＨEEである。また、図８中の線ｂは、図３に示した文字が含まれない領域を仮に１ブロックとして分割したときのエントロピＨEEである。文字が含まれるブロックのエントロピＨEEは、各無効符号しきい値Γに対しておおよそ一定である。一方、文字が含まれないブロックのエントロピＨEEは、無効符号しきい値Γが大きくなると小さくなっている。
【００４７】
傾き算出部９０は、ブロック毎に、（９）式により、特定の範囲の無効符号しきい値Γに対するエントロピＨEEを抽出して直線近似し、特定の範囲の無効符号しきい値Γに対するエントロピＨEEの傾きＴを求める。ここでは、Γ1＝７５、Γ2＝１２５とした。また、Ｅ（ＨEE）はΓ1からΓ2までのエントロピＨEEの平均値である。
【００４８】
【数５】
2015049807.tif 000007
【００４９】
文字検出部１００は、傾きＴが一定範囲内の値であれば、そのブロックに文字が含まれると判定し、傾きＴが一定範囲内の値でなければ、そのブロックに文字が含まれないと判定する。
【００５０】
図９は、本実施の形態２に係る傾き算出部９０が文字が含まれるサンプルブロック毎に算出した傾きＴの分布を示す図である。横軸は傾きＴの大きさを、縦軸は度数をそれぞれ示す。文字が含まれるブロックから算出した傾きＴの分布が０付近に集中していることがわかる。
【００５１】
図１０は、本実施の形態２に係る画像入力部１０が入力した文字が含まれる自然画像を示す図である。図１０において、格子状の白線で分割された各領域は、傾き算出部９０がエントロピＨEEの傾きＴを求める各ブロックに相当する。この自然画像では、縦６ブロック×横９ブロックの全５４ブロックに分割され、そのうち、中央付近の６ブロックに文字が含まれている。
【００５２】
図１１は、本実施の形態２に係る傾き算出部９０が算出した自然画像におけるブロック毎の傾きＴの分布を示す図である。横軸は傾きＴの大きさを、縦軸は度数をそれぞれ示す。図１０に示した文字が含まれる自然画像を用いて、傾き算出部９０が算出した傾きＴの分布である。図１１において、棒ａは文字が含まれるブロックを、棒ｂは文字が含まれないブロックをそれぞれ示す。やはり、文字が含まれるブロックから算出した傾きＴの分布が０付近に集中していることがわかる。一方、文字が含まれないブロックから算出した傾きＴの分布が４０付近に集中していることがわかる。
【００５３】
文字検出部１００は、（１０）式により傾きＴが文字検出しきい値Ｔｈ1以下であれば、そのブロックを文字が含まれるブロック、すなわち、文字領域と判定する。
なお、本実施の形態２の傾き算出部９０では、無効符号しきい値Γの特定の範囲のΓ1を７５、Γ2を１２５とすると、文字検出部１００での文字検出率が一番高くなることがわかった。
【００５４】
【数６】
2015049807.tif 000008
【００５５】
なお、本実施の形態２に係る画像処理装置２の処理手順は、図６に示した実施の形態１に係る画像処理装置１の処理手順にエントロピ算出処理、傾き算出処理及び傾き判定処理を加えたものであり、図示は省略する。
【００５６】
以上、説明したように、本実施の形態２に係る画像処理装置は、画像の任意の位置におけるエッジ強度及びエッジ勾配方向を算出するエッジ検出部と、エッジ強度、エッジ勾配方向及び無効符号しきい値に基づいて有効符号となる方向符号を算出する方向符号算出部と、方向符号に対してハフ変換を行い、画像中の直線を検出するハフ変換部と、方向符号の各符号値に対する、直線を構成する方向符号のヒストグラムを、複数の無効符号しきい値について算出するヒストグラム算出部と、ヒストグラムのエントロピを算出するエントロピ算出部と、複数の無効符号しきい値に対する、エントロピの傾きを算出する傾き算出部と、傾きに基づいて画像に文字が含まれるか否かを判定する文字検出部とを備えるものである。この構成により、文字を検出するときの特徴の次元数を減らして、頑健に入力画像から文字領域を検出することができる。
【００５７】
また、本実施の形態２に係る画像処理装置は、文字検出部が、傾きが所定のしきい値よりも小さいときに、画像に文字が含まれると判定するものである。この構成により、更に簡易に入力画像から文字領域を検出することができる。
【符号の説明】
【００５８】
１、２    画像処理装置
１０    画像入力部
２０    エッジ検出部
３０    方向符号算出部
４０    ハフ変換部
５０    ヒストグラム算出部
６０、１００    文字検出部
７０    結果出力部
８０    エントロピ算出部
９０    傾き算出部
【図１】
2015049807.tif 000009
【図５】
2015049807.tif 000010
【図６】
2015049807.tif 000011
【図７】
2015049807.tif 000012
【図８】
2015049807.tif 000013
【図９】
2015049807.tif 000014
【図１１】
2015049807.tif 000015
【図２】
2015049807.tif 000016
【図３】
2015049807.tif 000017
【図４】
2015049807.tif 000018
【図１０】
2015049807.tif 000019