(57)【特許請求の範囲】
【請求項１】
入力画像から当該入力画像に含まれる文字候補を抽出する文字候補抽出手段と、
前記文字候補抽出手段が抽出した文字候補に関する特徴量を抽出するとともに当該抽出を複数種類の特徴量について行う特徴抽出手段と、
前記文字候補抽出手段が抽出した各文字候補に個別に付された識別番号である文字候補番号と、抽出すべき文字列候補の識別番号である文字列番号との関係が、入力Ｕの値によって出力Ｖの値が遷移するニューロンの状態によって特定され、当該ニューロンの出力Ｖの値によって各文字候補がどの文字列番号の文字列候補に属するか分かるように構成された処理テーブルと、
前記特徴抽出手段が抽出した複数種類の特徴量を所定の演算式に代入して前記処理テーブルにおける各ニューロンの入力Ｕの値を変化させ、当該変化によって前記処理テーブル上に存在する全てのニューロンの出力Ｖの値を初期設定状態から最適状態に収束するように遷移させ、その遷移結果を基にしつつ前記文字候補抽出手段が抽出した複数の文字候補の中から同一の文字列番号に属する文字候補群を文字列を構成する文字候補群として抽出する文字列抽出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数種類の特徴量の一つは、同一の文字列番号に属する文字候補の外接矩形を結ぶ各回帰直線または各回帰曲線と注目対象である文字候補の重心座標との距離である
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記複数種類の特徴量の一つは、各文字候補の大きさであることを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記文字候補の大きさは、当該文字候補を構成する画像要素の面積から特定することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記文字候補の大きさは、当該文字候補に外接する矩形の面積から特定することを特徴とする請求項３記載の画像処理装置。
【請求項６】
前記文字候補の大きさは、当該文字候補に外接する矩形の辺の長さから特定することを特徴とする請求項３記載の画像処理装置。
【請求項７】
前記複数種類の特徴量の一つは、各文字候補同士の間隔であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
前記複数種類の特徴量の一つは、各文字候補の形状であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記文字候補の形状は、当該文字候補に外接する矩形の縦横比から特定することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
入力画像から当該入力画像に含まれる文字候補を抽出する文字候補抽出ステップと、
前記文字候補抽出ステップで抽出した文字候補に関する特徴量を抽出するとともに当該抽出を複数種類の特徴量について行う特徴抽出ステップと、
前記文字候補抽出ステップで抽出した各文字候補に個別に付された識別番号である文字候補番号と、抽出すべき文字列候補の識別番号である文字列番号との関係が、入力Ｕの値によって出力Ｖの値が遷移するニューロンの状態によって特定され、当該ニューロンの出力Ｖの値によって各文字候補がどの文字列番号の文字列候補に属するか分かるように構成された処理テーブルを用い、前記特徴抽出ステップで抽出した複数種類の特徴量を所定の演算式に代入して前記処理テーブルにおける各ニューロンの入力Ｕの値を変化させ、当該変化によって前記処理テーブル上に存在する全てのニューロンの出力Ｖの値を初期設定状態から最適状態に収束するように遷移させ、その遷移結果を基にしつつ前記文字候補抽出手段が抽出した複数の文字候補の中から同一の文字列番号に属する文字候補群を文字列を構成する文字候補群として抽出する文字列抽出ステップと
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像中から文字列を抽出するための画像処理装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
一般に、入力画像中からの文字列の抽出は、画像出力の高画質化のための領域別（テキスト／イメージ別）適応処理、画像圧縮時の容量削減のための領域別（テキスト／イメージ別）圧縮処理、ＯＣＲ（Optical Character Reader）の前処理等において行われている。例えば、近年のデジタル複写機においては、文字列を含有する原画や原稿等から画像情報を読み取ると、その画像情報について文字列の抽出を行った後に、文字列に相当する部分と他の部分とに対し別個に処理パラメータを切り替えたり圧縮処理等を行ったりすることで、それぞれの処理の好適化を図っている。
【０００３】
このような文字列の抽出は、従来、以下のようにして行われている。その１つとしては、入力画像に関する特徴量、例えば文字列を構成する画素（黒画素等）の分布をその画像周辺に投影し、その投影された特徴量に基づき投影軸方向（例えば入力画像の副走査方向）に沿った分布の切れ目を探し出し、その切れ目によって入力画像を分割することで、その入力画像から文字列を抽出する方法がある。また、他の１つとして、入力画像中に含まれるエッジ等を認識することで、局所的に文字候補となる塊を抽出し、その塊を所定のスレッショルド（閾値）を基に統合することで、入力画像中からの文字または文字列の抽出を行う方法がある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の文字列抽出技術では、入力画像中に文字の大きさや形状、文字間隔等が一定でない文字列や、文字の並ぶ方向が様々であったり曲線上に並んでいたりする文字列が混在していると、文字列の抽出を的確に行えないおそれがある。
【０００５】
例えば、上述した画像を分割する抽出方法では、画像周辺に特徴量を投影することにより一方向のみの情報になってしまうため、抽出すべき文字列の並ぶ方向、その文字列を構成する文字の大きさや行間等が略一定であれば有効であるが、文字列の方向、文字の大きさや行間等が異なっている文字列（例えば投影方向に対して斜めに並んでいる文字列）が混在していると、特徴量の分布の切れ目を探し出すことができず、結果として文字列を正しく抽出することができなくなってしまう。また、他の１つの方法である文字塊を統合する抽出方法では、文字列が局所的に一方向に並ぶことを利用して文字列を抽出するため、様々な方向に並ぶ文字列が混在していても文字列抽出が可能となるが、所定のスレッショルドに基づいて文字塊の統合を行うことから、統合時の条件が文字の大きさや形状、文字間隔等に大きく依存してしまう。したがって、文字の大きさ等や文字間隔が異なっている文字列が混在していると、文字列統合時の判定が困難になってしまい、文字列抽出を高精度に行えなくなるのに加え、その文字列抽出を複数回に分けて行う必要が生じてしまう可能性もある。さらには、上述したいずれの抽出方法も、曲線上に並んでいる文字列については全く考慮していないため、当該文字列が入力画像中に混在していても、これを文字列として抽出することができない。
【０００６】
そこで、本発明は、これらの問題点を鑑み、入力画像中に文字の大きさや形状、文字間隔等が一定でない文字列や、文字の並ぶ方向が様々であったり曲線上に並んでいたりする文字列が混在していても、これらの文字列を的確に、かつ、精度良く抽出することのできる画像処理装置および画像処理方法を提供することを目的とする。
【００１２】
本発明は上記目的を達成するために案出された画像処理装置で、入力画像から当該入力画像に含まれる文字候補を抽出する文字候補抽出手段と、前記文字候補抽出手段が抽出した文字候補に関する特徴量を抽出するとともに当該抽出を複数種類の特徴量について行う特徴抽出手段と、前記文字候補抽出手段が抽出した各文字候補に個別に付された識別番号である文字候補番号と、抽出すべき文字列候補の識別番号である文字列番号との関係が、入力Ｕの値によって出力Ｖの値が遷移するニューロンの状態によって特定され、当該ニューロンの出力Ｖの値によって各文字候補がどの文字列番号の文字列候補に属するか分かるように構成された処理テーブルと、前記特徴抽出手段が抽出した複数種類の特徴量を所定の演算式に代入して前記処理テーブルにおける各ニューロンの入力Ｕの値を変化させ、当該変化によって前記処理テーブル上に存在する全てのニューロンの出力Ｖの値を初期設定状態から最適状態に収束するように遷移させ、その遷移結果を基にしつつ前記文字候補抽出手段が抽出した複数の文字候補の中から同一の文字列番号に属する文字候補群を文字列を構成する文字候補群として抽出する文字列抽出手段とを備えることを特徴とするものである。
【００１３】
さらに、本発明は上記目的を達成するために案出された画像処理方法で、入力画像から当該入力画像に含まれる文字候補を抽出する文字候補抽出ステップと、前記文字候補抽出ステップで抽出した文字候補に関する特徴量を抽出するとともに当該抽出を複数種類の特徴量について行う特徴抽出ステップと、前記文字候補抽出ステップで抽出した各文字候補に個別に付された識別番号である文字候補番号と、抽出すべき文字列候補の識別番号である文字列番号との関係が、入力Ｕの値によって出力Ｖの値が遷移するニューロンの状態によって特定され、当該ニューロンの出力Ｖの値によって各文字候補がどの文字列番号の文字列候補に属するか分かるように構成された処理テーブルを用い、前記特徴抽出ステップで抽出した複数種類の特徴量を所定の演算式に代入して前記処理テーブルにおける各ニューロンの入力Ｕの値を変化させ、当該変化によって前記処理テーブル上に存在する全てのニューロンの出力Ｖの値を初期設定状態から最適状態に収束するように遷移させ、その遷移結果を基にしつつ前記文字候補抽出手段が抽出した複数の文字候補の中から同一の文字列番号に属する文字候補群を文字列を構成する文字候補群として抽出する文字列抽出ステップとを備えることを特徴とする。
【００１４】
上記構成の画像処理装置または上記手順の画像処理方法によれば、入力画像に含まれる文字候補を抽出すると、抽出した文字候補について、複数種類の特徴量抽出する。ここで抽出する特徴量としては、例えば、他の文字候補との間を結ぶ直線または曲線との距離関係、文字候補の大きさや形状、他の文字候補との間隔等が挙げられる。そして、複数種類の特徴量を抽出すると、それぞれの特徴量を参照しながらニューロンの状態によって表されるニューラル表現の処理テーブルにおける各ニューロンの値を遷移させ、その遷移結果を基にしつつ入力画像中から抽出した文字候補の中から文字列を構成する文字候補群を抽出する。これにより、入力画像中に存在する文字列は、その文字列を構成する文字の大きさや並ぶ方向等に依存することなく、文字列として抽出されることになる。
【００１５】
【発明の実施の形態】
以下、図面に基づき本発明に係る画像処理装置および画像処理方法について説明する。
【００１６】
先ず、本発明に係る画像処理装置の概略構成について説明する。図１は、本発明に係る画像処理装置の一例の概略構成を示すブロック図である。
【００１７】
図例のように、本実施形態における画像処理装置は、画像入力手段１０と、文字候補抽出手段２０と、文字列抽出手段３０と、画像出力手段４０と、から構成されている。
【００１８】
画像入力手段１０は、入力画像を光学的読み取りによって取得するためのもので、具体的にはスキャナやデジタルカメラ等からなるものである。この画像入力手段１０では、文字列を含有する原画または原稿、特にオフィス文書、メモ書き、手書き文書、カタログ、マニュアル、雑誌、チラシ、地図、標識や看板や車体番号等の文字列を含有する写真から、入力画像を取得するようになっている。ただし、画像入力手段１０は、ＬＡＮ（Local Area Network）やいわゆるインターネット等に繋がる通信回線を介して入力画像を取得するものであってもよい。
【００１９】
文字候補抽出手段２０は、画像入力手段１０が入力画像を取得すると、後述するようにして、その入力画像から当該入力画像に含まれる文字候補を抽出するものであり、具体的にはＣＰＵ（Central Processing Unit)とこれに実行される所定プログラムとの組み合わせ等によって実現されるものである。
【００２０】
文字列抽出手段３０は、文字候補抽出手段２０が文字候補を抽出すると、その抽出結果を基にしつつ、後述するようにして、入力画像中に存在する文字列を抽出するものであり、具体的にはＣＰＵとこれに実行される所定プログラムとの組み合わせ等によって実現されるものである。
【００２１】
画像出力手段４０は、文字列抽出手段３０による文字列抽出結果を外部へ出力するためのもので、具体的には外部装置とのインターフェース等からなるものである。この画像出力手段４０による出力先としては、例えば、画像入力手段１０が取得した入力画像に対して階調補正や画像圧縮等の処理を行う他の画像処理装置や、その入力画像中に存在する文字を認識するＯＣＲが挙げられる。
【００２２】
ここで、このように構成された画像処理装置における文字候補抽出手段２０の詳細について説明する。図２は、文字候補抽出手段の構成例を示すブロック図である。
【００２３】
図例のように、本実施形態における文字候補抽出手段２０は、エッジ抽出手段２１と、２値化手段２２と、１文字候補抽出手段２３と、から構成されている。
【００２４】
エッジ抽出手段２１は、画像入力手段１０が取得した入力画像に対し、その複数方向（例えば主走査方向および副走査方向）について、エッジの抽出を行うものである。具体的には、例えば図３に示すように、並列に動作する複数のデジタルフィルタ１〜４を備えており、入力画像を構成する各画素値に対し並列にデジタルフィルタリングを行って、その結果と当該画素値との差を算出し、当該差の絶対値の最も大きい値を出力することで、入力画像中に存在するエッジを抽出するようになっている。ただし、エッジ抽出手段２１は、他の周知技術を用いてエッジ抽出処理を行うようにしてもよい。
【００２５】
また図２において、２値化手段２２は、エッジ抽出手段２１が抽出したエッジに対し２値化を行うものである。２値化処理に関しては、単純２値化や浮動２値化などといった周知技術を利用して行うことが考えられる。
【００２６】
１文字候補抽出手段２３は、２値化手段２２による２値化処理後の画像に対して、当該画像中に存在する点や線分等の画像要素毎に外接矩形を仮設するとともに、互いに関連する外接矩形同士は１つの塊であると認識し、当該塊を１つの文字候補として抽出するものである。詳しくは、例えば図４（ａ）に示すように１つの外接矩形１内に他の外接矩形２が位置する場合、図４（ｂ）に示すように１つの外接矩形１と他の外接矩形２とが重なり合って共有領域を持つ場合、図４（ｃ）に示すように１つの外接矩形１と他の外接矩形２との大きさ比、距離間隔、それぞれの形状等が所定の関係にある場合に、いずれも双方の外接矩形１，２同士は１つの塊であると認識し、当該外接矩形１，２同士を統合するようになっている。つまり、１文字候補抽出手段２３は、１つの文字を構成するであろう１個以上の画像要素を、１つの文字候補として抽出するものである。なお、１文字候補抽出手段２３は、文字候補の抽出にあたって、外接矩形の代わりに外接多角形を用いるようにしてもよい。
【００２７】
このように、文字候補抽出手段２０では、エッジ抽出手段２１、２値化手段２２および１文字候補抽出手段２３を備えることによって、画像入力手段１０が取得した入力画像から、１つの文字を構成すると判定される１個以上の画像要素を１つの文字候補として抽出するようになっている。ただし、入力画像中に存在する文字候補を１文字分毎に抽出できれば、文字候補抽出手段２０は、上述した以外の構成によるもの、すなわち上述した以外の周知技術を利用したものであっても構わない。また、例えば画像入力手段１０が取得した入力画像が当初から２値画像である場合には、エッジ抽出手段２１および２値化手段２２を省略することも考えられる。
【００２８】
次いで、本実施形態の画像処理装置において最も特徴的な部分である文字列抽出手段３０の詳細について説明する。図５は、文字列抽出手段の構成例を示すブロック図である。
【００２９】
図例のように、本実施形態における文字列抽出手段３０は、特徴抽出手段３１と、文字列候補抽出手段３２と、文字列評価手段３３と、から構成されている。
【００３０】
特徴抽出手段３１は、文字候補抽出手段２０が抽出したそれぞれの文字候補に対して、その特徴量の抽出を行うものである。この特徴抽出手段３１が抽出する特徴量としては、例えば、文字候補を構成する点や線分等といった画像要素の面積、文字候補の外接矩形の面積、外接多角形の面積、外接矩形または外接多角形の辺の長さ、外接矩形の縦横比、外接多角形の最長幅と最短幅の比、外接矩形または外接多角形の重心位置の座標、などが挙げられる。すなわち、特徴抽出手段３１は、文字候補抽出手段２０が抽出した文字候補に関する特徴量を抽出するとともに、その抽出を複数種類の特徴量について行うものである。なお、特徴量の抽出処理は、周知技術を利用した所定の演算等によって行えばよい。
【００３１】
文字列候補抽出手段３２は、特徴抽出手段３１が抽出した文字候補に関する特徴量を参照しながら、文字候補抽出手段２０が抽出した複数の文字候補の中から文字列を構成する文字候補群の候補、すなわち文字列候補を抽出するものである。
【００３２】
ところで、この文字列候補抽出手段３２は、全連結型のニューラルネットワークによって構成されており、そのニューラルネットワークによる最適化手法を利用して文字列候補を抽出する点に特徴がある。なお、ニューラルネットワークとは、生物の脳の神経細胞（ニューロン）を手本に構成された人口神経回路網をいう。
【００３３】
ここで、ニューラルネットワーク構成の文字列候補抽出手段３２について、さらに詳しく説明する。図６はニューロンモデルを示す説明図であり、図７はそのニューロンモデルの入出力関係の一例であるマッカロック・ピッツモデルを示す説明図であり、図８はニューラル表現の一例を示す説明図である。これらの図中において、Ｖｊは他ニューロンの出力、Ｗｊは重み係数、ＵはニューロンＡの入力、ＶはニューロンＡの出力を示しているものとする。なお、以下の説明を簡単にするため、Ｗｊは均等（＝１）であるものとする。
【００３４】
図６および図７では、ニューロンＡの入力Ｕの状態が他ニューロンの出力Ｖｊに応じて変化するとともに、その入力ＵによってニューロンＡの出力Ｖの値が遷移することを示している。具体的には、図７に示すマッカロック・ピッツモデルであれば、ニューロンＡの入力Ｕが「０」を境に、それよりも大きければ出力Ｖの値が「１」となり、それよりも小さければ出力Ｖの値が「０」となる。なお、ここでは、ニューロンモデルの一例としてマッカロック・ピッツモデルを示しているが、その他にはシグモイド関数モデルやヒステリシス・マッカロック・ピッツモデルなどがある。
【００３５】
図８のニューラル表現は、文字列候補抽出手段３２が有する処理テーブルの状態の一例を示している。この処理テーブルの横軸方向は、文字候補抽出手段２０が抽出した各文字候補に個別に付された識別番号（以下「文字候補番号」という）ｊを表している。したがって、文字候補抽出手段２０で抽出された文字候補がｍ個であれば、処理テーブルの横軸方向には、ｊ＝１〜ｍの文字候補番号が存在することになる。一方、処理テーブルの縦軸方向は、文字列候補抽出手段３２が抽出すべき文字列候補の識別番号（以下「文字列番号」という）ｉを表している。
【００３６】
これら文字候補番号と文字列番号とによって特定される領域、すなわち図中の点線枠内の領域内は、ニューロンの状態を表している。つまり、図中の点線枠内の「０」および「１」は、それぞれがニューロンの出力Ｖの値を表している。これらの値により、この処理テーブルからは、以下のことが分かる。例えば、文字候補番号ｊ＝３で文字列番号ｉ＝２に相当するニューロンが「１」だった場合には、その文字候補番号が３である文字候補は、文字列番号が２である文字列に属する、ということが分かる。
【００３７】
この処理テーブルにおける各ニューロンの出力Ｖの値は、初期状態においては乱数発生によって設定されるが、その後、文字列候補抽出手段３２が文字列候補の抽出を完了するまでの間に、それぞれが最適な状態となるように遷移する。この遷移のために、文字列候補抽出手段３２は、以下の（１）式のような動作式を用意し、さらに後述する（６）式のような更新式を用いて、該当するニューロンの入力Ｕを変化させるようになっている。
【００３８】
【数１】
0003972546.tif 000002
【００３９】
この動作式（１）において、Ａ，Ｂ，Ｃ，Ｄ，Ｅは、それぞれ予め設定されている係数である。
【００４０】
また、ＡＲＥＡは、注目対象の外接矩形における他の外接矩形に対する面積比に該当するもので、以下の（２）式によって表される。
【００４１】
【数２】
0003972546.tif 000003
【００４２】
この（２）式において、ＬＸｋ、ＬＹｋは、それぞれ外接矩形ｋの直交する辺の長さであり、ＬＸｊ、ＬＹｊはそれぞれ外接矩形ｊの直交する辺の長さを示している。ただし、ＡＲＥＡは、文字候補を構成する画像要素の面積や外接矩形の面積等を基に、外接矩形同士の面積比を特定するものであってもよい。
【００４３】
また、動作式（１）において、ＮＥＡＲは、同一の文字列番号ｉに属する文字候補の外接矩形についての回帰直線と、注目対象の外接矩形ｋの重心座標との間の距離に該当するもので、以下の（３）式によって表される。
【００４４】
【数３】
0003972546.tif 000004
【００４５】
この（３）式において、Ｘｋ、Ｙｋは、それぞれ外接矩形ｋの重心座標であり、ａｉ，ｂｉ，ｃｉは文字列ｉの回帰直線ａiｘk＋ｂiｙk＋ｃi＝０の係数である。
【００４６】
ただし、上述した（３）式ではなく、例えば以下の（４）式のように、ｙ軸方向とｘ軸方向に関する回帰直線との距離のうちの小さいほうをＮＥＡＲとしてもよい。
【００４７】
【数４】
0003972546.tif 000005
【００４８】
なお、この（４）式において、ｍｉｎ（Ｑ，Ｒ）は、ＱとＲのうち小さいほうのいずれかの値を示し、さらにＱまたはＲの値が存在しない場合はＲまたはＱの値を出力することを意味している。
【００４９】
また、このとき、回帰直線の代わって回帰曲線（２次曲線、３次曲線…、等）を用いれば、曲線状に並んだ文字候補から文字列候補を抽出することができるようになる。例えば、２次曲線を回帰曲線ａiｘk2＋ｂiｘk＋ｃiｙk＋ｄi＝０とすれば、その回帰曲線と外接矩形ｋの重心座標のｙ軸方向の距離は、以下の（５）式のようになる。
【００５０】
【数５】
0003972546.tif 000006
【００５１】
さらには、上述したようなＮＥＡＲの代わりに、ＮＥＡＲを文字列ｉに属する文字候補の外接矩形の面積の平方根で割った値を使用することも考えられる。
【００５２】
また、動作式（１）において、ＩＮＴＥＲは、注目対象の外接矩形の重心と他外接矩形の重心との距離に該当するものである。また、動作式（１）中におけるmin≡k,k=1〜m（Ｑｋ）の項は、ｋ＝１〜ｍに対応するＱｋのうち正数で最も小さい値を表している。よって、min≡k,k=1〜m（INTER Ｖik）の項は、文字候補ｊと、その文字候補ｊが属する文字列ｉを構成する他の文字候補の中で当該文字候補ｊの最も近傍にある他の文字候補との間の距離に該当する。ただし、このとき、文字候補ｊが属する文字列ｉを構成する他の文字候補の中で当該文字候補ｊに対し２番目に近傍にある文字候補との距離を考慮に入れてもよい。さらには、上述したようなＩＮＴＥＲの代わりに、ＩＮＴＥＲを文字列ｉに属する文字候補の外接矩形の面積の平方根で割った値を使用することも考えられる。
【００５３】
また、動作式（１）において、ｈ(t) は、周知のヒルクライム項に相当するものであり、局所最適解から脱出する働きを持っている。
【００５４】
以上のような動作式（１）によりｄＵijを算出すると、文字列候補抽出手段３２は、そのｄＵijを以下の（６）式のような更新式に代入して、各ニューロンの入力Ｕの値を変化させる。
【００５５】
【数６】
0003972546.tif 000007
【００５６】
このとき、文字列候補抽出手段３２では、適切な収束条件を与えることで、動作式（１）および更新式（６）による各ニューロンの入力Ｕの更新を終了することができる。その結果、文字列候補抽出手段３２では、ニューラル表現の処理テーブルにおける各ニューロンの出力Ｖの値が最適な状態となるように遷移するので、その遷移後の各ニューロンの出力Ｖの値から各文字候補の属する文字列を判定でき、その文字列の特性を算出することができるようになる。
【００５７】
つまり、文字列候補抽出手段３２は、特徴抽出手段３１が抽出した文字候補に関する特徴量を参照しながら、動作式（１）および更新式（６）を用いてニューラル表現の処理テーブルにおける各ニューロンの出力Ｖの値を最適な状態に遷移させ、その遷移結果を基にしつつ文字列候補を抽出するようになっている。
【００５８】
このような文字列候補抽出手段３２に抽出された文字列候補は、文字列抽出手段３０の文字列評価手段３３によって、文字列であるか否かの評価判定が行われる。すなわち、文字列評価手段３３は、文字列候補抽出手段３２によって抽出された文字列候補に対して、文字列であるか否かの最終的な判断を行うものである。かかる判断は、例えば、直線性に関する評価関数、外接矩形の面積比に関する評価関数、外接矩形の間隔に関する評価関数等を用いて行うことが考えられる。
【００５９】
直線性に関する評価関数は、文字列ｉに属する文字候補の回帰直線または回帰曲線との平均距離を評価するためのものであり、具体的にはそれぞれは以下の（７）、（８）式によって表されるものである。
【００６０】
【数７】
0003972546.tif 000008
【００６１】
【数８】
0003972546.tif 000009
【００６２】
外接矩形の面積比に関する評価関数は、文字列ｉに属する文字候補の外接矩形の面積に関する分散を評価するためのものであり、具体的には以下の（９）式によって表されるものである。
【００６３】
【数９】
0003972546.tif 000010
【００６４】
外接矩形の間隔に関する評価関数は、文字列ｉに属する文字候補の外接矩形の重心座標に関して、最近傍の重心座標との平均距離を評価するためのものであり、具体的には以下の（１０）式によって表されるものである。ただし、この外接矩形の間隔に関する評価関数は、２番目に近傍である重心座標との距離を考慮するようにしてもよい。
【００６５】
【数１０】
0003972546.tif 000011
【００６６】
文字列評価手段３３は、これら（７）〜（１０）式のそれぞれに対応した閾値Ｔ1，Ｔ2，Ｔ3，Ｔ4を予め用意しており、各式の算出結果をそれぞれに対応する閾値Ｔ1，Ｔ2，Ｔ3，Ｔ4と比較することで、文字列候補抽出手段３２に抽出された文字列候補が文字列であるか否かを判断するようになっている。例えば、（７）式の算出結果が閾値Ｔ1の範囲内になければ、文字列評価手段３３は、抽出された文字列候補が文字列ではないと判断する。また、（９）式の算出結果が閾値Ｔ3の範囲内に収まっていなければ、文字列評価手段３３は、抽出された文字列候補が文字列ではないと判断する。また、（１０）式の算出結果が閾値Ｔ4の範囲内になければ、文字列評価手段３３は、抽出された文字列候補が文字列ではないと判断する。
【００６７】
つまり、文字列評価手段３３は、文字列候補抽出手段３２によって抽出された文字列候補に対して、文字列であるか否かの最終的な判断を行うことによって、文字列抽出手段３０における文字列の抽出精度を向上させるためのものである。
【００６８】
次に、以上のように構成された画像処理装置における文字列抽出の処理手順、すなわち本実施形態における画像処理方法について説明する。
【００６９】
本実施形態の画像処理装置では、画像入力手段１０が入力画像を取得すると、文字候補抽出手段２０がその入力画像から当該入力画像に含まれる全ての文字候補を抽出する。そして、全ての文字候補が抽出されると、文字列抽出手段３０の特徴抽出手段３１は、各文字候補に関する複数種類の特徴量を抽出する。また、これと同時に、各文字候補には、文字候補番号ｊが付される。
【００７０】
その後、文字列抽出手段３０の文字列候補抽出手段３２は、ニューラル表現の処理テーブルにおける各ニューロンの出力Ｖの値を最適な状態に遷移させ、その遷移結果から文字列候補を抽出する。そのために、文字列候補抽出手段３２は、先ず、処理テーブルにおける各ニューロンの出力Ｖの値を、乱数発生によって設定する。これにより、処理テーブルにおいては、例えば図８に示すように、文字候補番号ｊの数に対応し、かつ、２次元のマップ状に構成された各ニューロンの出力Ｖの値（「０」または「１」）が設定されることになる。
【００７１】
各ニューロンの出力Ｖの値を乱数発生によって設定すると、続いて、文字列候補抽出手段３２は、次いで、処理テーブル上における１つのニューロンを注目対象とし、その注目対象の値を動作式（１）および更新式（６）を用いて最適な状態に遷移させる。
【００７２】
例えば、文字候補番号ｊ＝１で文字列番号ｉ＝１に相当するニューロンを注目対象とした場合であれば、各文字候補に関する複数種類の特徴量を参照しつつ、文字候補番号ｊ＝１に該当する文字候補の外接矩形と文字列番号ｉ＝１に属する他の外接矩形との面積比、文字候補番号ｊ＝１に該当する文字候補の外接矩形の重心座標と文字列番号ｉ＝１に属する文字候補の外接矩形についての回帰直線との間の距離、文字候補番号ｊ＝１に該当する文字候補の外接矩形の重心と文字列番号ｉ＝１に属する他の外接矩形の重心との距離、等を動作式（１）に代入してｄＵijを算出するとともに、そのｄＵijを更新式（６）に代入して各ニューロンの入力Ｕの値を変化させる。そのため、文字候補番号ｊ＝１で文字列番号ｉ＝１に相当するニューロンの出力Ｖの値は、図７に示すように入力Ｕの値の変化に応じて、文字候補番号ｊ＝１に該当する文字候補が文字列番号ｉ＝１に属するのに適していれば「１」に、そうでなければ「０」に遷移するようになる。この遷移の結果、文字候補番号ｊ＝１で文字列番号ｉ＝１に相当するニューロンの出力Ｖの値が「１」だった場合には、その文字候補番号が１である文字候補は、文字列番号が１である文字列候補に属することになる。
【００７３】
文字列候補抽出手段３２は、このような出力Ｖの値の遷移を、処理テーブル上に存在する全てのニューロンについて、順次繰り返して行う。これにより、処理テーブル上における各ニューロンの出力Ｖの値は、最適な状態となるように遷移して、当該最適な状態に収束することになる。
【００７４】
その後、文字列抽出手段３０では、文字列候補抽出手段３２に抽出された文字列候補に対して、文字列評価手段３３が文字列であるか否かを判断する。この判断の結果、文字列と判断された文字列候補のみが、画像出力手段４０から文字列の抽出結果として出力されることになる。
【００７５】
なお、ニューラル表現の処理テーブルを構成する文字候補番号ｊと文字列番号ｉとの数は、文字列候補抽出手段３２における処理容量（処理能力）等を考慮して適宜決定すればよいが、例えば文字列候補抽出手段３２と文字列評価手段において、文字列評価手段３３で文字列として判断された当該文字列を削除した結果を再び文字列候補抽出手段３２に入力するという手順を踏み、文字列候補抽出手段３２と文字列評価手段３３とによる処理を繰り返すようにすれば、処理テーブルにおける文字候補番号ｊと文字列番号ｉとの数に限定されずに、より多数の文字列を入力画像から抽出することも可能となる。
【００７６】
以上のように、本実施形態の画像処理装置および画像処理方法によれば、入力画像に含まれる文字候補を抽出した後に、文字候補同士を結ぶ直線または曲線と各文字候補との距離関係、すなわち入力画像中における文字候補の位置を考慮しつつ、ニューラル表現の処理テーブルを利用して文字列に沿うであろう直線または曲線を特定する。このとき、入力画像中に複数の文字列が混在していれば、その入力画像中における文字候補の位置を考慮するので、複数の直線または曲線を特定することになる。そして、直線または曲線を特定すると、その直線または曲線上に並ぶ文字候補群については、各文字候補の大きさ等に拘らず文字列を構成するものとして抽出する。
【００７７】
また、本実施形態の画像処理装置および画像処理方法によれば、入力画像に含まれる文字候補を抽出すると、抽出した文字候補について複数種類の特徴量抽出し、それぞれの特徴量を考慮しつつ、それぞれの特徴量に基づいてニューラル表現の処理テーブルを利用しながら、入力画像中から抽出した文字候補の中から文字列を構成する文字候補群を抽出する。
【００７８】
これらのことより、本実施形態の画像処理装置および画像処理方法では、入力画像中に文字の大きさや形状、文字間隔等が一定でない文字列や、文字の並ぶ方向が様々であったり曲線上に並んでいたりする文字列が混在している場合であっても、その文字の大きさや並ぶ方向等に依存することなく、精度の高い文字列抽出を行うことが可能となる。また、入力画像中において曲線上に並ぶ文字により構成される文字列が存在しても、その文字列を的確に抽出することができる。しかも、その際に、各文字候補についての複数種類の特徴量を総合的に考慮するので、文字列統合時の判定が困難になったり、文字列抽出を複数回に分けて行ったりする必要がない。
【００７９】
特に、本実施形態では、文字列候補抽出手段３２が動作式（１）において、文字候補の特徴量として、複数の文字候補を結ぶ回帰直線または回帰曲線と注目対象である文字候補の重心座標との距離関係を考慮するようになっている。したがって、例えば入力画像中に互いに異なる方向を向いた文字列が混在していたり、曲線上に並ぶ文字列が存在していても、これらを的確に抽出することができる。
【００８０】
また、本実施形態における文字列候補抽出手段３２は、文字候補の特徴量として、各文字候補の大きさをも考慮するようになっている。具体的には、動作式（１）において、文字候補を構成する画像要素の面積、文字候補に外接する矩形の面積、あるいは文字候補に外接する矩形の辺の長さ等を考慮するようになっている。したがって、例えば入力画像中にフォントの大きさが互いに異なる文字列が混在していても、これらを的確に抽出することができる。
【００８１】
さらに、このとき、各文字候補の形状、例えば文字候補に外接する矩形の縦横比をも考慮すれば、フォントの大きさのみならず、フォントの種類等が互いに異なる文字列が混在していても、これらを的確に抽出し得るようになる。
【００８２】
また、本実施形態における文字列候補抽出手段３２は、文字候補の特徴量として、各文字候補同士の間隔をも考慮するようになっている。具体的には、動作式（１）において、注目対象の外接矩形の重心と他外接矩形の重心との距離を考慮するようになっている。したがって、例えば入力画像中に文字間隔が互いに異なる文字列が混在していても、これらを的確に抽出することができるようになる。
【００８３】
その上、本実施形態の画像処理装置および画像処理方法では、文字列評価手段３３による評価判定を経た後に、文字列の抽出結果を出力するようになっているので、より一層の文字列抽出の高精度化が図れるようになる。
【００８４】
なお、本実施形態では、文字列候補抽出手段３２が上述した（１）〜（６）式を用いて文字列候補の抽出を行う場合を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば他のニューロンモデルや他のニューラルネットワークによる最適化手法を利用したものであっても構わない。また、他の最適化手法を利用したものであっても構わない。
【００８５】
【発明の効果】
以上に説明したように、本発明に係る画像処理装置および画像処理方法は、入力画像中に文字の大きさや形状、文字間隔等が一定でない文字列や、文字の並ぶ方向が様々な文字列が混在していたり、曲線上に並ぶ文字により構成される文字列が存在していても、その文字列を構成する文字の大きさや並ぶ方向等に依存することなく、精度の高い文字列抽出を行うことができる。しかも、その際に、各文字候補についての特徴量を総合的に考慮すれば、従来のように文字列統合時の判定が困難になったり文字列抽出を複数回に分けて行ったりすることなく、文字列抽出の高精度化が図れるようになる。
【図面の簡単な説明】
【図１】  本発明に係る画像処理装置の一例の概略構成を示すブロック図である。
【図２】  図１の画像処理装置が備える文字候補抽出手段の構成例を示すブロック図である。
【図３】  図２の文字候補抽出手段における要部の構成例を示すブロック図である。
【図４】  図２の文字候補抽出手段による１文字抽出処理の概要を示す説明図であり、（ａ）〜（ｃ）はそれぞれ１文字抽出処理の一態様を示す図である。
【図５】  図１の画像処理装置が備える文字列抽出手段の構成例を示すブロック図である。
【図６】  ニューロンモデルを示す説明図である。
【図７】  ニューロンモデルの入出力関係の一例であるマッカロック・ピッツモデルを示す説明図である。
【図８】  ニューラル表現の一例を示す説明図である。
【符号の説明】
１０…画像入力手段、２０…文字候補抽出手段、３０…文字列抽出手段、３１…特徴抽出手段、３２…文字列候補抽出手段、３３…文字列評価手段
【図１】
0003972546.tif 000012
【図２】
0003972546.tif 000013
【図３】
0003972546.tif 000014
【図４】
0003972546.tif 000015
【図５】
0003972546.tif 000016
【図６】
0003972546.tif 000017
【図７】
0003972546.tif 000018
【図８】
0003972546.tif 000019