(57)【特許請求の範囲】
【請求項１】
入力画像からテキスト領域を抽出する抽出ステップと、
前記抽出ステップで抽出されたテキスト領域毎に画像特性を解析することにより、各テキスト領域の言語種が日本語・英語・未知のいずれであるかを判定し、当該判定した言語種を各領域に設定する言語種判定ステップと、
前記入力画像から抽出されたテキスト領域のいずれかが日本語の言語種であると前記言語種判定ステップで判定された場合、前記言語種判定ステップで未知であると判定されたテキスト領域の言語種を日本語に設定し、一方、前記入力画像から抽出された全てのテキスト領域が日本語の言語種でないと前記言語種判定ステップで判定された場合、前記言語種判定ステップで未知であると判定されたテキスト領域の言語種を英語に設定する再設定ステップと、
前記言語種判定ステップと前記再設定ステップとにより設定された言語種が日本語のテキスト領域の画像に対しては、日本語の文字認識に適し且つアルファベットも認識可能な日本語文字認識機能を用いて文字認識し、一方、前記言語種判定ステップと前記再設定ステップとにより設定された言語種が英語のテキスト領域の画像に対しては、英語の文字認識に適した英語文字認識機能を用いて文字認識する文字認識ステップと、を有することを特徴とする画像処理方法。
【請求項２】
言語種を自動判定するか否か判定する自動判定可否ステップを更に有し、
前記自動判定可否ステップで言語種自動判定の指示がなされていると判定された場合、前記言語種判定ステップ及び前記再設定ステップで各領域の言語種を設定して、前記文字認識ステップで当該設定された言語種に基づいて文字認識し、
一方、前記自動判定可否ステップで、言語種自動判定の指示がなされておらず、ユーザによる言語種の指示がなされていると判定した場合、前記文字認識ステップでは、当該ユーザによって指示されている言語種に基づいて前記各領域の画像を文字認識することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
入力画像からテキスト領域を抽出する抽出手段と、
前記抽出手段で抽出されたテキスト領域毎に画像特性を解析することにより、各テキスト領域の言語種が日本語・英語・未知のいずれであるかを判定し、当該判定した言語種を各領域に設定する言語種判定手段と、
前記入力画像から抽出されたテキスト領域のいずれかが日本語の言語種であると前記言語種判定手段で判定された場合、前記言語種判定手段で未知であると判定されたテキスト領域の言語種を日本語に設定し、一方、前記入力画像から抽出された全てのテキスト領域が日本語の言語種でないと前記言語種判定手段で判定された場合、前記言語種判定手段で未知であると判定されたテキスト領域の言語種を英語に設定する再設定手段と、
前記言語種判定手段と前記再設定手段とにより設定された言語種が日本語のテキスト領域の画像に対しては、日本語の文字認識に適し且つアルファベットも認識可能な日本語文字認識機能を用いて文字認識し、一方、前記言語種判定手段と前記再設定手段とにより設定された言語種が英語のテキスト領域の画像に対しては、英語の文字認識に適した英語文字認識機能を用いて文字認識する文字認識手段と、を有することを特徴とする画像処理装置。
【請求項４】
入力画像からテキスト領域を抽出する抽出ステップと、
前記抽出ステップで抽出されたテキスト領域毎に画像特性を解析することにより、各テキスト領域の言語種が日本語・英語・未知のいずれであるかを判定し、当該判定した言語種を各領域に設定する言語種判定ステップと、
前記入力画像から抽出されたテキスト領域のいずれかが日本語の言語種であると前記言語種判定ステップで判定された場合、前記言語種判定ステップで未知であると判定されたテキスト領域の言語種を日本語に設定し、一方、前記入力画像から抽出された全てのテキスト領域が日本語の言語種でないと前記言語種判定ステップで判定された場合、前記言語種判定ステップで未知であると判定されたテキスト領域の言語種を英語に設定する再設定ステップと、
前記言語種判定ステップと前記再設定ステップとにより設定された言語種が日本語のテキスト領域の画像に対しては、日本語の文字認識に適し且つアルファベットも認識可能な日本語文字認識機能を用いて文字認識し、一方、前記言語種判定ステップと前記再設定ステップとにより設定された言語種が英語のテキスト領域の画像に対しては、英語の文字認識に適した英語文字認識機能を用いて文字認識する文字認識ステップと、の各ステップをコンピュータに実行させるための制御プログラムが格納されたコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理方法及び装置及びその記憶媒体に関し、特に異なる言語が混在する文書の画像を文字認識する処理に関するものである。
【０００２】
本発明は画像処理方法及び装置及びその記憶媒体に関し、特に複数のブロックに分割し得る画像を解析する処理に関するものである。
【０００３】
【従来の技術】
従来の文字認識処理は、基本的には単一言語を対象としており、例えば、日本語なら日本語専門文字認識装置を、英語なら英語専門文字認識装置を使用して文字認識を行っていた。ただし、日本語専門文字認識装置の場合、対象文字としてアルファベットも含んでいる場合が多いので、アルファベットからなる言語、例えば英語の認識も可能ではあった。しかしながらこのような場合、英語専門文字認識装置に比較し英語部分の認識精度が悪化することは否めない。
【０００４】
このような欠点をなくすため、ユーザーが文章ごとに英語か日本語かを視認により判断し、日本語の文章部分を指定して日本語専門の文字認識を行うよう指示し、或は、英語の文章部分を指定して英語専門の文字認識を行うように指示させる文字認識装置もある。
【０００５】
【発明が解決しようとする課題】
しかしながら前記従来例で述べた文字認識装置においては、異なる言語が混在した文書を認識させる場合、日英両文章に対して無理に日本語で文字認識を行うか、或は文章部分の指定と認識言語種の指示を、日本語と英語の２回繰り返さなければならないというように、認識率と使い勝手は両立せず、いずれか一方をとらざるを得なかった。また、これは文字認識装置の普及のためにも大きな障害となっていた。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理方法は、入力画像からテキスト領域を抽出する抽出ステップと、前記抽出ステップで抽出されたテキスト領域毎に画像特性を解析することにより、各テキスト領域の言語種が日本語・英語・未知のいずれであるかを判定し、当該判定した言語種を各領域に設定する言語種判定ステップと、前記入力画像から抽出されたテキスト領域のいずれかが日本語の言語種であると前記言語種判定ステップで判定された場合、前記言語種判定ステップで未知であると判定されたテキスト領域の言語種を日本語に設定し、一方、前記入力画像から抽出された全てのテキスト領域が日本語の言語種でないと前記言語種判定ステップで判定された場合、前記言語種判定ステップで未知であると判定されたテキスト領域の言語種を英語に設定する再設定ステップと、前記言語種判定ステップと前記再設定ステップとにより設定された言語種が日本語のテキスト領域の画像に対しては、日本語の文字認識に適し且つアルファベットも認識可能な日本語文字認識機能を用いて文字認識し、一方、前記言語種判定ステップと前記再設定ステップとにより設定された言語種が英語のテキスト領域の画像に対しては、英語の文字認識に適した英語文字認識機能を用いて文字認識する文字認識ステップと、を有することを特徴とする。
【０００７】
上記課題を解決するために、本発明の画像処理装置は、入力画像からテキスト領域を抽出する抽出手段と、前記抽出手段で抽出されたテキスト領域毎に画像特性を解析することにより、各テキスト領域の言語種が日本語・英語・未知のいずれであるかを判定し、当該判定した言語種を各領域に設定する言語種判定手段と、前記入力画像から抽出されたテキスト領域のいずれかが日本語の言語種であると前記言語種判定手段で判定された場合、前記言語種判定手段で未知であると判定されたテキスト領域の言語種を日本語に設定し、一方、前記入力画像から抽出された全てのテキスト領域が日本語の言語種でないと前記言語種判定手段で判定された場合、前記言語種判定手段で未知であると判定されたテキスト領域の言語種を英語に設定する再設定手段と、前記言語種判定手段と前記再設定手段とにより設定された言語種が日本語のテキスト領域の画像に対しては、日本語の文字認識に適し且つアルファベットも認識可能な日本語文字認識機能を用いて文字認識し、一方、前記言語種判定手段と前記再設定手段とにより設定された言語種が英語のテキスト領域の画像に対しては、英語の文字認識に適した英語文字認識機能を用いて文字認識する文字認識手段と、を有することを特徴とする。
【０００８】
上記課題を解決するために、本発明のコンピュータ読取可能な記憶媒体は、入力画像からテキスト領域を抽出する抽出ステップと、前記抽出ステップで抽出されたテキスト領域毎に画像特性を解析することにより、各テキスト領域の言語種が日本語・英語・未知のいずれであるかを判定し、当該判定した言語種を各領域に設定する言語種判定ステップと、前記入力画像から抽出されたテキスト領域のいずれかが日本語の言語種であると前記言語種判定ステップで判定された場合、前記言語種判定ステップで未知であると判定されたテキスト領域の言語種を日本語に設定し、一方、前記入力画像から抽出された全てのテキスト領域が日本語の言語種でないと前記言語種判定ステップで判定された場合、前記言語種判定ステップで未知であると判定されたテキスト領域の言語種を英語に設定する再設定ステップと、前記言語種判定ステップと前記再設定ステップとにより設定された言語種が日本語のテキスト領域の画像に対しては、日本語の文字認識に適し且つアルファベットも認識可能な日本語文字認識機能を用いて文字認識し、一方、前記言語種判定ステップと前記再設定ステップとにより設定された言語種が英語のテキスト領域の画像に対しては、英語の文字認識に適した英語文字認識機能を用いて文字認識する文字認識ステップと、の各ステップをコンピュータに実行させるための制御プログラムが格納される。
【００２３】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態を説明する。
【００２４】
図５は本発明に係る装置の構成図である。
【００２５】
５１はＣＰＵ（中央処理装置）であって、ＭＥＭ５３に格納されている制御プログラムに従って本発明に係る処理の制御を行う。後述するフローチャートに示す処理もＣＰＵ５１の制御により実行される。５３はＭＥＭ（ＲＡＭ及びＲＯＭからなる）であって、ＣＰＵ５１が実行する処理の制御プログラムや、その処理に用いる各種パラメータ、入力画像、文字認識の辞書等、各種データの格納はこのＭＥＭ５３に行われる。５４はＣＲＴやＬＣＤ等の表示器であって、入力画像、処理結果のテキスト、操作指示画面、入力手段５９により特定された文書識別情報に応じてファイルから読み出した認識結果等を表示する。ＭＥＭ５３に格納された文字認識結果を表示器５４に表示し、入力手段５９を用いて複数の候補文字から正しい文字を選択する等の編集が可能である。５５はＬＢＰやＢＪプリンタ等のプリンタであって、画像、テキスト等を印字する。５６はスキャナであって、原稿の画像を光学的に読み取り、電気的信号として装置に入力する。５７は通信Ｉ／Ｆであって、公衆回線やＬＡＮ等を介してデータの送・受信を制御する。本発明に係る画像の入力及びその画像を処理した結果の出力を、この通信Ｉ／Ｆを介して他端末と送受信することもできる。５８は、本装置に着脱可能であり、コンピュータにより読み取り、更には書き込み可能な記憶媒体であって、ＣＤ−ＲＯＭ、ＣＲ−Ｒ、ＦＤ等である。本発明に係る画像をこの記憶媒体５８から読み取り、処理結果を記憶媒体５８に書き込んでも良い。また、ＭＥＭ５３に格納する制御プログラムを、通信Ｉ／Ｆを介して他端末からインストールしたり、或は記憶媒体５８からインストールしても良い。５９はキーボード、ポインティングデバイス等の入力手段であり、オペレータからの指示はこの入力手段５９を介して行う。５０はバスであって、各手段間のデータの授受を行う。
【００２６】
図1は本発明に係る装置のプロセス概略図である。本実施の形態では、日本語と英語を認識対象としている場合を例に挙げ、説明する。
【００２７】
図1において、2は原稿画像を入力する画像入力部であり、スキャナ５６或は通信Ｉ／Ｆ５７を介して他端末から、或は記憶媒体５８から入力し、ＭＥＭ５３に格納する。4は入力された原稿画像の領域識別部、6は当該領域が日本語か英語かを判別する日英判別部、8は前記日英判別部を制御する日英判別制御部であり、入力手段５９による言語種自動判別を行うか否か、自動判別を行わない場合の認識モードの指示の入力に応じて、その指示を表わす制御信号を生成する。10は日本語と英語の文字認識を行う文字認識部であり、これらの各プロセスは後述するフローチャートに示すように、ＭＥＭ５３に格納された制御プログラムに従ってＣＰＵ５１により実行される。
【００２８】
次に動作について説明する。
【００２９】
画像入力部2より取得された原稿画像は、領域識別部4において、図2に示すようにその属性ごとに小領域（以下ブロックとする）に分割され、ブロックナンバー、ブロック属性、ブロックの大きさ、ブロックの位置を識別する。この、領域識別部４で行う領域識別の処理は、入力した原稿画像における黒画素の配置を分析し、テキスト、図、画像、セパレータ等の属性を判別し、同属性であって一固まりの画像を一つのブロックとして識別するものである。また、同じテキストであっても、行方向が異なっていたり、或は行間が規定値以上に広いものについては、段が異なるテキストであると判断し、異なるブロックとして識別する。
【００３０】
ブロックの識別がなされたら、各ブロックごとに、例えば上から順にブロックナンバーを自動付与し、ブロックの大きさを表す幅情報及び高さ情報と、ブロックの位置を規定する、例えばブロックの左上端の座標データをセットにしてブロックデータとしてＭＥＭ５３に格納する。このブロックデータを参照することにより、入力画像の所望の１ブロックの画像を抽出することも、また、原稿におけるテキスト、図、画像、セパレータ等の配置を再現することもできる。一方、日英判別制御部8においては、ユーザーによる、日英自動判別を行うか否かの設定、及び日英自動判別を行うことがユーザーにより設定されなかった場合に設定される認識言語モード（日本語認識か、英語認識か）に応じた制御信号を生成し、日英判別部6に入力する。日英判別部6においては、前記日英判別制御部8で生成された制御信号と、前記領域識別部4において設定された領域属性を基に文字領域の日本語か英語かの判断を行う。
【００３１】
日本語、あるいは英語の属性を加えられた文字領域の画像データは文字認識部10に送られ、それぞれの属性が特定する言語に応じた文字認識が施される。文字認識部１０は、後述するＳ４０６の日本語文字認識のルーチン及びＳ４０８の英語文字認識ルーチンを行うが、これは、各々別個の文字認識別部を備えても良いし、或は文字画像の切り出し、認識用辞書を言語毎に備え、マッチングのアルゴリズムを共通にしても良い。
【００３２】
文字認識部１０での文字認識処理が終了したら、文字認識の結果は文書識別情報を付加して記憶（ファイリング）する。この文書識別情報は、ユーザによるキーボード操作により入力しても良いし、また、文字認識結果から抽出しても良い。或は、入力日時、時刻、ユーザＩＤ等を自動的に付与しても良い。後にファイルから読み出す際のインデックスとして用い得るよう、各文書毎に異なっていれば良い。また、ファイリングするデータは、文字認識結果のみならず、入力画像や入力画像を圧縮したデータ領域のレイアウト情報も共にして良い。
【００３３】
ここで日英判別部6と、文字認識部10について詳細に説明する。
【００３４】
図3に日英判別部6の処理の流れを表すフローチャートを示す。
【００３５】
S302は、ユーザーの指示に応じて日英判別制御部8において生成され、ＭＥＭ５３に格納してある制御信号を読み込むルーチンである。処理対象の原稿画像が複数ある場合は、現在処理対象として特定されている画像に対応づけてＭＥＭ５３に格納されている制御信号を選択的に読み込む。この制御信号は、日英自動判別を行うか否か、および行わない場合の認識言語モードを表わすものである。
【００３６】
S304において、S302で読込まれた制御信号に基づいて日英自動判別を行うか否かを決定し、行う場合はS306へ、行わない場合はS322へ制御を移行させる。
【００３７】
S306は、領域識別部４により図２のごとく分割されたブロック毎の属性を読み込むルーチンであって、ＭＥＭ５３に格納されているブロックデータをブロックナンバー順に１つずつ読み込む。
【００３８】
S308において、S306で読込まれたブロックデータ内のブロック属性を基に当該ブロックが文章領域であってＳ３１０に進むべきか否かを判別し、文章領域である場合はS310以下の当該ブロックに対する日英判別処理へ制御を移行する。Ｓ３０８において当該ブロックが文章領域でなく、Ｓ３１０に進むべきでないと判別された場合はS306に制御を戻し、次のブロックデータをＭＥＭ５３から読込む。図２の例では、ブロック2,3,4にテキストの属性が与えられていることから、これらのブロックは文章領域であると判別し、Ｓ３１０以下の日英判別処理の対象ブロックとなる。
【００３９】
S310は、当該ブロックの画像特性を解析して言語種が日本語か英語かを判別するためのルーチンであって、Ｓ３０６で読み込んだブロックデータの内のブロック位置及び大きさデータに基づいて特定し得るＭＥＭ５３の入力画像から対応領域の画像に対して行う処理である。これは、例えば、特開平8-339424、特開平8-305792に記述されている入力画像の特徴から日英等の言語種を自動判別する技術などを適用すれば可能である。
【００４０】
S312において、S310で判定された結果を元に当該ブロックデータに新たな属性、すなわち言語種を設定してＭＥＭ５３に格納する。ここで設定するのは、日本語、英語、未知の三種である。“未知”は、Ｓ３１０における日英判別ルーチンでの日本語である確からしさ及び英語である確からしさが閾値よりも低い場合に設定する。
【００４１】
S314において、ＭＥＭ５３に格納されている当該原稿画像の全ブロックについてＳ３０６〜Ｓ３１２の言語種判定処理がなされたか否かを判定し、処理がすべて終了している場合はS316へ、そうでない場合は、S306へ制御を移行する。
【００４２】
S316、S318、S320は当該原稿の全ブロックの言語種をチェックし、その中に日本語ブロックが一つでも存在している場合は未知ブロックを日本語ブロックと、そうでない場合、すなわちすべて英語ブロックであった場合は、英語ブロックと設定する未知ブロックの言語種決定のルーチンである。このルーチンでは、Ｓ３１６において、ＭＥＭ５３に格納されている全ブロックの言語種に関する属性を読み込んで、日本語の属性が設定されているブロックが少なくとも１つあるか判定し、あると判定される場合は、Ｓ３１６で読み込んだブロックの属性が未知となっているブロックに対して言語種を日本語であると設定してＭＥＭ５３に格納し（Ｓ３１８）、Ｓ３１６で１つも日本語ブロックがないと判定された場合は、Ｓ３１６で読み込んだブロックの属性が未知となっているブロックに対して言語種を英語であると設定してＭＥＭ５３に格納する（Ｓ３２０）。尚、Ｓ３１６の判定基準は、予め定めておけば良く、特定の言語種ブロックの所定の個数（１、２、・・・）でも、所定の割合（５％、１０％、・・・）であっても良い。
【００４３】
これは、未知ブロックが実際は英語ブロックであるにもかかわらずＳ３１８において日本語ブロックと設定した場合でも、文字認識部１０で行う日本語文字認識にはアルファベットの認識も入っている（即ち、日本語のかな、漢字、数字、記号等の他に、アルファベットも認識対象文字としている）ので、認識不能には陥らないが、逆の場合、すなわち日本語ブロックを英語ブロックと間違って設定した場合は認識不能に陥ってしまうので、そのように判断する方を厳しく行っているということである。すなわち認識対象文字数が多い言語種をより選択しやすくしている。より好ましくは、本実施例で述べているように一方の言語種の認識対象文字が、もう一方の言語種の認識対象文字を含んでいる場合、含んでいる方の言語種を選択しやすくするとよい。
【００４４】
S322は、S304で日英自動判別を行わないと決定した場合、認識言語モードの設定を行うルーチンである。この設定は、入力手段５９を介してオペレータにより操作、指示された言語種に応じて日英判別制御部8において生成された制御信号を基にして行う。
【００４５】
S324は、S322で日本語認識モードと判定された場合、当該原稿内の全文章領域を日本語と設定し、ＭＥＭ５３に格納するルーチン。
【００４６】
S326は、S322で英語認識モードと判定された場合、当該原稿内の全文章領域を英語と設定し、ＭＥＭ５３に格納するルーチン。
【００４７】
図4に文字認識部10が行う文字認識処理の流れを表すフローチャートを示す。
【００４８】
S402は、ＭＥＭ５３に格納されているブロックデータから、属性がテキストとして設定されている文章ブロックのブロックデータ及びブロック内の画像データを読込むルーチン。
【００４９】
S404は、S402で読込んだブロックデータの属性により、当該ブロックの言語種属性を判定するルーチン。このルーチンにより判定する属性が、Ｓ３１０、Ｓ３１８、Ｓ３２０、Ｓ３２４、Ｓ３２６で設定した言語種の属性である。
【００５０】
S406は、S404で日本語と判断された場合、文字認識部１０において日本語文字認識を行うルーチン。
【００５１】
S408は、S404で英語と判断された場合、文字認識部１０において英語文字認識を行うルーチン。
【００５２】
S410は、ＭＥＭ５３に格納されている当該原稿の全文章ブロックに対しＳ４０２〜Ｓ４０８の文字認識処理を行ったか否かを判定し、まだ処理ブロックが残っている場合は制御をS402へ移行し、次の文章ブロックを読み込む。
【００５３】
以上述べてきたように、本発明によれば、日英自動判別技術を核として、その制御のためにユーザーフレンドリーなインターフェースを提供し、さらに未知ブロックの処理に関しても、独自の後処理を施した文字認識装置を構築できるので、日本語、英語の混在した文書においても、認識精度と、使い勝手の向上を同時に実現させることができ、文字認識装置の普及のため大きく貢献することとなる。
【００５４】
本実施の形態では日本語と英語の言語種判別を例に挙げて説明したが、何もこれに限ることはなく、他言語の判別を行っても良い。この場合、基本的には図3のS310日英判別部をそれに適する言語種判別ルーチンに置き換えるだけで対応することができる。
【００５５】
【発明の効果】
以上述べてきたように本発明によれば、言語種自動判別技術を核として、その制御のためにユーザーフレンドリーなインターフェースを提供し、さらに誤判定時の後処理も考慮した文字認識装置を構築できるので、異なる言語が混在した文書においても、認識精度と、使い勝手の向上を同時に実現させることができ、文字認識機能の普及のため大きく貢献することができる。
【００５６】
以上述べたように本発明によれば、原稿に含まれる複数の領域に分かれた文章を、領域ごとに言語種を判別し、各領域の言語種に合わせた文字認識を行うので、複数言語が混在した文書の認識を高精度で高速に行うことができる。
【図面の簡単な説明】
【図１】本発明に係る文字認識装置のプロセス概略図
【図２】領域識別結果の例示図
【図３】日英判別部６の処理の流れを表すフローチャート
【図４】文字認識部１０の処理の流れを表すフローチャート
【図５】本発明に係る装置の構成図
【図１】
0004109738.tif 000002
【図２】
0004109738.tif 000003
【図３】
0004109738.tif 000004
【図４】
0004109738.tif 000005
【図５】
0004109738.tif 000006