(57)【要約】【課題】切り出された文字行の言語の種類を判定するための処理手順を簡略化し、計算負荷の増大を招かない手順とする。【解決手段】原稿を読取り得た文書画像から切り出した文字行に対して図８の処理手順を適用し、欧米系／アジア系  文字行を判定する。行内の文字外接矩形の終点を基に回帰直線：ベースラインを算出し、そこから矩形の始点までの高さ（スキュー補償）を求め、頻度を集計する。頻度集計結果の内、推定行高さの半分以下は集計結果から除去し言語判定に用いない。対象とする頻度集計を頻度順にソートし、欧米系文字行の特徴である、頻度１位の小文字高さ  ＜  頻度２位の大文字高さ、かつ  頻度３位  ≪  頻度２位  、つまり頻度１位（小文字）と２位（大文字）の高さに頻度が集中する、条件を満足するかを判断し、欧米系／アジア系  文字行を判定する。【選択図】        図８
2004246546.tif 000002
【特許請求の範囲】
【請求項１】
処理対象となる文書画像から文字画像の外接矩形情報を生成するステップと、前記外接矩形情報に基づいて文字行を切り出すステップと、前記文字行内の文字外接矩形を対象にして外接矩形の始点（文字最前部・文字頂部の座標）の文字行内における高さに関する情報を集計する始点高さ情報集計ステップと、集計した高さ情報の分布状態を言語種類の属性を示す所定の基準分布状態と対比することにより文字行の属する言語を判定する言語判定ステップを実行することを特徴とする画像処理方法。
【請求項２】
請求項１に記載された画像処理方法において、前記始点高さ情報集計ステップは、文字行内の文字外接矩形の内、始点の高さが雑音除去用として設定された所定値以上の矩形を集計の対象として外接矩形の始点の文字行内における高さに関する情報を集計するようにしたことを特徴とする画像処理方法。
【請求項３】
請求項１又は２に記載された画像処理方法において、前記文字行内の文字外接矩形の終点（文字最後部・文字最下部の座標）を結ぶ直線を求めるスキュー直線算出ステップと、前記始点高さ情報集計ステップにおける文字行内における高さをスキュー直線からの高さとして算出するステップを実行するようにしたことを特徴とする画像処理方法。
【請求項４】
請求項３に記載された画像処理方法において、前記スキュー直線算出ステップは、文字行内の文字外接矩形の内、終点の高さが雑音除去用として設定された所定値以下の矩形を対象として外接矩形の終点を結ぶ直線を求めるようにしたことを特徴とする画像処理方法。
【請求項５】
請求項１乃至４の何れかに記載された画像処理方法において、前記言語判定ステップを実行することにより判定された各文字行の判定結果を処理対象とした文書単位で集計し、集計結果を所定の規則に従い一言語又は不明を判定するステップを実行するようにしたことを特徴とする画像処理方法。
【請求項６】
請求項１乃至５の何れかに記載された画像処理方法において、前記文字行を切り出すステップにより切り出された文字行内の文字外接矩形の数に基づいて当該行の言語を判定するためのステップを実行するか否かを決定するステップを実行するようにしたことを特徴とする画像処理方法。
【請求項７】
請求項１乃至６の何れかに記載された画像処理方法において、前記文字行を切り出すステップにより切り出された文字行の縦横比に基づいて当該行の言語を判定するためのステップを実行するか否かを決定するステップを実行するようにしたことを特徴とする画像処理方法。
【請求項８】
請求項１乃至７の何れかに記載された画像処理方法において、前記文字行を切り出すステップにより切り出された文字行の方向に基づいて当該行の言語を判定するためのステップを実行するか否かを決定するステップを実行するようにしたことを特徴とする画像処理方法。
【請求項９】
請求項１乃至８のいずれかに記載された画像処理方法の各処理ステップをコンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載されたプログラムを搭載したコンピュータを備え、該コンピュータを前記プログラムに基づき対象画像を処理する手段として機能させるようにしたことを特徴とする画像処理装置。
【請求項１１】
請求項９に記載されたプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＯＣＲ（光学的文字読み取り装置）や文字認識等に利用される画像処理に関し、より特定すると、画像入力された文書に使用されている言語を判定（分類）するための処理手順を備えた画像処理方法、該方法の実行に用いるプログラム及び画像処理装置に関する。
【０００２】
【従来の技術】
文書原稿を対象にした画像処理として、従来から原稿をスキャナーで読み取った画像情報を基に、その文書に記された文字のＯＣＲや文字認識処理が行われている。
この文字認識処理では、通常、文書画像から一つの文字が存在すると判断される画像領域を切り出し、切り出した画像の形状特徴から文字を認識するという処理手順を踏む。また、こうした処理を行う際に、効率的な処理により高い認識精度を得るといったことから、切り出された所定の文字領域（例えば、文字行）の言語の種類を判定・分類し、言語の分類（例えば、日本語と英語）に適応した処理方法を用いるようにしている。
文字認識処理に付随して行われるこのような言語の判定方法について提案した従来例として、下記特許文献１乃至３を挙げることができる。
特許文献１，２には、日本語行とアルファベット（英語）行とを分類する方法として、いずれも、行方向と垂直の方向に画像を走査し、白／黒の反転回数或いは黒のラン（連続した黒画素）の本数を計数し、それを文字の複雑さを表す指標とし、より複雑な日本語を区別するための判定基準に利用するものである。
また、特許文献３には、文字領域を日本語と英語の領域とに判定する方法として、領域内の文字高さに着目した方法が示され、ここでは、各文字の外接矩形における矩形高さのばらつき、即ち、英文では、大文字と小文字の高さに集中して矩形高さのばらつきが生じるという特徴を判定基準に利用するものである。なお、英字に特徴的な文字外接矩形における矩形高さのばらつきに着目した判定基準を補助的に用いて英字の判定精度を向上させるという方法については、下記特許文献２にも示されている。
【０００３】
【特許文献１】
特開平５−１０８８７６号公報
【特許文献２】
特開平９−２３１３１７号公報
【特許文献３】
特開平６−１５００５５号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１，２に示されている方法は、行切り出しを行った後、行全体にわたって行方向一定間隔に、行方向と垂直に画像を走査し、白／黒の反転回数を計数する必要があり、処理の負荷が増大する。
また、特許文献３に示されている方法は、外接矩形における矩形高さに着目しており、この矩形高さを求めるために、外接矩形の切り出しで得られる座標を基にさらに演算を行う必要があり、この矩形高さを算出する追加の演算により、処理負荷が増大する。
本発明は、文書原稿から読み取った画像情報を基にその文書に記された文字のＯＣＲや文字認識処理を行う際に、処理対象の文字領域における言語の種類を判定・分類するために用いられた上記従来技術の問題点に鑑みてなされたものであり、その目的は、切り出された所定の文字領域（例えば、文字行）の言語の種類を判定・分類するための処理手順を簡略化し、計算負荷の増大を招くことのない処理手順とすることにある。
また、本発明は、上記技術課題
（目的）を解決するために、行切り出しにより得られる文字行内に存在する矩形の始点に着目し、その高さの頻度を集計するという方法を用いるようにしたが、この方法を採用した場合に誤差の要因となるスキュー（原稿の傾き）に対応する手順を用意して、判定・分類精度を保つことを可能にすることを更なる目的とする。
【０００５】
【課題を解決するための手段】
請求項１の発明は、処理対象となる文書画像から文字画像の外接矩形情報を生成するステップと、前記外接矩形情報に基づいて文字行を切り出すステップと、前記文字行内の文字外接矩形を対象にして外接矩形の始点（文字最前部・文字頂部の座標）の文字行内における高さに関する情報を集計する始点高さ情報集計ステップと、集計した高さ情報の分布状態を言語種類の属性を示す所定の基準分布状態と対比することにより文字行の属する言語を判定する言語判定ステップを実行することを特徴とする画像処理方法である。
請求項２の発明は、請求項１に記載された画像処理方法において、前記始点高さ情報集計ステップは、文字行内の文字外接矩形の内、始点の高さが雑音除去用として設定された所定値以上の矩形を集計の対象として外接矩形の始点の文字行内における高さに関する情報を集計するようにしたことを特徴とする方法である。
【０００６】
請求項３の発明は、請求項１又は２に記載された画像処理方法において、前記文字行内の文字外接矩形の終点（文字最後部・文字最下部の座標）を結ぶ直線を求めるスキュー直線算出ステップと、前記始点高さ情報集計ステップにおける文字行内における高さをスキュー直線からの高さとして算出するステップを実行するようにしたことを特徴とする方法である。
請求項４の発明は、請求項３に記載された画像処理方法において、前記スキュー直線算出ステップは、文字行内の文字外接矩形の内、終点の高さが雑音除去用として設定された所定値以下の矩形を対象として外接矩形の終点を結ぶ直線を求めるようにしたことを特徴とする方法である。
【０００７】
請求項５の発明は、請求項１乃至４の何れかに記載された画像処理方法において、前記言語判定ステップを実行することにより判定された各文字行の判定結果を処理対象とした文書単位で集計し、集計結果を所定の規則に従い一言語又は不明を判定するステップを実行するようにしたことを特徴とする方法。
【０００８】
請求項６の発明は、請求項１乃至５の何れかに記載された画像処理方法において、前記文字行を切り出すステップにより切り出された文字行内の文字外接矩形の数に基づいて当該行の言語を判定するためのステップを実行するか否かを決定するステップを実行するようにしたことを特徴とする方法である。
請求項７の発明は、請求項１乃至６の何れかに記載された画像処理方法において、前記文字行を切り出すステップにより切り出された文字行の縦横比に基づいて当該行の言語を判定するためのステップを実行するか否かを決定するステップを実行するようにしたことを特徴とする画像処理方法である。
請求項８の発明は、請求項１乃至７の何れかに記載された画像処理方法において、前記文字行を切り出すステップにより切り出された文字行の方向に基づいて当該行の言語を判定するためのステップを実行するか否かを決定するステップを実行するようにしたことを特徴とする方法である。
【０００９】
請求項９の発明は、請求項１乃至８のいずれかに記載された画像処理方法の各処理ステップをコンピュータに実行させるためのプログラムである。
請求項１０の発明は、請求項９に記載されたプログラムを搭載したコンピュータを備え、該コンピュータを前記プログラムに基づき対象画像を処理する手段として機能させるようにしたことを特徴とする画像処理装置である。
請求項１１の発明は、請求項９に記載されたプログラムを記録した記録媒体である。
【００１０】
【発明の実施の形態】
本発明を添付する図面とともに示す以下の実施形態に基づき説明する。
本発明は、文書原稿から読み取った画像情報を基にその文書に記された文字の言語の種類を判定・分類する画像処理方法に係わるものである。文書に記された文字の言語種類を判定するねらいは、その判定結果を、文字の認識処理を行う際に効率的な処理を可能とし、かつ高い認識精度を得るために用いることにある。このために、文字認識処理が踏む、文書画像から文字が存在すると判断される文字領域を切り出し、切り出した文字領域の画像の形状特徴から文字を認識するという処理手順の中間過程に用いることが可能な形態で、言語が持つ特徴に着目した言語種類の判定処理を行う。ここでは、文書画像から文字領域として切り出した文字外接矩形に表れる言語の特徴をとらえることにより、この判定処理を行うが、本発明では、この処理を文字行の切り出し処理で既に求めている文字行内の文字外接矩形を対象にして外接矩形の始点（文字最前部・文字頂部の座標）の文字行内における高さに関する情報を用いて、当該行の属する言語を判定するという方法による。この方法を用いることにより、切り出された文字行の言語の種類を判定するための処理手順を簡略化し、計算負荷の増大を招くことをなくし、処理の高速化を図る。
以下に本発明の実施形態を示すが、下記実施形態において言語種類の判定処理の対象とする言語と、その言語が記された文書画像について説明する。
図１は、処理対象となる文書画像の一例を示す。図１に示すような原稿から読み取った文書画像をもとにアジア系言語（日本語、中国語、韓国語）と欧米系言語（英語、仏語、独語、伊語、西語など）とに２分する場合を考える。なお、以下に例示する実施形態では、図１に示すような主にアジア系言語として日本語、欧米系言語として英語を例にとるが、特にことわらない限り、本発明は例示する実施形態に限定されるものではなく、いわゆる印欧（インド  ヨーロッパ）語族と、それ以外とを大別する方法を示すものであり、特定の言語対に限定されない。
【００１１】
「実施形態１」
以下に示す「実施形態１」は、文字外接矩形の始点（後述する図４（Ａ）、参照）の文字行内における高さを用いて、当該行の属する言語を判定する方法の基本形態を示す。
本発明では、文字外接矩形に表れる言語の特徴をとらえるので、言語判定の前段において、文字外接矩形を生成（抽出）する処理を行う。この処理は既存の処理方法である、原稿画像中の黒ランの外接矩形を求める方法を適用することにより実施可能である。なお「ラン」は、連続画素データが同一値をとる場合に、この連続画素のかたまりを指す概念で、符号化の単位として扱われることでも知られている。この処理によって対象画像（図１）から求められた黒画素の外接矩形を図２に示す。
また、求めた黒ランの外接矩形を近隣の矩形と統合していくことによって、行に成長させ、文字行を切り出す、既存の処理を適用する。この処理により、対象画像（図１）から求められた文字行を図３に示す。
【００１２】
上記の文字外接矩形生成処理により得られた外接矩形に表れる言語の特徴をとらえるが、本発明では、文字外接矩形の配置、つまり文字行に属する外接矩形（行内矩形）の配置に表れる特徴をとらえる。文字行内の文字外接矩形の配置は、外接矩形の座標を定義することにより表現できる。図４（Ａ）は、矩形座標の定義を図示するもので、同図における矩形の左上の隅を始点、右下の隅を終点と称し、それぞれの座標を（Ｘｓ，Ｙｓ）、（Ｘｅ，Ｙｅ）とする。矩形はこの２点の座標で定義される。ここでは、始点のＸｓ，Ｙｓ座標は、それぞれ矩形により外接される文字の最前部、頂部の座標を表し、終点のＸｅ，Ｙｅ座標は、それぞれ矩形により外接される文字の最後部、最下部の座標を表している。
図４（Ｂ），（Ｃ）は、それぞれ欧米系文字行とアジア系文字行の、行内矩形の配置例を示す。図４（Ｂ）に示すように、欧米系文字行は、大文字と小文字とが混在していることに加え、アポストロフィー、アクサンテギュ、ウムラウトなど、記号類の有無が存在するので、行内矩形の始点の高さは、図４（Ｂ）の  ａ  の位置と  ｂ  の位置との２個所に集中することになるので、この点を欧米系文字の配置特徴としてとらえ、この高さ情報を欧米系言語の判定に用いるようにする。
一方、アジア系文字行は図４（Ｃ）のように、漢字、ひらがな、カタカナ、ハングルなど、文字の構造が複雑であり、行内矩形の始点の高さは、欧米系文字行で見られるような、２カ所への明確な集中はない。
従って、両者を区別するには、注目行において、行内矩形の始点の高さについてその出現頻度を集計するという方法により、文字行における外接矩形の配置に表れる言語の特徴をより精度良く検出することができる。行内矩形は、２点の座標（Ｘｓ，Ｙｓ）、（Ｘｅ，Ｙｅ）の形で，行切り出し処理の過程で既に求まっているので、追加の特徴抽出処理を行う必要がないので処理負担を増加することがなく、都合がよい。
【００１３】
ここで、本実施形態の文字行が属する言語の判定処理手順について示す。
図５は，本実施形態の処理手順を示すフローチャートである。
図５を参照すると、先ず、スキャナー、デジタル・スチル・カメラなどの画像入力機器によって、処理対象の文書画像原稿の読み取り、２値化を含めた画像処理等の画像入力処理を行う（ｓｔｅｐ  １）。この入力処理において、原稿文書画像の黒ランの生成処理を行う。
次いで、生成された文書画像の黒ランに基づいて、黒ランの外接矩形を求める（ｓｔｅｐ  ２）。ここで求められる黒ランの外接矩形には、文字以外の図表等によるものも含まれている。
そこで、求めた黒ランの外接矩形から文字と見なせる矩形を抽出する処理を行い、抽出した文字と見なせる矩形同士で近隣の矩形と統合する処理を行い、文字行の切り出しを行う（ｓｔｅｐ  ３）。
次いで，行内矩形の配置に表れる言語の特徴を抽出するために、切り出された文字行内に存在する対象外接矩形の始点の高さ（図４（Ａ）参照）情報を取得し、欧米系文字の配置特徴として表れる２箇所の集中位置（図４（Ｂ）参照）における出現頻度を集計して、予め定めておいた出現頻度よりも高くなった場合に欧米系文字行であると判定し，それ以外を非欧米系文字行或いはアジア系文字行であると判定する（ｓｔｅｐ  ４）。
【００１４】
「実施形態２」
上記実施形態１には、文字行が属する言語の判定方法の基本形態を示したが、実施形態１をそのまま適用すると誤判定するケースが考えられ、こうしたケースが起きないように、その補償を行う処理ステップを追加するものである。
例えば、目次ページなどでは、言語に関わらず、ドットで行の空白部を埋めるような場合がある。図６は、この例を示すもので、ドットが文字行の高さの中点に位置している。このような場合、外接矩形の始点（図４（Ａ）参照）の最頻出位置はドットのみで決定してしまい、実施形態１で言及した、言語別の特徴が表れないケースとなってしまう。
言語によって最頻出位置の特徴が異なるのは、図４（Ｂ）における  ａ−ｂ  の範囲であるから、それ以外の範囲に外接矩形の始点の高さがあるものを集計の対象外とすれば、図６のような場合でも正しく言語識別することができる。
図４（Ｂ）における  ａ−ｂ  の範囲は、行内矩形高さの約  ２／３  以上の範囲であるから、矩形始点位置の頻度集計の結果から、最頻出値を求める際、行高さの  ２／３未満のものは対象外とすればよい。
なお行高さの  ２／３以上というしきい値は、あくまで例であり、言語の特徴が峻別できる図４（Ｂ）における  ａ−ｂの範囲のみを集計対象とするよう、調整可能であることは言うまでもない。
また、この目次ページなどに対する補償処理を行うステップは、実施形態１に示した文字行が属する言語の判定処理手順（図５）における行の言語判定ステップ（ｓｔｅｐ  ４）の中で行う。
【００１５】
「実施形態３」
本実施形態は、スキューが原因で正しい判定ができない場合が生じる可能性があるので、スキュー補正を行うことにより、誤判定を回避するようにするものである。ここでは、上記実施形態１，２に適用し得る形態を示す。
入力機器によって、処理対象の文書画像原稿を読み取る際に、原稿が傾いてしまうことがある。図７は、スキューが生じた場合の入力文書画像の例を示す。図７に示すように、スキューが生じると、文字行も傾いてしまう。極端な傾きの場合には、行切り出し処理が成立しないような条件を設定した手順を用いることにより、行切り出しができないが、少々の傾きであれば、行間の空白部を利用して、行を切り出すことができるようにしている。
しかしながら、実施形態１に示す方法では、行内矩形の始点高さの出現頻度に注目するので、少々の傾きでも、集計結果に大きく影響してしまう。つまり、図７に示す位置  ｅ  （行内矩形の始点高さを定めるための基準線となるベースライン）から行内矩形の始点までの距離は、行高さに対して万遍なく分布することになり、欧米系文字行の特徴である、頻度の明確な２箇所への集中が観測できない。
そこで、図７に示す破線  ｄ  のようなベースラインを求め、そこから行内矩形の始点までの高さを求めることにする。破線  ｄ  のようなベースラインを求めるには、行内矩形の終点（図４（Ａ）に示す矩形座標の定義、参照）を結ぶような直線を求めればよい。
具体的には、行内矩形における終点座標（Ｘｉ，Ｙｉ）の分布の回帰直線を求めればよい。Ｘ  に対するＹの回帰直線を求める方法は、「統計」に関する教科書（例えば、．ガットマン．Ｓ．Ｓ．ウィルクス著「工科系のための統計概論」培風社刊）に詳しいが、簡単には以下のようになる。
Ｘ  に対する  Ｙ  の回帰直線の式は、
Ｙ  ＝  ＡＸ  ＋  Ｂ
の形で表され、Ａ  をＸに対するＹの回帰係数と言う。
Ａ  ＝  ｛ＮΣＸｉＹｉ−（ΣＸｉ）（ΣＹｉ）｝／｛ＮΣＸｉ２−（ΣＸｉ）２｝
によって  Ａ  を求め、次に、
Ｂ  ＝ΣＹｉ／Ｎ−ＡΣＸｉ／Ｎ
によって  Ｂ  を求める。
【００１６】
また、上記した方法では、行内矩形の終点の座標に基づいてベースラインを求めるので、本来求めるべきベースラインを正しく反映しない終点座標データが用いられる場合がある。その例として考えられるものは、アポストロフィー、アクサンテギュ、ウムラウトなどの行の上部にある孤立した点（これらの終点座標は本来のベースラインよりかなりずれる）で、これらを含めて回帰直線を求めると本来のベースラインとの差異が大きくなり、正しく矩形の高さ位置を求めることができなくなる。
これを避けるために、回帰直線を求める行内矩形の終点は、行高さの約  １／２以下のものに限定するという方法を用いる。これによって文字行のベースラインを正確に求めることができる。なお、行高さの  １／２  以上というしきい値は、あくまで例であり、行の下部のみを対象とするよう、調整可能であることは言うまでもない。
【００１７】
ここで、本実施形態のスキュー補正を可能にした言語の判定処理手順について説明する。
図８は，本実施形態の処理手順を示すフローチャートである。なお、図８に示す処理フローは、実施形態１，２において用いるとした文字行の言語の判定処理手順（図５）における行の言語判定ステップ（ｓｔｅｐ  ４）を置き換える形態で実施可能としたものを示す。
図８を参照すると、前段で文字行の切り出し（ｓｔｅｐ  ３）を行い得られる行における行内矩形の始点高さを集計し、行内矩形の高さの最大高さを求め、実際の行高さと比較し、その結果に従い行高さを推定する（ｓｔｅｐ  ４−１）。ここで、  行内矩形の高さの最大高さ  ×  Ａ  （例  １．２）倍  ＞  実際の行高さ  である場合、行内矩形の高さの最大高さを行高さとみなす。他方、この不等式が成り立たない場合には、実際の行高さ（＝  行切り出し結果）を行高さとする。この行高さの推定は、スキュー行や、行内矩形が小さなものばかりで構成されている場合への対策として行う。
次に、行内矩形の高さの基準線となるベースラインとして、行内矩形の終点  Ｙｅ  の回帰直線を求める（ｓｔｅｐ  ４−２）。その際、終点  Ｙｅ  位置は行高さ（即ち、ｓｔｅｐ  ４−１で推定した行高さ）の半分以下のものに限定する。
前ステップで算出したベースラインからの行内矩形の始点  Ｙｓ  の高さを求め、頻度を集計する（ｓｔｅｐ  ４−３）。ここでは、所定の高さ範囲に区分し、区分毎にその出現頻度をカウントするという集計方法をとる。
次いで、前ステップで行った頻度集計結果の内、行内矩形の始点  Ｙｓ  の高さが行高さ（即ち、ｓｔｅｐ  ４−１で推定した行高さ）の半分以下のものについては、次のステップで行う言語判定の対象として用いないようにするので、得た集計結果から除去する（ｓｔｅｐ  ４−４）。
この後に、対象とする頻度集計データに基づいて、言語判定の処理を行う（ｓｔｅｐ  ４−５）。ここでは、頻度集計データを頻度順にソートし、
頻度１位の高さ（行内矩形の始点高さ）  ＜  頻度２位の高さ
、つまり欧米系文字の特徴である、頻度１位の小文字高さ  ＜  頻度２位の大文字高さ、の条件を満足し、かつ、
頻度３位  ≪  頻度２位  （頻度の差が大きい）
、つまり頻度１位（小文字）と２位（大文字）の高さに頻度が集中する、の条件を満足するかを判断し、これらを満足した場合に欧米系文字行であると判定し，それ以外を非欧米系文字行或いはアジア系文字行であると判定する。
【００１８】
「実施形態４」
上記各実施形態では、切り出した文字行単位に適用することが可能な形態を例示したが、本実施形態では、処理対象の文書画像原稿の単位で一つの言語を判定するようにした形態に係わる。
一般的には、文書における使用言語は原稿毎に一種である場合が多く、１枚の原稿の中で外来語や固有名詞などを除いて、複数の言語が混在して使われることは、稀である。上記各実施形態では文字行単位に適用し得る言語判定方法について言及したが、文字行単位に適用し得る言語判定処理の判定結果を１枚の原稿全体にわたって集計すれば、当該原稿が属する言語を決定することができる。
集計結果から原稿が属する言語を判断する基準としては、
・  多数決で決める
・  多数決で、差が設定値以上ならば多数に決し、僅差なら不明とする
・  最も長い行を有するものに決める（短い行は考慮しない）
・  最頻値の行高さを持つ行のみを対象として多数決で決める（本文行のみを対象としたいから）
などを適用することが可能である。
ここで、本実施形態の言語の判定処理手順について説明する。
図９は，本実施形態の処理手順を示すフローチャートである。なお、図９に示す処理フローは、実施形態１〜３において用いるとした文字行の言語の判定処理手順（図５、図８）における行の言語判定ステップ（ｓｔｅｐ  ４、ｓｔｅｐ  ４−５）の後段に追加する形態で実施可能としたものを示す。ただし、実施形態１〜３における文字行の言語の判定処理は、文字行単位に適用する形態であるから、図５、図８における行の言語判定ステップ（ｓｔｅｐ  ４、ｓｔｅｐ  ４−５）を原稿全体の文字行各々に用いて言語判定結果を取得することが本実施形態の処理では必要になる。
図９を参照すると、前段の言語判定ステップ（ｓｔｅｐ  ４、ｓｔｅｐ  ４−５）で各文字行の言語の判定処理を行い、その判定結果を受けて、行毎の判定結果を原稿全体で集計する（ｓｔｅｐ  ５）。即ち、各文字行の判定結果を当該文字行に関する他の情報（例えば、文字行の矩形情報や行内の文字外接矩形情報など）と関連付けて情報を蓄積する。
次いで、前ステップの集計結果をもとに、原稿が属する言語を判定する処理を行う（ｓｔｅｐ  ６）。この判定処理は、上記したような判断基準により原稿に一つの言語を定めるか或いは、不明とする判定結果を導く。
【００１９】
「実施形態５」
上記した各実施形態に示した方法では、適用する文字行の行内矩形の在りようによっては、誤判定するケースが考えられる。つまり、行内矩形の高さの頻度分布に着目して、言語を識別する方法を用いていることから、行内矩形が少ない場合には、確信をもって判断するだけの頻度集計結果が得られず、これに基づいた場合には誤判定してしまう危険性が高い。
本実施形態は、こうした判定結果の発生を抑制するための処理ステップを追加するものである。この処理ステップは、行内矩形の矩形数の下限値として予め定めた数値を設定しておき、判定処理対象となる行の行内矩形数がこの下限値を下回ってした場合には、判定の対象外とし、判定不能行として分類し、この判定結果を利用者に伝えることや管理情報として記憶するといった、情報管理を行うようにする。
さらに、各行の判定結果を受けて原稿単位の判定を行う場合には（実施形態４参照）、判定不能行の数、あるいは、全行数に占める割合に上限値として予め定めた数値を設定しておき、判定不能行数が、この設定値を上回った場合には、判定処理対象となる原稿を、判定不能原稿とする。これは、文字行をほとんど含まない原稿などが、判定不能原稿に分類されることをねらいとするものである。ここでも、この判定結果を利用者に伝えることや管理情報として記憶するといった、情報管理を行うようにする。
この誤判定を回避する処理を行う追加のステップは、実施形態１に示した文字行が属する言語の判定処理手順（図５、図８）における行の言語判定ステップ（ｓｔｅｐ  ４、ｓｔｅｐ  ４−５）及び実施形態４に示した原稿に対する言語の判定処理手順（図９）における原稿の言語判定ステップ（ｓｔｅｐ  ６）の中でそれぞれ行うことにより実施し得る。
【００２０】
「実施形態６」
上記実施形態５に示した方法を必要とするケース以外にも、適用する文字行の行内矩形の在りようによっては、誤判定する他のケースが考えられる。つまり、行内矩形の数が規定値を越えていたとしても、文字数が少なければ、この言語判定方法は有効に機能しない。
本実施形態は、こうした場合の判定結果の発生を抑制するための処理ステップを追加するものである。この処理ステップは、文字行矩形の縦横比にしきい値を設け、短い行は判定の対象外とする。
一般に、文字の外接矩形は極端な長方形である場合は少なく、正方形であることが多い。行内の文字数が多ければ、行の外接矩形は長方形になり、文字数が多くなるほど、縦横比が大きくなる。つまり行の縦横比を検査するだけで、当該行の文字数の多寡は、ある程度予測できる。
そこで、
文字方向：水平の場合      行の横の長さ／縦の長さ  ＞  しきい値
文字方向：垂直の場合      行の縦の長さ／横の長さ  ＞  しきい値
という基準を設け、これを満足しない行は、言語識別処理の対象外とし、判定不能行として分類し、この判定結果を利用者に伝えることや管理情報として記憶するといった、情報管理を行うようにする。
さらに、各行の判定結果を受けて原稿単位の判定を行う場合にも、実施形態５におけると同様に、判定不能原稿を判断し、その情報を管理する処理を行うようにする。
この誤判定を回避する処理を行う追加のステップは、実施形態１に示した文字行が属する言語の判定処理手順（図５、図８）における行の言語判定ステップ（ｓｔｅｐ  ４、ｓｔｅｐ  ４−５）及び実施形態４に示した原稿に対する言語の判定処理手順（図９）における原稿の言語判定ステップ（ｓｔｅｐ  ６）の中でそれぞれ行うことにより実施し得る。
このようなステップを追加することによって、正確に判断することが困難な行に対して、言語識別処理を試みることを避けることができ、処理の効率化を図ることが可能になる。
【００２１】
「実施形態７」
上記各実施形態に示した方法を適用する際に、原稿によっては、行内矩形の高さに基づく判定処理を省略可能な場合が考えられる。処理が省略可能なこのような原稿を簡便な方法で知ることができれば、処理の効率化を図ることができる。
欧米系とアジア系行とを区別する場合、欧米系文字行は横書きのみ、アジア系文字行は縦書き／横書きの両方可能という性質を持っているので、この性質を利用すれば、言語識別処理を簡易に行うことが可能になる。
注目文字行が横書きであれば、欧米系とアジア系の両方の可能性が考えられるので、詳細な言語識別処理を行う必要がある。
しかしながら、注目行が縦書きであれば、アジア系文字行としての可能性しかない。よって、詳細な言語処理の前に行方向に注目して、言語識別を簡易に行い、アジア系文字行という結果が得られる場合には、この結果に従って、行内矩形の高さに基づく判定処理を省略するような手順とすることにより、処理の効率化を図ることが可能になる。
この行内矩形の高さに基づく判定処理を省略する手順を行う追加のステップは、実施形態１に示した文字行が属する言語の判定処理手順（図５、図８）における行の言語判定ステップ（ｓｔｅｐ  ４、ｓｔｅｐ  ４−５）の中でそれぞれ行うことにより実施し得る。
【００２２】
「実施形態８」
本実施形態は、本発明に係わる画像処理装置の実施形態を示すものである。上記した「実施形態１〜７」に示した文字行が属する言語の判定方法及び原稿に対する言語の判定方法における処理ステップを実行する手段として、汎用の処理装置（コンピュータ）を利用して構成される装置を例示するものである。
図１０は、本実施形態の画像処理装置の構成を例示する。図１０に示すように、本例は、汎用の処理装置（コンピュータ）により実施する例を示すものであり、構成要素としてＣＰＵ１、メモリ２、ハードディスクドライブ３、スキャナー、キーボード、マウス等の入力装置４、ＣＤ−ＲＯＭドライブ５、ディスプレイ６、フレキシブルディスクドライブ７、通信装置８などを用意し、これらをバス接続して構成する。
また、記憶手段としてのメモリ２、ハードディスクドライブ３、ＣＤ−ＲＯＭドライブ５、フレキシブルディスクドライブ７が用いる記憶媒体（図示せず）の一部には、本発明に係わる文字認識処理や画像処理の機能を実現し、上記実施形態に示した言語の判定方法で述べた処理手順を実現させるためのプログラム（ソフトウェア）が記録されている。
処理対象の原稿文書画像は、スキャナー等の入力装置４により入力され、例えばハードディスク３などに格納されているものである。ＣＰＵ１は、記憶手段が有する記録媒体から上記した処理機能・処理方法を実現するプログラムを読み出し、プログラムに従う処理を対象文書画像に実行し、その処理結果等をディスプレイ６などに出力する。
なお、本発明に係わる画像処理装置を、図１１に示すように、通信装置８によりインターネットなどの通信回線２０を介して、外部の装置１１〜１３と接続して、機能の一部をネットワーク上に持つような形態で実施してもよい。
【００２３】
【発明の効果】
（１）  請求項１の発明に対応する効果
外接矩形の始点（文字頂部・最前部の座標）の文字行内における高さに関する情報を集計し、集計した高さ情報の分布状態を言語種類の属性を示す所定の基準分布状態と対比することにより文字行の属する言語を判定するようにしたので、文字行の言語の種類を判定するための処理手順を簡略化し、計算負荷の増大を招かず、処理の高速化を図ることが可能となる。また、文字認識処理に適用することにより、特に新たに行の特徴を抽出する処理ではなく、行切り出し処理の過程で得られる特徴を利用することにより、高速に言語識別処理を実現でき、言語識別結果に応じて、言語に最適な文書処理を自動選択する基準を求めることができ、認識処理に有効な手法を提供することが可能になる。
（２）  請求項２の発明に対応する効果
欧米系言語の特徴を表さない（雑音となる）行内矩形の高さデータを削除するようにしたので、言語の判定精度を上げることが可能になる。
（３）  請求項３，４の発明に対応する効果
行内矩形の終点データという、新たなデータの抽出処理をせずに得られるデータに基づいて、文字列のベースラインを算出し、これによって外接矩形の始点高さのスキュー補正ができるので、正しい言語判定を行うことが可能になる。また、スキュー直線（ベースライン）の算出に雑音となるデータを除くようにしたので、精度を向上させることが可能になる。
【００２４】
（４）  請求項５の発明に対応する効果
各文字行の判定結果を、処理対象とした文書（原稿）単位で集計し、原稿全体に一つの判定結果が得られるようにしたので、判定結果を利用した処理を行う場合に、処理の効率化を図ることが可能になる。
（５）  請求項６，７の発明に対応する効果
正しい判定結果が得られる条件の存在をチェックする手順を用いるようにしたので、誤判定を回避することができ、判定の信頼性が向上し、また判定結果を利用した処理を行う場合に、処理効率を損なうことがない。
（６）  請求項８の発明に対応する効果
文字行の方向に基づいてアジア系文字行を簡易に判定することができるので、この結果に従って、行内矩形の高さに基づく判定処理を省略するような手順とすることにより、処理の効率化を図ることが可能になる。
【００２５】
（７）  請求項９〜１１の発明に対応する効果
請求項１ないし８のいずれかに記載された画像処理方法の各ステップを実行するためのプログラムを汎用の処理装置（コンピュータ）に搭載することにより、上記（１）〜（６）の効果を容易に具現化することが可能になる。またプログラムを記録媒体として提供することにより利便性を高めることができる。
【図面の簡単な説明】
【図１】処理対象となる文書画像の一例を示す。
【図２】文書画像の例（図１）における文字と見なせる黒ランの外接矩形を作成した結果を示す。
【図３】文書画像の例（図１）において統合処理の結果得られる文字行の矩形と文字外接矩形を示す。
【図４】（Ａ）は矩形座標の定義を示し、（Ｂ），（Ｃ）は、それぞれ欧米系文字行とアジア系文字行の、行内矩形の配置例を示す。
【図５】文字行が属する言語の判定処理の基本的な手順を示すフローチャートである。
【図６】補償が必要な例としてのドット（文字行の高さの中点に位置する）を示す。
【図７】スキューが生じた場合の入力文書画像の例を示す。
【図８】スキュー補正を可能にした言語の判定処理手順を示すフローチャートである。
【図９】文書（原稿）全体にわたって判定結果を集計するステップを行う言語の判定処理手順を示すフローチャートである。
【図１０】本発明の実施形態に係わる画像処理装置の構成を示す。
【図１１】本発明の実施形態に係わる画像処理装置の他の構成を示す。
【符号の説明】
１…ＣＰＵ、                    ２…メモリ、
３…ハードディスクドライブ、    ４…入力装置、
５…ＣＤ−ＲＯＭドライブ、      ６…ディスプレイ（表示装置）、
７…ＦＤドライブ、              ８…通信装置。
【図１】
2004246546.tif 000003
【図２】
2004246546.tif 000004
【図３】
2004246546.tif 000005
【図４】
2004246546.tif 000006
【図５】
2004246546.tif 000007
【図６】
2004246546.tif 000008
【図７】
2004246546.tif 000009
【図８】
2004246546.tif 000010
【図９】
2004246546.tif 000011
【図１０】
2004246546.tif 000012
【図１１】
2004246546.tif 000013