(57)【特許請求の範囲】
【請求項１】
デジタル画像の天地方向を判定するテキスト方向判定システムであって、
上記デジタル画像に含まれるテキスト文字ごとに、外接矩形を特定する外接矩形判定手段と、
上記テキスト文字と、該テキスト文字に最も近接するテキスト文字とをテキスト文字対として認識し、両方のテキスト文字の外接矩形の座標に基づいて、テキスト文字対ごとの配置特徴量を算出する配置特徴量算出手段と、
上記配置特徴量算出手段が算出したテキスト文字対ごとの配置特徴量に基づいてヒストグラムを生成するヒストグラム生成手段と、
上記ヒストグラム生成手段が生成したヒストグラムに基づいて、テキストの天地方向を判定することにより、上記デジタル画像の天地方向を判定するテキスト方向判定手段とを備え、
上記配置特徴量算出手段は、
上記テキスト文字対のそれぞれの外接矩形の上下左右の４辺について、左辺同士の座標の差分である第１差分、右辺同士の座標の差分である第２差分、上辺同士の座標の差分である第３差分、および、下辺同士の座標の差分である第４差分を、４つの配置特徴量として求め、
上記ヒストグラム生成手段は、
テキスト文字対ごとの第１差分について、差分の大きさと度数とを示す第１ヒストグラムと、
テキスト文字対ごとの第２差分について、差分の大きさと度数とを示す第２ヒストグラムと、
テキスト文字対ごとの第３差分について、差分の大きさと度数とを示す第３ヒストグラムと、
テキスト文字対ごとの第４差分について、差分の大きさと度数とを示す第４ヒストグラムとを生成し、
上記テキスト方向判定手段は、
（１）上記ヒストグラムに基づいて、上記外接矩形の上下左右の４辺のうち、辺の座標のばらつきが最も少ない辺がいずれであるのかを特定することにより、（２）上記テキストの言語が、アセンダーを有するテキスト文字の方がディセンダーを有するテキスト文字よりも多く出現する言語、または、ディセンダーを有するテキスト文字の方がアセンダーを有するテキスト文字よりも多く出現する言語のいずれであるのかに応じて、上記テキストの天地方向を判定することを特徴とするテキスト方向判定システム。
【請求項２】
上記テキスト方向判定手段は、
上記テキストの言語が、アセンダーを有するテキスト文字の方がディセンダーを有するテキスト文字よりも多く出現する言語である場合に、
上記４つのヒストグラムのうち、差分が最も小さいビンにおける度数が最も大きいヒストグラムを特定し、上記外接矩形における、特定したヒストグラムに対応する辺を下側としてテキストの天地方向を判定する一方、
上記テキストの言語が、ディセンダーを有するテキスト文字の方がアセンダーを有するテキスト文字よりも多く出現する言語である場合に、
上記４つのヒストグラムのうち、差分が最も小さいビンにおける度数が最も大きいヒストグラムを特定し、上記外接矩形における、特定したヒストグラムに対応する辺を上側としてテキストの天地方向を判定することを特徴とする請求項１に記載のテキスト方向判定システム。
【請求項３】
上記テキスト文字対が含まれるテキストラインの方向が斜め方向に傾いている場合に、
各テキスト文字の外接矩形の各辺が、上記テキストラインに対して平行または垂直になるように外接矩形を補正する傾き補正手段を備えていることを特徴とする請求項１または２に記載のテキスト方向判定システム。
【請求項４】
上記テキスト文字対が含まれるテキストラインの方向が、上記デジタル画像の座標系において水平または垂直となるように、上記テキストラインの傾きに基づいて、上記座標系を回転させる座標補正手段を備えていることを特徴とする請求項１または２に記載のテキスト方向判定システム。
【請求項５】
デジタル画像の天地方向を判定するテキスト方向判定システムの制御方法であって、
上記テキスト方向判定システムの外接矩形判定手段が、上記デジタル画像に含まれるテキスト文字ごとに、外接矩形を特定する外接矩形判定ステップと、
上記テキスト方向判定システムの配置特徴量算出手段が、上記テキスト文字と、該テキスト文字に最も近接するテキスト文字とをテキスト文字対として認識し、両方のテキスト文字の外接矩形の座標に基づいて、テキスト文字対ごとの配置特徴量を算出する配置特徴量算出ステップと、
上記テキスト方向判定システムのヒストグラム生成手段が、上記配置特徴量算出ステップにて算出されたテキスト文字対ごとの配置特徴量に基づいてヒストグラムを生成するヒストグラム生成ステップと、
上記テキスト方向判定システムのテキスト方向判定手段が、上記ヒストグラム生成ステップにて生成されたヒストグラムに基づいて、テキストの天地方向を判定することにより、上記デジタル画像の天地方向を判定するテキスト方向判定ステップとを含み、
上記配置特徴量算出ステップでは、
上記テキスト文字対のそれぞれの外接矩形の上下左右の４辺について、左辺同士の座標の差分である第１差分、右辺同士の座標の差分である第２差分、上辺同士の座標の差分である第３差分、および、下辺同士の座標の差分である第４差分を、４つの配置特徴量として求め、
上記ヒストグラム生成ステップでは、
テキスト文字対ごとの第１差分について、差分の大きさと度数とを示す第１ヒストグラムと、
テキスト文字対ごとの第２差分について、差分の大きさと度数とを示す第２ヒストグラムと、
テキスト文字対ごとの第３差分について、差分の大きさと度数とを示す第３ヒストグラムと、
テキスト文字対ごとの第４差分について、差分の大きさと度数とを示す第４ヒストグラムとを生成し、
上記テキスト方向判定ステップでは、
（１）上記ヒストグラムに基づいて、上記外接矩形の上下左右の４辺のうち、辺の座標のばらつきが最も少ない辺がいずれであるのかを特定することにより、（２）上記テキストの言語が、アセンダーを有するテキスト文字の方がディセンダーを有するテキスト文字よりも多く出現する言語、または、ディセンダーを有するテキスト文字の方がアセンダーを有するテキスト文字よりも多く出現する言語のいずれであるのかに応じて、上記テキストの天地方向を判定することを特徴とするテキスト方向判定システムの制御方法。
【請求項６】
コンピュータを、請求項１から４までのいずれか１項に記載のテキスト方向判定システムの各手段として機能させるための制御プログラム。
【請求項７】
請求項６に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像におけるテキスト方向判定方法およびシステムに関するものである。
【背景技術】
【０００２】
電子文書におけるページの天地方向は、元の原稿の天地方向（以下、通常の天地方向と称する）に一致しているとは限らない。これは、スキャン方向、スキャナの原稿台に置くときの原稿の向き、および、その他の要素が関係しているためである。電子文書における天地方向と通常の天地方向との不一致は、当該電子文書を処理する上で、望まない、意図しない、最適でない、あるいは、満足のいかない結果を引き起こす。例えば、仕上げの処理が上記電子文書の印刷されたものに適用される場合、方向の違うものが印刷されると、望ましくない結果が出力されてしまう。仕上げの処理の具体例としては、装丁、ステープリング、および、他の仕上げ処理が挙げられる。その上、画像処理（例えば、光学文字認識（ＯＣＲ）など）を許容レベル以上の精度で実行するためには、入力データの方向判定が特に必要となる。したがって、電子文書の天地方向が通常の天地方向と比べてどうなっているのかが明らかにならないと、コンピュータモニタ、携帯型ディスプレイなどの表示装置に適切な方向にて表示できないという問題がある。
【０００３】
例えば、特許文献１には、画像データの濃度値を用いてパターンマッチングを行うことにより、行および文字を特定して、小文字の位置および数に基づいて、行（書類）の上下方向を判定する方法および装置が開示されている。
【特許文献１】特開平８−２０２８１５（１９９６年８月９日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の構成では、処理が複雑であるために装置に高負荷がかかるとともに、大容量のメモリが必要になるなどのハードウェア上の制約が生じるという問題がある。具体的には、特許文献１の構成では、書類の上下を判別するために、行の画像情報をぼかして正規化した濃度値ヒストグラムを用いたパターンマッチング、小文字の数の抽出、および、句点位置の抽出などを行っており処理が複雑かつ高負荷である。また、パターンマッチングには、それ専用のメモリ容量をある程度確保しなければならない。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、処理負荷を軽減し、メモリ容量を少なくしても、テキスト方向を判定することが可能なデジタル画像におけるテキスト方向判定方法およびシステム、ならびに、制御プログラムおよび記録媒体を実現することにある。
【課題を解決するための手段】
【０００６】
本発明のテキスト方向判定方法は、上記課題を解決するために、デジタル画像のテキストの方向を判定するテキスト方向判定方法であって、ａ）デジタル画像における複数のテキストオブジェクト対の各々について、第１配置特徴の第１配置特徴量を算出することにより、第１の複数の特徴量値を生成するステップと、ｂ）上記複数のテキストオブジェクト対の各々について、第２配置特徴の第２配置特徴量を算出することにより、第２の複数の特徴量値を生成するステップと、ｃ）上記第１の複数の特徴量値の第１ヒストグラムを生成するステップと、ｄ）上記第２の複数の特徴量値の第２ヒストグラムを生成するステップと、ｅ）上記第１ヒストグラムおよび上記第２ヒストグラムに基づいて、デジタル画像におけるテキスト方向を判定するステップとを含むことを特徴としている。
【０００７】
上記方法によれば、方向判定に利用される情報は、テキストオブジェクトの配置から得られる特徴量である。例えば、配置の特徴量としては、文字の外接矩形についての座標情報などが含まれる。
【０００８】
このように、座標情報などの情報サイズの小さい特徴量を用いてテキスト方向を判定することができるので、テキスト方向判定方法を実行する装置の処理負荷を軽減することが可能である。その上、パターンマッチングを行う必要がないのでパターンマッチング用にメモリを確保する必要がなく、メモリサイズを大幅に削減することが可能となる。
【０００９】
上記テキスト方向を判定するステップは、文字の配置に関連して行われてもよい。
【００１０】
あるいは、上記テキスト方向を判定するステップは、アセンダーを有するテキスト文字と、ディセンダーを有するテキスト文字との、書かれている言語における相対出現頻度に関連して行われてもよい。
【００１１】
上記複数のテキストオブジェクト対の少なくとも１つの対は、上記デジタル画像において隣り合うテキストオブジェクト同士である、第１テキストオブジェクトおよび第２テキストオブジェクトを含んでいてもよい。
【００１２】
あるいは、上記複数のテキストオブジェクト対の少なくとも１つの対は、上記デジタル画像において互いに隣り合わないテキストオブジェクト同士である、第１テキストオブジェクトおよび第２テキストオブジェクトを含んでいてもよい。
【００１３】
上記複数のテキストオブジェクト対の各々は、第１テキストオブジェクトが第２テキストオブジェクトとは実質同じサイズではないような、第１テキストオブジェクトおよび第２テキストオブジェクトを含んでいてもよい。
【００１４】
上記テキスト方向判定方法は、さらに、上記第１配置特徴の第１配置特徴量を算出することにより第１の複数の特徴量値を生成するステップ、および、上記第２配置特徴の第２配置特徴量を算出することにより第２の複数の特徴量値を生成するステップに先行して、傾き角度にしたがって、上記複数のテキストオブジェクト対の各々の傾きを補正するステップをさらに含んでいてもよい。
【００１５】
上記複数のテキストオブジェクト対の各々は、第１テキストオブジェクトおよび第２テキストオブジェクトを含んでおり、ａ）上記の、複数のテキストオブジェクト対の各々について第１配置特徴の第１配置特徴量を算出することにより第１の複数の特徴量値を生成するステップは、ｉ）上記第１テキストオブジェクトの第１境界線と、対応している上記第２テキストオブジェクトの第１境界線との間の第１絶対差分を判定することにより、上記第１ヒストグラムを上記第１境界線に関連付けるステップを含み、ｂ）上記の、複数のテキストオブジェクト対の各々について第２配置特徴の第２配置特徴量を算出することにより第２の複数の特徴量値を生成するステップは、ｉ）上記第１テキストオブジェクトの第２境界線と、対応している上記第２テキストオブジェクトの第２境界線との間の第２絶対差分を判定することにより、上記第２ヒストグラムを上記第２境界線に関連付けるステップを含んでいてもよい。
【００１６】
上記テキスト方向を判定するステップは、ａ）上記第１ヒストグラムから、実質ゼロの第１絶対差分に対応する第１出現頻度を判定するステップと、ｂ）上記第２ヒストグラムから、実質ゼロの第２絶対差分に対応する第２出現頻度を判定するステップと、ｃ）上記第１出現頻度が、上記第２出現頻度よりも大きく、かつ、書かれた言語において、アセンダーを有するテキスト文字が、ディセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記テキスト方向のベースライン辺を、上記第１境界線に関連付けるステップと、ｄ）上記第１出現頻度が、上記第２出現頻度よりも小さく、かつ、書かれた言語において、アセンダーを有するテキスト文字が、ディセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記テキスト方向のベースライン辺を、上記第２境界線に関連付けるステップとを含んでいてもよい。
【００１７】
上記テキスト方向を判定するステップは、ａ）上記第１ヒストグラムから、実質ゼロの第１絶対差分に対応する第１出現頻度を判定するステップと、ｂ）上記第２ヒストグラムから、実質ゼロの第２絶対差分に対応する第２出現頻度を判定するステップと、ｃ）上記第１出現頻度が、上記第２出現頻度よりも小さく、かつ、書かれた言語において、ディセンダーを有するテキスト文字が、アセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記テキスト方向のベースライン辺を、上記第１境界線に関連付けるステップと、ｄ）上記第１出現頻度が、上記第２出現頻度よりも大きく、かつ、書かれた言語において、ディセンダーを有するテキスト文字が、アセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記テキスト方向のベースライン辺を、上記第２境界線に関連付けるステップとを含んでいてもよい。
【００１８】
上記テキスト方向判定方法は、さらに、ａ）上記複数のテキストオブジェクト対の各々について、第３配置特徴の第３配置特徴値を算出することにより、第３の複数の特徴値を生成するステップと、ｂ）上記複数のテキストオブジェクト対の各々について、第４配置特徴の第４配置特徴値を算出することにより、第４の複数の特徴値を生成するステップと、ｃ）上記第３の複数の特徴値の第３ヒストグラムを生成するステップと、ｄ）上記第４の複数の特徴値の第４ヒストグラムを生成するステップとを含み、ｅ）上記デジタル画像における上記テキスト方向を判定するステップは、上記第１ヒストグラム、上記第２ヒストグラム、上記第３ヒストグラムおよび上記第４ヒストグラムに基づいて実行されてもよい。
【００１９】
上記複数のテキストオブジェクト対の各々は、第１テキストオブジェクトおよび第２テキストオブジェクトを含んでおり、ａ）上記複数のテキストオブジェクト対の各々について、上記第３の複数の特徴値を生成するステップは、ｉ）上記第１テキストオブジェクトの第３境界線と、対応している上記第２テキストオブジェクトの第３境界線との間の第３絶対差分を判定することにより、上記第３ヒストグラムを上記第３境界線に関連付けるステップを含み、ｂ）上記複数のテキストオブジェクト対の各々について、上記第４の複数の特徴値を生成するステップは、ｉ）上記第１テキストオブジェクトの第４境界線と、対応している上記第２テキストオブジェクトの第４境界線との間の第４絶対差分を判定することにより、上記第４ヒストグラムを上記第４境界線に関連付けるステップを含んでいてもよい。
【００２０】
上記テキスト方向を判定するステップは、ａ）上記第１ヒストグラムから、実質ゼロの第１絶対差分に対応する第１出現頻度を判定するステップと、ｂ）上記第２ヒストグラムから、実質ゼロの第２絶対差分に対応する第２出現頻度を判定するステップと、ｃ）上記第３ヒストグラムから、実質ゼロの第３絶対差分に対応する第３出現頻度を判定するステップと、ｄ）上記第４ヒストグラムから、実質ゼロの第４絶対差分に対応する第４出現頻度を判定するステップと、ｅ）上記第１出現頻度、上記第２出現頻度、上記第３出現頻度、および、上記第４出現頻度の中から最大出現頻度を判定して、該最大出現頻度に関連付けられたヒストグラムを判定するステップと、ｆ）書かれた言語において、アセンダーを有するテキスト文字がディセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記最大出現頻度に関連付けられた上記ヒストグラムに対応する上記境界線に、上記テキスト方向のベースライン辺を関連付けるステップとを含んでいてもよい。
【００２１】
上記テキスト方向を判定するステップは、ａ）上記第１ヒストグラムから、実質ゼロの第１絶対差分に対応する第１出現頻度を判定するステップと、ｂ）上記第２ヒストグラムから、実質ゼロの第２絶対差分に対応する第２出現頻度を判定するステップと、ｃ）上記第３ヒストグラムから、実質ゼロの第３絶対差分に対応する第３出現頻度を判定するステップと、ｄ）上記第４ヒストグラムから、実質ゼロの第４絶対差分に対応する第４出現頻度を判定するステップと、ｅ）上記第１出現頻度、上記第２出現頻度、上記第３出現頻度、および、上記第４出現頻度の中から最大出現頻度を判定して、該最大出現頻度に関連付けられたヒストグラムを判定するステップと、ｆ）書かれた言語において、ディセンダーを有するテキスト文字がアセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記最大出現頻度に関連付けられた上記ヒストグラムに対応する上記境界線に対向する境界線に、上記テキスト方向のベースライン辺を関連付けるステップとを含んでいてもよい。
【００２２】
上記テキスト方向判定方法は、さらに、上記デジタル画像の傾き角度を補正するステップをさらに含んでいてもよい。
【００２３】
本発明のテキスト方向判定システムは、上記課題を解決するために、デジタル画像のテキストの方向を判定するテキスト方向判定システムであって、ａ）デジタル画像における複数のテキストオブジェクト対の各々について、第１配置特徴の第１配置特徴量を算出することにより、第１の複数の特徴量値を生成する第１配置特徴量算出手段と、ｂ）上記複数のテキストオブジェクト対の各々について、第２配置特徴の第２配置特徴量を算出することにより、第２の複数の特徴量値を生成する第２配置特徴量算出手段と、ｃ）上記第１の複数の特徴量値の第１ヒストグラムを生成する第１ヒストグラム生成手段と、ｄ）上記第２の複数の特徴量値の第２ヒストグラムを生成する第２ヒストグラム生成手段と、ｅ）上記第１ヒストグラムおよび上記第２ヒストグラムに基づいて、デジタル画像におけるテキスト方向を判定するテキスト方向判定手段とを備えていることを特徴としている。
【００２４】
上記構成によれば、各配置特徴量算出手段は、方向判定に利用される情報として、テキストオブジェクトの配置から得られる特徴量を算出する。例えば、配置の特徴量として、テキストオブジェクトの外接矩形についての座標情報など、および、それらの差分値などを算出する。
【００２５】
そして、テキスト方向判定手段は、上記座標情報などの情報サイズの小さい特徴量を用いてテキスト方向を判定することができるので、テキスト方向判定システムの処理負荷を軽減することが可能である。その上、パターンマッチングを行う必要がないのでパターンマッチング用にメモリを確保する必要がなく、メモリサイズを大幅に削減することが可能となる。
【００２６】
上記テキスト方向判定システムは、さらに、上記第１配置特徴量算出手段が第１配置特徴の第１配置特徴量を算出するのに先行して、および、上記第２配置特徴量算出手段が第２配置特徴の第２配置特徴量を算出するのに先行して、傾き角度にしたがって、上記複数のテキストオブジェクト対の各々の傾きを補正する傾き補正手段をさらに備えていてもよい。
【００２７】
上記複数のテキストオブジェクト対の各々は、第１テキストオブジェクトおよび第２テキストオブジェクトを含んでおり、ａ）上記第１配置特徴量算出手段は、ｉ）上記第１ヒストグラムを第１境界線に関連付けるための、上記第１テキストオブジェクトの第１境界線と、それに対応する上記第２テキストオブジェクトの第１境界線との間の第１絶対差分を判定する第１減算手段を備え、ｂ）上記第２配置特徴量算出手段は、ｉ）上記第２ヒストグラムを第２境界線に関連付けるための、上記第１テキストオブジェクトの第２境界線と、それに対応する上記第２テキストオブジェクトの第２境界線との間の第２絶対差分を判定する第２減算手段を備えていてもよい。
【００２８】
上記テキスト方向判定手段は、ａ）上記第１ヒストグラムから、実質ゼロの第１絶対差分に対応する第１出現頻度を判定する第１出現頻度判定手段と、ｂ）上記第２ヒストグラムから、実質ゼロの第２絶対差分に対応する第２出現頻度を判定する第２出現頻度判定手段と、ｃ）ベースライン関連付け手段とを備え、上記ベースライン関連付け手段は、ｉ）上記第１出現頻度が上記第２出現頻度よりも大きく、かつ、書かれた言語において、アセンダーを有するテキスト文字がディセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記テキスト方向のベースライン辺を、上記第１境界線に関連付け、ii）上記第１出現頻度が上記第２出現頻度よりも小さく、かつ、書かれた言語において、アセンダーを有するテキスト文字がディセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記テキスト方向のベースライン辺を、上記第２境界線に関連付けてもよい。
【００２９】
上記テキスト方向判定手段は、ａ）上記第１ヒストグラムから、実質ゼロの第１絶対差分に対応する第１出現頻度を判定する第１出現頻度判定手段と、ｂ）上記第２ヒストグラムから、実質ゼロの第２絶対差分に対応する第２出現頻度を判定する第２出現頻度判定手段と、ｃ）ベースライン関連付け手段とを備え、上記ベースライン関連付け手段は、ｉ）上記第１出現頻度が上記第２出現頻度よりも小さく、かつ、書かれた言語において、ディセンダーを有するテキスト文字がアセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記テキスト方向のベースライン辺を、上記第１境界線に関連付け、ii）上記第１出現頻度が上記第２出現頻度よりも大きく、かつ、書かれた言語において、ディセンダーを有するテキスト文字がアセンダーを有するテキスト文字よりもその出現頻度が大きい場合に、上記テキスト方向のベースライン辺を、上記第２境界線に関連付けてもよい。
【００３０】
本発明のテキスト方向判定方法は、上記課題を解決するために、デジタル画像のテキストの方向を判定するテキスト方向判定方法であって、ａ）デジタル画像から第１テキストオブジェクトを選択するステップと、ｂ）上記第１テキストオブジェクトについて、第１外接矩形を判定するステップと、ｃ）上記デジタル画像から第２テキストオブジェクトを選択するステップと、ｄ）上記第２テキストオブジェクトについて、第２外接矩形を判定するステップと、ｅ）上記第１テキストオブジェクトのサイズが、上記第２テキストオブジェクトのサイズと実質異なる場合に、ｉ）上記第１テキストオブジェクトおよび上記第２テキストオブジェクトについて、上記第１外接矩形の第１辺に関連している第１外接矩形特徴の第１外接矩形特徴量を判定するステップと、ii）上記第１外接矩形特徴量に基づいて第１ヒストグラムを更新するステップと、iii）上記第１テキストオブジェクトおよび上記第２テキストオブジェクトについて、上記第１外接矩形の第２辺に関連している第２外接矩形特徴の第２外接矩形特徴量を判定するステップと、iv）上記第２外接矩形特徴量に基づいて第２ヒストグラムを更新するステップと、ｖ）上記第１テキストオブジェクトおよび上記第２テキストオブジェクトについて、上記第１外接矩形の第３辺に関連している第３外接矩形特徴の第３外接矩形特徴量を判定するステップと、vi）上記第３外接矩形特徴量に基づいて第３ヒストグラムを更新するステップと、vii）上記第１テキストオブジェクトおよび上記第２テキストオブジェクトについて、上記第１外接矩形の第４辺に関連している第４外接矩形特徴の第４外接矩形特徴量を判定するステップと、viii）上記第４外接矩形特徴量に基づいて第４ヒストグラムを更新するステップと、ｆ）第１ヒストグラム、上記第２ヒストグラム、上記第３ヒストグラム、および、上記第４ヒストグラムに基づいて、上記デジタル画像におけるテキスト方向を判定するステップとを含むことを特徴としている。
【００３１】
上記方法によれば、方向判定に利用される情報は、テキストオブジェクトの配置から得られる特徴量である。特に、テキストオブジェクトの外接矩形の座標情報から特徴量が算出される。
【００３２】
このように、座標情報などの情報サイズの小さい特徴量を用いてテキスト方向を判定することができるので、テキスト方向判定方法を実行する装置の処理負荷を軽減することが可能である。その上、パターンマッチングを行う必要がないのでパターンマッチング用にメモリを確保する必要がなく、メモリサイズを大幅に削減することが可能となる。
【００３３】
上記テキスト方向判定方法において、上記第１テキストオブジェクトおよび上記第２テキストオブジェクトは、上記デジタル画像において互いに隣り合うテキストオブジェクトであってもよい。
【００３４】
上記テキスト方向判定方法において、上記第１テキストオブジェクトおよび上記第２テキストオブジェクトは、上記デジタル画像において互いに隣り合わないテキストオブジェクトであってもよい。
【００３５】
なお、上記テキスト方向判定システムは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記テキスト方向判定システムをコンピュータにて実現させるテキスト方向判定システムの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００３６】
本発明のテキスト方向判定方法は、上記課題を解決するために、デジタル画像のテキストの方向を判定するテキスト方向判定方法であって、ａ）デジタル画像における複数のテキストオブジェクト対の各々について、第１配置特徴の第１配置特徴量を算出することにより、第１の複数の特徴量値を生成するステップと、ｂ）上記複数のテキストオブジェクト対の各々について、第２配置特徴の第２配置特徴量を算出することにより、第２の複数の特徴量値を生成するステップと、ｃ）上記第１の複数の特徴量値の第１ヒストグラムを生成するステップと、ｄ）上記第２の複数の特徴量値の第２ヒストグラムを生成するステップと、ｅ）上記第１ヒストグラムおよび上記第２ヒストグラムに基づいて、デジタル画像におけるテキスト方向を判定するステップとを含むことを特徴としている。
【００３７】
本発明のテキスト方向判定システムは、上記課題を解決するために、デジタル画像のテキストの方向を判定するテキスト方向判定システムであって、ａ）デジタル画像における複数のテキストオブジェクト対の各々について、第１配置特徴の第１配置特徴量を算出することにより、第１の複数の特徴量値を生成する第１配置特徴量算出手段と、ｂ）上記複数のテキストオブジェクト対の各々について、第２配置特徴の第２配置特徴量を算出することにより、第２の複数の特徴量値を生成する第２配置特徴量算出手段と、ｃ）上記第１の複数の特徴量値の第１ヒストグラムを生成する第１ヒストグラム生成手段と、ｄ）上記第２の複数の特徴量値の第２ヒストグラムを生成する第２ヒストグラム生成手段と、ｅ）上記第１ヒストグラムおよび上記第２ヒストグラムに基づいて、デジタル画像におけるテキスト方向を判定するテキスト方向判定手段とを備えていることを特徴としている。
【００３８】
本発明のテキスト方向判定方法は、上記課題を解決するために、デジタル画像のテキストの方向を判定するテキスト方向判定方法であって、ａ）デジタル画像から第１テキストオブジェクトを選択するステップと、ｂ）上記第１テキストオブジェクトについて、第１外接矩形を判定するステップと、ｃ）上記デジタル画像から第２テキストオブジェクトを選択するステップと、ｄ）上記第２テキストオブジェクトについて、第２外接矩形を判定するステップと、ｅ）上記第１テキストオブジェクトのサイズが、上記第２テキストオブジェクトのサイズと実質異なる場合に、ｉ）上記第１テキストオブジェクトおよび上記第２テキストオブジェクトについて、上記第１外接矩形の第１辺に関連している第１外接矩形特徴の第１外接矩形特徴量を判定するステップと、ii）上記第１外接矩形特徴量に基づいて第１ヒストグラムを更新するステップと、iii）上記第１テキストオブジェクトおよび上記第２テキストオブジェクトについて、上記第１外接矩形の第２辺に関連している第２外接矩形特徴の第２外接矩形特徴量を判定するステップと、iv）上記第２外接矩形特徴量に基づいて第２ヒストグラムを更新するステップと、ｖ）上記第１テキストオブジェクトおよび上記第２テキストオブジェクトについて、上記第１外接矩形の第３辺に関連している第３外接矩形特徴の第３外接矩形特徴量を判定するステップと、vi）上記第３外接矩形特徴量に基づいて第３ヒストグラムを更新するステップと、vii）上記第１テキストオブジェクトおよび上記第２テキストオブジェクトについて、上記第１外接矩形の第４辺に関連している第４外接矩形特徴の第４外接矩形特徴量を判定するステップと、viii）上記第４外接矩形特徴量に基づいて第４ヒストグラムを更新するステップと、ｆ）第１ヒストグラム、上記第２ヒストグラム、上記第３ヒストグラム、および、上記第４ヒストグラムに基づいて、上記デジタル画像におけるテキスト方向を判定するステップとを含むことを特徴としている。
【００３９】
したがって、処理負荷を軽減し、メモリ容量を少なくしても、テキスト方向を判定することが可能になるという効果を奏する。
【発明を実施するための最良の形態】
【００４０】
本発明の一実施形態によれば、本発明は、デジタル画像におけるテキスト方向判定方法およびシステムを含んでいる。本発明のある実施形態は、デジタル画像のテキストラインの方向を判定することができる。テキストラインの第１端と第２端との相対的な配置特徴量を判定することができる。そして、テキストラインにおけるテキストの方向は、上記配置特徴量と、ディセンダーのテキスト文字の相対的出現頻度と、特定の言語あるいは言語グループで書かれたテキストにおけるアセンダーのテキスト文字とに基づいて判定される。
【００４１】
上述のおよびその他の、本発明の目的、特徴、および、利点は、添付の図面に基づいてなされる本発明の以下の詳細な説明によって、さらに容易に理解されるであろう。
【００４２】
本発明の実施形態は、順に付された番号によって指定される各図を参照することによって、最もよく理解されるであろう。（図面の簡単な説明）の項にリストアップされた各図は、この発明の詳細な説明の一部として含まれていることを明確にする。
【００４３】
本発明の構成要素は、ここでは、汎称により説明および図示されている。本発明の構成要素は、様々な構成により広範囲に編集および設計を施すことが可能である。したがって、以下に示す、本発明の方法およびシステムの実施形態に関するより詳細な説明は、本発明の範囲を限定する意図はなく、本発明の好ましい一実施形態を代表するものにすぎない。
【００４４】
本発明の実施形態における各要素は、ハードウェア、ファームウェア、および／または、ソフトウェアのいずれにおいても実現し得る。ここに開示される実施形態の具体例では、上述の形式のうちの一つによってのみ記載されているが、当業者によって、本発明の範囲内において、各要素は上述のいずれの形式によっても有効に実現し得ることを理解されたい。
【００４５】
電子文書におけるページの天地方向は、元の原稿の天地方向（以下、通常の天地方向と称する）に一致しているとは限らない。これは、スキャン方向、スキャナの原稿台に置くときの原稿の向き、および、その他の要素が関係しているためである。電子文書における天地方向と通常の天地方向との不一致は、当該電子文書を処理する上で、望まない、意図しない、最適でない、あるいは、満足のいかない結果を引き起こす。例えば、仕上げの処理が上記電子文書の印刷されたものに適用される場合、方向の違うものが印刷されると、望ましくない結果が出力されてしまう。仕上げの処理の具体例としては、装丁、ステープリング、および、他の仕上げ処理が挙げられる。その上、画像処理（例えば、光学文字認識（ＯＣＲ）など）を許容レベル以上の精度で実行するためには、入力データの方向判定が特に必要となる。したがって、電子文書の天地方向が通常の天地方向と比べてどうなっているのかが明らかにならないと、コンピュータモニタ、携帯型ディスプレイなどの表示装置に適切な方向にて表示できないという問題がある。
【００４６】
本発明の実施形態は、電子文書において、基本のテキスト方向を自動で判定するためのものである。テキスト方向とは、原稿の通常の天地方向と対応している。
【００４７】
図１Ａ〜図１Ｃに記載されている本発明の実施形態を以下で説明していく上で、印刷技術上の用語を用いる。これらの技術用語は、テキスト文字、文字列、記号、言語などに対応している。しかし、本発明は、これに限定されず、ラテン文字、ギリシャ文字、キリル文字、デバナーガリ文字、および、他のアルファベットなどの言語の文字に適用することが可能である。図１Ａは、ラテン文字のテキストラインの具体例を示す図である。図１Ｂは、キリル文字によるテキストラインの具体例を示す図である。図１Ｃは、デバナーガリ文字によるテキストラインの具体例を示す図である。テキスト文字が置かれているライン１、７、１１をベースラインと称する。ベースラインは文字の基本位置を決める仮想的な線であり、文字は、視覚的にこの線上に並ぶように見える。ラテン文字のアルファベットに関しては、すべての大文字がベースライン上に置かれる。また、ほとんどの小文字もこのベースライン上に置かれる。文字およびテキスト文字において、ベースライン１、７、１１の下に突き出た部分をディセンダーと称する。ラテン文字のアルファベットに関しては、“ｇ”、“ｊ”、“ｐ”、“ｑ”、および、“ｙ”がディセンダーを含んでいる。各テキスト文字のディセンダーが突き出る最終ラインを示すライン２、８、１２をディセンダーラインと称する。文字の主要部分よりも上に突き出た部分をアセンダーと称する。ラテン文字のアルファベットの小文字に関しては、“ｂ”、“ｄ”、“ｆ”、“ｈ”、“ｋ”、“ｌ”、および、“ｔ”がアセンダーを含んでいる。ラテン文字のアルファベットの大文字は、アセンダーを含んでいる。各テキスト文字のアセンダーが突き出る最終ラインを示すライン３、９、１３をアセンダーラインと称する。ラテン文字のアルファベットにおける、アセンダーもディセンダーも有していない小文字（例えば、“ｘ”）の高さ４は、ｘハイトと称する。アセンダーもディセンダーも含まない文字の上端を表すライン５、１０、１４をｘラインと称する。大文字の高さ６は、capハイトと称する。
【００４８】
標準的なラテン文字のアルファベットにおいては、７つのテキスト文字がアセンダーを有しており、５つのテキスト文字がディセンダーを有している。さらに、表１に示すとおり、典型的な英語の大量の文章のひとかたまりの中で、アセンダーを有するテキスト文字（表１の太字体参照のこと）は、ディセンダーを有するテキスト文字（表１の斜体参照のこと）に比べて、相対的に出現頻度が高い。ラテン文字のアルファベットの各テキスト文字における相対的な出現頻度は、使用言語（例えば、ラテン文字を基本とするヨーロッパ言語）によって様々である。したがって、あるアルファベット、例えば、キリル文字のアルファベットでは、ディセンダーを有するテキスト文字の数は、アセンダーを有するテキスト文字の数よりも多い。
【００４９】
〔テキスト方向判定システムの構成〕
本発明のテキスト方向判定方法を、コンピュータに実行させることが可能であり、これにより、本発明のテキスト方向判定システムを実現することが可能である。図１８は、本発明のテキスト方向判定システムの要部構成を示すブロック図である。
【００５０】
図１８に示すとおり、本発明のテキスト方向判定システム２００は、制御部２０１、デジタル文書画像取得部２０２、デジタル文書画像記憶部２０３およびメモリ２０４を備える構成となっている。
【００５１】
デジタル文書画像取得部２０２は、テキスト方向判定システム２００が読み取り可能な画像データの形式（例えば、ＪＰＧなど）にて、デジタル文書画像を取得するものである。デジタル文書画像取得部２０２は、通信網あるいは物理的に接続されたケーブルを介してデジタル文書画像を取得してもよいし、紙などの記録媒体に記録されている元の原稿をスキャンして読み取って、画像データとして取り込むことによりデジタル文書画像を取得してもよい。デジタル文書画像取得部２０２が取得したデジタル文書画像は、デジタル文書画像記憶部２０３に記憶される。
【００５２】
制御部２０１は、テキスト方向判定システム２００が備える各部の各種動作を制御するものであり、機能ブロックとして、テキストライン方向判定部２１０、外接矩形判定部２１１、特徴量算出モジュール２１２、ヒストグラム生成部２１３、傾き補正部２１４、座標補正部２１５、および、テキスト方向判定モジュール２１６を備えている。なお、上記機能ブロックとして示される各部、各モジュールは、ＣＰＵ（central processing unit）が不図示のＲＯＭ（read only memory）等の記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。
【００５３】
テキストライン方向判定部２１０は、テキストラインが延びる方向を判定するものである。例えば、文字列からなる１行が、水平方向か垂直方向かを判定する。言語ごとに、アセンダーまたはディセンダーを有する文字の数によって判断してもよい。本実施形態では、テキストライン方向判定部２１０は、テキスト文字の連続を１行ずつグループ化して、テキストラインとして認識する。テキストラインの水平方向、垂直方向は、テキストラインの外接矩形の特徴量によって判定されてもよいし、外接矩形のアスペクト比によって判定されてもよい。
【００５４】
外接矩形判定部２１１は、テキスト文字（１文字ずつ）、または、テキストライン（１行ずつ）の外接矩形を特定して、上記テキスト文字、または、上記テキストラインに関連付けるものである。外接矩形判定部２１１は、図３に示すとおり、テキストラインの外接矩形を、該テキストラインを構成するテキスト文字１つ１つの外接矩形の集合についての外接矩形から特定してもよい。
【００５５】
特徴量算出モジュール２１２は、テキスト文字、テキストオブジェクト、テキストラインの特徴量を算出するものである。例えば、テキスト文字間の特徴量を算出してもよい。あるいは、テキストラインごとに配置特徴量（上方向特徴量および下方向特徴量）を算出してもよい。特徴量算出モジュール２１２は、座標平均値算出部２２０、誤差量算出部２２１、差分算出部２２２、最大値算出部２２３、絶対値算出部２２４および累算部２２５を含んでいる。
【００５６】
座標平均値算出部２２０は、テキストラインとして特定された外接矩形のｘ１座標値またはｙ１座標値の座標平均値、ｘ２座標値またはｙ２座標値の座標平均値を算出するものである。誤差量算出部２２１は、テキスト文字の外接矩形座標とテキストライン座標平均値との誤差を算出するものである。算出された誤差量は、テキストのベースラインがどの位置にあるのかの指標として用いられる。差分算出部２２２は、複数の外接矩形の対応する辺、頂点などから得られる各測定量の差分を算出するものである。例えば、隣り合うテキスト文字同士の間の差分を算出してもよい（図５および図６）。あるいは、例えば、各テキスト文字、テキストラインの特定された外接矩形の各辺を第１〜第４エッジとしたとき、各テキスト文字の外接矩形の複数の第１エッジ位置測定量の各々と、テキストラインの外接矩形の第１エッジ位置測定量との間の差分を算出してもよい。最大値算出部２２３は、差分算出部２２２により算出された差分の最大値を算出するものである。絶対値算出部２２４は、差分の絶対値を算出するものである。例えば、差分算出部２２２が算出したエッジ位置測定量の差分の各々と、最大値算出部２２３が算出した最大値との差分の絶対値を算出して、エッジ位置測定量の差分の各々について、最大値との差分（difference-from-maximum values）を生成する。これらの値は、メモリ２０４に格納され、累算部２２５は、メモリ２０４を用いて、累算を実行するものである。例えば、累算部２２５が複数の特徴量をメモリ２０４に蓄積することで、それらの特徴量の合計値、平均値、最大値などが求められる。
【００５７】
ヒストグラム生成部２１３は、特徴量算出モジュール２１２の各部によって算出された特徴量に基づいてヒストグラムを生成するものである。
【００５８】
傾き補正部２１４は、デジタル文書画像取得部２０２によって取得されたデジタル文書画像の傾きをあらかじめ補正するものである。
【００５９】
座標補正部２１５は、デジタル文書画像取得部２０２によって取得されたデジタル文書画像の各外接矩形の座標値の傾きを補正後の座標系に置き換えるものである。
【００６０】
テキスト方向判定モジュール２１６は、特徴量算出モジュール２１２によって算出された特徴量に応じて、テキスト（原稿）の天地方向を判定するものである。テキスト方向判定モジュール２１６は、ヒストグラム生成部２１３によって生成されたヒストグラム、原稿に書かれている言語の種類、または、テキストライン方向判定部２１０が判定するテキストラインの方向をさらに参照して、テキスト方向を判定してもよい。
【００６１】
テキスト方向判定モジュール２１６は、ベースライン辺判定部２３０、出現頻度判定部２３１、および、ベースライン関連付け部２３２を備えている。
【００６２】
ベースライン辺判定部２３０は、言語（アセンダー、ディセンダーの相対出現頻度）、テキストラインの判定方向および特徴量に基づいて、テキストラインにおけるベースラインの位置を判定するものである。
【００６３】
出現頻度判定部２３１は、外接矩形の４つの特徴量の出現頻度を判定するものである。例えば、外接矩形の第１辺について、実質ゼロの第１絶対差分に対応する第１出現頻度を判定する。
【００６４】
ベースライン関連付け部２３２は、言語において予測されるアセンダーおよびディセンダーの相対出現頻度に基づいて、外接矩形の特徴量とテキストの方向との関連付けを行うものである。
【００６５】
テキスト方向判定システム２００が実行するテキスト方向判定方法について、以下でより詳細に説明する。
【００６６】
〔テキスト方向判定方法〕
本発明の実施形態によれば、デジタル文書画像のページおよびテキストの天地方向（ページのテキスト方向）を判定するために、アセンダーを有するテキスト文字の相対出現頻度およびディセンダーを有するテキスト文字の相対出現頻度を利用する。本実施形態では、英語のテキストを具体例に挙げている。英語は一例であって、本発明を限定するものではない。
【００６７】
本明細書および図面では説明のために、デジタル文書画像の左上端を原点とする座標系を用いることにするが、これは本発明を限定するものではない。デジタル文書画像の原点から正の方向に（右に）延びていく水平座標軸をｘ座標軸と称する。デジタル文書画像の原点から正の方向（下に）延びていく垂直座標軸をｙ座標軸と称する。
【００６８】
本発明の実施形態は、テキスト文字間の特徴量を算出することによってテキスト方向を判定する方法およびシステムを含んでいる。本実施形態では、電子文書の入力画像からバイナリテキストマップが生成される。個々のテキスト文字は、バイナリテキストマップ上では、隣接し合うピクセルの集合として扱われる。
【００６９】
【表１】
0004777393.tif 000002
【００７０】
表１は、英語の言語で書かれた典型的な文章における各文字の相対出現頻度を示す表である。
【００７１】
本発明の実施形態では、デジタル文書画像の各テキスト文字は、テキストラインとしてグループ化される。そして、文字の連続として考慮される。図２Ａに示す一つのテキスト文字２０は、外接矩形２１と関連付けて表される。外接矩形２１は、対角線上に位置する２つの頂点の座標によって定義される。外接矩形２１の２つの頂点とは、例えば、（ｘ１、ｙ１）で表される左上端２２、および、（ｘ２、ｙ２）で表される右下端２３である。第１の頂点は、例えば、（ｘ１、ｙ１）で表される左上端２２である。第１の頂点から直交する２つの方向は、ｄｘ、ｄｙ、または、デジタル文書画像における外接矩形２１のサイズおよび位置を定義するための他のいずれかの方法で表される。
【００７２】
１または複数のテキスト文字を含んでいるテキストオブジェクトは、テキストオブジェクトの外接矩形によって表される。図２Ｂは、テキストオブジェクト２４およびテキストオブジェクトの外接矩形２５の具体例を示す図である。
【００７３】
図３に示すテキストライン３０は、関連付けられているテキストラインの外接矩形３２によって表される。テキストラインの外接矩形３２は、
ｘＬで表されるｘ軸上の左辺３４と、ｘＲで表されるｘ軸上の右辺３５と、ｙＢで表されるｙ軸上の下辺３６と、ｙＴで表されるｙ軸上の上辺３７とで定義される。あるいは、デジタル文書画像におけるテキストラインの外接矩形３２のサイズまたは位置を定義する他のいずれの方法を採用してもよい。
【００７４】
本発明の実施形態では、外接矩形３２は、次式にしたがって、テキストライン３０内の各構成要素であるテキスト文字それぞれの外接矩形またはテキストオブジェクトそれぞれの外接矩形から定義されてもよい。次式とは、すなわち、
ｙＴ＝ｍｉｎ｛ｙ１（ｉ）｝、ｉ＝１、・・・、Ｎ、
ｙＢ＝ｍａｘ｛ｙ２（ｉ）｝、ｉ＝１、・・・、Ｎ、
ｘＬ＝ｍｉｎ｛ｘ１（ｉ）｝、ｉ＝１、・・・、Ｎ、および、
ｘＲ＝ｍａｘ｛ｘ２（ｉ）｝、ｉ＝１、・・・、Ｎ
である。ここで、Ｎは、テキストラインにおけるテキストオブジェクトまたはテキスト文字の数を表している。ｙ１（ｉ）およびｙ２（ｉ）は、ｉ番目のテキスト文字またはテキストオブジェクトの外接矩形の、ｙ１およびｙ２の座標値をそれぞれ表している。ｘ１（ｉ）およびｘ２（ｉ）は、ｉ番目のテキスト文字またはテキストオブジェクトの外接矩形の、ｘ１およびｘ２の座標値をそれぞれ表している。
【００７５】
本発明の実施形態では、デジタル文書画像におけるテキストラインのそれぞれについて配置特徴量が算出される。配置特徴量は、上方向特徴量および下方向特徴量を含んでいる。英語の言語で書かれたテキストを含む文書においては、アセンダーを有するテキスト文字の方が、ディセンダーを有するテキスト文字よりも多く、テキストラインに含まれていると予想される。したがって、ベースラインの外接矩形の座標値は、ｘラインの外接矩形の座標値よりも、ばらつきが少なくなると予想される。そのため、テキストラインは、ベースラインに沿ってばらつきが少ない方向に（あるいは、ｘラインに沿ってばらつきが多い方向に）配置されていると考えることができる。
【００７６】
テキストライン方向判定部２１０において、本発明の実施形態では、（ｘ２−ｘ１）≧（ｙ２−ｙ１）であれば、そのデジタル文書画像の水平方向がテキストラインの方向であると判定され、そうでなければ、デジタル文書画像の垂直方向がテキストラインの方向であると判定される。あるいは、本発明の他の実施形態では、（ｘ２−ｘ１）＞（ｙ２−ｙ１）であれば、そのデジタル文書画像の水平方向がテキストラインの方向であると判定され、そうでなければ、デジタル文書画像の垂直方向がテキストラインの方向であると判定されてもよい。
【００７７】
あるいは、本発明の他の実施形態では、テキストラインの水平方向または垂直方向は、テキストラインのアスペクト比に基づいて判定されてもよい。具体例を挙げて説明すると、テキストラインのアスペクト比
【００７８】
【数１】
0004777393.tif 000003
【００７９】
が、閾値Ｔａｒ（ここで、Ｔａｒ＜＜１）より小さければ、テキストラインの方向は、垂直方向であり、そうでなければ、水平方向であると考えることができる。
【００８０】
座標平均値算出部２２０において、デジタル文書画像の水平方向に置かれている各テキストラインｔについて、上部座標平均値ｃｅｉｌ（ｔ）および下部座標平均値（floor value）ｆｌｏｏｒ（ｔ）は、それぞれ、次式に基づいて算出される。次式とはすなわち、
【００８１】
【数２】
0004777393.tif 000004
【００８２】
である。ここで、Ｎは、テキストラインｔのテキスト文字の数を表している。ｙ１（ｉ）およびｙ２（ｉ）は、ｉ番目のテキスト文字の外接矩形の、ｙ１およびｙ２の座標値をそれぞれ表している。上記上部座標平均値は、ｙ１座標値の平均値として扱われる。そして、上記下部座標平均値は、ｙ２座標値の平均値として扱われる。
【００８３】
デジタル文書画像の垂直方向に置かれている各テキストラインｔについて、上部座標平均値ｃｅｉｌ（ｔ）および下部座標平均値（floor value）ｆｌｏｏｒ（ｔ）は、それぞれ、次式に基づいて算出される。次式とはすなわち、
【００８４】
【数３】
0004777393.tif 000005
【００８５】
である。ここで、Ｎは、テキストラインｔのテキスト文字の数を表している。ｘ１（ｉ）およびｘ２（ｉ）は、ｉ番目のテキスト文字の外接矩形の、ｘ１およびｘ２の座標値をそれぞれ表している。上記上部座標平均値は、ｘ１座標値の平均値として扱われる。そして、上記下部座標平均値は、ｘ２座標値の平均値として扱われる。
【００８６】
誤差量算出部２２１が算出するテキスト文字の外接矩形座標とテキストライン座標平均値との誤差は、テキストのベースラインがどの位置にあるのかの指標となる。上辺および下辺の誤差量は、上方向特徴量および下方向特徴量として算出され、用いられる。
【００８７】
デジタル文書画像の水平方向に置かれている各テキストラインｔについての誤差を表す誤差量としては、以下の種類が挙げられる。すなわち、平均絶対誤差（ＭＡＥ；Mean Absolute Error）、二乗平均誤差（ＭＳＥ；Mean-Square Error）、二乗平均平方根（ＲＭＳＥ；Root Mean-Square Error）およびその他の誤差量である。誤差量算出部２２１において、平均絶対誤差は、
【００８８】
【数４】
0004777393.tif 000006
【００８９】
によって算出される。二乗平均誤差は、
【００９０】
【数５】
0004777393.tif 000007
【００９１】
によって算出される。二乗平均平方根誤差は、
【００９２】
【数６】
0004777393.tif 000008
【００９３】
によって算出される。
【００９４】
デジタル文書画像の垂直方向に置かれている各テキストラインｔについての誤差を表す誤差量としては、以下の種類が挙げられる。すなわち、平均絶対誤差（ＭＡＥ；Mean Absolute Error）、二乗平均誤差（ＭＳＥ；Mean-Square Error）、二乗平均平方根（ＲＭＳＥ；Root Mean-Square Error）およびその他の誤差量である。誤差量算出部２２１において、平均絶対誤差は、
【００９５】
【数７】
0004777393.tif 000009
【００９６】
によって算出される。二乗平均誤差は、
【００９７】
【数８】
0004777393.tif 000010
【００９８】
によって算出される。二乗平均平方根誤差は、
【００９９】
【数９】
0004777393.tif 000011
【０１００】
によって算出される。
【０１０１】
その他の上方向特徴量は、テキストラインの外接矩形の上辺または他の上側の参考ラインと、各文字の外接矩形の上辺との間の距離に基づいている。そして、その他の下方向特徴量は、テキストラインの外接矩形の下辺または他の下側の参考ラインと、テキストラインの外接矩形の下辺と、各文字の外接矩形の下辺との間の距離に基づいている。距離は、ΔｔｏｐおよびΔｂｏｔｔｏｍでそれぞれ表され、次式にしたがってテキストラインにおける文字ごとに算出される。次式とはすなわち、水平方向のテキストラインについては、
Δｔｏｐ（ｉ）＝ｙ１（ｉ）−ｙＴ、ｉ＝１、・・・、Ｎ  および、
Δｂｏｔｔｏｍ（ｉ）＝ｙＢ（ｉ）−ｙ２、ｉ＝１、・・・、Ｎ
であり、垂直方向のテキストラインについては、
Δｔｏｐ（ｉ）＝ｘ１（ｉ）−ｘＬ、ｉ＝１、・・・、Ｎ  および、
Δｂｏｔｔｏｍ（ｉ）＝ｘＲ（ｉ）−ｘ２、ｉ＝１、・・・、Ｎ
である。対応する上方向特徴量および下方向特徴量は、水平方向および垂直方向のテキストラインについて次式に基づいてそれぞれ算出される。次式とはすなわち、
【０１０２】
【数１０】
0004777393.tif 000012
【０１０３】
である。ここで、
【０１０４】
【数１１】
0004777393.tif 000013
【０１０５】
である。
【０１０６】
本発明の実施形態では、ベースライン辺判定部２３０において、英語の言語（および、アセンダーを有するテキスト文字の方がディセンダーを有するテキスト文字よりも相対的に多く出現する他の言語）で書かれた文書におけるテキストラインの方向は、Ｆｔｏｐで表される上方向特徴量およびＦｂｏｔｔｏｍで表される下方向特徴量に基づいて判定される。上方向特徴量および下方向特徴量の具体例は上述したとおりである。水平方向のテキストラインについて、Ｆｂｏｔｔｏｍ＜Ｆｔｏｐの場合は、テキストラインのベースラインは、テキストラインの下辺（ｙ座標値が大きくなる）に置かれている。そして、当該デジタル文書画像の方向は、元の原稿の天地方向と同じ（回転角度は０°）であるとみなされる。水平方向のテキストラインについて、Ｆｂｏｔｔｏｍ＞Ｆｔｏｐの場合は、テキストラインのベースラインは、テキストラインの上辺（ｙ座標値が小さくなる）に置かれている。そして、当該デジタル文書画像の方向は、元の原稿の天地方向に対して回転角度が１８０°（時計回り、または、反時計回り）であるとみなされる。垂直方向のテキストラインについて、Ｆｂｏｔｔｏｍ＜Ｆｔｏｐの場合は、テキストラインのベースラインは、テキストラインの右辺（ｘ座標値が大きくなる）に置かれている。そして、当該デジタル文書画像の方向は、元の原稿の天地方向に対して回転角度が２７０°時計回り（または、９０°反時計回り）であるとみなされる。つまり、元の文書画像を２７０°時計回り（または、９０°反時計回り）に回転させると、デジタル文書画像になる。あるいは、デジタル文書画像を９０°時計回り（または、２７０°反時計回り）に回転させると、元の文書画像になる。垂直方向のテキストラインについて、Ｆｂｏｔｔｏｍ＞Ｆｔｏｐの場合は、テキストラインのベースラインは、テキストラインの左辺（ｘ座標値が小さくなる）に置かれている。そして、当該デジタル文書画像の方向は、元の原稿の天地方向に対して回転角度が９０°時計回り（または、２７０°反時計回り）であるとみなされる。
【０１０７】
本発明の実施形態では、アセンダーを有するテキスト文字よりもディセンダーを有するテキスト文字の方が相対的に多く出現する言語におけるテキストラインの方向は、Ｆｔｏｐで表される上方向特徴量およびＦｂｏｔｔｏｍで表される下方向特徴量に基づいて判定される。上方向特徴量および下方向特徴量の具体例は上述したとおりである。水平方向のテキストラインについて、Ｆｔｏｐ＜Ｆｂｏｔｔｏｍの場合は、テキストラインのベースラインは、テキストラインの下辺（ｙ座標値が大きくなる）に置かれている。そして、当該デジタル文書画像の方向は、元の原稿の天地方向と同じ（回転角度は０°）であるとみなされる。水平方向のテキストラインについて、Ｆｔｏｐ＞Ｆｂｏｔｔｏｍの場合は、テキストラインのベースラインは、テキストラインの上辺（ｙ座標値が小さくなる）に置かれている。そして、当該デジタル文書画像の方向は、元の原稿の天地方向に対して回転角度が１８０°（時計回り、または、反時計回り）であるとみなされる。垂直方向のテキストラインについて、Ｆｔｏｐ＜Ｆｂｏｔｔｏｍの場合は、テキストラインのベースラインは、テキストラインの右辺（ｘ座標値が大きくなる）に置かれている。そして、当該デジタル文書画像の方向は、元の原稿の天地方向に対して回転角度が２７０°時計回り（または、９０°反時計回り）であるとみなされる。つまり、元の文書画像を２７０°時計回り（または、９０°反時計回り）に回転させると、デジタル文書画像になる。あるいは、デジタル文書画像を９０°時計回り（または、２７０°反時計回り）に回転させると、元の文書画像になる。垂直方向のテキストラインについて、Ｆｔｏｐ＞Ｆｂｏｔｔｏｍの場合は、テキストラインのベースラインは、テキストラインの左辺（ｘ座標値が小さくなる）に置かれている。そして、当該デジタル文書画像の方向は、元の原稿の天地方向に対して回転角度が９０°時計回り（または、２７０°反時計回り）であるとみなされる。
【０１０８】
本発明の実施形態では、図４に示すとおり、ベースラインの位置は、複数のテキストラインに基づいて決定される。ベースラインの位置は累算される。そして、デジタル文書画像の方向は、累算されたベースライン情報に基づいて判定される。本実施形態では、２つのカウンタまたはメモリがゼロに初期化される（ステップ４０）。１つ目のカウンタＣｔｏｐは、水平方向のテキストラインにつき、テキストラインの外接矩形の上辺にあるベースラインを、および、垂直方向のテキストラインにつき、テキストラインの外接矩形の左辺にあるベースラインをカウントする。もう１つのカウンタＣｂｏｔｔｏｍは、水平方向のテキストラインにつき、テキストラインの外接矩形の下辺にあるベースラインを、および、垂直方向のテキストラインにつき、テキストラインの外接矩形の右辺にあるベースラインをカウントする。テキストライン方向判定部２１０が、上述したとおり、テキストラインの垂直または水平方向を判定する（ステップ４１）。処理可能な有効テキストラインの中から１つが選択される（ステップ４２）。特徴量算出モジュール２１２によって、各テキストラインについて、上方向特徴量および下方向特徴量が算出される（ステップ４３）。配置特徴量（上方向特徴量および下方向特徴量）の具体例は上述したとおりである。ベースライン辺判定部２３０によって、テキストラインのベースラインが上述したとおり判定される（ステップ４４）。水平方向のテキストラインについて、ベースラインが上方にある場合（あるいは、垂直方向のテキストラインについて、ベースラインが左方にある場合）は（ステップ４６）、Ｃｔｏｐがインクリメントされる（ステップ４８）。一方、水平方向のテキストラインについて、ベースラインが下方にある場合（あるいは、垂直方向のテキストラインについて、ベースラインが右方にある場合）は（ステップ４７）、Ｃｂｏｔｔｏｍがインクリメントされる（ステップ４９）。ここで、別の処理可能なテキストラインが存在する場合は（ステップ５１）、処理はステップ４２から繰り返される。一方、処理可能なテキストラインがもうない場合は（ステップ５２）、テキスト方向判定モジュール２１６によって、デジタル文書画像におけるテキスト方向が判定される（ステップ５３）。
【０１０９】
本発明の実施形態では、すべてのテキストラインが始めから処理可能であり、すべてのテキストラインが累算処理にかけられるまで、順次処理される。あるいは、他の実施形態では、すべてのテキストラインが始めから処理可能であり、終了の判定条件に合致するまで、順次処理されてもよい。さらに別の実施形態では、すべてのテキストラインが始めから処理可能であり、終了の判定条件に合致するまで、ランダムに処理されてもよい。またさらに別の実施形態では、テキストラインのサブセットが、始めから処理可能であるとみなされており、その処理可能なテキストラインの各々について、上述したいずれかの方法にて処理されてもよい。
【０１１０】
終了判定基準の具体例としては、処理されるべきテキストラインの数を示す絶対値、処理されるべき有効なテキストラインのパーセンテージ、最少処理ライン数Ｎ０と閾値
【０１１１】
【数１２】
0004777393.tif 000014
【０１１２】
、および、他の基準が挙げられる。
【０１１３】
本発明の実施形態では、テキストラインの方向が水平方向であって、Ｃｔｏｐ＜Ｃｂｏｔｔｏｍである場合には、デジタル文書画像におけるテキスト方向は、元の原稿の天地方向と同じであると判定される（ステップ５３）。テキストラインの方向が水平方向であって、Ｃｔｏｐ＞Ｃｂｏｔｔｏｍである場合には、デジタル文書画像におけるテキスト方向は、元の原稿の天地方向と比べて１８０°時計回り（または反時計回り）であると判定される（ステップ５３）。テキストラインの方向が垂直方向であって、Ｃｔｏｐ＜Ｃｂｏｔｔｏｍである場合には、デジタル文書画像におけるテキスト方向は、元の原稿の天地方向と比べて２７０°時計回り（または９０°反時計回り）であると判定される（ステップ５３）。テキストラインの方向が垂直方向であって、Ｃｔｏｐ＞Ｃｂｏｔｔｏｍである場合には、デジタル文書画像におけるテキスト方向は、元の原稿の天地方向と比べて９０°時計回り（または２７０°反時計回り）であると判定される（ステップ５３）。
【０１１４】
本発明の実施形態では、複数の上方向特徴量および下方向特徴量の対が、テキストラインの各々について算出されて、テキストラインのテキスト方向が、各特徴量対に基づいて判定される。累算部２２５において、テキストラインのテキスト方向を決定するための複数の特徴量を算出するために累算処理が採用される。例えば、ＯＭＡＥは、特徴量対
【０１１５】
【数１３】
0004777393.tif 000015
【０１１６】
に基づく方向に対応している。ＯＭＳＥは、特徴量対
【０１１７】
【数１４】
0004777393.tif 000016
【０１１８】
に基づく方向に対応している。ＯＵは、特徴量対
【０１１９】
【数１５】
0004777393.tif 000017
【０１２０】
に基づく方向に対応している。
【０１２１】
上述した本発明の実施形態は、テキストラインに関連する配置特徴量を測定することを含んでいてもよい。あるいは、本発明の他の実施形態では、配置特徴量は、デジタル文書画像におけるテキスト文字対の間、または、テキストオブジェクト対の間で測定されてもよい。本実施形態では、電子文書の入力画像からバイナリテキストマップが生成される。個々のテキスト文字は、バイナリテキストマップにおける隣接し合うピクセルの集合として扱われる。
【０１２２】
本発明の実施形態では、デジタル文書画像において、個々に識別されたテキスト文字αごとに、最も近接するテキスト文字βが決定される。各テキスト文字対（α、β）の外接矩形の４つの特徴量は、次式にしたがって測定される。次式とはすなわち、
Δｘ１＝｜α（ｘ１）−β（ｘ１）｜、Δｘ２＝｜α（ｘ２）−β（ｘ２）｜、
Δｙ１＝｜α（ｙ１）−β（ｙ１）｜、Δｙ２＝｜α（ｙ２）−β（ｙ２）｜、
である。ここで、α（ｘ１）、α（ｘ２）、α（ｙ１）、α（ｙ２）およびβ（ｘ１）、β（ｘ２）、β（ｙ１）、β（ｙ２）は、それぞれ、ｘ１、ｘ２、ｙ１、ｙ２によって上述のとおり定義された、また、図２Ａに関連して記載された、αおよびβの外接矩形の座標値である。
【０１２３】
図５は、テキスト方向の傾きが０°の文字対についての、外接矩形の４つの特徴量を表す図である。テキスト文字の左端同士の差分６０は、Δｘ１に対応している。テキスト文字の右端同士の差分６１は、Δｘ２に対応している。テキスト文字の上端同士の差分６２は、Δｙ１に対応している。テキスト文字の下端同士の差分６３は、Δｙ２に対応している。
【０１２４】
図６は、テキスト方向の傾きが反時計回りに９０°の文字対についての、外接矩形の４つの特徴量を表す図である。テキスト文字の下端同士の差分６４は、Δｙ２に対応している。テキスト文字の上端同士の差分６５は、Δｙ１に対応している。テキスト文字の左端同士の差分６６は、Δｘ１に対応している。テキスト文字の右端同士の差分６７は、Δｘ２に対応している。
【０１２５】
多くの文字対に対して、外接矩形特徴量算出によって特徴量が算出されると、その算出された多くの特徴量の中で、最も多く集中する値、あるいは、実質ゼロに近い値がテキスト方向判定に採用される。最も多く集中する値、あるいは、実質ゼロに近い値を持つ特徴量を用いることにより、テキストの言語において予測されるアセンダーおよびディセンダーの相対出現頻度に基づいて、上記文字対が記載されているテキストの方向が決定される。
【０１２６】
本発明の実施形態では、ｈｉｓｔΔｘ１、ｈｉｓｔΔｘ２、ｈｉｓｔΔｙ１、ｈｉｓｔΔｙ２、で示されるヒストグラムは、それぞれ、ヒストグラム生成部２１３において、外接矩形の各特徴量、Δｘ１、Δｘ２、Δｙ１、および、Δｙ２について作成される。外接矩形の４つの特徴量の測定値は、デジタル文書画像における非常に多くの文字対について算出されて、累算される。
【０１２７】
アセンダーを有するテキスト文字の方が、ディセンダーを有するテキスト文字に比べてより出現頻度の高い、英語およびその他の言語では、デジタル文書画像におけるテキスト配置は、次の判定文に基づいて判定される。判定文とはすなわち、
ｉｆ  （ｍａｘ｛ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、ｈｉｓｔΔｙ２（０）｝）＝ｈｉｓｔΔｘ１（０）、
ｔｈｅｎ  デジタル文書画像におけるテキストは、元の原稿のテキストから９０°時計回り（または２７０°反時計回り）に傾いている。
ｉｆ  （ｍａｘ｛ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、ｈｉｓｔΔｙ２（０）｝）＝ｈｉｓｔΔｘ２（０）、
ｔｈｅｎ  デジタル文書画像におけるテキストは、元の原稿のテキストから２７０°時計回り（または９０°反時計回り）に傾いている。
ｉｆ  （ｍａｘ｛ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、ｈｉｓｔΔｙ２（０）｝）＝ｈｉｓｔΔｙ１（０）、
ｔｈｅｎ  デジタル文書画像におけるテキストは、元の原稿のテキストから１８０°（反）時計回りに傾いている。
ｉｆ  （ｍａｘ｛ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、ｈｉｓｔΔｙ２（０）｝）＝ｈｉｓｔΔｙ２（０）、
ｔｈｅｎ  デジタル文書画像におけるテキストは、元の原稿のテキストからの回転角度は０°である。
というものである。ここで、ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、および、ｈｉｓｔΔｙ２（０）は、Δｘ１＝０、Δｘ２＝０、Δｙ１＝０、および、Δｙ２＝０のそれぞれに対応する各ビンの度数をそれぞれ表している。
【０１２８】
ディセンダーを有するテキスト文字の方が、アセンダーを有するテキスト文字に比べて相対的に出現頻度の高い言語では、デジタル文書画像におけるテキスト配置は、次の判定文に基づいて判定される。判定文とはすなわち、
ｉｆ  （ｍａｘ｛ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、ｈｉｓｔΔｙ２（０）｝）＝ｈｉｓｔΔｘ２（０）、
ｔｈｅｎ  デジタル文書画像におけるテキストは、元の原稿のテキストから９０°時計回り（または２７０°反時計回り）に傾いている。
ｉｆ  （ｍａｘ｛ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、ｈｉｓｔΔｙ２（０）｝）＝ｈｉｓｔΔｘ１（０）、
ｔｈｅｎ  デジタル文書画像におけるテキストは、元の原稿のテキストから２７０°時計回り（または９０°反時計回り）に傾いている。
ｉｆ  （ｍａｘ｛ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、ｈｉｓｔΔｙ２（０）｝）＝ｈｉｓｔΔｙ２（０）、
ｔｈｅｎ  デジタル文書画像におけるテキストは、元の原稿のテキストから１８０°（反）時計回りに傾いている。
ｉｆ  （ｍａｘ｛ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、ｈｉｓｔΔｙ２（０）｝）＝ｈｉｓｔΔｙ１（０）、
ｔｈｅｎ  デジタル文書画像におけるテキストは、元の原稿のテキストからの回転角度は０°である。
というものである。ここで、ｈｉｓｔΔｘ１（０）、ｈｉｓｔΔｘ２（０）、ｈｉｓｔΔｙ１（０）、および、ｈｉｓｔΔｙ２（０）は、Δｘ１＝０、Δｘ２＝０、Δｙ１＝０、および、Δｙ２＝０のそれぞれに対応する各ビンの度数をそれぞれ表している。
【０１２９】
図１４（ａ）〜図１７（ｃ）は、英語などの、アセンダーを有するテキスト文字の方が、ディセンダーを有するテキスト文字に比べてより出現頻度の高い言語において、デジタル文書画像のテキスト方向を判定する際の具体例を示す図である。
【０１３０】
例えば、図１４（ｂ）に示すとおり、４つの文字の外接矩形が特定されると、まず、特徴量算出モジュール２１２が、左上端を原点とする座標系における、各文字の外接矩形の特徴量を算出する。つまり、外接矩形の中で、ｘ、ｙ座標値が最小値となる頂点の座標と、最大値となる頂点の座標とが算出される。図１４（ｂ）に示す例では、第１文字について、最小値の座標（ａｘ１、ａｘ２）および最大値の座標（ａｘ２、ａｙ２）が算出される。第２〜第４文字についても同様に算出される。
【０１３１】
続いて、ヒストグラム生成部２１３が、算出された座標値に基づいて４つのヒストグラムを作成する。例えば、図１４（ｃ）に示すとおり、ｘ１の差分の絶対値についてのヒストグラムＤＸ１、ｘ２の差分の絶対値についてのヒストグラムＤＸ２、ｙ１の差分の絶対値についてのヒストグラムＤＹ１、および、ｙ２の差分の絶対値についてのヒストグラムＤＹ２である。
【０１３２】
そして、出現頻度判定部２３１が、０近辺のピーク値が最大となるヒストグラムを特定する。図１４（ｃ）に示す例では、ヒストグラムＤＹ２が特定される。
【０１３３】
そして、上述した判定文にしたがって、テキスト方向判定モジュール２１６がデジタル文書画像の天地方向を判定する。ここでは、ヒストグラムＤＹ２の０近辺の度数（例えば上述の、ｈｉｓｔΔｙ２（０））が最大の場合は、デジタル文書画像におけるテキストの、元の原稿のテキストからの回転角度は０°（図１４（ａ））である。
【０１３４】
同様に、図１５（ｃ）に示すとおり、ヒストグラムＤＸ２の０近辺の度数（例えば上述の、ｈｉｓｔΔｘ２（０））が最大の場合は、デジタル文書画像のテキストが元の原稿のテキストから２７０°時計回り（または９０°反時計回り）に傾いている（図１５（ａ））と、テキスト方向判定モジュール２１６が判定する。図１６（ｃ）に示すとおり、ヒストグラムＤＹ１の０近辺の度数（例えば上述の、ｈｉｓｔΔｙ１（０））が最大の場合には、デジタル文書画像のテキストが元の原稿のテキストから１８０°（反）時計回りに傾いている（図１６（ａ））と、テキスト方向判定モジュール２１６が判定する。図１７（ｃ）に示すとおり、ヒストグラムＤＸ１の０近辺の度数（例えば上述のｈｉｓｔΔｘ１（０））が最大の場合には、デジタル文書画像のテキストが、元の原稿のテキストから９０°時計回り（または２７０°反時計回り）に傾いている（図１７（ａ））と、テキスト方向判定モジュール２１６が判定する。
【０１３５】
本発明の実施形態では、図７に示すとおり、文字対の特徴量の測定を行うことを含んでいる。本実施形態では、累算部２２５によって、すべてのメモリ（ｈｉｓｔΔｘ１、ｈｉｓｔΔｘ２、ｈｉｓｔΔｙ１、および、ｈｉｓｔΔｙ２）が初期化される（ステップ７０）。例えば、各メモリはゼロに初期化されてもよい。複数の処理可能な有効な文字要素の中から、第１文字要素が選択される（ステップ７１）。上記第１文字要素に関連する第２文字要素が選択される（ステップ７２）。特徴量算出モジュール２１２によって、上述の文字対に対して、外接矩形の特徴量が算出される（ステップ７３）。そして、累算部２２５によって、それぞれのメモリのビンが更新される（ステップ７４）。処理すべき有効な文字要素存在する場合は（ステップ７６）、上述の処理が繰り返される。すべての有効な文字要素が処理された場合は（ステップ７７）、テキスト方向判定モジュール２１６によって、各メモリに基づいてテキスト方向が判定される（ステップ７８）。
【０１３６】
図８Ａ〜図８Ｄは、外接矩形の４つの特徴量についてのヒストグラム８０、９０、１００、１１０の具体例を示す図である。図８Ａは、Δｘ１のヒストグラム８０の具体例を示している。水平軸８２は、Δｘ１値の対応する各ビンを表し、垂直軸８４は、関連付けられたビンに対応するΔｘ１値の出現頻度を表している。図８Ｂは、Δｘ２のヒストグラム９０の具体例を示している。水平軸９２は、Δｘ２値の対応する各ビンを表し、垂直軸９４は、関連付けられたビンに対応するΔｘ２値の出現頻度を表している。図８Ｃは、Δｙ１のヒストグラム１００の具体例を示している。水平軸１０２は、Δｙ１値の各ビンを表し、垂直軸１０４は、関連付けられたビンに対応するΔｙ１値の出現頻度を表している。図８Ｄは、Δｙ２のヒストグラム１１０の具体例を示している。水平軸１１２は、Δｙ２値の各ビンを表し、垂直軸１１４は、関連付けられたビンに対応するΔｙ２値の出現頻度を表している。図に示す例では、ゼロに等しい特徴量値（８６、９６、１０６、１１６）の出現頻度（ビンの度数）が最大の特徴量は、Δｘ１である。デジタル文書画像におけるテキストの方向は、上述のメモリの値に基づいて、原稿のテキスト方向から９０°時計回り（または２７０°反時計回り）に傾いていると判定される。
【０１３７】
本発明の他の実施形態では、各ヒストグラムにおける最初のｎ個のビンの合計をテキスト方向の判定に用いてもよい。
【０１３８】
本発明の実施形態では、ヒストグラムの各ビンは、１つの特徴量値に対応していてもよい。あるいは、本発明の他の実施形態では、ヒストグラムの各ビンは、複数の特徴量値を含む１つの範囲に対応していてもよい。
【０１３９】
本発明の実施形態では、各ヒストグラムは、閾値を下回る特徴量値に対応するビンのみを有していてもよい。そして、閾値を上回る特徴量値の数については累算しないようにしてもよい。これにより、ヒストグラムに用いる記憶装置やメモリなどのリソースを節約することが可能となる。本発明のある実施形態では、ヒストグラムは、閾値を下回る特徴量値のみを累算する単一のメモリで実現されてもよい。
【０１４０】
本発明の実施形態では、ステップ７２では、文字対の第２文字要素は、第１文字要素に最も近い文字要素が選択される。あるいは、他の実施形態では、第１文字要素と同じテキストラインに入っている文字要素が、ステップ７２にて、第２文字要素として選択されてもよい。この実施形態では、文字要素の選択ステップ７１および７２に先行して、テキストラインの識別が実行される。
【０１４１】
傾き補正部２１４において、本発明の実施形態では、傾き角度θは、デジタル文書画像の傾きを表している。例えば図９に示すとおり、傾いている文字要素１２２、１２３の外接矩形１２０、１２１は、ｘ軸およびｙ軸上に配置されている。そして、外接矩形１２０、１２１は、テキストライン１２５の傾き角度１２４に基づいて、水平方向および垂直方向に補正される。
【０１４２】
本発明の実施形態では、デジタル文書画像はまず傾き角度に基づいて補正され、上述の方向決定方法は、傾きが補正された画像に対して直接適用される。
【０１４３】
あるいは、座標補正部２１５において、本発明の他の実施形態では、文字要素のピクセルの各々の座標値は、回転後の座標系において算出される。回転後の座標系とは、ｘ軸およびｙ軸は、上記傾き角度θによって回転された座標系である。ｘ座標値ｐｘおよびｙ座標値ｐｙを有するピクセルの、回転後の座標系における位置（ｐｒ、ｐｓ）は、次式に基づいて求められる。次式とはすなわち、
ｐｒ＝ｐｘｃｏｓθ＋ｐｙｓｉｎθ
および
ｐｓ＝−ｐｘｓｉｎθ＋ｐｙｃｏｓθ
である。
【０１４４】
傾きが除かれた座標系における文字要素γの外接矩形は、次式にしたがって定義される。次式とはすなわち、
γ（ｘ１）＝ｍｉｎ（γ１、γ２、・・・、γＭ）；
γ（ｘ２）＝ｍａｘ（γ１、γ２、・・・、γＭ）；
γ（ｙ１）＝ｍｉｎ（Ｓ１、Ｓ２、・・・、ＳＭ）；および
γ（ｙ２）＝ｍａｘ（Ｓ１、Ｓ２、・・・、ＳＭ）
である。ここで、Ｍは、文字要素γを形成するピクセルの数を表している。配置特徴量は、傾きが除かれた外接矩形を用いて算出される。図１０は、回転後の座標系において示される各外接矩形（例えば、１２６、１２７）を有する、傾いたテキストラインを示している。
【０１４５】
傾いた文書画像におけるテキスト方向を判定するための本発明の実施形態を、図１１に示す。本実施形態では、すべてのメモリ、ｈｉｓｔΔｘ１、ｈｉｓｔΔｘ２、ｈｉｓｔΔｙ１、および、ｈｉｓｔΔｙ２が、初期化される（ステップ１３０）。本実施形態では、メモリはゼロに初期化される。複数の処理可能な有効な文字要素の中から、第１文字要素が選択される（ステップ１３１）。上記第１文字要素に関連する第２文字要素が選択される（ステップ１３２）。座標補正部２１５によって、第１文字要素および第２文字要素は、傾き角度θに対応する回転後の座標系へと変換される（ステップ１３７）。外接矩形判定部２１１によって、傾いた座標系における各要素の外接矩形が算出される（ステップ１３８）。特徴量算出モジュール２１２によって、文字対について外接矩形の特徴量が算出される（ステップ１３９）。そして、累算部２２５によって、それぞれのメモリのビンが更新される（ステップ１４０）。処理すべき有効な文字要素存在する場合は（ステップ１４２）、上述の処理が繰り返される。すべての有効な文字要素が処理された場合は（ステップ１４３）、テキスト方向判定モジュール２１６によって、各メモリに基づいてテキスト方向が判定される（ステップ１４４）。
【０１４６】
あるいは、本発明の他の実施形態では、図１２に示す、文字対特徴量測定方法が採用されてもよい。本実施形態では、すべてのメモリ、ｈｉｓｔΔｘ１、ｈｉｓｔΔｘ２、ｈｉｓｔΔｙ１、および、ｈｉｓｔΔｙ２が、初期化される（ステップ１５０）。本実施形態では、メモリはゼロに初期化される。複数の処理可能な有効な文字要素の中から、第１文字要素が選択される（ステップ１５１）。上記第１文字要素に関連する第２文字要素が選択される（ステップ１５２）。差分算出部２２２によって、第１文字要素と第２文字要素とのサイズの差分が算定される（ステップ１５３）。上記サイズの差分は、閾値と比較される（ステップ１５４）。そして、第１文字要素と第２文字要素とのサイズの差分が大きくなければ（ステップ１５５）、処理すべき他の有効な文字要素があるかどうかチェックされる（ステップ１６１）。処理すべき有効な文字要素存在する場合は（ステップ１６２）、上述の処理が繰り返される。すべての有効な文字要素が処理された場合は（ステップ１６３）、テキスト方向判定モジュール２１６によって、各メモリに基づいてテキスト方向が判定される（ステップ１６４）。
【０１４７】
第１文字要素および第２文字要素のサイズの差分が大きい場合は（ステップ１５６）、特徴量算出モジュール２１２によって、該文字対の外接矩形の特徴量が算出される（ステップ１５９）。そして、累算部２２５によって、各メモリのビンが更新される（ステップ１６０）。処理すべき有効な文字要素存在する場合は（ステップ１６２）、上述の処理が繰り返される。すべての有効な文字要素が処理された場合は（ステップ１６３）、各メモリに基づいてテキスト方向が判定される（ステップ１６４）。
【０１４８】
あるいは、本発明の他の実施形態では、図１３に示す、文字対特徴量測定方法が採用されてもよい。本実施形態では、すべてのメモリ、ｈｉｓｔΔｘ１、ｈｉｓｔΔｘ２、ｈｉｓｔΔｙ１、および、ｈｉｓｔΔｙ２が、初期化される（ステップ１７０）。本実施形態では、メモリはゼロに初期化される。複数の処理可能な有効な文字要素の中から、第１文字要素が選択される（ステップ１７１）。上記第１文字要素に関連する第２文字要素が選択される（ステップ１７２）。差分算出部２２２によって、第１文字要素と第２文字要素とのサイズの差分が算定される（ステップ１７３）。ある実施形態では、サイズの差分は、元の座標系における外接矩形の面積を用いて算定されてもよい。あるいは、他の実施形態では、座標補正部２１５が、上記外接矩形の座標値を傾きが除かれた座標系へと補正して、それをサイズの差分の算定に用いてもよい。上記サイズの差分は、閾値と比較される（ステップ１７４）。そして、第１文字要素と第２文字要素とのサイズの差分が大きくなければ（ステップ１７５）、処理すべき他の有効な文字要素があるかどうかチェックされる（ステップ１８１）。処理すべき有効な文字要素存在する場合は（ステップ１８２）、上述の処理が繰り返される。すべての有効な文字要素が処理された場合は（ステップ１８３）、各メモリに基づいてテキスト方向が判定される（ステップ１８４）。
【０１４９】
第１文字要素および第２文字要素のサイズの差分が大きい場合は（ステップ１７６）、座標補正部２１５によって、第１文字要素および第２文字要素は、傾き角度θに対応する回転後の座標系へと変換される（ステップ１７７）。傾いた座標系における各要素の外接矩形が算出される（ステップ１７８）。文字対について外接矩形の特徴量が算出される（ステップ１７９）。そして、それぞれのメモリのビンが更新される（ステップ１８０）。処理すべき有効な文字要素存在する場合は（ステップ１８２）、上述の処理が繰り返される。すべての有効な文字要素が処理された場合は（ステップ１８３）、各メモリに基づいてテキスト方向が判定される（ステップ１８４）。
【０１５０】
本発明の実施形態では、テキスト方向は、デジタル文書画像のページ全体について判定される（ページのテキスト方向）。あるいは、本発明の他の実施形態では、テキスト方向は、ページの各領域単位で判定されてもよい。
【０１５１】
上述の明細書において採用された用語および表現は、ここでは、発明を説明するための言葉として用いられているのみであって、本発明を限定する意図はない。また、これらの用語および表現の利用によって、本発明の図示および開示した本発明の特徴あるいはその一部と同等のものを逸脱する意図はない。本発明の範囲は、特許請求の範囲に記載された各請求項によってのみ定義され限定される。
【０１５２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１５３】
最後に、テキスト方向判定システム２００の各ブロック、特に制御部２０１の特徴量算出モジュール２１２およびテキスト方向判定モジュール２１６は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１５４】
すなわち、テキスト方向判定システム２００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるテキスト方向判定システム２００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記テキスト方向判定システム２００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１５５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１５６】
また、テキスト方向判定システム２００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１５７】
本発明のテキスト方向判定システムおよび方法は、文字が含まれたデジタル文書画像の天地方向を判定することができるので、デジタル文書画像を扱うプリンタやスキャナなどの各種画像処理装置に好適に用いられる。
【図面の簡単な説明】
【０１５８】
【図１Ａ】テキストラインの具体例において、ディセンダーおよびアセンダーを示す図である。
【図１Ｂ】キリル文字によるテキストラインの具体例を示す図である。
【図１Ｃ】デバナーガリ文字によるテキストラインの具体例を示す図である。
【図２Ａ】文字の外接矩形の具体例を示す図である。
【図２Ｂ】テキストオブジェクトとしての文字列の外接矩形の具体例を示す図である。
【図３】各文字の外接矩形およびテキストラインの外接矩形を施したテキストラインの具体例を示す図である。
【図４】本発明の実施形態における、テキストラインの配置を測定するための処理の流れを示すフローチャートである。
【図５】テキスト文字対の具体例を示す図である。
【図６】テキスト文字対の具体例を示す図である。
【図７】本発明の実施形態における、テキスト文字対の文字間で配置の特徴量を測定するための処理の流れを示すフローチャートである。
【図８Ａ】要素対の配置の特徴量についてのヒストグラムの具体例を示す図である。
【図８Ｂ】要素対の配置の特徴量についてのヒストグラムの具体例を示す図である。
【図８Ｃ】要素対の配置の特徴量についてのヒストグラムの具体例を示す図である。
【図８Ｄ】要素対の配置の特徴量についてのヒストグラムの具体例を示す図である。
【図９】傾いたテキストラインに対し、傾いていない座標系の文字ごとの外接矩形を有するテキストラインの具体例を示す図である。
【図１０】傾いたテキストラインに対し、同じく傾いた座標系の文字ごとの外接矩形を有するテキストラインの具体例を示す図である。
【図１１】本発明の実施形態における、文字対の特徴量の測定を利用して傾いている文書におけるテキスト方向を判定するための処理の流れを示すフローチャートである。
【図１２】本発明の実施形態における、サイズが大幅に異なる文字列における文字対の文字対特徴量を測定することによって、テキスト方向を判定するための処理の流れを示すフローチャートである。
【図１３】本発明の実施形態における、サイズが大幅に異なる文字列における文字対の文字対特徴量を測定することによって、傾いている文書におけるテキスト方向を判定するための処理の流れを示すフローチャートである。
【図１４】（ａ）は、元の原稿の向きおよびテキスト文字について特定された外接矩形の座標系における位置関係を示す図であり、（ｂ）は、各外接矩形を定義する各頂点の座標値を示す図であり、（ｃ）は、各座標値の差分の絶対値について作成されたヒストグラムを示す図である。
【図１５】（ａ）は、元の原稿の向きおよびテキスト文字について特定された外接矩形の座標系における位置関係を示す図であり、（ｂ）は、各外接矩形を定義する各頂点の座標値を示す図であり、（ｃ）は、各座標値の差分の絶対値について作成されたヒストグラムを示す図である。
【図１６】（ａ）は、元の原稿の向きおよびテキスト文字について特定された外接矩形の座標系における位置関係を示す図であり、（ｂ）は、各外接矩形を定義する各頂点の座標値を示す図であり、（ｃ）は、各座標値の差分の絶対値について作成されたヒストグラムを示す図である。
【図１７】（ａ）は、元の原稿の向きおよびテキスト文字について特定された外接矩形の座標系における位置関係を示す図であり、（ｂ）は、各外接矩形を定義する各頂点の座標値を示す図であり、（ｃ）は、各座標値の差分の絶対値について作成されたヒストグラムを示す図である。
【図１８】本発明のテキスト方向判定システムの要部構成を示すブロック図である。
【符号の説明】
【０１５９】
２０  テキスト文字
２１  外接矩形
２２  左上端
２３  右下端
２４  テキストオブジェクト
２５  外接矩形
３０  テキストライン
３２  外接矩形
１２０  外接矩形
１２２  文字要素
１２５  テキストライン
２００  テキスト方向判定システム
２０１  制御部
２０２  デジタル文書画像取得部
２０３  デジタル文書画像記憶部
２０４  メモリ
２１０  テキストライン方向判定部（テキストライン方向判定手段）
２１１  外接矩形判定部（外接矩形判定手段／テキストライン外接矩形判定手段／文字外接矩形判定手段）
２１２  特徴量算出モジュール（第１配置特徴量算出手段／第２配置特徴量算出手段）
２１３  ヒストグラム生成部（第１ヒストグラム生成手段／第２ヒストグラム生成手段）
２１４  傾き補正部（傾き補正手段）
２１５  座標補正部（第１減算手段／第２減算手段）
２１６  テキスト方向判定モジュール（テキスト方向判定手段）
２２０  座標平均値算出部（第１平均値算出手段／第２平均値算出手段）
２２１  誤差量算出部（第１誤差量算出手段／第２誤差量算出手段）
２２２  差分算出部（第１差分算出手段／第２差分算出手段）
２２３  最大値算出部（第１最大値算出手段／第２最大値算出手段）
２２４  絶対値算出部（第１絶対値算出手段／第２絶対値算出手段）
２２５  累算部（第１累算手段／第２累算手段）
２３０  ベースライン辺判定部（ベースライン辺判定手段）
２３１  出現頻度判定部（第１出現頻度判定手段／第２出現頻度判定手段）
２３２  ベースライン関連付け部（ベースライン関連付け手段）
【図１Ａ】
0004777393.tif 000018
【図１Ｂ】
0004777393.tif 000019
【図１Ｃ】
0004777393.tif 000020
【図２Ａ】
0004777393.tif 000021
【図２Ｂ】
0004777393.tif 000022
【図３】
0004777393.tif 000023
【図４】
0004777393.tif 000024
【図５】
0004777393.tif 000025
【図６】
0004777393.tif 000026
【図７】
0004777393.tif 000027
【図８Ａ】
0004777393.tif 000028
【図８Ｂ】
0004777393.tif 000029
【図８Ｃ】
0004777393.tif 000030
【図８Ｄ】
0004777393.tif 000031
【図９】
0004777393.tif 000032
【図１０】
0004777393.tif 000033
【図１１】
0004777393.tif 000034
【図１２】
0004777393.tif 000035
【図１３】
0004777393.tif 000036
【図１４】
0004777393.tif 000037
【図１５】
0004777393.tif 000038
【図１６】
0004777393.tif 000039
【図１７】
0004777393.tif 000040
【図１８】
0004777393.tif 000041