(57)【要約】【課題】投影方向に画素値をそのまま累積すると、紙の地色や原稿の背景色、文書中に挿入された画像成分、罫線成分等についても累積してしまうため、投影波形中の文字成分がはっきりしなくなり、特徴量の抽出を正しく行うことができない。【解決手段】入力される多値の文書データから投影波形生成部２１によって投影波形を生成する。具体的には、各文書データの画素値を水平・垂直方向に累積して投影波形データを生成する。この投影波形データを二値化部２２で二値化し、黒領域・白領域のみからなる二値データ系列とする。そして、頻度分布解析部２３において、二値データ系列における連続する黒領域の長さを総てについて求め、それらの値のうち出現頻度が所定のしきい値よりも高いものをこの文書データの特徴量とする。【選択図】図３
2005208979.tif 000002
【特許請求の範囲】
【請求項１】
入力される多値の文書データから投影波形データを生成する投影波形生成手段と、
前記投影波形生成手段によって生成された前記投影波形データを二値化する二値化手段と、
前記二値化手段による二値化結果における連続する黒領域及び白領域の少なくともどちらか一方についての特徴を示す値を総てについて求めて頻度分布を解析し、その解析結果を前記文書データの特徴量とする解析手段と
を備えることを特徴とする特徴量抽出装置。
【請求項２】
前記解析手段は、前記二値化結果における連続する黒領域の長さを求め、その求めた値のうち出現頻度が所定のしきい値よりも高いものを前記特徴量に含める
ことを特徴とする請求項１記載の特徴量抽出装置。
【請求項３】
前記解析手段は、前記二値化結果における連続する白領域の長さを求め、その求めた値のうち出現頻度が所定のしきい値よりも高いものを前記特徴量に含める
ことを特徴とする請求項１記載の特徴量抽出装置。
【請求項４】
前記解析手段は、前記求めた値の代表値を前記特徴量の一部とする
ことを特徴とする請求項１記載の特徴量抽出装置。
【請求項５】
前記代表値は、前記求めた値の平均値、中央値あるいは四分位数である
ことを特徴とする請求項４記載の特徴量抽出装置。
【請求項６】
前記解析手段は、前記投影波形データあるいは前記二値化結果を分割して、この分割した各々から前記代表値を求める
ことを特徴とする請求項４記載の特徴量抽出装置。
【請求項７】
前記解析手段は、前記連続する黒領域の長さを総てについて求めた値から歪度を求め、当該歪度を前記特徴量の一部とする
ことを特徴とする請求項１記載の特徴量抽出装置。
【請求項８】
前記解析手段は、前記連続する黒領域の長さを総てについて求めた値から尖度を求め、当該尖度を前記特徴量の一部とする
ことを特徴とする請求項１記載の特徴量抽出装置。
【請求項９】
入力される多値の文書データから投影波形データを生成する第１ステップと、
前記第１ステップで生成した前記投影波形データを二値化する第２ステップと、
前記第２ステップでの二値化結果における連続する黒領域及び白領域の少なくともどちらか一方についての特徴を示す値を総てについて求めて頻度分布を解析し、その解析結果を前記文書データの特徴量とする第３ステップと
を有することを特徴とする特徴量抽出方法。
【請求項１０】
前記第３ステップでは、前記二値化結果における連続する黒領域の長さを求め、その求めた値のうち出現頻度が所定のしきい値よりも高いものを前記特徴量に含める
ことを特徴とする請求項９記載の特徴量抽出方法。
【請求項１１】
入力される多値の文書データから投影波形データを生成する投影波形生成手段と、
前記投影波形生成手段によって生成された前記投影波形データを二値化する二値化手段と、
前記二値化手段による二値化結果における連続する黒領域及び白領域の少なくともどちらか一方についての特徴を示す値を総てについて求めて頻度分布を解析し、その解析結果を前記文書データの特徴量とする解析手段と、
前記解析手段によって得られた前記特徴量に基づいて文書単位の区切りを判定する判定手段と
を備えることを特徴とする文書ファイリング装置。
【請求項１２】
前記解析手段は、前記二値化結果における連続する黒領域の長さを求め、その求めた値のうち出現頻度が所定のしきい値よりも高いものを前記特徴量に含める
ことを特徴とする請求項１１記載の文書ファイリング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴量抽出装置および特徴量抽出方法、ならびに文書ファイリング装置に関し、特に文書画像の投影波形を利用して文書のレイアウトや文字サイズ、行間隔などの特徴量を抽出する特徴量抽出装置および特徴量抽出方法、ならびに当該特徴量抽出装置を用いて文書単位の区切り位置を判定し、文書毎に文書データの管理を行う文書ファイリング装置に関する。
【背景技術】
【０００２】
近年、１枚以上の紙原稿からなる文書を複数部に亘って効率的に電子化する場合、自動給紙機能を持つスキャナ装置を用いて当該原稿を連続的に読み取る処理が広く行われている。この際、読み取った原稿画像データ（文書データ）を文書毎に管理するためには、文書と文書との間の切れ目を何らかの手法を用いて検出する必要がある。
【０００３】
文書と文書との間の切れ目を検出するために、従来は、スキャナ装置で読み取った画像データから、あらかじめ設定しておいた文字認識エリア部分を切り出して文字認識し、この文字認識の結果に基づいて文書の区切りを判定するようにしたり（例えば、特許文献１参照）、自動給紙機能を持つスキャナ装置により複数の文書を一括して読み取り、読み取った原稿画像の特徴量を算出し、この算出した特徴量に基づいて文書単位の区切りを判定するようにしていた（例えば、特許文献２参照）。
【０００４】
これらいずれの従来技術も、あらかじめ文書区切り用原稿（例えば、白紙原稿）を各文書間に挿入したり、文書区切りとなる原稿に手を加えたりすることなく、文書の区切りを自動的に判定することができるために、ユーザに強いる負担を大幅に軽減することができる。特に、特許文献２に係る従来技術では、対象原稿のフォーマットに制約がなく、より広範な種類の文書に対応できる。これに対して、特許文献１に係る従来技術では、特定フォーマットの原稿にしか対応できない。
【０００５】
ところで、特許文献２に係る従来技術では、区切り位置判定の根拠となる特徴量の例として、画像データに利用されている色相、スクリーン線数、原稿のレイアウト、文字の組み方向などを挙げている。しかし、一般のオフィス文書では、画像を含まない文字のみの原稿も多いために、画像の色相やスクリーン線数などのような特徴量を、区切り位置の判定に利用できない場合が多い。また、横書きが一般的であることから、文字の組み方向も文書の区切り位置判定には役立たない場合が多い。
【０００６】
一方、文書のレイアウトや文字サイズ、行間隔などの特徴量は、オフィス文書でも文書ごとに異なるのが一般的である。したがって、これらの特徴量を文書の区切り位置の判定に利用するのは有効な手法である。文書のレイアウトや文字サイズ、行間隔などの特徴量を文書画像から抽出する方法としては、文書画像の縦・横方向の投影波形を形成して、当該投影波形を利用するのが一般的である。
【０００７】
具体的には、文書画像を二値化して縦・横方向に投影をとり、これらの投影波形に対してしきい値処理を行うことによって文字領域／空白領域を判定し、その判定結果から文字サイズや行間隔などを検知するようにしていた（例えば、特許文献３参照）。また、文書画像を二値化して、その後横方向に投影をとることによって行の切り出しを行い、次いで分離した各行の画像において縦方向に投影をとることによって各文字を分離し、さらに各文字について再度横方向の投影をとることによって文字の分離を修正することで文字サイズを検知するようにしていた（例えば、特許文献４参照）。
【０００８】
文字サイズを抽出するに当たっては、まず文書画像を二値化して、その後横方向に投影をとって行の切り出しを行し、次に分離した各行の画像において縦方向に投影をとって各文字を分離し、さらに各文字について再度横方向の投影をとり、文字の分離を修正することで文字サイズを抽出するようにしていた（例えば、特許文献５参照）。また、各文字または文字列に外接するブロックの情報を抽出して標準的な文字ブロックサイズを算出し、これと外接ブロック情報とを比較して続け字ブロックを検出し、一行分の文字列の投影分布およびその頻度分布を算出し、頻度分布より続け字ブロックを１文字サイズの外接ブロックに分離するのに最適なしきい値を算出することで、手書き文字における文字サイズ検知の精度を高めるようにしていた（例えば、特許文献６参照）。
【０００９】
【特許文献１】特開平１０−２１３８０号公報
【特許文献２】特開２００２−２４２５８号公報
【特許文献３】特公平７−１１１７３８号公報
【特許文献４】特開平５−８９２８３号公報
【特許文献５】特開平５−８９２８３号公報
【特許文献６】特開平７−９８７４７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述したように、投影波形を用いる特許文献３乃至６に係る従来技術ではいずれも、図１０に示すように、読み込んだ文書画像をまず二値化し、この二値化画像に対する投影波形を得て、この投影波形を基に特徴量の抽出を行っている。したがって、処理結果は二値化しきい値に大きく影響される。ところが、二値化しきい値を適切な値に設定しても、当該二値化しきい値は、紙の地色や原稿の背景色、文書中に挿入された画像の有無、文字の色・濃度に大きく左右されるため、安定した処理結果を得るのは難しい。
【００１１】
図１１に示すように、二値化せずに多値のまま投影をとれば、上記の二値化レベルの問題を解消することができる。しかしながら、紙の地色や原稿の背景色が濃い場合、文書中に画像が挿入されている場合、文字の濃度が低い場合、あるいは行が短い場合などは、文字部の投影と地の部分における投影の差がはっきりしなくなる。また、低濃度のノイズが多く含まれた文書画像の場合、二値化処理を行えばノイズは白レベルと判定されるため、結果的にノイズの影響を排除できる。しかしながら、多値のまま投影をとるとノイズ成分も累積されることになるため、この点でも処理が難しくなる。
【００１２】
すなわち、文字画像上の文字サイズや行間隔などの特徴量を検出するのに投影波形を用いる従来技術では、投影方向に画素値をそのまま累積してしまうと、紙の地色や原稿の背景色、文書中に挿入された画像成分、罫線成分などについても累積してしまうため、投影波形中の文字成分がはっきりしなくなる。このように、投影波形中の文字成分がはっきりせず、投影波形のどの部分が文字部に相当するかが不明確であると、投影波形から文字サイズや行間隔などの特徴量を検出する処理を正しく行えないことになる。しかも、文書から抽出した文字サイズが、その文書を代表する特徴量であるとは限らない。
【００１３】
本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、紙の地色や原稿の背景色、文書中に挿入された画像成分、罫線成分などの外乱の影響を受けることなく、文字サイズや行間隔などの特徴量の抽出を正しく行うことが可能な特徴量抽出装置、特徴量抽出方法、ならびに当該特徴量抽出装置を用いた文書ファイリング装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明では、入力される多値の文書データから投影波形データを生成し、この生成した投影波形データを二値化する。そして、この二値化結果における連続する黒領域及び白領域の少なくともどちらか一方についての特徴を示す値の総てについて求めて頻度分布を解析し、その解析結果を前記文書データの特徴量としたり、あるいはこのようにして得た特徴量に基づいて文書単位の区切りを判定したりする。
【００１５】
投影波形を用いて文字画像上の文字サイズや行間隔などの特徴量を抽出するに当たり、多値の文書データから直接投影波形データを生成し、この生成した投影波形データを二値化することにより、黒領域・白領域のみからなる二値データ系列が得られる。そして、この二値データ系列における連続する黒領域及び白領域の少なくともどちらか一方についての特徴を示す値の総てについて求めて頻度分布を解析し、解析結果を文書データの特徴量とすることで、ノイズが混在した複数の特徴量の中から有効な特徴量を選択することができる。
【発明の効果】
【００１６】
本発明によれば、ノイズが混在した複数の特徴量の中から有効な特徴量を選択することができるため、これら特徴量に基づく文書単位の区切り判定を正しく行うことができる。また、区切り判定の自動化が可能になるため、手動による区切り作業におけるユーザの負担を軽減できるとともに、効率的な区切り作業が可能になる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１８】
図１は、本発明の一実施形態に係る文書ファイリング装置の構成例を示すブロック図である。図１から明らかなように、本実施形態に係る文書ファイリング装置は、文書入力部１１、特徴量抽出部１２、類似度評価部１３、文書蓄積部１４、文書区切り部１５および文書出力部１６を備え、これらの構成要素がバスライン１７を介して相互に接続された構成となっている。かかる構成の文書ファイリング装置において、特徴量抽出部１２が本発明の最も特徴とする部分である。
【００１９】
文書入力部１１は、入力文書から文書データを取得して、これを本文書ファイリング装置に登録すべき文書データとして入力する。ここで、入力される文書データとしては、例えば、印刷物からスキャンされて取得された多値画像データ、あるいはデジタルカメラで撮影した多値画像データなどが挙げられる。これに対応して、文書入力部１１としては、例えば、ＡＤＦ(Auto Document Feeder)を備えたスキャナ装置とその制御手段、あるいはデジタルカメラのメモリ（カード）に蓄積された画像を連続して取り出すメモリリーダ装置とその制御手段が用いられる。
【００２０】
特徴量抽出部１２は、文書入力部１１により入力された多値の文書データ（多値の画像データ）から、当該文書データ固有の特徴を示す量（以下、「特徴量」と記す）を抽出する。本例に係る特徴量抽出部１２では、図２に示すように、各文書データの画素値を水平・垂直方向に累積した投影波形を形成し、この投影波形より文書データを代表する文字の高さｈおよび幅ｗを例えばｎ個抽出する。ここで、投影波形データは各文書データの縦方向および横方向の画素値の積算値あるいは平均値であり、例えば、各文書データの縦方向あるいは横方向が総て黒であった場合の投影データの値は“２５５”であり、総て白であった場合は“０”とする。
【００２１】
図３は、特徴量抽出部１２の具体的な構成の一例を示すブロック図である。図３から明らかなように、本例に係る特徴量抽出部１２は、投影波形生成部２１、二値化部２２および頻度分布解析部２３を有する構成となっている。
【００２２】
投影波形生成部２１は、入力される多値の文書データから直接に投影波形を形成する。具体的には、上述したように、各文書データの画素値を水平・垂直方向に累積して（あるいは、平均をとって）投影波形データを生成する。二値化部２２は、投影波形生成部２１によって生成された投影波形データの二値化処理を行い、黒領域・白領域のみからなる二値データ系列を出力する。頻度分布解析部２３は、二値化部２２から出力される二値データ系列における連続する黒領域の長さを総てについて求め、例えば図４に示すように、それらの値のうち出現頻度が所定のしきい値よりも高いｎ／２個をその出現頻度とともにこの文書データの特徴量とする。
【００２３】
なお、頻度分布解析部２３において、二値データ系列における連続する白領域の長さを求め、例えば、それらの値のうち出現頻度が所定のしきい値よりも高いものをその出現頻度とともにこの文書データの特徴量に含めるようにしても良い。すなわち、二値化結果における連続する黒領域及び白領域の少なくともどちらか一方についての特徴を示す値を総てについて求めて頻度分布を解析し、その解析結果を前記文書データの特徴量とする。
【００２４】
また、例えば、求めた値の平均値、中央値あるいは四分位数等の代表値を求め、当該代表値をこの文書データの特徴量の一部としても良い。さらに、図５に示すように、投影波形データ自体あるいはその二値化結果を分割して、この分割した各々から上記のような代表値を求め、当該代表値をこの文書データの特徴量の一部としても良い。ただし、特徴量の求め方については上記の手法に限られるものではない。
【００２５】
再び図１において、文書蓄積部１４は、入力された文書データを特徴量抽出部１２によって抽出されたｎ種類の特徴量と関連付けて記憶蓄積するものであり、ハードディスクドライブやＤＶＤ(Digital Versatile Disc)−ＲＡＭ／±ＲＷ／±Ｒドライブ等の大容量記憶装置によって実現される。
【００２６】
類似度評価部１３は、特徴量抽出部１２によって抽出され、文書データと関連付けられて文書蓄積部１４に蓄積されている特徴量について、複数の特徴量が蓄積されていれば、複数の特徴量をそれぞれ比較して相互間の類似度を求める。ここでいう類似度とは、例えば、特徴量がベクトル表現のもの（以下、この特徴量を「特徴ベクトル」と記す）であれば、各々の文書データに関連付けられた特徴ベクトル間のユークリッド距離に基づいて評価される度合いである。
【００２７】
具体的には、図６（Ａ）に示すように、特徴ベクトル間のユークリッド距離が所定のしきい値よりも小さい場合を類似度：大として評価し、また図６（Ｂ）に示すように、特徴ベクトル間のユークリッド距離が当該所定のしきい値以上の場合を類似度：小として評価する。ただし、特徴ベクトル間の距離の定義についてはユークリッド距離に限られるものではない。
【００２８】
文書区切り部１５は、一連の文書データ間の類似度を類似度評価部１３によって求め、この求めた類似度を基に一連の文書データに区切りを入れる。なお、（１ページ以上の文書データからなる）文書単位に蓄積する方法としては、例えば、文書単位にファイルフォルダを作成し、対応する文書データを入力順の連番を持つファイル名で格納する方法や、複数ページを保持できるマルチページＴＩＦＦ(Tagged Image File Format)のような画像ファイルフォーマットを用いる方法がある。
【００２９】
文書出力部１６は、出力が指示された文書データを所定の形式で出力するものであり、例えば、ＣＲＴ(Cathode Ray Tube)とその制御手段、プリンタ装置とその制御手段、磁気ディスクやメモリカード等のリード／ライト装置とその制御手段、あるいはネットワーク等を介してデータの授受を行うデータ転送装置によって実現される。すなわち、文書出力部１７からは、例えば、紙に印刷された文書、ＣＲＴに出力された画像データ、あるいはＨＴＭＬ(Hyper Text Markup Language)等により整形されたファイルが、出力結果として出力される。
【００３０】
次に、上記構成の本実施形態に係る文書ファイリング装置における文書データの区切り処理の手順について、図７のフローチャートにしたがって説明する。
【００３１】
ユーザは、例えば、１ページ以上からなる紙原稿をＡＤＦにセットする。この際、紙原稿は単一の（１ページ以上からなる）文書、複数の（１ページ以上からなる）文書のいずれであっても良い。また、紙原稿をセットする際に、ユーザは文書の区切りを意識する必要はない。ＡＤＦにセットされた紙原稿は、ＡＤＦにより1ページずつスキャナ装置に送られる。このとき、スキャナ装置は、図１の文書入力部１１として機能することになる。すなわち、文書入力部１１からは、ＡＤＦにセットした紙原稿のページ数と同数の文書データが文書ファイリング装置に入力される。
【００３２】
文書入力部１１から文書データが入力されると（ステップＳ１１）、入力された文書データが既に特徴量を抽出され、特徴量と関連付けられて文書蓄積部１４に蓄積されている文書データであるか否かを判断する（ステップＳ１２）。入力された文書データが未だ特徴量を抽出されていない文書データであれば、入力された文書データから特徴量を特徴量抽出部１２によって抽出し(ステップＳ１３)、しかる後ステップＳ１４の処理に移行する。入力された文書データが既に特徴量を抽出された文書データであれば、直接ステップＳ１４の処理に移行する。すなわち、入力された文書データが既に特徴量を抽出され、特徴量と関連付けられて文書蓄積部１４に蓄積されている文書データについては改めて特徴量を抽出する処理は行わない。
【００３３】
上記の処理を入力された総ての文書データに対して行う（ステップＳ１４）。続いて、文書蓄積部１４に蓄積されている文書データに関連付けられた特徴量と、入力された文書データと関連付けられた特徴量とを、文書蓄積部１４に蓄積されている文書データについて類似度評価部１３によって評価する（ステップＳ１５）。そして、その評価結果に基づいて、文書データについて文書単位の区切り結果を確定し、文書単位に分離して文書蓄積部１４に蓄積する（ステップＳ１６）。
【００３４】
なお、上記実施形態では、特徴量抽出部１２において、二値データ系列から特徴量を抽出する際、例えば、二値データ系列において連続する黒領域の長さを総てについて求め、それらの値のうち出現頻度が所定のしきい値よりも高いｎ／２個をの出現頻度とともにこの文書データの特徴量とするとしたが、これに限られるものではなく、次のような手法を採ることも可能である。
【００３５】
二値データ系列から特徴量を抽出する際、例えば、二値データ系列において連続する黒領域の長さを総てについて求めることによって得られる値から歪度を求め、当該歪度をこの文書データの特徴量の一部としても良い。もし、この文書データがプレーンテキストを印刷したようなものであれば、図８に示すように、左右対称な分布となっていることが予想されるため、求めた歪度が０付近となる。
【００３６】
また、二値データ系列から特徴量を抽出する際、例えば、二値データ系列において連続する黒領域の長さを総てについて求めることによって得られる値から尖度を求め、当該尖度をこの文書データの特徴量の一部としても良い。もし、この文書データがプレーンテキストを印刷したようなものであれば、図９に示すように、値が狭い範囲内で変動していることが予想されるため、求めた尖度は大きな値となる。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態に係る文書ファイリング装置の構成例を示すブロック図である。
【図２】特徴量抽出部での特徴量抽出の概念図である。
【図３】特徴量抽出部の具体的な構成の一例を示すブロック図である。
【図４】二値データ系列から特徴量を抽出する具体例の説明図である。
【図５】二値データ系列から特徴量を抽出する他の具体例の説明図である。
【図６】類似度評価の概念図である。
【図７】文書データの区切り処理の手順を示すフローチャートである。
【図８】二値データ系列から特徴量を抽出する他の例の説明図である。
【図９】二値データ系列から特徴量を抽出するさらに他の例の説明図である。
【図１０】従来技術の課題の説明に供する図（その１）である。
【図１１】従来技術の課題の説明に供する図（その２）である。
【符号の説明】
【００３８】
１１…文書入力部、１２…特徴量抽出部、１３…類似度評価部、１４…文書蓄積部、１５…文書区切り部、１６…文書出力部、２１…投影波形生成部、２２…二値化部、２３…頻度分布解析部
【図１】
2005208979.tif 000003
【図２】
2005208979.tif 000004
【図３】
2005208979.tif 000005
【図４】
2005208979.tif 000006
【図５】
2005208979.tif 000007
【図６】
2005208979.tif 000008
【図７】
2005208979.tif 000009
【図８】
2005208979.tif 000010
【図９】
2005208979.tif 000011
【図１０】
2005208979.tif 000012
【図１１】
2005208979.tif 000013