(57)【要約】【課題】帳票の種別を１つに分類できない場合において、オペレータが容易に正しい種別を指定できる情報処理装置の提供を目的とする。【解決手段】ＭＦＰ１０１は、画像の特徴量に基づき、当該画像を種別ごとに分類するために用いる分類ルールを生成する生成手段と、前記分類ルールを用いて、各種別に画像が分類される信頼度を求める算出手段と、前記信頼度が第1の閾値よりも大きい種別が存在する場合に、前記特徴量に基づき当該種別についての特徴を示す領域を抽出する抽出手段と、前記種別ごとに前記抽出した領域を認識可能にして前記画像を表示する表示手段と、を備える。【選択図】図９
2017107455.tif 000002
【特許請求の範囲】
【請求項１】
画像の特徴量に基づき、当該画像を種別ごとに分類するために用いる分類ルールを生成する生成手段と、
前記分類ルールを用いて、各種別に画像が分類される信頼度を求める算出手段と、
前記信頼度が第1の閾値よりも大きい種別が存在する場合に、前記特徴量に基づき当該種別についての特徴を示す領域を抽出する抽出手段と、
前記種別ごとに前記抽出した領域を認識可能にして前記画像を表示する表示手段と、を備える
ことを特徴とする情報処理装置。
【請求項２】
前記信頼度は、前記画像の特徴量をそれぞれ入力とする弱判別器のそれぞれ出力する値の総和である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記抽出手段は、前記画像を複数のブロックに分割し、当該ブロックを含むパッチ画像に対応する特徴量を入力とする前記弱判別器の出力する値の和が所定の値よりも大きい場合に、当該ブロックを前記特徴を示す領域として抽出する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記抽出手段は、前記抽出したブロックにおいて勾配方向ごとの勾配強度を求め、当該勾配強度が所定の閾値よりも大きい勾配方向の個数が所定の個数よりも大きい場合に、当該ブロックを前記特徴を示す領域として抽出する、
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記抽出手段は、前記抽出したブロックが複数個連続する領域を、前記特徴を示す領域として抽出する
ことを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記特徴量は、前記パッチ画像の勾配強度及び勾配方向に応じて算出される値である
ことを特徴とする請求項３ないし５のいずれか１項に記載の情報処理装置。
【請求項７】
前記信頼度が前記第１の閾値よりも大きい第２の閾値よりも大きい種別が存在する場合に、当該第２の閾値よりも大きい種別のうち、最も信頼度が大きい種別に前記画像を分類する分類手段と、をさらに備える
ことを特徴とする請求項１ないし６のいずれか１項に記載の情報処理装置。
【請求項８】
前記表示手段は、前記信頼度が全ての種別において前記第２の閾値以下である場合に、前記画像の正しい種別を受け付け、
前記生成手段は、前記表示手段が受け付けた前記正しい種別を用いて前記分類ルールを更新する
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記表示手段は、前記信頼度が全ての種別において前記第１の閾値以下である場合に、前記画像の新しい種別を受け付け、
前記生成手段は、前記表示手段が受け付けた前記新しい種別を用いて前記分類ルールを更新する
ことを特徴とする請求項７または８に記載の情報処理装置。
【請求項１０】
前記表示手段は、前記種別についての特徴を示す領域の指定を受け付け、
前記生成手段は、前記表示手段が受け付けた前記領域を用いて前記分類ルールを更新する、
ことを特徴とする請求項１ないし９のいずれか１項に記載の情報処理装置。
【請求項１１】
画像の特徴量に基づき、当該画像を種別ごとに分類するために用いる分類ルールを生成する生成工程と、
前記分類ルールを用いて、各種別に画像が分類される信頼度を求める算出工程と、
前記信頼度が第1の閾値よりも大きい種別が存在する場合に、前記特徴量に基づき当該種別についての特徴を示す領域を抽出する抽出工程と、
前記種別ごとに前記抽出した領域を認識可能にして前記画像を表示する表示工程と、を備える
ことを特徴とする情報処理装置の制御方法。
【請求項１２】
請求項１ないし１０のいずれか１項に記載の情報処理装置が備える各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
帳票を扱うワークフローの効率化を実現する技術の一つとして、機械学習を利用した画像分類が提案されている。機械学習を利用した画像分類は、一般的に学習と分類の２つのプロセスを有し、画像データ群（学習データセット）を与えることで分類ルールを学習によって構築し、構築した分類ルールに基づいて入力画像を分類する。
【０００３】
しかしながら、入力画像を１つの種別に分類できない場合がある。例えば、複数の学習済みの種別の画像と類似する画像が入力された場合や、まだ学習していない未知の種別の画像が入力された場合などである。このような場合に、分類できなかった画像を表示するとともに、分類の候補となる種別を表示してオペレータから正しい種別を受け付けることが考えられる。
【０００４】
特許文献１は、帳票識別後のデータエントリ画面上に「帳票識別確認領域」のイメージを表示する帳票読取り装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１１５０２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、読み取った画像データの全体像を表示するだけでは、帳票の種別を容易に判断しづらく、ワークフローを効率化することができない。また、特許文献１では、「帳票識別確認領域」は、予め登録されている、処理対象領域（イメージ切出し領域）の位置情報・条件などにしたがって、該当領域のイメージデータが切り出される。すなわち、切り出す領域を決めるためには、予め帳票の種別ごとに帳票レイアウト情報の登録が必要となる。
【０００７】
本発明は、帳票の種別を１つに分類できない場合において、オペレータが容易に正しい種別を指定できる情報処理装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態の情報処理装置は、画像の特徴量に基づき、当該画像を種別ごとに分類するために用いる分類ルールを生成する生成手段と、前記分類ルールを用いて、各種別に画像が分類される信頼度を求める算出手段と、前記信頼度が第1の閾値よりも大きい種別が存在する場合に、前記特徴量に基づき当該種別についての特徴を示す領域を抽出する抽出手段と、前記種別ごとに前記抽出した領域を認識可能にして前記画像を表示する表示手段と、を備える。
【発明の効果】
【０００９】
本発明の情報処理装置によれば、帳票の種別を１つに分類できない場合において、オペレータが容易に正しい種別を指定できる。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態におけるシステム構成を示す図である。
【図２】ＭＦＰの構成例を示す図である。
【図３】ファイルサーバのハードウェア構成の一例を示す図である。
【図４】ＭＦＰが分類ルールを学習する処理を説明するためのフローチャートである。
【図５】特徴量の算出方法を示す図である。
【図６】画像データからパッチ画像を切り出す方法について示す図である。
【図７】分類器の出力例を示す図である。
【図８】分類器における信頼度の算出方法の一例を示す図である。
【図９】学習済みの分類器で種別を判定する処理を示す図である。
【図１０】種別ごとの信頼度と閾値との関係を説明するための図である。
【図１１】正しい種別の指定を受け付けるための画面の一例を示す図である。
【図１２】種別ごとにスコア合計が高い領域を抽出する方法の概念図である。
【図１３】種別ごとにスコア合計が高い領域を抽出する処理を示す図である。
【図１４】種別ごとにスコア合計が高い領域を抽出する処理を示す図である。
【図１５】学習済みの分類器で種別を判定する処理を示す図である。
【図１６】着目領域を受け付けるための画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面などを参照して説明する。
（第１実施形態）
図１は、本実施形態におけるシステム構成を示す図である。
第１実施形態に係るシステムは、読み取った帳票を種別ごとに分類する情報処理装置であるＭｕｌｔｉ  Ｆｕｎｃｔｉｏｎａｌ  Ｐｅｒｉｐｈｅｒａｌ（ＭＦＰ）１０１と、読み取った帳票の画像データを格納するファイルサーバ１０２とを備える。ネットワークケーブル１０３には、ＭＦＰ１０１が接続されている。また、ネットワークケーブル１０５には、ファイルサーバ１０２が接続されている。
【００１２】
ネットワークケーブル１０３及びネットワークケーブル１０５は、それぞれインターネット１０４に接続されている。ＭＦＰ１０１とファイルサーバ１０２とは、ネットワークケーブル１０３、インターネット１０４、ネットワークケーブル１０５を介して相互に接続されており、画像データや各種情報の送受信を行う。なお、ＭＦＰ１０１とファイルサーバ１０２とは、互いに接続され、画像データや各種情報を送受信できればよく、有線により直接接続されていてもよく、また、無線通信により接続されていてもよい。
【００１３】
図２は、ＭＦＰの構成例を示す図である。
図２（Ａ）は、ＭＦＰ１０１のハードウェア構成の一例を示す図である。図２（Ａ）に示すように、ＭＦＰ１０１は、コントローラ２０、画像読取部２０１、画像出力部２０５、及び操作部２０７を備える。コントローラ２０は、装置制御部２００、画像処理部２０２、記憶部２０３、ＣＰＵ２０４、及びネットワークＩ／Ｆ部２０６を備える。
【００１４】
装置制御部２００は、ＭＦＰ１０１の内部及びネットワークＩ／Ｆ部２０６を経由した外部とのデータの受け渡しや、操作部２０７からの操作の受け付けを行う。画像読取部２０１は、原稿の画像を読み取り、画像データをコントローラ２０に出力する。画像処理部２０２は、画像読取部２０１や外部から入力される画像データを含む印刷命令を１ページ分のビットマップデータに変換し、記憶部２０３に格納する。
【００１５】
画像処理部２０２は、記憶部２０３に格納されたビットマップデータに対して、色変換処理、濃度調整処理、トナー総量制御処理、ビデオカウント処理、プリンタガンマ補正処理、ディザなどの擬似中間調処理を行い、ハーフトーンデータを生成する。そして、ハーフトーンデータを記憶部２０３に格納する。記憶部２０３は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などから構成される。
【００１６】
ＲＯＭは、ＣＰＵ２０４が実行する各種の制御プログラムや画像処理プログラムを格納する。ＲＡＭは、ＣＰＵ２０４がデータや各種情報を格納するための参照領域や作業領域として用いられる。また、ＲＡＭ及びＨＤＤは、上述したビットマップデータやハーフトーンデータなどを格納するバッファなどに用いられる。コントローラ２０は、ＲＡＭ及びＨＤＤ上で画像データを蓄積し、ページのソートや、ソートされた複数ページにわたる原稿を蓄積し、複数部プリント出力を行う。
【００１７】
画像出力部２０５は、ハーフトーンデータのドットパターンに基づいて記録紙などの記録媒体に色材を塗布することで画像を形成する。ネットワークＩ／Ｆ部２０６は、ＭＦＰ１０１をネットワークケーブル１０３に接続し、インターネット１０４や他の装置との間で各種情報を送受信する。操作部２０７は、タッチパネルや操作ボタンを備え、オペレータからの操作を受け付けて装置制御部２００へ該操作の情報を送信する。
【００１８】
図２（Ｂ）は、ＭＦＰ１０１の外観の一例を示す図である。画像読取部２０１は、複数のＣＣＤを有している。各ＣＣＤの感度が夫々異なっていると、たとえ原稿上の各画素の濃度が同じであったとしても、各画素が夫々違う濃度であると認識されてしまう。そのため、画像読取部２０１では、最初に白板（一様に白い板）を露光走査し、露光走査して得られた反射光の量を電気信号に変換してコントローラに出力している。
【００１９】
なお、画像処理部２０２内には、各ＣＣＤから得られた電気信号を元に、各ＣＣＤの感度の違いを認識し、その違いを利用して、原稿上の画像をスキャンして得られた電気信号の値を補正する、公知のシェーディング補正処理部を有する。さらに、シェーディング補正部は、コントローラ２０内のＣＰＵ２０４からゲイン調整の情報を受け取ると、当該情報に応じたゲイン調整を行う。
【００２０】
ゲイン調整は、原稿を露光走査して得られた電気信号の値を、どのように０〜２５５の輝度信号値に割り付けるかを調整するために用いられる。ゲイン調整により、原稿を露光走査して得られた電気信号の値を高い輝度信号値に変換したり、低い輝度信号値に変換したりすることができるようになっている。すなわち、ゲイン調整により、読み取り信号のダイナミックレンジの調整が可能である。
【００２１】
続いて、原稿上の画像をスキャンする構成について説明する。
画像読取部２０１は、原稿上の画像を露光走査して得られた反射光をＣＣＤに入力することで画像の情報を電気信号に変換する。さらに電気信号をレッドＲ、グリーンＧ、及びブルーＢの各色からなる輝度信号に変換し、当該輝度信号を画像としてコントローラ２０に対して出力する。
【００２２】
なお、原稿は、原稿フィーダ２１１のトレイ２１２にセットされる。オペレータが操作部２０７から読み取り開始を指示すると、コントローラ２０から画像読取部２０１に原稿読み取り指示が与えられる。画像読取部２０１は、この指示を受けると原稿フィーダ２１１のトレイ２１２から原稿を１枚ずつフィードして、原稿の読み取り動作を行う。なお、原稿の読み取り方法は、原稿フィーダ２１１による自動送り方式に限られるものではなく、原稿を不図示のガラス面上に載置し露光部を移動させることで原稿の走査を行う方法であってもよい。
【００２３】
画像出力部２０５は、コントローラ２０から受け取った画像を用紙上に形成する画像形成デバイスである。なお、本実施形態において、画像形成方式は、感光体ドラムや感光体ベルトを用いた電子写真方式であるが、これに限られるものではない。例えば、微少ノズルアレイからインクを吐出して用紙上に印字するインクジェット方式などであっても本発明は適用可能である。また、画像出力部２０５には、異なる用紙サイズ、または異なる用紙向きを選択可能とする複数の用紙カセット２１３乃至２１５が設けられている。排紙トレイ２１６には印字後の用紙が排出される。
【００２４】
図３は、ファイルサーバのハードウェア構成の一例を示す図である。
ファイルサーバ１０２は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ネットワークＩ／Ｆ部３０４、ＨＤＤ３０５、及びデータバス３０６を備える。ＣＰＵ３０１は、ＲＯＭ３０３に予め記憶された制御プログラムを読み出してＲＡＭ３０２上にロードし、各種制御処理を実行する。
【００２５】
ＲＡＭ３０２は、ＣＰＵ３０１の実行プログラムや、ワークメモリ等の記憶領域として用いられる。ネットワークＩ／Ｆ部３０４は、ネットワークケーブル１０５を介してＭＦＰ１０１を含むその他の装置との間で各種情報を送受信する。ＨＤＤ３０５は、画像データ、及び各種プログラムなどを格納する。
【００２６】
図４は、ＭＦＰが分類ルールを学習する処理を説明するためのフローチャートである。
図４に示す処理は、ＭＦＰ１０１が備えるＣＰＵ２０４が、記憶部２０３に格納されている実行プログラムを記憶部２０３にロードして実行することで実現される。ステップＳ４０１にて、ＣＰＵ２０４は、操作部２０７を介して、これから学習する帳票の種別と分類した画像データの格納先の指定をオペレータから受け付ける。
【００２７】
以降の処理で、ここで指定した種別の帳票（教師データ、学習データセット）を複数読み取ることによって、分類ルールを生成する。また、帳票の種別ごとにディレクトリを分けて画像データを管理するものとする。ＭＦＰ１０１は、最終的に分類した帳票の種別に応じて帳票の画像データを格納するディレクトリを決定し、画像データを当該ディレクトリに送信する。
【００２８】
ステップＳ４０２にて、ＣＰＵ２０４は、画像読取部２０１から帳票の画像データを取得する。ここで、帳票は、画像読取部２０１のトレイ２１２に複数枚裁置されているものとし、画像読取部２０１は、順番に１枚ずつ帳票を読み取って帳票を画像データに変換する。ステップＳ４０３にて、ＣＰＵ２０４は、取得した画像データに対して画像補正処理を行う。画像読取部２０１が読み取った画像データには、画像読取部２０１の読取特性に応じて輝度のムラやぼけなどが発生してしまうため、それらを補正するため、ＣＰＵ２０４は、階調補正やシャープネスなどをかける。
【００２９】
ステップＳ４０４にて、ＣＰＵ２０４は、補正後の画像データから学習に用いる特徴量を算出する。これにより、分類ルールの学習に用いる学習データが生成される。ＣＰＵ２０４は、特徴量を記憶部２０３に格納する。本実施形態で用いる特徴量の詳細については後述する。ステップＳ４０５にて、ＣＰＵ２０４は、全ての帳票の画像データから特徴量の算出を行ったか否かを確認する。
【００３０】
まだ特徴量を算出していない帳票の画像データがある場合は、ステップＳ４０２に戻る。全ての帳票の画像データから特徴量を算出した場合は、ステップＳ４０６に進む。ステップＳ４０６にて、ＣＰＵ２０４は、記憶部２０３に格納された特徴量群から、機械学習を行うことにより分類ルールを生成する。ＣＰＵ２０４は、生成した分類ルール、及び種別ごとのファイルサーバ１０２の格納先を記憶部２０３に格納する。機械学習の詳細については後述する。
【００３１】
＜機械学習に使用する画像データの特徴量の詳細＞
本実施形態において、ＭＦＰ１０１が備えるＣＰＵ２０４が算出する特徴量は、同一の種別に属する帳票の画像データでは表枠組みの罫線や文字などのレイアウトが変わらないことを前提とする。ＣＰＵ２０４は、画像データの一部をパッチ画像として参照し、そのパッチ画像ごとに画素値の勾配強度及び勾配方向に基づく特徴量を算出する。
【００３２】
図５は、特徴量の算出方法を示す図である。
図５（Ａ）に示すように、ＣＰＵ２０４は、画像データ５０１から切り出したパッチ画像５０２の中の全ての画素について、勾配強度及び勾配方向を求める。ある画素（ｘ，ｙ）についての勾配強度及び勾配方向は、図５（Ｂ）に示すように周囲の画素値から式１を用いて求める。
【００３３】
【数１】
2017107455.tif 000003
【００３４】
次に、ＣＰＵ２０４は、勾配強度及び勾配方向を利用して、５０３に示すように、１つのパッチ画像から９個（９次元）の特徴量を算出する。具体的には、まず、各画素について、勾配強度が一定値以上の画素をエッジ画素、一定値より小さい画素を非エッジ画素とする。そして、エッジ画素群から勾配方向を８方向に量子化して、方向ごとの勾配強度積算値／パッチ画素数を算出し、これに非エッジ画素数／パッチ画素数を合わせて、１つのパッチ画像から９次元の特徴量を算出する。
【００３５】
このように、エッジ画素と非エッジ画素を利用することで、罫線や文字の情報だけでなく、原稿の大きな特徴である余白部分を表現することが可能になる。なお、ここでは１つのパッチ画像における特徴量の算出方法を説明したが、実際には１つの画像データから複数のパッチ画像を切り出して多数の特徴量を算出する。以下にパッチ画像の切り出し方について説明する。
【００３６】
図６は、読み取った帳票の画像データからパッチ画像を切り出す方法について示す図である。
図６（Ａ）は、帳票をスキャンして取得した画像データである。まず、ＣＰＵ２０４は、図６（Ｂ）のようにノイズが表れやすい画像データの端部を削除する。次に、図６（Ｃ）のように、画像データから複数の解像度の画像データを生成する。
【００３７】
複数の解像度の画像データを用意するのは、帳票の解像度ごとにエッジ量が変わるためであり、画像読取部２０１の読取解像度や帳票の解像度が多少異なっていても対応できるようにするためである。ここでは、例えば、ＣＰＵ２０４は、スキャンして取得した画像データを１／４サイズ、及び１／８サイズに縮小した２種類の画像データを生成する。そして、ＣＰＵ２０４は、図６（Ｄ）に示すように、生成したそれぞれの解像度の画像データから複数のサイズのウィンドウを走査しながらパッチ画像を切り出すことで、パッチ画像の位置を考慮した特徴量を算出する。
【００３８】
例えば、３００ｄｐｉでスキャンした画像から特徴量を抽出する場合について説明する。まず、ＣＰＵ２０４は、上述したように縮小した各解像度の画像データから１／４サイズのパッチ画像を１／５ずつずらして５×５＝２５枚、１／８サイズのパッチ画像を１／１０ずつずらして、１０×１０＝１００枚切り出す。これにより、合計２５０個のパッチ画像を切り出す。そして、各パッチ画像から９次元の特徴量を算出するため、１つの画像データから２２５０次元の特徴量を算出することが可能となる。
【００３９】
なお、画像データの解像度、パッチ画像のサイズ、パッチ画像の切り出し位置に関するパラメータは、上述した数字に限定されるものではない。また、算出する特徴量として、公知のＳＩＦＴやＯＲＢ等のスケール・回転不変のエッジ関連の特徴量を利用してもよい。また、原稿の色の情報を利用するために、色ヒストグラムや色分散等を特徴量としてもよい。
【００４０】
＜利用する機械学習の詳細＞
次に、本実施形態で利用する機械学習の手法について説明する。
本実施形態では、機械学習の手法としてＲｅａｌ  ＡｄａＢｏｏｓｔと呼ばれる公知の手法を利用する。Ｒｅａｌ  ＡｄａＢｏｏｓｔは、大量の特徴量から、与えられた学習データセットの分類に適した特徴量を選択して、その特徴量を組み合わせて分類器（分類ルール）を構成することが可能な方法である。
【００４１】
画像の分類時に大量の特徴量を利用した場合、特徴量の計算負荷のためにパフォーマンスが低下する可能性がある。Ｒｅａｌ  ＡｄａＢｏｏｓｔのように、分類に適した特徴量を選択して、一部の特徴量だけを利用し、分類器を構成できることは、大きな利点である。ただし、Ｒｅａｌ  ＡｄａＢｏｏｓｔは、２クラス分類器であり、２種類のラベルがついたデータを分類するものである。つまり、このままでは３種類以上の種別の画像データの分類には利用できない。
【００４２】
そこで、本実施形態では、２クラス分類器を多クラス分類器に拡張するＯＶＡ（Ｏｎｅ−Ｖｅｒｓｕｓ−Ａｌｌ）と呼ばれる公知の方法を利用する。ＯＶＡは、１つのクラス（対象クラス）とそれ以外のクラスを分類する分類器をクラスの数だけ作成し、それぞれの分類器の出力を、対象クラスの信頼度とする。分類の際には、分類したいデータをすべての分類器に入力し、信頼度が最大であったクラスを分類先とする。
【００４３】
図７は、本実施形態における分類器の出力例を示す図である。
この例では、学習データとして、３つのクラス（種別）に分類される画像データ（画像データＡ、Ｂ、Ｃ）のそれぞれに対応する特徴量が用意されているものとする。この３つのクラスを分類するために、ＯＶＡでは３種類の分類器を用意する。３種類の分類器は、画像データＡとそれ以外のクラスに分類するためのＡ用分類器、画像データＢとそれ以外のクラスに分類するためのＢ用分類器、画像データＣとそれ以外のクラスに分類するためのＣ用分類器である。
【００４４】
Ａ用分類器は、画像データＡが入力された場合に、大きい出力値（信頼度）が出力され、それ以外のクラスの画像データが入力された場合は、小さい出力値（信頼度）が出力される。Ｂ用分類器、Ｃ用分類器についても同様である。実際の分類を行う際には、入力する画像データを３種類の分類器に入力し、その出力値の比較を行い、例えばＢ用分類器の出力値が最大であった場合は、その画像データの種別を画像データＢに分類する。
【００４５】
図８は、分類器における信頼度の算出方法の一例を示す図である。
分類器は、図８に示すように、特徴量ｆｅａｔｕｒｅ＿ｉ（ｉ＝１〜Ｎ）を入力として、特徴量ごとに確率ｐｒｏｂａｂｉｌｉｔｙ＿ｉを算出し、重みｗｅｉｇｈｔ＿ｉをかけてスコアを出力する弱判別器を有する。そして、全ての弱判別器のスコアの総和を、分類器のスコア（信頼度）として出力する。
【００４６】
なお、これらの弱判別器ごとのｐｒｏｂａｂｉｌｉｔｙ＿ｉやｗｅｉｇｈｔ＿ｉの値は、学習を行うことによって算出する。学習によって重要でないと判断された特徴量については、弱判別器の出力を常に０として決定する。実際に、大部分の弱判別器は、出力が０に決定され、分類に重要な特徴量に対応する弱判別器について０より大きいスコアが出力されるように構築される。
【００４７】
図７及び図８を参照して説明したＲｅａｌ  ＡｄａＢｏｏｓｔとＯＶＡを利用した多クラス分類器の学習と、多クラス分類器を利用した画像データの分類は、ＣＰＵ２０４で実行される。なお、本実施形態で利用可能な機械学習の手法は、上述した手法に限定されるものではない。例えば、Ｓｕｐｐｒｏｔ  Ｖｅｃｔｏｒ  ＭａｃｈｉｎｅやＲａｎｄｏｍ  Ｆｏｒｅｓｔ等の公知の手法を利用してもよい。
【００４８】
また、特徴量選択の枠組みが機械学習の手法に含まれていない場合に、分類時の分類速度を向上させたい場合には、主成分分析や判別分析を利用した特徴量選択等の公知の特徴量選択を行ってもよい。機器学習手法が２クラス分類器である場合は、ＯＶＡ以外の、Ａｌｌ−Ｖｅｒｓｕｓ−Ａｌｌ（ＡＶＡ）やＥｒｒｏｒ−Ｃｏｒｒｅｃｔｉｎｇ  Ｏｕｔｐｕｔ−Ｃｏｄｉｎｇ（ＥＣＯＣ）等の公知の手法を用いてもよい。
【００４９】
＜学習済み分類器を用いた帳票の種別の判定について＞
図９は、学習済みの分類器で帳票の画像データの種別を判定する処理を説明するためのフローチャートである。
図９に示す処理は、ＭＦＰ１０１が備えるＣＰＵ２０４が記憶部２０３に格納されている実行プログラムを記憶部２０３にロードして実行することで実現される。
【００５０】
ステップＳ９０１にて、ＣＰＵ２０４は、画像読取部２０１から帳票の画像データを取得する。ステップＳ９０２にて、ＣＰＵ２０４は、取得した画像データに対して画像補正処理を行う。画像読取部２０１が読み取った画像データには、画像読取部２０１の特性に応じて輝度のムラやぼけなどが発生してしまうため、それらを補正するために階調補正やシャープネスなどをかける。ステップＳ９０３にて、ＣＰＵ２０４は、補正後の画像データから帳票の種別の分類に用いる特徴量を算出する。
【００５１】
ステップＳ９０４にて、ＣＰＵ２０４は、算出した特徴量と学習済みの各分類器を用いて、各種別の信頼度を算出する。ステップＳ９０５にて、ＣＰＵ２０４は、算出した信頼度が決定閾値（第２の閾値）ＴＨｄを超える種別が存在するか否かを判定する。例えば、ある帳票に対して各分類器が、図１０（Ａ）に示すような信頼度を示したとする。種別Ａの分類器が出力した信頼度は、決定閾値ＴＨｄを超えている。このため、ステップＳ９０６にて、ＣＰＵ２０４は、種別Ａを分類先として決定する。なお、決定閾値ＴＨｄを超える種別が複数ある場合には、その中で信頼度が最も高い種別を分類先として決定する。
【００５２】
一方、ステップＳ９０５にて、決定閾値ＴＨｄを超える種別が存在しない場合、すなわち、全ての種別において信頼度が決定閾値以下である場合は、処理はステップＳ９０７に進む。ステップＳ９０７にて、ＣＰＵ２０４は、ステップＳ９０４で算出した各種別の信頼度のうち、決定値ＴＨｃを超える種別が存在するか否かを判定する。例えば、図１０（Ｂ）に示すように、決定閾値ＴＨｄを超える種別が存在しないが、候補閾値ＴＨｃを超える種別が１つ以上存在したとする。
【００５３】
このとき、ステップＳ９０９にて、ＣＰＵ２０４は、種別ごとに分類器が有する各弱判別器のスコア合計が高い領域を抽出する。種別ごとに分類器が有する各弱判別器のスコア合計が高い領域を抽出する方法の詳細については後述する。ステップＳ９１０にて、ＣＰＵ２０４は、操作部２０７に「帳票の画像データのプレビュー」と「種別ごとにスコア合計が高い領域」をハイライト表示し、正しい種別の指定をオペレータから受け付ける。
【００５４】
図１１は、ステップＳ９１０で操作部２０７に表示する画面構成の一例を示す図である。
プレビュー１１０１は、読み取った画像データを表示する。また、ユーザが正しい種別を候補の中から選択できるように、ボタン１１０２とボタン１１０３にそれぞれの候補をリストアップし、オペレータから正しい種別の指定を受け付ける。ボタン１１０２またはボタン１１０３が押されると、操作部２０７には、プレビュー１１０１においてその種別のスコア合計が高い領域が、領域１１０４や領域１１０５のようにハイライト表示される。
【００５５】
さらに、操作部２０７には、領域１１０４の拡大領域１１０６及び領域１１０５の拡大領域１１０７が表示される。このように、分類の候補となる各種別についての特徴的な領域を認識可能な状態で表示することにより、オペレータが分類の候補となる種別のいずれを選択すればよいかが判断しやすくなる。認識可能な状態とは、特徴的な領域を、色を変えて表示、拡大して表示、装飾をして表示など、他の領域とは異なるように表示される状態である。
【００５６】
ＯＫボタン１１０８を押すと、正しい種別が決定される。一方、ステップＳ９０７にて、算出した各種別の信頼度のうち候補閾値ＴＨｃを超える種別が１つも存在しないと判定された場合、すなわち、全ての種別において信頼度が候補閾値以下である場合は、処理はステップＳ９０８に進む。
【００５７】
ステップＳ９０８にて、ＣＰＵ２０４は、操作部２０７を介してオペレータより新しい種別の指定を受け付ける。ステップＳ９１１にて、ＣＰＵ２０４は、オペレータから受け付けた種別を、機械学習の教師データとして分類ルールを学習し更新する。ステップＳ９１２にて、ＣＰＵ２０４は、帳票の種別に応じたファイルサーバ１０２の格納先ディレクトリに、帳票の画像データを送信する。
【００５８】
＜種別ごとにスコア合計が高い領域を抽出する方法の詳細＞
図１２は、種別ごとにスコア合計が高い領域を抽出する（ステップＳ９０９）方法の概念図である。
まず、帳票を読み取った画像データを、図１２（Ａ）のようにブロック状に分割する。次に、ブロックごとに、当該ブロックを包含するパッチ画像（図６（Ｄ）で特徴量を算出するために切り出したもの）を取得し、当該パッチ画像から算出した特徴量を取得する。
【００５９】
取得した特徴量は、種別ごとの各分類器に入力され、弱判別器のスコア合計が所定の閾値を超えるか否かを判定する。スコア合計が所定の閾値を超えるか否かの判定結果（フラグ）を、図１２（Ｃ）に示すマップにセットする。スコア合計が所定の閾値を超える場合には、フラグを１とし、スコア合計が所定の閾値を超えない場合には、フラグを０とする。そして、図１２（Ｃ）のマップにおいて、フラグがＹＥＳ（１）となるブロックが所定の面積以上連なっている領域を抽出することにより、スコア合計が高い領域として出力する。
【００６０】
図１３は、種別ごとにスコア合計が高い領域を抽出する処理を説明するためのフローチャートである。
ステップＳ１３０１にて、ＣＰＵ２０４は、未判定のブロックを１つ取得する。ステップＳ１３０２にて、ＣＰＵ２０４は、図１２（Ｂ）に示すように、ステップＳ１３０１にて取得したブロック（注目ブロック）を包含するパッチ画像群を取得し、そのパッチ画像群から算出された特徴量を取得する。
【００６１】
ステップＳ１３０３にて、ＣＰＵ２０４は、取得した特徴量を図８に示す分類器が有する弱判別器に入力し、スコアの合計を算出する。ここで、注目ブロックを含まないパッチ画像群の特徴量に対応する弱判別器のスコアは、０とする。ステップＳ１３０４にて、ＣＰＵ２０４は、スコアの合計が所定の閾値ＴＨｍを超えているか否かを判定する。スコアの合計が所定の閾値ＴＨｍを超えている場合は、処理はステップＳ１３０５に進み、スコアの合計が所定の閾値ＴＨｍを超えていない場合は、処理はステップＳ１３０６に進む。
【００６２】
ステップＳ１３０５にて、ＣＰＵ２０４は、図１２（Ｃ）に示すように、注目ブロックにフラグ“１”を立てる。閾値ＴＨｍを超えていない場合は、注目ブロックのフラグは、初期値の“０”のままとなる。ステップＳ１３０６にて、ＣＰＵ２０４は、全てのブロックについてスコア合計を算出、及び閾値ＴＨｍを超えたか否かの判定を行ったかをチェックする。未判定のブロックが残っている場合は、処理はステップＳ１３０１に戻る。
【００６３】
未判定のブロックが残っていない場合は、処理はステップＳ１３０７に進む。ステップＳ１３０７にて、ＣＰＵ２０４は、隣接してフラグ“１”が立っているブロックをグルーピングする。ステップＳ１３０８にて、グルーピングした領域に属するブロックの数が上位３つの領域を決定する。これにより、帳票の種別ごとにスコア合計の高い領域を抽出することが可能となる。
【００６４】
すなわち、閾値ＴＨｍを超えるブロックが複数個連続する領域を各種別についての特徴を示す領域として抽出し、特に面積の大きい領域をオペレータに強調表示する領域とする。なお、本実施形態では、面積の大きい領域を３つ抽出しているが、抽出する個数は限定されるものではなく、オペレータが任意に変更できてもよい。また、他の種別と抽出領域が重複する場合には、これを種別についての特徴的な領域として抽出しないようにしてもよい。
【００６５】
なお、画像データをブロック状に分割する際の各ブロックのサイズは任意で構わない。ただし、ブロックのサイズが小さい場合に、各ブロックに対応するスコアが小さくなり、それに伴って閾値ＴＨｍを小さくせざるを得なくなり誤判定が増えてしまう。よって、ある程度のサイズを確保することが望ましい。また、図１２（Ｃ）に示すマップにおいて、フラグが１となるブロックが歯抜け状に並んでいる場合であっても、隣接してグルーピング可能であればスコア合計の高い領域として抽出し、ランキングの対象としてもよい。
【００６６】
以上のように、本実施形態によれば、帳票を１つの種別に分類できない場合において、分類の候補となる種別をオペレータに示すとともに、オペレータの判断を補助するために分類の候補となる種別についての判断の基となる領域を強調して表示する。これにより、帳票フォーマットを必要とせずにオペレータが迅速に種別を判断することが可能となる。
【００６７】
（第２実施形態）
第１実施形態では、画像データのブロックごとに分類器のスコア合計が高い領域を抽出し、強調表示を行ったが、分類器においてスコアが高い領域が、オペレータにとって種別を判断しやすい領域であるとは限らない。例えば、単に表枠組みにおける１本の罫線の違いが強調表示されていても、オペレータにとって帳票の種別を判断しづらい場合がある。
【００６８】
そこで、本実施形態では、分類器のスコアが高い領域のうち、オペレータにとって帳票の種別を判断しやすい領域を抽出する。オペレータにとって帳票の種別を判断しやすい領域とは、文字やアイコンなど、様々な方向のエッジが多数存在している領域であることが多い。すなわち、図５に示す各勾配方向の勾配強度がいずれも高いか否かでオペレータにとって帳票の種別を判断しやすい領域か否かを判定することができる。
【００６９】
よって、本実施形態では、ブロックごとに勾配方向ごとの勾配強度を算出し、勾配強度が所定の閾値を超えている勾配方向が所定の個数以上存在する場合に、オペレータにとって帳票の種別を判断しやすい領域であるとする。もちろん、他にも例えば文字認識技術で文字が所定数以上認識された領域を抽出するようにしても良く、また、その他の方法を用いても構わない。
【００７０】
図１４は、本実施形態における帳票の種別ごとにスコア合計が高い領域を抽出する処理を説明するためのフローチャートである。
図１３に示した第１実施形態の同処理との差異は、ステップＳ１４０４及びステップＳ１４０５である。ステップＳ１４０１〜Ｓ１４０３の処理は、図１３のステップＳ１３０１〜Ｓ１３０３と同じであるため、その説明は省略する。ステップＳ１４０４にて、ＣＰＵ２０４は、注目ブロックにおける勾配方向に応じた勾配強度を算出する。
【００７１】
ステップＳ１４０５にて、ＣＰＵ２０４は、スコアの合計が所定の閾値ＴＨｍを超えており、かつ勾配強度がある所定の閾値ＴＨｎを超えている勾配方向が所定の個数以上存在するかを判定する。スコアの合計が所定の閾値ＴＨｍを超えており、かつ勾配強度がある所定の閾値ＴＨｎを超えている勾配方向が所定の個数以上存在する場合に、注目ブロックに対してフラグ“１”を立てる。以降、のステップＳ１４０７〜Ｓ１４０９の処理は、図１３のステップＳ１３０６〜Ｓ１３０８の処理と同じであるため、その説明を省略する。
【００７２】
以上のように、本実施形態によれば、オペレータにとって帳票の種別をより判断しやすい領域を抽出して操作部２０７に強調表示を行うことが可能となる。
【００７３】
（第３実施形態）
第１実施形態および第２実施形態では、分類の候補となる種別ごとに、その種別についての特徴を示す領域を抽出し、強調表示を行った。本実施形態では、これに加えてオペレータが帳票の正しい種別を判断して指定した後に、その判断を行うにあたり着目した領域を、操作部２０７を介して受け付け、機械学習（分類ルール）にフィードバックすることができる。
【００７４】
図１５は、本実施形態における帳票の画像データの種別を判定する処理を説明するためのフローチャートである。
ステップＳ１５０１〜Ｓ１５１０の処理は、図９のステップＳ９０１〜Ｓ９１０と同じであるため、その説明は省略する。ステップＳ１５１１にて、ＣＰＵ２０４は、ステップＳ１５０８またはＳ１５１０においてオペレータが正しい種別の指定を行った際の判断の基とした領域（着目領域）をオペレータから受け付ける。
【００７５】
図１６は、ステップＳ１５１１にてオペレータから着目領域を受け付ける際に表示される画面の一例である。
プレビュー１６０１は、帳票の画像データを示す画面であり、操作部２０７に表示される。オペレータが判断の基とする領域（注目領域）は、矩形１６０２としてハイライト表示される。ハイライト表示の矩形は、ボタン１６０３及びボタン１６０４を動かすことにより移動及び拡大縮小させることができる。
【００７６】
なお、オペレータによる注目領域の指定の方法は、これに限定されるものではなく、操作部２０７が備えるタッチパネル及び操作ボタン等の任意の操作により、注目領域を指定できればよい。オペレータがプレビュー１６０１で着目領域を指定し、ＯＫボタン１６０５を押下することにより、ＣＰＵ２０４は、着目領域を取得する。
【００７７】
図１５の説明に戻る。ステップＳ１５１２にて、ＣＰＵ２０４は、図８に示した分類器に含まれる弱判別器のうち、注目領域に対する特徴量に対応する弱判別器の重みｗｅｉｇｈｔ＿ｉを大きくし、分類ルールの学習を行う。図１６の画面において、オペレータがＣａｎｃｅｌボタン１６０６を押下した場合は、ＣＰＵ２０４は、分類器の弱判別器の重みｗｅｉｇｈｔ＿ｉを更新せずに処理を終了する。ステップＳ１５１３にて、ＣＰＵ２０４は、帳票の種別に応じたファイルサーバ１０２の格納先ディレクトリに、帳票の画像データを送信する。
【００７８】
以上のように、本実施形態によれば、オペレータが帳票の正しい種別を判断するために着目した領域を機械学習にフィードバックすることができる。このため、次の画像データの分類において、より正しい判断を行うことが可能となり、また、１つの種別に分類できない場合においても、オペレータにとって判断しやすい領域が抽出されるようになる。
【００７９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８０】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００８１】
１０１    ＭＦＰ
１０２    ファイルサーバ
【図１】
2017107455.tif 000004
【図２】
2017107455.tif 000005
【図３】
2017107455.tif 000006
【図４】
2017107455.tif 000007
【図５】
2017107455.tif 000008
【図６】
2017107455.tif 000009
【図７】
2017107455.tif 000010
【図８】
2017107455.tif 000011
【図９】
2017107455.tif 000012
【図１０】
2017107455.tif 000013
【図１１】
2017107455.tif 000014
【図１２】
2017107455.tif 000015
【図１３】
2017107455.tif 000016
【図１４】
2017107455.tif 000017
【図１５】
2017107455.tif 000018
【図１６】
2017107455.tif 000019