(57)【要約】【課題】機械学習を利用した画像分類装置、画像分類システム、画像分類方法およびプログラムを提供すること。【解決手段】画像分類装置は、分類ラベルが付与された画像を取得するデータ取得手段と、画像から第１の特徴量セットを導出する第１の特徴量導出手段と、第１の特徴量セットと、分類ラベルとから、画像が分類ラベルの指定に応じて分類されるように規定する、分類ルールを生成する第１の分類ルール生成手段を備える。学習精度判定手段が、画像が分類ラベルの指定通りに分類されなかったと判定した場合に、画像から第２の特徴量セットを導出する。第２の分類ルール生成手段は、第１の特徴量セットと、第２の特徴量セットと、分類ラベルとから、再度分類ルールを生成する。【選択図】図６
2016057925.tif 000002
【特許請求の範囲】
【請求項１】
画像サンプルを読取り機械学習を実行する画像分類装置において、
分類ラベルが付与された画像を取得するデータ取得手段と、
前記画像から第１の特徴量セットを導出する第１の特徴量導出手段と、
前記第１の特徴量セットと、前記画像に付与された前記分類ラベルとから、前記画像が前記分類ラベルの指定に応じて分類されるように規定する、分類ルールを生成する第１の分類ルール生成手段と、
前記分類ルールに基づいて、前記画像が前記分類ラベルの指定通りに分類されたかを判定する学習精度判定手段と、
前記学習精度判定手段が、前記画像が前記分類ラベルの指定通りに分類されなかったと判定した場合に、前記画像から第２の特徴量セットを導出する第２の特徴量導出手段と、
前記第１の特徴量セットと、前記第２の特徴量セットと、前記画像に付与された前記分類ラベルとから、前記画像が前記分類ラベルの指定に応じて分類されるように規定する、分類ルールを再度生成する第２の分類ルール生成手段と、
生成された前記分類ルールを記憶手段に記憶するデータ出力手段と、
を備えることを特徴とする画像分類装置。
【請求項２】
前記第１の特徴量導出手段は、前記画像から所定の解像度の画像を作成し、作成した前記画像を複数のパッチ画像に分割し、分割した複数の前記パッチ画像からそれぞれの特徴量を導出し、導出した前記特徴量の一群を前記第１の特徴量セットとし、
前記第２の特徴量導出手段は、前記画像から、前記第１の特徴量導出手段によって作成された画像よりも高解像度の画像を作成し、作成した前記画像を、前記第１の特徴量導出手段によって分割されたよりも小さな画像に分割し、分割した複数の前記パッチ画像からそれぞれの特徴量を導出し、導出した前記特徴量の一群を前記第２の特徴量セットとする
ことを特徴とする請求項１に記載の画像分類装置。
【請求項３】
前記第１の特徴量導出手段および前記第２の特徴量導出手段は、前記パッチ画像を構成する画素単位の勾配強度および勾配方向を求めることにより、前記パッチ画像から前記特徴量を導出する
ことを特徴とする請求項２に記載の画像分類装置。
【請求項４】
前記第１の特徴量導出手段および前記第２の特徴量導出手段は、前記パッチ画像を構成する画素単位の色情報を求めることにより、前記パッチ画像から前記特徴量を導出する
ことを特徴とする請求項２に記載の画像分類装置。
【請求項５】
前記画像の領域指定を受付ける領域指定受付手段をさらに備え、
前記第２の特徴量導出手段は、前記領域指定受付手段によって受付けられた前記画像の指定された領域から第２の特徴量セットを導出する
ことを特徴とする請求項１から４いずれか１項に記載の画像分類装置。
【請求項６】
前記データ出力手段は、前記第１の特徴量導出手段または前記第２の特徴量導出手段が導出した前記第１の特徴量セットまたは前記第２の特徴量セットを前記記憶手段に記憶し、
前記第１の特徴量導出手段は、取得された画像と、以前に導出され前記記憶手段から呼出された前記第１の特徴量セットまたは前記第２の特徴量セットとから、新たに第１の特徴量セットを導出し、
前記第１の分類ルール生成手段は、前記第１の特徴量セットと、前記画像に付与された前記分類ラベルとから、前記画像が前記分類ラベルの指定に応じて分類されるように規定する、分類ルールを生成する
ことを特徴とする請求項１から５いずれか１項に記載の画像分類装置。
【請求項７】
前記データ取得手段は、複数の前記分類ラベルのうちいずれかの分類ラベルが付与された１または複数の画像を含む学習データセットから、前記画像を取得する
ことを特徴とする請求項１から６いずれか１項に記載の画像分類装置。
【請求項８】
前記画像は、少なくとも文字または罫線を含む文章画像である
ことを特徴とする請求項１から７いずれか１項に記載の画像分類装置。
【請求項９】
画像に付与する分類ラベルの指定を受付ける分類ラベル指定受付手段をさらに備え、
前記画像は、指定された前記分類ラベルが付与される
ことを特徴とする請求項１から８いずれか１項に記載の画像分類装置。
【請求項１０】
前記学習精度判定手段は、前記分類ルールに基づいて、前記分類ラベルの指定通りに分類されなかった前記画像の数が、所定の閾値以上であった場合、前記画像が前記分類ラベルの指定通りに分類されなかったと判定する
ことを特徴とする請求項１から９いずれか１項に記載の画像分類装置。
【請求項１１】
前記データ出力手段は、前記分類ルールと、前記分類ラベルの指定とに基づいて、前記記憶手段に予め記憶された前記分類ラベルに対応するフォルダに、前記画像を分類して記憶する
ことを特徴とする請求項１から１０いずれか１項に記載の画像分類装置。
【請求項１２】
画像を読取る画像読取手段と、
前記画像読取手段によって読取られた前記画像を記憶する記憶手段とを有する画像処理装置と、
請求項１乃至請求項１１のいずれか１項に記載の画像分類装置と、
を備えることを特徴とする画像分類システム。
【請求項１３】
画像サンプルを読取り機械学習を実行する画像分類方法において、
分類ラベルが付与された画像を取得するデータ取得ステップと、
前記画像から第１の特徴量セットを導出する第１の特徴量導出ステップと、
前記第１の特徴量セットと、前記画像に付与された前記分類ラベルとから、前記画像が前記分類ラベルの指定に応じて分類されるように規定する、分類ルールを生成する第１の分類ルール生成ステップと、
前記分類ルールに基づいて、前記画像が前記分類ラベルの指定通りに分類されたかを判定する学習精度判定ステップと、
前記学習精度判定ステップが、前記画像が前記分類ラベルの指定通りに分類されなかったと判定した場合に、前記画像から第２の特徴量セットを導出する第２の特徴量導出ステップと、
前記第１の特徴量セットと、前記第２の特徴量セットと、前記画像に付与された前記分類ラベルとから、前記画像が前記分類ラベルの指定に応じて分類されるように規定する、分類ルールを再度生成する第２の分類ルール生成ステップと、
生成された前記分類ルールを記憶ステップに記憶するデータ出力ステップと、
を備えることを特徴とする画像分類方法。
【請求項１４】
コンピュータを、請求項１乃至請求項１１のいずれか１項に記載の画像分類装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習を利用した画像分類装置、画像分類システム、画像分類方法およびプログラムに関する。
【背景技術】
【０００２】
従来より、画像の自動分類を行う画像分類装置が知られている。このような画像の自動分類においては、画像分類装置が、複数の画像サンプルを含む学習データセットを学習して、学習結果である分類ルールを生成する。そして、画像分類装置は、生成した分類ルールに基づいて、入力された未知の画像を分類する処理を実行する。
【０００３】
このような画像の自動分類において、学習データセットを学習する技法として、機械学習という技法が知られている。機械学習では、ユーザが、分類ラベルが付与された画像群を学習データセットとして準備する。次いで、画像分類装置は、学習データセットを読取り、画像に付与された分類ラベルと、画像から抽出した画像特徴量とから、画像を分類ラベル通りに分類するための分類ルールを生成する。
【０００４】
図１では、このような機械学習を利用した画像の自動分類の概要を示している。機械学習の結果、適式な分類ルールが生成された場合、例えば図１に示される通り、学習データセットの画像群は、分類ラベルが付与された通りに分類される。実際の運用においては、例えば、予め用意された分類ラベル毎に対応する画像保存フォルダに、未知の入力画像が分類され、それぞれ保存される。
【０００５】
しかしながら、機械学習を利用した画像分類装置において、学習データセットの機械学習が完全ではない場合がある。例えば、画像分類装置が、学習データセットに含まれる画像群を、付与された分類ラベル通りに分類することができない場合である。このような場合、画像分類装置は、入力された未知の画像を分類する精度が低くなるために好ましい状態ではない。
【０００６】
そのため、このような学習データセットの分類エラーが発生した場合には、専門の技術者が分類エラーとなった画像を解析し、当該画像の分類に有効な画像特徴量を追加するなどの手当が必要となっていた。
【０００７】
このような課題を解決するために、例えば、特許文献１では、機械学習の過程において、学習データセットから２種類の画像特徴量セットを計算し、その両方から２種類の分類ルールを生成する画像識別装置について開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−０１４０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上説明した通り、機械学習を利用した画像分類装置において、学習データセットの分類エラーが発生した場合には、専門の技術者が分類エラーとなった画像を解析し、当該画像の分類に有効な画像特徴量を追加するなどの手当が必要となっていた。そのため、従来の画像分類装置においては、機械学習を効率的に行うことができないという課題があった。
【００１０】
さらに、特許文献１の画像識別装置では、学習データセットの機械学習を行うたびに、少なくとも２種類の分類ルールを生成することが前提となる。そのため、機械学習を行うたびに少なくとも２種類の分類ルールを生成する処理を実行するため、機械学習が依然として非効率なものであった。
【課題を解決するための手段】
【００１１】
上記課題を解決すべく、本願の画像分類装置は、画像サンプルを読取り機械学習を実行する画像分類装置において、分類ラベルが付与された画像を取得するデータ取得手段と、前記画像から第１の特徴量セットを導出する第１の特徴量導出手段と、前記第１の特徴量セットと、前記画像に付与された前記分類ラベルとから、前記画像が前記分類ラベルの指定に応じて分類されるように規定する、分類ルールを生成する第１の分類ルール生成手段と、前記分類ルールに基づいて、前記画像が前記分類ラベルの指定通りに分類されたかを判定する学習精度判定手段と、前記学習精度判定手段が、前記画像が前記分類ラベルの指定通りに分類されなかったと判定した場合に、前記画像から第２の特徴量セットを導出する第２の特徴量導出手段と、前記第１の特徴量セットと、前記第２の特徴量セットと、前記画像に付与された前記分類ラベルとから、前記画像が前記分類ラベルの指定に応じて分類されるように規定する、分類ルールを再度生成する第２の分類ルール生成手段と、生成された前記分類ルールを記憶手段に記憶するデータ出力手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、機械学習を利用した画像分類装置において、学習データセットの分類エラーが発生した場合には、専門の技術者などによる手当を必要とせず、機械学習を効率的に行うことができる。さらに、本発明における画像分類装置では、必要に応じて分類ルールを生成することにより、機械学習の効率化を図ることができる。
【図面の簡単な説明】
【００１３】
【図１】機械学習を利用した画像の自動分類の概要を示した図である。
【図２】実施形態における、ハードウェア構成の一例を示すブロック図である。
【図３】実施形態における、画素ごとの勾配情報および勾配方向を求める方法を模式的に示した図である。
【図４】実施形態における、パッチ画像内の特徴量を導出する方法を模式的に示した図である。
【図５】実施形態における、文書画像から複数のパッチ画像を分割し、分割したパッチ画像を切り出す処理を模式的に示した図である。
【図６】実施形態における、ＯＶＡ（Ｏｎｅ−Ｖｅｒｓｕｓ−Ａｌｌ）を利用した他クラス分類処理の処理内容を示す模式図である。
【図７】実施形態における、ソフトウェア機能ブロック図である。
【図８】実施形態における、機械学習の処理内容を示すフローチャートである。
【図９】実施形態における、少量の差異のみを含む文章画像群の一例を示す図である。
【図１０】実施形態における、少量の差異のみを含む文章画像群の別例を示す図である。
【図１１】実施形態における、分類ラベルの再指定を受付ける際の画面表示例である。
【図１２】実施形態２における、画像分類装置の機械学習の処理内容を示すフローチャートである。
【図１３】実施形態２における、誤分類された文章画像と、当該誤分類先の分類ラベルが付与された文章画像とを表示する表示画面例を示す図である。
【図１４】実施形態３における、画像分類装置の機械学習の処理内容を示すフローチャートである。
【図１５】実施形態３における、機械学習済みの文章画像群の一例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について図面を参照して説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。
【００１５】
［実施形態１］
図２は、本実施形態におけるシステム構成の一例を示すブロック図である。図２に示される通り、本実施形態の画像分類システムは、画像処理装置１００、画像分類装置２００から構成され、画像処理装置１００と、画像分類装置２００とは、ネットワーク１５０を介して相互にデータ通信可能に相互に接続されている。
【００１６】
画像処理装置１００は、ユーザインターフェース１０４、ＣＰＵ１０５、ＲＡＭ１０６、記憶部１０７、画像読取部１０８、画像出力部１０９、ディスプレイ１１０を備え、制御部１０１を介して相互に通信可能に接続されている。制御部１０１はさらに画像処理装置１００全体を制御する装置制御部１０２と、画像データを処理する画像処理部１０３とを有する。
【００１７】
ユーザインターフェース１０４は、例えばキーボード、マウス、その他入出力装置によって構成され、各種の設定値または指定値を入力することができる。
【００１８】
ＣＰＵ１０５は、記憶部１０７内の初期プログラムに従って、メインプログラムを記憶部１０７より読出し、ＲＡＭ１０６に記憶する。ＲＡＭ１０６はプログラム格納用や、ワーク用のメインメモリとして使用される。
【００１９】
画像読取部１０８は、例えばスキャナーによって構成され、紙文書等を読取ることにより画像データ形式の文書画像を取得することができる。制御部１０１は、画像読取部１０８から文書画像を取得すると、記憶部１０７に記憶する。そして、制御部１０１は、文書画像の機械学習または分類処理を実行する際に、記憶部１０７に記憶された文書画像を、ネットワーク１５０を介して画像分類装置２００に送信する。
【００２０】
制御部１０１は、記憶部１０７に記憶された文書画像をディスプレイ１１０に提供し、ディスプレイ１１０上に文書画像を出力する処理を実行する。また、制御部１０１は同様に記憶部１０７に記憶された文章画像を画像出力部１０９に提供し、画像出力部１０９は、種々の形式で文書画像を出力する処理を実行する。例えば、画像出力部１０９は、文書画像に係る画像データを、記憶媒体に出力する処理を実行することができる。あるいはまた、画像出力部１０９は印刷機能を備え、紙媒体等の出力媒体に文書画像を出力する処理を実行してもよい。
【００２１】
以上説明した画像処理装置１００は一例であり、画像読取部１０８および画像出力部１０９のうち、画像出力部１０９を有さない構成の画像処理装置１００であってもよい。
【００２２】
画像分類装置２００は、ユーザインターフェース２０６、ＣＰＵ２０７、ＲＡＭ２０８、記憶部２０９、ディスプレイ２１０を備え、制御部２０１を介して相互に通信可能に接続されている。制御部２０１はさらに画像分類装置２００全体を制御する装置制御部２０２と、文章画像の解析を行う画像解析部２０３とを有する。本実施形態の画像解析部２０３には、主に機械学習時において分類ルールを生成する学習フェーズの処理を担う学習部２０４と、主に通常時において分類ルールに基づいて文章画像を分類する運用フェーズの処理を担う分類部２０５とを有する。
【００２３】
ユーザインターフェース２０６は、例えばキーボード、マウス、その他入出力装置によって構成され、各種の設定値または指定値を入力することができる。本実施形態におけるユーザインターフェース２０６は、後述の領域指定受付手段および分類ラベル指定受付手段として機能する。
【００２４】
ＣＰＵ２０７は、記憶部２０９内の初期プログラムに従って、メインプログラムを記憶部２０９より読出し、ＲＡＭ２０８に記憶する。ＲＡＭ２０８はプログラム格納用や、ワーク用のメインメモリとして使用される。
【００２５】
制御部２０１は、記憶部２０９に記憶された文書画像をディスプレイ２１０に提供し、ディスプレイ２１０上に文書画像を出力する処理を実行する。
【００２６】
制御部２０１は、画像処理装置１００から送信され、画像分類装置２００の記憶部２０９に保存された文書画像を画像解析部２０３に提供する。画像解析部２０３は、ユーザインターフェース２０６を介して入力を受付けた各種の指定情報に基づいて文書画像の解析処理を実行する。あるいはまた、ユーザインターフェース２０６を介して入力を受付けた各種の指定情報は、記憶部２０９やＲＡＭ２０８に保存され、画像解析部２０３は、保存された指定情報を読出して文書画像を解析する処理を実行する。さらに、画像解析部２０３は、文書画像の自動分類処理に必要な分類ルールを生成する処理を実行する。
【００２７】
本実施形態における画像解析部２０３は、学習フェーズでは、文書画像から特徴量セットを導出し、導出した特徴量セットと、文章画像に付与された分類ラベルとに基づき、分類ルールを生成する。ここで、分類ラベルとは、文章画像の自動分類処理に用いられるための識別用のラベルであり、予め文書画像に付与されているか、あるいはまたユーザインターフェース２０６を介して入力を受付けた指定情報に基づいて付与されてもよい。具体的には、制御部２０１はディスプレイ２１０上に文書画像を表示し、当該表示された文書画像に付与する分類ラベルの指定を、ユーザから、ユーザインターフェース２０６を介して受付けることができる。
【００２８】
本実施形態における画像解析部２０３は、運用フェーズでは、文書画像から特徴量セットを導出し、学習フェーズにおいて生成した分類ルールに基づき、文書画像を分類する。あるいはまた、画像解析部２０３は、ユーザインターフェース２０６または画像処理装置１００からの制御指示に基づき、過去に生成された分類ルールを記憶部２０９から呼出して分類データを適用してもよい。
【００２９】
さらに、本実施形態における画像解析部２０３は、分類処理を実行した結果、記憶部２０９に予め作成されたフォルダに、文書画像に付与されたラベルに応じて適切なフォルダに分類して記憶する。
【００３０】
以上説明した画像分類装置２００は一例であり、実施形態はこれに限られない。その他必要に応じてその他の構成を備えるものであってもよい。例えば、画像分類装置２００は、サーバ等のコンピュータ装置で実装することができるが、記憶部２０９や画像解析部２０３の機能は、クラウドと呼ばれるネットワーク１５０でつながるリモートの計算資源で実装する構成も考えられる。さらに、画像処理装置１００が、画像分類装置２００の機能を包含する態様で画像分類装置２００を実装してもよい。
【００３１】
次に、図３〜図５を参照して、本実施形態における文書画像から特徴量セットを導出する方法について説明する。なお、本実施形態においては文章画像から特徴量セットを導出し、機械学習を実行する態様について説明するが、実施形態はこれに限られない。つまり機械学習の対象とする画像の種類は文章画像に限られず、たとえば文字や罫線などが含まれない図や色彩に特徴を有する画像を対象としてもよい。
【００３２】
文章画像から特徴量セットを導出するために、画像解析部２０３は、先ず、文書画像を複数のパッチ画像に分割する処理を実行する。次いで、画像解析部２０３は、分割したパッチ画像を構成する画素単位の勾配強度および勾配方向を求める処理を実行する。これらの処理を実行することで、画像解析部２０３は、パッチ画像単位の画像特徴量を導出することができる。
【００３３】
画像解析部２０３は、文章画像を分割したうえで画像特徴量を導出することで、部分的に違いのある文書画像を分類することができる。また、画像解析部２０３は、パッチ画像単位の画像特徴量を導出するために、パッチ画像を構成する画素単位の勾配強度および勾配方向を利用することにより、文字または罫線を含む文書画像の特徴を捕捉することができる。本実施形態では、１つの文書画像に含まれるパッチ画像群から導出される、画像特徴量の一群は、特徴量セットに相当する。
【００３４】
図３は、画素３０１ごとの勾配強度および勾配方向を求める方法を模式的に示した図である。図３に示される通り、画素位置（ｘ，ｙ）における画素値をＬ（ｘ，ｙ）とすると、画素位置ｘ，ｙにおける勾配強度および勾配方向は、それぞれ以下の数式から得ることができる。
【００３５】
【数１】
2016057925.tif 000003
【００３６】
【数２】
2016057925.tif 000004
【００３７】
このように、画像解析部２０３は、パッチ画像を構成する画素単位の勾配強度および勾配情報を求める処理を実行する。
【００３８】
図４は、本実施形態における、文書画像内のパッチ画像４０１から、パッチ画像４０１内の画像特徴量を導出する方法を模式的に示した図である。以下、図４を参照して説明する。
【００３９】
先ず、画像解析部２０３は、画像４０１からパッチ画像４０２を分割する。画像解析部２０３は、分割したパッチ画像４０２を切り出し、切り出したパッチ画像４０２の各画素の勾配強度と勾配方向を求める。
【００４０】
次に、画像解析部２０３は、所定の閾値以上の勾配強度を有する画素をエッジ画素として、所定の閾値より小さい勾配強度を有する画素を非エッジ画素として分類する。分類の結果、エッジ画素については、画像解析部２０３はさらに勾配方向に応じて８方向に量子化する。
【００４１】
８方向への量子化の具体例としては、勾配方向として０度±１２．２５度および１８０度±１２．２５度を有する画素を０度のエッジ画素として量子化する。次に、勾配方向として２２．５度±１２．２５度および２０２．５度±１２．２５度を有する画素を２２．５度のエッジ画素として、４５度±１２．２５度および１３５度±１２．２５度を有する画素を４５度のエッジ画素として量子化する。以後同様に量子化を行い、画像解析部２０３は、０度から１５７．５度まで２２．５度刻みの合計８方向への量子化する処理を実行する。
【００４２】
図４において、パッチ画像４０２に含まれる小矩形領域は、１つの画素４０３を示す。画素４０３内において矢印が記されているものはエッジ画素であることを示し、エッジ画素における矢印の方向は量子化された勾配方向であることを示す。一方、画素４０３内において黒丸が記されているものは非エッジ画素であることを示す。
【００４３】
パッチ画像の画像特徴量の導出において、画像解析部２０３は、エッジ画素群については、量子化された勾配方向毎の勾配強度積算値及びパッチ画像の画素数を求めることにより、８次元の画像特徴量４０４を得る。パッチ画像の画像特徴量の導出において、画像解析部２０３は、非エッジ画素群については、非エッジ画素数およびパッチ画像の画素数を求めることにより、１次元の画像特徴量４０５を求める。そして、８次元の特徴量４０４と、１次元の特徴量４０５とを組み合わせることにより、１つのパッチ画像４０２から９次元の画像特徴量を導出する。
【００４４】
このように、画素毎の勾配強度に基づいてエッジ画素と非エッジ画素とに分類し、分類したエッジ画像群と非エッジ画像群とを導出することにより、罫線、文字のみならず余白部分をも文書画像の特徴を示す情報として表現することが可能になる。
【００４５】
上記図３〜図４における説明は、１つのパッチ画像４０２から画像特徴量を導出する態様についてのみを説明をするものである。本実施形態において本処理を実行する場合、文章画像から複数のパッチ画像を分割し、分割したパッチ画像を切り出し、複数のパッチ画像４０２の画素の勾配強度と勾配方向を求める。
【００４６】
図５は、文書画像から複数のパッチ画像を分割し、分割したパッチ画像を切り出す処理を模式的に示した図である。
【００４７】
先ず、画像解析部２０３は、ノイズが含まれやすい文書画像の画像端を削除して、複数の解像度の文書画像を生成する。複数の解像度の画像を生成する理由は、文書画像の解像度が異なると、各文書画像に含まれるエッジ画素の構成が変わるからである。次いで、画像解析部２０３は、それぞれの解像度の文章画像を、さらに複数のサイズのパッチ画像を走査して分割する処理を実行する。そして、分割した複数のパッチ画像を切り出すことによって、文書画像における各パッチ画像の位置を考慮したうえで画像特徴量を導出する処理を実行することができる。
【００４８】
以下、図５における画像特徴量の導出処理について、具体的な例を示し説明する。本例において、画像処理装置１００の画像読取部１０８が、３００ｄｐｉでスキャンした文章画像から画像特徴量を導出する処理について説明する。
【００４９】
先ず、画像解析部２０３は、画像読取部１０８がスキャンした文書画像を、１／４サイズの文書画像と１／８サイズの文章画像とにそれぞれ文書画像の解像度を縮小する。
【００５０】
次いで、文書画像の解像度を１／４サイズに縮小した１／４縮小画像と１／８サイズに縮小した１／８縮小画像を、さらに１／４サイズのパッチ画像に分割する。
【００５１】
パッチ画像への分割に際して、１／５サイズ分毎にずらして５×５＝２５枚を分割し、分割したものをパッチ画像として切り出す。１／４縮小画像から２５枚と、１／８縮小画像から２５枚の計５０枚のパッチ画像となる。続いて、１／４縮小画像と１／８縮小画像を、さらに１／８サイズのパッチ画像に分割する。パッチ画像への分割に際して、１／１０サイズ分毎にずらして１０×１０＝１００枚を分割し、分割したものをパッチ画像として切り出す。１／４縮小画像から１００枚と、１／８縮小画像から１００枚の計２００枚のパッチ画像となる。
【００５２】
画像解析部２０３は、１／４縮小画像および１／８縮小画像についてそれぞれ切り出し処理を実行することにより、合計２５０枚のパッチ画像を切り出す。本具体例のおける設定では、各パッチ画像から９次元の画像特徴量を導出するため、文章画像１枚から２２５０次元の特徴量セットを得ることができる。上記説明した通り、本例においては、画像解析部は３００ｄｐｉでスキャンした１つの文書画像から、２２５０次元の特徴量セット（以下、「第１の特徴量セット」と記す）を得ることができる。
【００５３】
本実施形態においては、例えば異なるフォーマットで作成された文章画像群などの、多量の差異を含む文章画像群を分類するために、第１の特徴量セットは充分な画像特徴量を含むことができる。しかしながら、例えば同じフォーマットで作成された文章画像群であって、宛名の違いや装飾フォントの有無などの少量の差異のみを含む文章画像群を分類するために、さらに詳細な特徴量セットが必要となる場合がある。
【００５４】
画像解析部２０３は、さらに詳細な文書画像の特徴量セットが必要となる場合には、図３〜図５における特徴量の導出において、以下のパラメータを変更することにより、さらに詳細な文章画像の特徴量セットを得ることができる。すなわち、文章画像を縮小するための画像解像度の設定、パッチ画像サイズの設定、文章画像からパッチ画像を切り出すための位置の設定などの各設定に係るパラメータを変更することにより、さらに詳細な文章画像の特徴量セットを得ることができる。
【００５５】
以下、本実施形態において、第１の特徴量セットよりもより詳細な文書画像の特徴量セット（以下、「第２の特徴量セット」と記す）を得るための処理について、具体的に説明する。
【００５６】
この場合、先ず、画像解析部２０３は、画像読取部１０８がスキャンした文書画像を、等倍サイズの文書画像と１／２サイズの文章画像とにそれぞれ文書画像の解像度を加工する。
【００５７】
パッチ画像への分割に際して、画像の１／１６サイズ分毎にずらして１６×１６＝２５６枚を分割し、分割したものをパッチ画像として切り出す。同様に、画像の１／３２サイズ分毎にずらして３２×３２＝１０２４枚を分割し、分割したものをパッチ画像として切り出す。
【００５８】
画像解析部２０３は、等倍解像度の文章画像および１／２縮小画像についてそれぞれ切り出し処理を実行することにより、合計２５６０枚（（２５６枚＋１０２４枚）×等倍解像度および解像度を１／２に縮小した画像）のパッチ画像を切り出す。第２の特徴量セットを導出するための本設定では、各パッチ画像から９次元の画像特徴量を導出するため、文章画像１枚から２３０４０次元の特徴量セットを得ることができる。
【００５９】
以上図３〜図５を参照して説明した通り、画像解析部２０３は、文書画像から切り出した複数のパッチ画像ごとの画像特徴量を導出し、画像特徴量から文書画像の分類に用いる特徴量セットを得ることができる。なお、本実施形態では、パッチ画像を構成する各画素の勾配情報および勾配強度から、画像特徴量を導出する態様に則って説明したが、画像特徴量はこれに限定されない。例えば、公知技術であるＳＩＦＴまたはＯＲＢ等のスケールや回転不変の局所特徴量を利用してもよい。あるいはまた、前述の勾配情報および勾配強度を、パッチ画像を構成する画素単位の色情報を演算することにより、パッチ画像から画像特徴量を導出してもよい。さらに、色ヒストグラムや色分散の色彩に関する情報を画像特徴量としてもよい。
【００６０】
次に、本実施形態における文書画像の機械学習を行う一態様について、図６を参照して説明する。
【００６１】
本実施形態における機械学習の手法として、Ｒｅａｌ  ＡｄａＢｏｏｓｔと呼ばれる公知の機械学習の手法を利用する態様について説明する。Ｒｅａｌ  ＡｄａＢｏｏｓｔは、大量の画像特徴量から所与の学習データセットの分類に適した画像特徴量を選択して、当該画像特徴量を組み合わせて分類ルールを生成することを実現するフレームワークである。そして、分類ルールが生成された後、分類対象のデータが入力された際には、当該入力されたデータを、生成した分類ルールに基づいて分類する処理を実行する。このように、機械学習により分類ルールを生成し、生成した分類ルールを利用して入力されたデータを分類するフレームワークは、一般的に分類器と呼ばれる。
【００６２】
上記の通り、入力されたデータを分類する際に、当該入力されたデータから多量の画像特徴量を抽出する設定に依ると、画像分類装置への画像特徴量の導出負荷が大きくなり、画像分類処理のパフォーマンスが低下してしまう。そのため、Ｒｅａｌ  ＡｄａＢｏｏｓｔによる機械学習の手法のように、分類に適した画像特徴量を選択して、当該画像特徴量を組み合わせて分類ルールを生成することは、画像特徴量の導出負荷を削減するという点で大きな利点となる。
【００６３】
しかし、Ｒｅａｌ  ＡｄａＢｏｏｓｔは通常２クラス分類のために用いられる機械学習の手法であり、２種類のラベルが付与されたデータを、２クラスに分類するためのものである。つまり、通常のＲｅａｌ  ＡｄａＢｏｏｓｔを適用するだけでは、３種類以上のラベルが付与された文書画像の文章画像データを分類することはできない。そこで、本実施形態においては、Ｒｅａｌ  ＡｄａＢｏｏｓｔのような２クラス分類器を、２以上の多クラス分類器に拡張するＯＶＡ（Ｏｎｅ−Ｖｅｒｓｕｓ−Ａｌｌ）と呼ばれる公知の方法を利用する。
【００６４】
以下、図６を参照して、ＯＶＡを利用した多クラス分類処理の処理内容について説明する。図６は、ＯＶＡを利用した他クラス分類処理の処理内容を示す模式図である。
【００６５】
ＯＶＡでは、１つの対象クラスと、当該１つの対象クラス以外のクラスとを分類する分類器を使用して多クラス分類を実装する。このとき、ＯＶＡは、クラスごとの分類器を生成することになるので、クラス数分の分類器を生成する。そして、分類の対象となる学習データを、上記それぞれの分類器に入力し、それぞれの分類器からの出力値に基づいて確信度を判定し、入力した学習データの分類先を特定する。
【００６６】
図６を参照して説明すると、本実施形態では、分類ラベル「Ａ」「Ｂ」「Ｃ」がそれぞれ付与された３クラスの文書画像群から構成される学習データセットが、ＯＶＡによる多クラス分類処理の対象となる。本実施形態では、画像解析部２０３が、分類ラベル「Ａ」「Ｂ」「Ｃ」がそれぞれ付与された３クラスの文書画像群を分類するために、３種類の分類器を使用する。すなわち、文書画像Ａと、文書画像ＢおよびＣとを分類するためのＡ用分類器、文書画像Ｂと、文書画像ＡおよびＣとを分類するためのＢ用分類器、文書画像Ｃと、それ以外の文書画像ＡおよびＢとを分類するためのＣ用分類器の３種類が相当する。
【００６７】
図６に示されるＡ用分類器では、文書画像Ａが入力された場合は、大きい出力値（高確信度）が出力され、それ以外の文書画像ＢまたはＣが入力された場合は、小さい出力値（低確信度）が出力される。これは、Ｂ用分類器、およびＣ用分類器についても同様である。
【００６８】
ＯＶＡによる多クラス分類処理を実行する際には、先ず画像解析部２０３は、文書画像を、Ａ用、Ｂ用およびＣ用分類器それぞれに入力する。画像解析部２０３は、例えばある文章画像をＡ用、Ｂ用およびＣ用分類器それぞれに入力した結果、たとえばＢ用の分類器からの出力が最大であった場合は、当該入力した文章画像を、文章画像Ｂとして分類する。
【００６９】
以上説明した通り、本実施形態においてはＲｅａｌ  ＡｄａＢｏｏｓｔおよびＯＶＡの手法を利用した機械学習の手法について説明した。しかしながら、文章画像を分類するために画像解析部２０３が実行する手法は上記に限定されるものではない。例えば、その他の手法である、Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅや、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ等のその他の公知の手法を適用してもよい。さらに、画像特徴量の選択フレームワークが機械学習の手法に含まれていない場合において、分類時の分類速度向上のために、文書画像の主成分分析や判別分析を利用した特徴量選択等の公知の特徴量選択を適用することもできる。さらに、機器学習が２クラス分類器である場合において、ＯＶＡ以外にも、ＡＶＡ（Ａｌｌ−Ｖｅｒｓｕｓ−Ａｌｌ）や、ＥＣＯＣ（Ｅｒｒｏｒ−Ｃｏｒｒｅｃｔｉｎｇ  Ｏｕｔｐｕｔ−Ｃｏｄｉｎｇ）等の公知の手法適用することもできる。
【００７０】
次に、本実施形態の要部である、機械学習の手法について、図７および図８を参照して説明する。図７は、学習部２０４のソフトウェア機能を示すブロック図である。また、図８は、画像分類装置２００における機械学習の処理内容を示すフローチャートである。なお、図８に示されるフローチャートによる処理は、記憶部２０９に記憶されたプログラムコードがＲＡＭ２０８に展開され、ＣＰＵ２０７によって実行される。
【００７１】
以下、図７のソフトウェア機能を示すブロック図を参照して説明する。データ取得部７０１は、機械学習の対象となる学習データセットを取得する。学習データセットは、機械学習のための画像サンプルによって構成され、本実施形態では画像サンプルとして文章画像が与えられる形態について説明する。
【００７２】
第１の特徴量導出部７０２は、データ取得部７０１が取得した学習データセットから、第１の特徴量セットを導出する処理を実行する。
【００７３】
第１の分類ルール生成部７０３は、文書画像の機械学習を行い、分類ルールの生成処理を実行する。具体的には、第１の特徴量セットと、学習データセットの文章画像に付与された分類ラベルとから、文章画像が分類ラベルの指定に応じて分類されるように規定する、分類ルールを生成する。
【００７４】
学習精度判定部７０４は、第１の分類ルール生成部７０３が生成した分類ルールの精度を判定する。具体的には、学習データセットの文章画像が分類ラベルの指定通りに分類されたかを判定する。
【００７５】
学習データセットの文章画像が分類ラベルの指定通りに分類されなかったと判定された場合、第２の特徴量導出部７０６は、学習データセットの文章画像から第２の特徴量セットを導出する処理を実行する。
【００７６】
第２の分類ルール生成部７０７は、第１の特徴量セットと、第２の特徴量セットと、学習データセットの文章画像に付与された分類ラベルとから、文章画像が分類ラベルの指定に応じて分類されるように規定する、分類ルールを再度生成する。
【００７７】
データ出力部７０５は、第１の分類ルール生成部７０３または第２の分類ルール生成部７０７で生成された分類ルールを記憶部２０９に記憶する。
【００７８】
次に、図８のフローチャートを参照して説明する。Ｓ８０１において、データ取得部７０１は、学習データセットを取得する。学習データセットは、複数の分類ラベルのうちいずれかの分類ラベルが付与された１または複数の文章画像を含む。
【００７９】
データ取得部７０１は、学習データセットに組み入れる対象となる文書画像と、文書画像に対応する分類ラベルの指定と、をそれぞれ受付けることにより、学習データセットを取得することができる。一例として、データ取得部７０１は、文書画像を記憶部２０９から呼出してディスプレイ２１０上に表示し、ユーザから、ユーザインターフェース２０６を介して表示されている文章画像に対応する分類ラベルの指定を受付ける。このとき、ユーザインターフェース２０６は分類ラベル受付手段として機能する。また、データ取得部７０１は、学習データセットに含まれる文章画像数が不充分な場合、学習データセットに組み入れる文書画像を画像読取部１０８でスキャンし、記憶部２０９に記憶することを促す指示をディスプレイ２１０上に表示する。さらに、データ取得部７０１は、学習データセットの分類先情報についても、ユーザから、ユーザインターフェース２０６を介して分類先保存フォルダの指定を受付けることができる。
【００８０】
Ｓ８０２において、第１の特徴量導出部７０２は、Ｓ８０１で取得した学習データセットを用いて第１の特徴量セットを導出する。第１の特徴量導出部７０２は、学習データセットに含まれる文書画像を記憶部２０９からＲＡＭ２０８に呼出し、図３〜図５において説明した種々の手法により、学習データセットの文書画像の画像特徴量を導出する。第１の特徴量セットは、Ｓ８０１で取得した学習データセットを用いて最初に導出する初期特徴量セットである。また、例えば異なるフォーマットで作成された文章画像群などの、多量の差異を含む文章画像群を分類するために充分な画像特徴量を含む。
【００８１】
ここで、Ｓ８０１において、前述の第２の特徴量セットのように多量の特徴量を含む特徴量セットを導出しないのには、２つの理由がある。１つ目の理由は、多量の画像特徴量の導出には時間を必要とし、ユーザの利便性が低下することである。２つ目の理由は、多量の画像特徴量の導出を実行することに伴い、分類ルールを生成するためのパラメータの数が増え、結果として文章画像を過学習してしまう可能性が高まる。そのため、画像特徴量を増加させることにより、画像分類装置２００の性能低下が発生することがあるからである。
【００８２】
Ｓ８０３において、第１の分類ルール生成部７０３は、第１の特徴量セットと、文章画像に付与された分類ラベルとから、文章画像が分類ラベルの指定に応じて分類されるように規定する、分類ルールを生成する処理を実行する。本実施形態においては、前述の通りＲｅａｌ  ＡｄａＢｏｏｓｔによる機械学習の手法を用いて分類ルールの生成を行う。具体的には、第１の分類ルール生成部７０３は、第１の特徴量セットとして２２５０次元の画像特徴量から所定の画像特徴量（例えば、２００次元の画像特徴量）を選択し、選択した画像特徴量から分類ルールを生成する。
【００８３】
Ｓ８０４において、学習精度判定部７０４は、第１の分類ルール生成部７０３が生成した分類ルールに基づいて、学習データセットの文章画像が分類ラベルの指定通りに分類されたかを判定する。具体的には、学習精度判定部７０４は、Ｓ８０１で取得した学習データセットの文書画像に対して、Ｓ８０３で生成した分類データを適用して、文書画像を分類する。次いで、学習精度判定部７０４は、学習データセットの文書画像に付与されている分類ラベルと、学習データセットの文書画像の分類結果とを比較する。
【００８４】
学習精度判定部７０４は、学習データセットの文書画像に付与されている分類ラベルと、学習データセットの文書画像の分類結果とが一致したと判定した場合（Ｓ８０４：Ｙｅｓ）、Ｓ８１４に移行する。
【００８５】
一方、学習精度判定部７０４は、学習データセットの文書画像に付与されている分類ラベルと、学習データセットの文書画像の分類結果との間で、１つでも一致しない文書画像が含まれていると判定した場合（Ｓ８０４：Ｎｏ）、Ｓ８０５に移行する。
【００８６】
Ｓ８０３において、第１の分類ルール生成部７０３は、多量の差異を含む文章画像群を分類するために充分な画像特徴量を含む、第１の特徴量セットに基づいて分類ルールを生成している。そのため、例えば異なるフォーマットで作成された文章画像群を学習データセットとした場合、Ｓ８０４において学習精度判定部７０４の判定は肯定される可能性が高い。
【００８７】
Ｓ８０５において、制御部２０１は、Ｓ８０４において誤分類された文章画像と、当該文章画像に付与されている分類ラベルとを、ディスプレイ２１０に表示する。
【００８８】
Ｓ８０６において、制御部２０１は、ディスプレイ２１０に表示されている文章画像に対応する分類ラベルの再指定を、ユーザインターフェース２０６を介して受付ける。Ｓ８０４において、学習精度判定部７０４が、学習データセットの文章画像を誤分類した理由は、データ取得部７０１が誤った分類ラベルが付与された文章画像を取得した可能性があるからである。例えば、分類ルールに基づいて、文書画像Ａと文章画像Ｂとを分類する際に、誤って文書画像Ｂの分類ラベルが付与された文書画像Ａの画像が混入すると、当該混入した文書画像Ａは、誤分類されてしまう可能性が高くなる。そのため、分類ラベルと、文書画像の分類結果とが一致しないものについては、誤分類された文章画像と、当該文章画像に付与されている分類ラベルとを、ディスプレイ２１０に表示し、ユーザから再度付与すべき分類ラベルの指定を受付ける。
【００８９】
Ｓ８０７において、第１の分類ルール生成部７０３は、第１の特徴量セットと、Ｓ８０６で再度指定を受付けた分類ラベルとから、分類ルールを再度生成する処理を実行する。
【００９０】
Ｓ８０８において、学習精度判定部７０４は、第１の分類ルール生成部７０３が生成した分類ルールに基づいて、文章画像が分類ラベルの指定通りに分類されたかを再度判定する処理を実行する。
【００９１】
学習精度判定部７０４は、学習データセットの文書画像に付与されている分類ラベルと、学習データセットの文書画像の分類結果とが一致したと判定した場合（Ｓ８０８：Ｙｅｓ）、Ｓ８１４に移行する。
【００９２】
一方、学習データセットの文書画像が、１つでも分類ラベルの指定通りに分類されなかった場合、学習精度判定部７０４は、学習データセットの文章画像の誤分類が発生したと判定し（Ｓ８０８：Ｎｏ）、Ｓ８０９に移行する。
【００９３】
本実施形態における機械学習において、上記Ｓ８０５〜Ｓ８０７の処理は、分類エラーを生じた文章画像に対して再度分類ラベルを付与するための処理である。別実施形態では、Ｓ８０４の判定処理で否定された場合（Ｓ８０４：Ｎｏ）、直接Ｓ８０９の処理に移行し、Ｓ８０３の判定処理後すぐに第２の特徴量セットを導出する処理（Ｓ８０９）を実行する態様であってもよい。
【００９４】
Ｓ８０９において、第２の特徴量導出部７０６は、Ｓ８０１で取得した学習データセットを用いて第２の特徴量セットを導出する。第２の特徴量導出部７０６は、学習データセットに含まれる文書画像を記憶部２０９からＲＡＭ２０８に呼出し、図３〜図５において説明した種々の手法により、学習データセットの文書画像の画像特徴量を導出する。
【００９５】
ここで、第２の特徴量セットは、Ｓ８０１で取得した学習データセットを用いて２回目以降に導出する追加特徴量セットである。従来技術のように、複数回の機械学習を通じて、それぞれの機械学習毎に全く新しい画像特徴量を導出する手法も存在するが、本発明の実施形態においては、初期特徴量セットに対して追加特徴量セットを追加する処理を実行する。本実施形態のように構成する理由としては、機械学習時間の短縮化を図るためである。初期特徴量セットに対して追加特徴量セットを追加する処理を実行することにより、初期特徴量セットも継続して利用し、２回目以降の機械学習では、画像特徴量の導出時間を短縮化することができる。初回の機械学習において得られた分類ルールの精度が悪かった場合であっても、高精度の分類ルールの生成のために、不足分の画像特徴量を初期特徴量セットに追加することにより、分類ルールの精度向上を図ることができるという利点がある。
【００９６】
以下、追加特徴量セットについて説明する。追加特徴量セットとは、多量の差異を含む文章画像群を分類するためには有用な画像特徴量ではないが、少量の差異のみを含む文章画像を分類するための分類ルールを生成するために有用な画像特徴量を含むものである。
【００９７】
図９は、少量の差異のみを含む文章画像群の一例を示す図である。図９に示される通り、文章画像Ａ９０１と、文章画像Ｂ９０２とは、装飾フォントの有無という点のみが相異している。すなわち、文章画像Ａ９０１の文字列「請求書」には下線が付与されているが、文章画像Ｂ９０２の文字列「請求項」には下線が付与されていない。このとき、文章画像Ａ９０１には分類ラベルＡを付与し、文章画像Ｂ９０２には分類ラベルＢを付与し、それぞれの文章画像が分類ラベルの指定に応じて分類されるように規定する分類ルールを生成するケースを考える。
【００９８】
このような文章画像群を正確に分類する分類ルールを生成するためには、高解像度の文章画像それぞれから、差異が存在する領域から小さいパッチ画像を切り出して高精細な画像特徴量を導出することが有効な手法である。図９に示される文章画像の例では、高解像度の文章画像Ａ９０１および文章画像Ｂ９０２から「請求書」近辺の領域から小さいパッチ画像を切り出して高精細な画像特徴量を導出することが考えられる。
【００９９】
しかしながら、高精細な画像特徴量を導出する手法は、少量の差異のみを含む文章画像群に対しては有効であっても、一般的に自動分類手法を適用する対象となる多量の差異を含む文章画像群に対しては有効であるとは限らない。また、高精細な画像特徴量を利用すると、学習データセットの文章画像にのみ存在する差異だけを識別して分類ルールを生成する可能性が生じ、誤分類を招来する原因にもなる。従って、本発明の実施形態では、初回の機械学習において高精細な画像特徴量を導出せず、分類ルールの精度が悪かった場合にはじめて追加特徴量として高精細な画像特徴量を導出する。
【０１００】
図１０は、少量の差異のみを含む文章画像群の別例を示す図である。図１０に示される通り、学習用文章画像Ａ１００１と、学習用文章画像Ｂ１００２とは、宛名が相異している。すなわち、学習用文章画像Ａ１００１の宛名は「鈴木太郎」であり、学習用文章画像Ｂ１００２の宛名は「山田花子」である。また、学習用文章画像Ａ１００１と、分類用文章画像Ａ１００３とは、装飾フォントの有無という点のみが相異している。すなわち、学習用文章画像Ａ１００１の文字列「請求書」には下線が付与されているが、分類用文章画像Ａ１００３の文字列「請求項」には下線が付与されていない。
【０１０１】
図９を参照して説明した通り、高精細な画像特徴量を用いて分類ルールを生成すると、少量の差異のみを含む文章画像群を分類可能な分類ルールを生成することができる。しかしながら、図１０に示される文章画像群のように、文章画像群に含まれる差異が複数存在する場合、一部の差異のみを分類データ生成に反映させたい場合がある。
【０１０２】
例えば、宛名が相異する文章画像については、文章画像に付与された分類ラベルの指定通りに分類し、装飾フォントの有無が相異する文章画像については、分類の対象としないような、分類ルールを生成する場合が相当する。具体的には、学習用文章画像Ａ１００１と、学習用文章画像Ｂ１００２とは、宛名が相異しているため、分類用文章画像Ａ１００３と、分類用文章画像Ｂ１００４とを、それぞれ分類ラベルＡ、Ｂの指定通りに分類可能な分類ルールを生成する。一方、学習用文章画像Ａ１００１と、分類用文章画像Ａ１００３とは、装飾フォントの有無が相異しているが、学習用文章画像Ａ１００１と、分類用文章画像Ａ１００３とについては、分類の対象としない場合が相当する。
【０１０３】
上記のような場合に、文字列「請求書」に下線が引かれているか否かを特定するように画像特徴量を導出すると、分類用文章画像Ａ１００３は、分類ラベルＡが付与された文章画像ではないと分類される等の、誤分類につながる可能性がある。このような誤分類を回避するためにも、高精細な画像特徴量は追加特徴量セットとして初期特徴量セットに組み入れる手法が有効である。本実施形態においては、追加特徴量セットとして、前述の第２の特徴量セットを好適に適用することができる。
【０１０４】
再び図８に戻り、Ｓ８１０において、第２の分類ルール生成部７０７は、第２の特徴量セットと、文章画像に付与された分類ラベルとから、文章画像が分類ラベルの指定に応じて分類されるように規定する、分類ルールを生成する。本実施形態においては、Ｓ８０３と同様に、Ｒｅａｌ  ＡｄａＢｏｏｓｔによる機械学習の手法を用いて分類ルールの生成を行う。具体的には、第２の分類ルール生成部７０７は、第１の特徴量セットおよび第２の特徴量セットとして約２５０００次元の画像特徴量から所定の画像特徴量（例えば、３００次元の画像特徴量）を選択し、選択した画像特徴量から分類ルールを生成する。
【０１０５】
Ｓ８１１において、学習精度判定部７０４は、第２の分類ルール生成部７０７が生成した分類ルールに基づいて、文章画像が分類ラベルの指定通りに分類されたかを判定する処理を実行する。
【０１０６】
学習精度判定部７０４は、学習データセットの文書画像に付与されている分類ラベルと、学習データセットの文書画像の分類結果とが一致したと判定した場合（Ｓ８１１：Ｙｅｓ）、Ｓ８１４に移行する。
【０１０７】
一方、学習データセットの文書画像が、１つでも分類ラベルの指定通りに分類されなかった場合、学習精度判定部７０４は、学習データセットの文章画像の誤分類が発生したと判定し（Ｓ８１１：Ｎｏ）、Ｓ８１２に移行する。
【０１０８】
追加特徴量セットを加えて機械学習を行ったにもかかわらず、学習データセットの文書画像の誤分類が発生した場合は、画像分類装置２００が備える機械学習手法では、当該文章画像群を分類するための分類ルールの生成が不可能であることになる。
【０１０９】
Ｓ８１２において、制御部２０１は、Ｓ８１１において誤分類された文章画像と、当該文章画像に付与されている分類ラベルと、当該文章画像を分類ラベルに従って分類することができない旨とを、ディスプレイ２１０に表示する。次に、制御部２０１は、ディスプレイ２１０に表示されている文章画像に対応する分類ラベルの再指定を、ユーザインターフェース２０６を介して受付ける。
【０１１０】
図１１は、Ｓ８１２において文章画像に対応する分類ラベルの再指定を受付ける際に、ディスプレイ２１０に表示される画面の一例を示す図である。
【０１１１】
本例では、Ｓ８０１において、データ取得部７０１は、学習データセットの文章画像として、学習用文章画像Ａ１１０１、学習用文章画像Ａ１１０２、および学習用文章画像Ｂ１１０３とを取得している。さらに、学習用文章画像Ａ１１０１、学習用文章画像Ａ１１０２、および学習用文章画像Ｂ１１０３には、それぞれ分類ラベルＡ、分類ラベルＡ、および分類ラベルＢが付与されている。
【０１１２】
しかしながら、学習用文章画像Ａ１１０２は、学習用文章画像Ａ１１０１とは異なるフォーマットで作成されており、文字列または罫線などに多くの差異が存在する。このような場合には、学習用文章画像Ａ１１０１と、学習用文章画像Ａ１１０２とを同じものとして分類可能とする分類ルールを生成するのは難しい問題である。そのため、学習用文章画像Ａ１００２に対して、新しい分類ラベルを付与することにより、誤分類を発生させることなく、学習データセットの文章画像を、分類ラベルの指定通りに分類可能な分類ルールを生成することができる。図１１を参照して具体的に説明すると、学習用文章画像Ａ１００２に対して、新しい分類ラベルである分類ラベルＣを再付与する。これにより、学習用文章画像Ａ１１０４、学習用文章画像Ｃ１１０５、および学習用文章画像Ｂ１１０６とが、新たに機械学習の対象となる学習データセットとして、データ取得部７０１によって取得される。
【０１１３】
Ｓ８１３において、第２の分類ルール生成部７０７は、第１の特徴量セットと、第２の特徴量セットと、Ｓ８１２で再度指定を受付けた分類ラベルとから、分類ルールを再度生成する処理を実行する。そして、学習精度判定部７０４は、第２の分類ルール生成部７０７が生成した分類ルールに基づいて、文章画像が分類ラベルの指定通りに分類されたかを再度判定する処理を実行する。さらに、データ出力部７０５は、上記判定処理の結果を、記憶部２０９に記憶する。
【０１１４】
Ｓ８１４において、データ出力部７０５は、Ｓ８０１からＳ８１３までの各ステップで実行した機械学習の結果を、ディスプレイ２１０上に表示する処理を実行する。データ出力部７０５が出力する内容には、生成した分類ルールを学習データセットの文書画像に適用した際の誤分類率、誤分類した文書画像、および機械学習の所要時間、各特徴量導出部が導出した画像特徴量等が例示される。
【０１１５】
最後に、Ｓ８１４において、データ出力部７０５は、各分類データ生成部が生成した分類ルールを記憶部２０９に記憶する。記憶部２０９に記憶される分類ルールには、当該分類ルールが利用する画像特徴量についての情報、および画像特徴量を抽出する文章画像の境界に関する情報などが含まれる。これらの情報は、実際に文章画像を分類する運用フェーズにおいて、画像解析部２０３の分類部２０５が、分類ルールを適用する際に記憶部２０９からＲＡＭ２０８上に呼出されて使用される。
【０１１６】
尚、図８のフローチャート中、Ｓ８０４、Ｓ８０８、およびＳ８１１の判定処理において、学習データセットの文書画像が、１つでも分類ラベルの指定通りに分類されなかった場合に誤分類と判定するものとして説明した。しかし、実施形態はこれに限られず、学習精度判定部７０４は、学習データセットの文書画像の数が、所定の閾値以上誤分類とされたものであった場合、文章画像が分類ラベルの指定通りに分類されなかったと判定される態様であってもよい。
【０１１７】
さらに、本実施形態では、学習データセットの文章画像の勾配情報から追加特徴量セットを導出する態様について説明したが、実施形態はこれに限られない。例えば、文章画像群の差異が色や濃度であるのであれば、色分散や色ヒストグラムなどの色に関する画像特徴量を取得すればよい。
【０１１８】
以上説明した通り、本実施形態における画像分類装置２００による機械学習手法では、学習データセットを取得すると、先ず第１の特徴量導出部７０２が、第１の特徴量セット（初期特徴量セット）を導出する処理を実行する。そして、学習精度判定部７０４の判定の結果、さらに画像特徴量が必要となったときにのみ、第２の特徴量導出部７０６が、第２の特徴量セット（追加特徴量セット）を導出する処理を実行する。
【０１１９】
本実施形態によれば、機械学習を利用した画像分類装置において、学習データセットの分類エラーが発生した場合には、専門の技術者などによる手当を必要とせず、機械学習を効率的に行うことができる。さらに、本発明における画像分類装置では、必要に応じて分類ルールを生成することにより、機械学習の効率化を図ることができる。
【０１２０】
［実施形態２］
以下、本発明の実施形態２について、前述の実施形態１と異なる部分を中心に説明する。実施形態１において、第２特徴量導出部７０６は予め定められた所定のパラメータに基づいて、固定的に第２の特徴量セットを導出する処理を実行していた。これに対し、本実施形態では、ユーザから文章画像の所定の領域指定を受付け、第２の特徴量セット導出部７０６は、受付けた指定領域を対象として、動的に第２の特徴量セットを導出する処理を実行する。
【０１２１】
図１２は、本実施形態における、画像分類装置２００の機械学習の処理内容を示すフローチャートである。なお、図１２に示されるフローチャートによる処理は、記憶部２０９に記憶されたプログラムコードがＲＡＭ２０８に展開され、ＣＰＵ２０７によって実行される。
【０１２２】
実施形態１と異なる処理を行うステップは、Ｓ１２０１とＳ１２０２である。そのため、本実施形態の説明においては、Ｓ１２０１とＳ１２０２の該当ステップの処理内容についてのみ説明する。
【０１２３】
Ｓ１２０１において、制御部２０１は、Ｓ８０８において誤分類された文章画像と、当該誤分類先の分類ラベルが付与された文章画像とを、ディスプレイ２１０に表示する。そして、制御部２０１は、ディスプレイ２１０に表示されている誤分類された文章画像に対して、双方の文章画像の差異が含まれている領域の指定を、ユーザインターフェース２０６を介して受付ける。Ｓ８０８において誤分類された文章画像が複数存在する場合は、Ｓ１２０１の処理を繰り返す。
【０１２４】
図１３は、誤分類された文章画像と、当該誤分類先の分類ラベルが付与された文章画像とを表示する表示画面の一例を図示したものである。図１３において、符号１３００は画像分類装置２００のディスプレイ２１０の表示画面を示している。図１３に示されるように、分類ラベルＡが付与されている文章画像Ａ１３０１と、文章画像Ａとして誤分類された文章画像Ｂ１３０２とが、ディスプレイ２１０上に表示される。
【０１２５】
本実施例においては、文章画像Ａ１３０１と、文章画像Ｂ１３０２とは、装飾フォントの有無という点のみが相異している。すなわち、文章画像Ａ１３０１の文字列「請求書」には下線が付与されているが、文章画像Ｂ１３０２の文字列「請求項」には下線が付与されていない。このとき、制御部２０１は、ディスプレイ２１０に表示されている誤分類された文章画像Ｂ１３０２に対して、「請求書」という文字列を含む領域の指定を、ユーザインターフェース２０６を介して受付ける。なお、ここでは誤分類された文章画像１３０２Ｂに対して領域の指定を受付ける態様について説明したが、領域の指定を受付ける文章画像は、文章画像Ａ１３０１の方であってもよい。また、このときユーザインターフェース２０６は、領域指定受付手段として機能する。
【０１２６】
次に、Ｓ１２０２において、第２の特徴量導出部７０６は、Ｓ８０１で取得した学習データセットを用いて第２の特徴量セットを導出する。第２の特徴量導出部７０６は、学習データセットに含まれる文書画像を記憶部２０９からＲＡＭ２０８に呼出し、図３〜図５において説明した種々の手法により、学習データセットの文書画像の画像特徴量を導出する。ここで、第２の特徴量セットは、Ｓ８０１で取得した学習データセットを用いて２回目以降に導出する追加特徴量セットである。
【０１２７】
本実施形態において、第２の特徴量導出部７０６は、Ｓ１２０１で受付けた領域の指定に基づき、動的に第２の特徴量セットを導出する処理を実行する。すなわち、文書画像群の差異を示す情報は、文章画像中の指定された領域に含まれているので、第２の特徴量導出部７０６は、文章画像中の指定された領域について重点的に第２の特徴量セットを導出する。図１３を参照して説明すると、第２の特徴量導出部７０６は、「請求書」という文字列を含む領域に差異があるため、「請求書」という文字列を含む領域について追加特徴量を導出する処理を実行する。
【０１２８】
本実施形態において、第２の特徴量導出部７０６は、学習データセットの文章画像であって、分類ラベルＡが付与されている文章画像について、以下の通りに特徴量の導出を実行する。
【０１２９】
先ず、文字列「請求書」の周囲１６地点から１０種類の形状で分割し、分割したものをパッチ画像として切り出す。この場合、パッチ画像の切り出しを等倍、１／２、１／４、１／８解像度それぞれに対して実行すれば、合計６４０枚のパッチ画像を得ることができる。次いで、６４０枚のそれぞれのパッチ画像に対して９次元の勾配情報を演算すると、第２特徴量セットとして、５７６０次元の追加特徴量セットを導出することができる。
【０１３０】
本実施形態において導出した第２の特徴量セットは、先の実施形態１で導出した第２の特徴量セットと比較して次元数が少ないため、特徴量セットを導出するための時間短縮化を図ることができ、機械学習に要する時間の短縮を図ることができる。
【０１３１】
以上説明した通り、本実施形態における機械学習は、文章画像群の差異が含まれている領域の指定を、ユーザインターフェース２０６を介して受付け、必要な部分についてのみ追加特徴量セットを導出する処理を実行する。そのため、画像分類装置２００全体として、機械学習の効率化を図ることができる。
【０１３２】
［実施形態３］
以下、本発明の実施形態３について、前述の実施形態１と異なる部分を中心に説明する。実施形態１において、第１特徴量導出部７０２は予め定められた所定のパラメータに基づいて、固定的に第１の特徴量セットを導出する処理を実行していた。これに対し、本実施形態では、過去の機械学習において生成した特徴量セットを用いて、第１の特徴量セット（初期特徴量セット）を導出する処理を実行する。
【０１３３】
図１４は、本実施形態における、画像分類装置２００の機械学習の処理内容を示すフローチャートである。なお、図１４に示されるフローチャートによる処理は、記憶部２０９に記憶されたプログラムコードがＲＡＭ２０８に展開され、ＣＰＵ２０７によって実行される。
【０１３４】
実施形態１と異なる処理を行うステップは、Ｓ１４０１である。そのため、本実施形態の説明においては、Ｓ１４０１のステップの処理内容についてのみ説明する。
【０１３５】
Ｓ１４０１において、第１の特徴量導出部７０２は、Ｓ８０１で取得した学習データセットと、以前に導出され記憶部２０９から呼出された分類ルールで利用されている特徴量セット情報とを用いて第１の特徴量セットを導出する。第１の特徴量導出部７０２は、先ず学習データセットに含まれる文書画像を記憶部２０９からＲＡＭ２０８に呼出し、図３〜図５において説明した種々の手法により、学習データセットの文書画像の特徴量セットを導出する。
【０１３６】
これに加えて、第１の特徴量導出部７０２は、第１の特徴量導出部７０２または第２の特徴量導出部７０６が以前に導出し、記憶部２０９に記憶された分類ルールで利用さている特徴量情報を呼び出す。Ｓ１４０１において、第１の特徴量導出部７０２は、学習データセットに含まれる文書画像を記憶部２０９からＲＡＭ２０８に呼出し、図３〜図５における種々の手法により、特徴量情報を利用して、過去の分類で利用された特徴量についても追加で導出する。そして、追加で導出された特徴量も含めた特徴量セットを、今回分類データを生成するための第１の特徴量セット（初期特徴量セット）とする。
【０１３７】
図１５は、以前に機械学習済みの文章画像群の一例を示す図である。図１５に示される通り、分類ラベルＡが付与された文章画像Ａ１５０１と、分類ラベルＢが付与された文章画像Ｂ１５０２とは、装飾フォントの有無という点が相異している。すなわち、文章画像Ａ１５０１の文字列「請求書」には下線が付与されていないが、文章画像Ｂ１５０２の文字列「請求項」には下線が付与されている。同様に、文章画像Ａ１５０３の文字列「見積書」には下線が付与されていないが、文章画像Ｂ１５０４の文字列「見積書」には下線が付与されているという点が相異している。
【０１３８】
文章画像Ａ１５０１と、文章画像Ｂ１５０２とを分類するための分類ルールは、以前に実行された機械学習処理で既に生成されており、文章画像Ａ１５０１と、文章画像Ｂ１５０２とを分類ラベルの指定通りに分類する分類ルールは確立されている。
【０１３９】
そして、本実施形態では、以前に分類データが生成されたときに、データ出力部７０５は、文章画像Ａ１５０１と、文章画像Ｂ１５０２との差異を識別するための特徴量セットを記憶部２０９に記憶する処理を実行する。そして、新たに初期特徴量セットを導出する際に、第１の特徴量導出部７０２は、所定の特徴量セットおよび呼出された特徴量セットとから、今回分類データを生成するための第１の特徴量セット（初期特徴量セット）を導出する処理を実行する。
【０１４０】
本実施形態に係る機械学習処理の手法は、定型的なフォーマットに則って作成された文章画像群を分類する場合に特に有益である。具体的には、図１５に示される文章画像のように、特定の文字列に装飾フォントが含まれているか等のみに基づいて、文章画像群を自動分類する場合が例示される。
【０１４１】
前述の通り、例えば同じフォーマットで作成された文章画像群であって、宛名の違いや装飾フォントの有無などの少量の差異のみを含む文章画像群を分類するためには、詳細な特徴量セットが必要となる場合がある。このとき、第１の特徴量導出部７０２が最初に導出する特徴量セットだけで、必要な分類ルールが作成できなければ、常に第２の特徴量導出部７０６による追加特徴量セットの導出を実行する必要が発生する。これは、機械学習に必要な時間および、ＣＰＵの処理負担が増えることを意味し、ユーザの利便性を損なうことに繋がる。
【０１４２】
そこで、Ｓ１４０１において、第１の特徴量導出部７０２は、Ｓ８０１で取得した学習データセットと、以前に導出され記憶部２０９から呼出された記憶された分類ルールの特徴量セットとを用いて第１の特徴量セットを導出する。このとき、第１の特徴量導出部７０２は、以前に導出され記憶部２０９に記憶されている分類ルールの解析を行い、第１の特徴量導出部７０２が今回導出する特徴量セットに含まれない特徴量セットを抽出することができる。さらに、これに加えて第１の特徴量導出部７０２は、分類ルールを生成するために所定の回数以上用いられている特徴量セットを選択してもよい。
【０１４３】
以上説明した通り、本実施形態における機械学習では、第１の特徴量導出部７０２は、導出された特徴量セットおよび呼出された特徴量セットとから、今回分類データを生成するための第１の特徴量セットを導出する処理を実行する。画像分類装置２００は、必要に応じて以前に記憶された特徴量セットを呼出して、第１の特徴量セットの導出を行う。そのため、第２の特徴量導出部７０６の処理によらず精度の高い機械学習を行うことが可能となるため、画像分類装置２００の機械学習の効率化を図ることができる。
【０１４４】
［その他の実行例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【０１４５】
また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。
【図１】
2016057925.tif 000005
【図２】
2016057925.tif 000006
【図３】
2016057925.tif 000007
【図４】
2016057925.tif 000008
【図５】
2016057925.tif 000009
【図６】
2016057925.tif 000010
【図７】
2016057925.tif 000011
【図８】
2016057925.tif 000012
【図９】
2016057925.tif 000013
【図１０】
2016057925.tif 000014
【図１１】
2016057925.tif 000015
【図１２】
2016057925.tif 000016
【図１３】
2016057925.tif 000017
【図１４】
2016057925.tif 000018
【図１５】
2016057925.tif 000019