(57)【要約】【課題】機械学習を利用して画像の分類ルールを生成する画像分類装置、画像分類システム、画像分類方法、及びプログラムを提供する。【解決手段】本発明に係る画像分類装置は、第１の分類ラベルが付与された複数の文書画像から、それぞれの文書画像の特徴量を導出する特徴量導出手段を備える。また、特徴量を使用してクラスタリング処理を実行し、複数の文書画像が１つのクラスターに収束するまでの結合距離を算出するクラスタリング処理実行手段を備える。また、クラスターを、結合距離の所定の閾値において複数のサブクラスターに分割し、各サブクラスターに含まれる文書画像に第２の分類ラベルを付与する分類ラベル付与手段を備える。また、特徴量と第２の分類ラベルとを用いて機械学習を実行し、第２の分類ラベルに対応する特徴量を有する文書画像を第１の分類ラベルで指定された分類先に分類する分類ルールを生成する分類ルール生成手段を備える。【選択図】図６
2016071412.tif 000002
【特許請求の範囲】
【請求項１】
画像分類装置であって、
第１の分類ラベルが付与された複数の文書画像から、それぞれの文書画像の特徴量を導出する特徴量導出手段と、
前記特徴量を使用してクラスタリング処理を実行し、前記複数の文書画像が１つのクラスターに収束するまでの結合距離を算出するクラスタリング処理実行手段と、
前記クラスターを、前記結合距離の所定の閾値において複数のサブクラスターに分割し、各サブクラスターに含まれる文書画像に第２の分類ラベルを付与する分類ラベル付与手段と、
前記特徴量と前記第２の分類ラベルとを用いて機械学習を実行し、前記第２の分類ラベルに対応する特徴量を有する文書画像を前記第１の分類ラベルで指定された分類先に分類する分類ルールを生成する分類ルール生成手段と
を備えたことを特徴とする画像分類装置。
【請求項２】
前記クラスタリング手段は、各文書画像間のユークリッド距離を算出し、前記ユークリッド距離が最小距離にある文書画像を結合し、前記複数の文書画像が１つのクラスターに収束するまで反復することで、前記結合距離を算出することを特徴とする請求項１に記載の画像分類装置。
【請求項３】
前記クラスタリング処理実行手段及び前記分類ラベル付与手段は、前記第１の分類ラベル毎に処理を繰り返し、すべての前記文書画像に対して前記第２の分類ラベルを付与することを特徴とする請求項１または２に記載の画像分類装置。
【請求項４】
前記分類ルール生成手段は、前記機械学習によって前記第２の分類ラベル毎に分類器を作成し、各分類器は、自身の分類ラベルに対応する特徴量を有する文書画像と、それ以外の文書画像とを分類することを特徴とする請求項１乃至３のいずれか１項に記載の画像分類装置。
【請求項５】
前記第２の分類ラベルが付与された文書画像の数を、前記第２の分類ラベル毎にカウントするカウント手段と、
前記文書画像の数が所定の値未満である前記第２の分類ラベルが付与された文書画像を提示して、類似文書画像の追加を促す文書画像提示手段と、
追加された文書画像を含めてクラスタリング処理を実行するクラスタリング処理実行手段と
をさらに備えたことを特徴とする請求項１乃至４のいずれか１項に記載の画像分類装置。
【請求項６】
前記分類ルールに従って分類した結果、誤分類された文書画像について、正しい分類ラベルを受け取り、前記誤分類された文書画像の特徴量と関連付けて記憶する記憶手段と、
所定のタイミングで、前記正しい分類ラベルと前記誤分類された文書画像の特徴量を利用して、クラスタリング処理及び分類ルール生成処理を再度実行する再実行手段と
をさらに備えたことを特徴とする請求項１乃至５のいずれか１項に記載の画像分類装置。
【請求項７】
前記記憶手段に記憶された前記誤分類された文書画像の数が所定の値を超えた場合に、前記再実行手段を実行することを促すメッセージを提示する提示手段をさらに備えたことを特徴とする請求項６に記載の画像分類装置。
【請求項８】
画像を読み取る画像読取手段と、
前記画像読取手段によって取得された前記画像を記憶する記憶手段と
を備えた画像処理装置と、
請求項１乃至７のいずれか１項に記載の画像分類装置と
を備えたことを特徴とする画像分類システム。
【請求項９】
画像分類方法であって、
第１の分類ラベルが付与された複数の文書画像から、それぞれの文書画像の特徴量を導出するステップと、
前記特徴量を使用してクラスタリング処理を実行し、前記複数の文書画像が１つのクラスターに収束するまでの結合距離を算出するステップと、
前記クラスターを、前記結合距離の所定の閾値において複数のサブクラスターに分割し、各サブクラスターに含まれる文書画像に第２の分類ラベルを付与するステップと、
前記特徴量と前記第２の分類ラベルとを用いて機械学習を実行し、前記第２の分類ラベルに対応する特徴量を有する文書画像を前記第１の分類ラベルで指定された分類先に分類する分類ルールを生成するステップと
を含むことを特徴とする方法。
【請求項１０】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像分類装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習を利用して画像の分類ルールを生成する画像分類装置、画像分類システム、画像分類方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、文書管理のワークフローにおいて、紙文書を画像読み取り装置などで読み込んで電子化された文書画像を生成し、それを蓄積して、画像分類装置に所定の分類ルールに従って分類させる事が行われている。文書画像を分類するための分類ルールは、画像分類装置によって自動的に生成され、その方法として、教師あり機械学習と呼ばれる方法が利用されている。教師あり機械学習では、まず、ユーザーが、学習データセットとして、分類したい文書画像のサンプルとその分類ラベルを画像分類装置に設定する。そして、画像分類装置は、その学習データセットを、いわば教師からの助言として利用して、分類ルールを生成する。
【０００３】
ユーザーが設定する分類ラベルは、「クラス」と呼ばれるグループを指定する。例えば、ユーザーが、サンプルとして３種類の文書画像を用意し、それぞれの文書画像に「クラスＡ」、「クラスＢ」、「クラスＣ」と分類ラベルをつけて、学習データセットを設定する。また、分類した文書画像の保存先フォルダなど、文書画像を分類した後の処理についても設定する。そして、設定された学習データセットを利用して、画像分類装置は分類ルールを生成する。
【０００４】
生成した分類ルールを利用して、画像分類装置が対象の文書画像を分類する場合、その文書画像の分類ラベルがクラスＡ、クラスＢ、またはクラスＣのどれであるかを判定し、その分類ラベルと結び付けられたフォルダへ文書画像を保存する。
【０００５】
このような機械学習の方法としては、種々の公知の方法があり、例えば、サポートベクターマシーン（ＳＶＭ)、リアルアダブースト（Ｒｅａｌ  ＡｄａＢｏｏｓｔ）、ランダムフォレスト（Ｒａｎｄｏｍ  Ｆｏｒｅｓｔ）等がある。
【０００６】
一般的に、学習データセットは、画像特徴が似た文書画像を一つのクラスとしてまとめるように分類ラベルをつけて設定される。画像特徴が異なる文書画像を同じクラスとしてしまうと、分類ルールの生成が非常に困難になってしまうからである。したがって、学習データセットは、一般的には、専門の技術者が同じクラスにまとめるべき文書画像を判断し、設定する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２００８／１２９８８１号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、専門の技術者ではない一般的なユーザーが学習データセットを設定する場合、異なる特徴を有する文書画像に対して、同じ分類ラベルを付けてしまうこともある。そのような場合、文書画像を有効に分類することのできる分類ルールの生成は困難であった。
【０００９】
特許文献１では、同じ分類ラベル内において、さらに詳細な分類ラベルを付与することで分類ルールを生成する方法を開示しているが、この方法では、詳細な分類ラベルもユーザーの判断により付与する必要があった。
【課題を解決するための手段】
【００１０】
上記課題を解決すべく、本発明の一実施形態に係る画像分類装置は、第１の分類ラベルが付与された複数の文書画像から、それぞれの文書画像の特徴量を導出する特徴量導出手段を備える。また、特徴量を使用してクラスタリング処理を実行し、複数の文書画像が１つのクラスターに収束するまでの結合距離を算出するクラスタリング処理実行手段を備える。また、クラスターを、結合距離の所定の閾値において複数のサブクラスターに分割し、各サブクラスターに含まれる文書画像に第２の分類ラベルを付与する分類ラベル付与手段を備える。また、特徴量と第２の分類ラベルとを用いて機械学習を実行し、第２の分類ラベルに対応する特徴量を有する文書画像を第１の分類ラベルで指定された分類先に分類する分類ルールを生成する分類ルール生成手段を備える。
【発明の効果】
【００１１】
本発明によれば、同じ分類ラベルが付与された複数の文書画像が異なる特徴を有していても、文書画像を有効に分類することができる分類ルールを生成することが可能になる。また、機械学習を実行する際の詳細ラベルに関してユーザーが意識する必要がなく、機械学習に関する知識がないユーザーが分類ラベルを設定しても、文書画像を有効に分類することができる分類ルールを生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る画像分類システムの構成図である。
【図２】本発明の一実施形態に係る勾配情報に基づく画像特徴量の導出を説明する図である。
【図３】本発明の一実施形態に係る１つのパッチから画像特徴量を算出する様子を示す概念図である。
【図４】本発明の一実施形態に係る複数のパッチ画像切り出しを示す概念図である。
【図５】本発明の一実施形態に係る分類器を示す概念図である。
【図６】本発明の一実施形態に係る分類ルールの学習方法を示すフロー図である。
【図７】（ａ）は、本発明の一実施形態に係るクラスタリング実行時の学習用文書画像を特徴空間に示した概念図であり、（ｂ）は、本発明の一実施形態に係るクラスタリング実行過程で一番近いクラスターをまとめたことを示した概念図である。
【図８】本発明の一実施形態に係るクラスタリング実行過程でクラスターがまとめられていく結合距離と、一つにまとめるクラスターの範囲を決定する結合距離閾値を示した図である。
【図９】本発明の一実施形態に係る学習用文書画像の追加手順を示すフロー図である。
【図１０】本発明の一実施形態に係る学習用文書画像の再学習手順を示すフロー図である。
【発明を実施するための形態】
【００１３】
まず、本発明の概要について説明する。
【００１４】
以下の概要の説明では、画像分類装置のユーザーが、Ａ社用の文書をＡ社用フォルダに保存し、Ｂ社用の文書をＢ社用フォルダに保存することを望んだとする。両社用の文書には、それぞれ納品書、請求書、発注書などが含まれる。
【００１５】
ユーザーは、まず、Ａ社用文書のサンプルにＡ社用ラベルを設定し、Ｂ社用文書のサンプルにＢ社用ラベルを設定し、画像分類装置に分類ルールを生成するように命令する。そこで、Ａ社用の「納品書」のフォーマットが、Ａ社用の「請求書」のフォーマットと異なる一方で、Ｂ社用の「納品書」のフォーマットと似ているとする。この場合、画像分類装置は、Ａ社用の「納品書」は、Ｂ社用の「納品書」とは似ているが、Ａ社用の「請求書」とは似ていないと判断してしまい、Ａ社用の文書とＢ社用の文書を正しく分類する分類ルールを自動で生成することは困難であった。
【００１６】
一方で、Ａ社用の「納品書」とＡ社用の「請求書」は、フォーマットは似ていないが、例えば、宛名がどちらもＡ社様となっている部分があり、細かいレベルでは似ている。したがって、本発明では、画像分類装置が、まず、Ａ社用ラベルについてサンプルを分析して、より細かいレベルで似ている特徴に基づいたサブグループを生成し、そのサブグループにＡ社用サブラベルを付す。Ｂ社用ラベルについても同様にサブグループを生成し、Ｂ社用サブラベルを付す。その後、画像分類装置は、Ａ社用サブラベルを用いて分類ルールの生成する際に、Ａ社と分類するように指示されたサンプルの中からＡ社用サブラベルに対応する特徴を見つけ出すことができる。また、Ｂ社用サブラベルを用いて分類ルールを生成する際に、Ｂ社と分類するように指示されたサンプルの中からＢ社サブラベルに対応する特徴を見つけ出すことができる。よって、Ａ社用サブラベルのものは確かにＡ社に分類してよく、Ｂ社用サブラベルのものと確かにＢ社に分類してよいと理解して、分類ルールを生成することができる。
【００１７】
このように、従来、上述したような場合において、Ａ社用の「納品書」とＡ社用の「請求書」は似ていないと判定してしまい、ともにＡ社用の文書として分類する分類ルールを自動で生成することは困難であった。それに対して、本発明では、Ａ社用の「納品書」とＡ社用の「請求書」を詳細レベルで似ていると判定することで、分類ルールを自動で生成することができるようになる。
【００１８】
（第１の実施形態）
以下、図面を参照して、本発明を実施するための第１の実施形態について説明する。
【００１９】
図１は、本実施形態における画像分類システムの構成を示すブロック図である。図示されるように、画像分類システムは、画像処理装置１００と、該画像処理装置１００に相互に通信可能に接続された画像分類装置１２０を備える。
【００２０】
画像処理装置１００は、ユーザーインターフェース（ＵＩ）１０４、ＣＰＵ１０５、ＲＡＭ１０６、記憶部１０７、画像読取部１０８、画像出力部１０９、モニタ１１０を備え、制御部１０１を介して相互に通信可能に接続されている。制御部１０１は、画像処理装置１００全体を制御する装置制御部１０２と、画像処理を実行する画像処理部１０３とを含む。
【００２１】
ＵＩ１０４は、例えばキーボード、マウス、その他入出力装置によって構成され、各種の設定値または指定値を入力することができる。
【００２２】
ＣＰＵ１０５は、記憶部１０７に格納されたプログラムを読出し、ＲＡＭ１０６に記憶し、実行する。ＣＰＵ１０５がプログラムを実行することで、制御部１０１が制御される。ＲＡＭ１０６は、プログラムの格納や、ワークメモリとして使用される。
【００２３】
画像読取部１０８は、例えばスキャナーによって構成され、紙文書等を読み取ることにより、電子化された文書画像を取得することができる。制御部１０１は、画像読取部１０８から文書画像を取得し、記憶部１０７へ格納する。そして、制御部１０１は、文書画像の機械学習または分類処理を実行する際に、記憶部１０７に格納された文書画像を、ネットワーク１１１を介して画像分類装置１２０に送信する。
【００２４】
制御部１０１は、記憶部１０７に記憶された文書画像をモニタ１１０に提供し、モニタ１１０は、文書画像を出力する。また、制御部１０１は、記憶部１０７に記憶された文書画像を画像出力部１０９に提供し、画像出力部１０９は、種々の形式で文書画像を出力する処理を実行する。例えば、画像出力部１０９は、文書画像を、記憶媒体に出力する処理を実行することができる。あるいはまた、画像出力部１０９は印刷機能を備え、紙媒体等の出力媒体に文書画像を出力する処理を実行してもよい。
【００２５】
以上説明した画像処理装置１００は一例であり、画像出力部１０９を有さない構成としてもよい。
【００２６】
画像分類装置１２０は、ＵＩ１２４、ＣＰＵ１２５、ＲＡＭ１２６、記憶部１２７、モニタ１２８を備え、制御部１２１を介して相互に通信可能に接続されている。制御部１２１は、画像分類装置１２０全体を制御する装置制御部１２２と、文書画像の解析を行う画像解析部１２３と、文書画像に分類ラベルを付与する分類ラベル付与部１２９とを含む。
【００２７】
ＵＩ１２４は、例えばキーボード、マウス、その他入出力装置によって構成され、各種の設定値または指定値を入力することができる。
【００２８】
ＣＰＵ１２５は、記憶部１２７に格納されたプログラムを読出し、ＲＡＭ１２６に記憶し、実行する。ＣＰＵ１２５がプログラムを実行することで、制御部１２１が制御される。ＲＡＭ１２６は、プログラムの格納や、ワークメモリとして使用される。
【００２９】
制御部１２１は、ネットワーク１１１を介して画像処理装置１００から受信した文書画像を、記憶部１２７に記憶する。また、制御部１２１は、記憶部１２７に記憶された文書画像をモニタ１２８に提供し、モニタ１２８は、文書画像を出力する。
【００３０】
制御部１２１は、記憶部１２７に記憶された文書画像を画像解析部１２３に提供する。画像解析部１２３は、ＵＩ１２４を介して入力された各種指示に基づいて、文書画像の解析処理を実行する。あるいは、ＵＩ１２４から入力された各種指示は記憶部１２７やＲＡＭ１２６に保存され、画像解析部１２３は、保存された各種指示を読み出して、文書画像の解析処理を実行する。
【００３１】
画像解析部１２３は、機械学習において分類ルールを生成する学習フェーズでは、文書画像から特徴量を導出し、文書画像に付与された分類ラベルに基づいて、分類ルールを生成する。なお、分類ラベルは、ＵＩ１２４から入力された指示に基づき、あらかじめ文書画像に付加しておく。
【００３２】
また、画像解析部１２３は、分類ルールに基づいて文書画像を分類する運用フェーズでは、文書画像から特徴量を導出し、学習フェーズにおいて生成した分類ルールに基づき、文書画像を分類する。適用する分類ルールは、ＵＩ１２４から入力された指示または画像処理装置１００から受信した指示に基づき指定してもよい。
【００３３】
装置制御部１２２は、生成した分類ルールや文書画像の分類結果、ＵＩ１２４から入力された指示情報などをモニタ１２８に提供し、モニタ１２８はそれらを出力する。さらに、装置制御部１２２は、生成した分類ルールを記憶部１２７に格納し、分類結果に基づき、文書画像を記憶部１２７の適切なフォルダに格納する。また、記憶部１２７は、本実施形態を実現するためのアプリケーション、ＯＳなども格納しており、該コンピュータプログラムは、ＲＡＭ１２６にロードされて、ＣＰＵ１２５により実行される。
【００３４】
以上説明した画像分類装置１２０は一例であり、これに限定されるものではない。画像分類装置１２０は、サーバーやＰＣで実現することもでき、記憶部１２７や画像解析部１２３の機能の一部は、クラウドなど、ネットワーク１１１を介して接続されるリモート機器で実現してもよい。また、画像処理装置１００を、画像分類装置１２０の機能を実現するように構成してもよい。
【００３５】
次に、本実施形態における画像特徴量の導出、パッチ画像の切り出し、クラスタリング手法、及び、機械学習手法の例を説明する。
【００３６】
（画像特徴量の導出）
本実施形態における文書画像の特徴量は、文書画像の一部をパッチとして切り出し、そのパッチ画像毎に、勾配情報に基いて導出される。文書画像の一部を切り出して利用することで、部分的に違いのある文書画像を分類することが可能になり、勾配情報を利用することで、文字や罫線で構成される文書画像の特徴を捉えることが可能となる。
【００３７】
図２は、本発明の一実施形態に係る勾配情報に基づく画像特徴量の導出を説明する図である。文書画像の特徴量を導出するために、まず、切り出したパッチ画像２０１内の画素位置（ｘ，ｙ）ごとに、勾配情報（勾配強度及び勾配方向）を算出する。
【００３８】
画素位置（ｘ、ｙ）における画素の画素値（輝度値）をＬ（ｘ，ｙ）とすると、ｘ方向における輝度勾配ｆｘ及びｙ方向における輝度勾配ｆｙは、それぞれ、以下の式（１）及び（２）によって算出することができる。
【００３９】
【数１】
2016071412.tif 000003
【００４０】
勾配強度ｍ（ｘ，ｙ）は、ｘ方向における輝度勾配ｆｘ、及びｙ方向における輝度勾配ｆｙから、以下の式（３）によって算出することができる。
【００４１】
【数２】
2016071412.tif 000004
【００４２】
また、勾配方向θ（ｘ，ｙ）は、ｘ方向における輝度勾配ｆｘ、及びｙ方向における輝度勾配ｆｙから、以下の式（４）によって算出することができる。
【００４３】
【数３】
2016071412.tif 000005
【００４４】
このようにして、パッチ画像２０１内のすべての画素について、ｘ方向とｙ方向の勾配強度と勾配方向を求める。
【００４５】
次に、図３を参照して、算出した勾配情報からの画像特徴量の導出について説明する。
【００４６】
本実施形態では、図３に示すように、算出した勾配情報を利用して、１つのパッチ画像３０１から９次元の特徴量を導出する。
【００４７】
まず、勾配強度が一定値以上の画素をエッジ画素とし、一定値より小さい画素を非エッジ画素とする。エッジ画素群から勾配方向を８方向に量子化して、「方向ごとの勾配積算値／パッチ画素数」を算出し、「非エッジ画素数／パッチ画素数」と合わせて、１つのパッチ画像から９次元の特徴量を算出する。このように、エッジ画素と非エッジ画素を利用することで、罫線や文字の情報だけでなく、文書画像の大きな特徴である余白部分を表現することが可能になる。
【００４８】
以上、１つのパッチ画像における特徴量の導出について説明したが、実際には複数のパッチ画像を切り出して利用することにより、多数の特徴量を導出する。
【００４９】
（パッチ画像の切り出し）
次に、パッチ画像の切り出しについて説明する。図４は、文書画像からのパッチ画像の切り出しの概要を示す。
【００５０】
まず、文書画像のノイズが表れやすい画像端を削除して、複数の解像度の画像を作成する。複数の解像度の画像を用意するのは、解像度ごとにエッジの構造が変わるためである。そして、それぞれの解像度の画像を走査しながら、複数のサイズのパッチ画像を切り出す。そうすることで、パッチ画像位置を考慮した特徴量の導出を可能にする。
【００５１】
例えば、３００ｄｐｉでスキャンした画像から特徴量を抽出することを考える。まず、スキャン画像を、１／４サイズと１／８サイズに縮小した２種類の画像を作成する。次に、縮小した各画像から１／４サイズのパッチ画像を１／５ずつずらして５×５=２５枚、１／８サイズのパッチ画像を１／１０ずつずらして、１０×１０=１００枚切り出すことで、計２５０個のパッチ画像を切り出す。このような設定においては、各パッチ画像から９次元の特徴量を算出するため、画像１枚から２２５０次元の特徴量を算出することが可能となる。
【００５２】
このようにして導出した特徴量群を、特徴量セット１と呼ぶこととする。特徴量セット１は、一般的な文書画像を分類するのに十分な特徴量を含むが、文書画像間の差異が少ない場合には、さらに細かい特徴量が必要となる場合がある。そのような場合には、画像解像度、パッチ画像サイズ、パッチ画像切り出し位置に関するパラメータを変更して処理することで、特徴量を容易に増やすことが可能である。
【００５３】
例えば、上述のスキャン画像をさらに、等倍サイズと１／２サイズに縮小した２種類の画像を作成し、各画像から１／８サイズのパッチ画像と１／１６サイズのパッチ画像を切り出す。１／８サイズのパッチ画像を切り出す際には１／１６ずつずらし、１／１６サイズのパッチ画像を切り出す際には１／３２ずつずらすとすると、（１６×１６×９＋３２×３２×９）×２＝２３０４０次元の特徴量を算出することができる。上述の特徴量セット１に、この２３０４０次元の特徴量を加えたものを、特徴量セット２と呼ぶこととする。
【００５４】
これらの画像特徴量の計算は、画像分類装置１２０の画像解析部１２３で実行される。なお、本実施形態で利用可能な画像特徴量は、ここで説明した画像特徴量に限定されるものではない。公知のＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）やＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ）等のスケール・回転不変の特徴量を利用してもよい。また、原稿の色の情報を利用するために、色ヒストグラムや色分散等を特徴量としてもよい。
【００５５】
（クラスタリング手法）
次に、本実施形態で利用するクラスタリング手法について説明する。クラスタリング手法については、本実施形態ではＷａｒｄ法と呼ばれる公知の手法を利用する。Ｗａｒｄ法は、クラスタリングの際に、クラスター間の距離を定義する方法である。
【００５６】
まず、クラスタリングの分析対象であるデータをクラスターとして、各クラスター間のユークリッド距離を算出する。次いで、最小距離間にある２個のクラスターをまとめて１個のクラスターとし、２個のクラスターの重心を、１個にまとめたクラスターの位置とする。次いで、１個にまとめたクラスターを含めた各クラスター間のユークリッド距離を算出し、最小距離間にある２個のクラスターをまとめて１個のクラスターとする。このような処理を、分析対象であるデータが１個のクラスターにまとまるまで反復する。
【００５７】
各クラスター間で結合する時のユークリッド平方距離をデンドログラムとして出力できる。これは分析対象となるデータがまとめられていく様子を樹形図の形であらわしたものである。上記に書いた１個のクラスターにまでまとめられていく過程の「クラスター内の平方和」が増加していく樹形図が明確に表され、各データ間の距離が描かれる。この各データ間の距離を結合距離と呼び、所定の値を閾値として設定し、その閾値において、あるクラスターを別のクラスターとして分割し、分類することが出来る。
【００５８】
このクラスタリング処理は、画像分類装置１２０の画像解析部１２３で実行される。
【００５９】
（機械学習手法）
次いで、本実施形態で利用する機械学習の手法について説明する。機械学習の手法として、本実施形態ではリアルアダブーストと呼ばれる公知の手法を利用する。この手法は、大量の特徴量から、与えられた学習データセットの分類に適した特徴量を選択して、その特徴量を組み合わせて分類ルールに則りデータを分類する分類器を構成することが可能な枠組みである。実際の分類時に大量の特徴量を利用すると、特徴量の計算負荷が大きく、パフォーマンスが低下してしまう。そのため、分類に適した特徴量を選択して、一部の特徴量だけを利用して、分類器を構成できる仕組みが、この手法の大きな利点となる。
【００６０】
ただし、リアルアダブーストは、２クラス分類器を利用して、２種類のラベルがついたデータの分類を対象とする。したがって、そのままでは、３種類以上の文書画像の分類には利用できない。そこで、２クラス分類器を多クラス分類器に拡張するＯＶＡ（Ｏｎｅ−ｖｅｒｓｕｓ−ａｌｌ）と呼ばれる公知の方法を利用する。ＯＶＡは、１つのクラス（対象クラス）とそれ以外のクラスの分類をする分類器をクラスの数だけ作成し、それぞれの分類器の出力を、対象クラスの信頼度とする。分類の際には、分類したいデータをすべての分類器に入力し、信頼度が最大であったクラスを分類先とする。ＯＶＡを利用した分類例を図５に示す。
【００６１】
図５では、学習データとして、３種類のラベルＡ、Ｂ、Ｃがそれぞれ付与された文書画像群が用意されている。したがって、ＯＶＡでは３種類の分類器を利用する。３種類の分類器とは、文書画像群Ａと、それ以外の文書画像群Ｂ、Ｃを分類するためのＡ用分類器、文書画像群Ｂと、それ以外の文書画像群Ａ、Ｃを分類するためのＢ用分類器、文書画像群Ｃと、それ以外の文書画像群Ａ、Ｂを分類するためのＣ用分類器である。Ａ用分類器は、自身のラベルＡに対応する特徴量を有する文書画像が入力されると、大きい出力値（確信度）を出力し、それ以外の文書画像が入力されると、小さい出力値（確信度）を出力する。Ｂ用分類器、及びＣ用分類器についても同様である。実際の分類を行う際には、入力文書画像を３種類の分類器に入力し、その出力値の比較して、例えば、Ｂ用分類器の出力値が最大であった場合は、その入力文書画像を文書画像Ｂに分類する。
【００６２】
ここで説明したリアルアダブーストとＯＶＡを利用した多クラス分類器の構成および、この多クラス分類器を利用した文書画像の分類も、画像分類装置１２０の画像解析部１２３で実行される。なお、本実施形態で利用可能な機械学習の手法はここで説明した手法に限定されるものではなく、サポートベクターマシーンやランダムフォレスト等の公知の手法を利用してもよい。
【００６３】
また、特徴選択の枠組みが機械学習の手法に含まれていない場合に分類速度を向上させるには、主成分分析や判別分析を利用した特徴量選択等の公知の手法を用いればよい。機器学習手法が２クラス分類器である場合は、ＯＶＡ以外にも、Ａｌｌ−ｖｅｒｓｕｓ−ａｌｌ（ＡＶＡ）やＥｒｒｏｒ−Ｃｏｒｒｅｃｔｉｎｇ  Ｏｕｔｐｕｔ−Ｃｏｄｉｎｇ（ＥＣＯＣ）等の公知の手法を用いてもよい。
【００６４】
次に、本実施形態に係る画像分類装置１２０における分類ルールの生成方法について説明する。
【００６５】
図６は、本実施形態にかかる、画像分類装置１２０における文書画像をユーザーの定義する分類ラベル（以下、ユーザーラベル）に分類する分類ルールを生成する方法の処理フローを示す。本実施形態を実現するプログラムは、記憶部１２７に格納されており、ＲＡＭ１２６にロードされて、ＣＰＵ１２５によって実行される。そうすることで、画像分類装置１２０は、本実施形態を実現するための各種処理の実行部を備える。ここでは、画像分類装置１２０が、ユーザの指示に従って、学習フェーズにあることを前提に説明する。
【００６６】
ステップＳ６０１において、画像分類装置１２０の制御部１２１が、ＵＩ１２４及びモニタ１２８を制御し、ＵＩ１２４を利用して、ユーザーからユーザーラベルの指定を受け取る。そして、画像処理装置１００から、画像読取部１０８によって読み取られ、ユーザーラベルが指定された学習用の文書画像を受け取り、記憶部１２７に格納する。これにより、指定されたユーザーラベルが各文書画像に付与される。
【００６７】
ステップＳ６０２において、制御部１２１はＵＩ１２４及びモニタ１２８を利用して、ユーザーに、全てのユーザーラベルにおいて全ての学習用文書画像を読み取らせたか否かを確認する。そして、ＵＩ１２４からの入力を得て全ての学習用文書画像を読み取ったか否かを判定する。全ての学習用文書画像の読み取りが終わっていないと判定された場合はステップＳ６０１に戻る。
【００６８】
ステップＳ６０１〜Ｓ６０２では、ユーザーがユーザーラベルを指定してから学習用文書画像を読み取らせているが、予め記憶部１２７に格納されている文書画像を学習用文書画像として扱ってもよい。この場合は制御部１２１が、ＵＩ１２４及びモニタ１２８を制御し、ＵＩ１２４からユーザーに学習する文書画像及び、それぞれの文書画像のユーザーラベルの指定をさせ、学習用文書画像セットを作成する。
【００６９】
ステップＳ６０２にて、全ての学習用文書画像を読み取ったと判定された場合は、ステップＳ６０３へ進む。
【００７０】
ステップＳ６０３において、画像解析部１２３は、第１のユーザーラベルが付与された学習用文書画像群について、特徴量を導出し、クラスタリング処理を実行する（すなわち、画像分類装置１２０は、特徴量導出部とクラスタリング処理実行部を備える）。画像解析部１２３は、記憶部１２７に格納され、第１のユーザーラベルが付与された学習用文書画像をＲＡＭ１２６上に読み込む。そして、文書画像の特徴量を導出し、導出した特徴量を使用してクラスタリング処理を実行し、学習用文書画像群が一つのクラスターに収束するまでの結合距離を算出する。画像解析部１２３が導出する特徴量は一般的な文書画像を分類するのに十分な特徴量を含むものであり、前述した特徴量セット１に該当する。
【００７１】
次いで、ステップＳ６０４において、画像解析部１２３はクラスタリング結果に基づいて、結合距離の予め定めた閾値において、学習用文書画像が一つに収束したクラスターを複数のサブクラスターに分割する。分類ラベル付与部１２９は、各サブクラスターに含まれる学習用文書画像に、個別のラベルを詳細ラベルとして付与する。
【００７２】
次いで、ステップＳ６０５において、画像解析部１２３は別のユーザーラベルが付与された学習用文書画像についてもステップＳ６０３〜Ｓ６０４と同様にクラスタリング処理を実行し、詳細ラベルを付与する。
【００７３】
次いで、ステップＳ６０６において、制御部１２１は全てのユーザーラベルにおいて全ての学習用文書画像のクラスタリング処理が終わり、詳細ラベルが付与されたかどうか判定する。まだ詳細ラベルが付与されていない学習用文書画像が残っている場合、ステップＳ６０５に戻り、残りの学習用文書画像に対してクラスタリング処理を実行し、詳細ラベルを付与する。すなわち、ユーザーの定義する分類ラベル毎にクラスタリング処理を実行し、詳細ラベルを付与する。
【００７４】
次いで、ステップＳ６０７において、画像解析部１２３は導出した特徴量と学習用文書画像群に含まれる詳細ラベルを用いて機械学習を行い、分類ルールを生成する。本実施形態においては、前述したようにリアルアダブーストとＯＶＡを用いて分類ルールを生成する。例えば、前述の特徴量セット１から文書画像を分類するのに十分な所定の数の特徴量を選択し、その特徴量を利用した分類ルールを生成する。
【００７５】
以上のように、ユーザーラベルのもとで、詳細ラベルにまで細分化されたクラスの分類ルールが生成される。
【００７６】
次に、ステップＳ６０３〜Ｓ６０４において実施されるクラスタリング処理について詳細に説明する。
【００７７】
図７（ａ）は、ユーザーラベルＡの為の１０枚の学習用文書画像について、画像解析部１２３が特徴量を算出したものを特徴空間上にマッピングした概念図である。点Ａ１〜Ａ１０が学習用文書画像の特徴量を示す。初期状態では、これら１つ１つの点がクラスターとなる。表記の便宜上、ここでは特徴空間を、２つの特徴量（特徴量１及び特徴量２）を軸に取った二次元の特徴空間として図示している。
【００７８】
画像解析部１２３は、全てのクラスターの対についてユークリッド距離を算出し、最小距離にある２つの点をまとめて１つのクラスターとし、２点間の重心座標をそのクラスターの座標とする。ここでは、点Ａ２と点Ａ６が一番近い距離にあるクラスターの対としてまとめられ、１つのクラスターＡ２・Ａ６となる。図７（ｂ）は、点Ａ２と点Ａ６が１つのクラスターとしてまとめられた後の特徴空間を示す。
【００７９】
次に、９個になった全てのクラスターの対について同様にユークリッド距離を算出し、最小距離にある２つの点をまとめて１つのクラスターとし、２点間の重心座標をそのクラスターの座標とする。この処理をクラスターが１つになるまで繰り返す。
【００８０】
図８は、分析対象であるクラスターが１つにまとめられていく際のユークリッド平方距離で定義される結合距離をデンドログラム（樹形図）の形で表したものである。図８を参照すると、点Ａ２と点Ａ６、点Ａ４と点Ａ５のように結合距離が小さいクラスターの対は早い段階でまとめられ、点Ａ１・Ａ３・Ａ９と点Ａ４・Ａ５・Ａ１０のように結合距離が大きいクラスター対は遅い段階でまとめられることが分かる。図８の左側に示されている直線は結合距離を示しており、結合距離ｄ１、ｄ２、ｄ３は、最終的なクラスターを分ける為の結合距離閾値である。結合距離ｄ１の位置に結合距離閾値が設定されると、点Ａ１から点Ａ１０は、全て別のクラスターとして設定され、結合距離ｄ３の位置に結合距離閾値が設定されると、点Ａ１から点Ａ１０は１つのクラスターとして設定される。結合距離ｄ２の位置に結合距離閾値が設定された場合、点Ａ１から点Ａ１０は、この位置までにまとめられたクラスター、つまりは｛Ａ２・Ａ６・Ａ７・Ａ８｝、｛Ａ１・Ａ９・Ａ３｝、｛Ａ４・Ａ５・Ａ１０｝の３つのクラスターに分けられる。この結合距離閾値は予め定めておき、画像解析部１２３が保持しておく。以下では、結合距離閾値が結合距離ｄ２に設定されていたものとして説明する。
【００８１】
上記のようにして３つのクラスターに分けられた学習用文書画像に、分類ラベル付与部１２９がそれぞれ、以下に示すように詳細ラベルａ１、ａ２、ａ３を付与する。
｛Ａ２、Ａ６、Ａ７、Ａ８｝      詳細ラベル：ａ１
｛Ａ１、Ａ３、Ａ９｝            詳細ラベル：ａ２
｛Ａ４、Ａ５、Ａ１０｝          詳細ラベル：ａ３
このようにして、ユーザラベルＡの為の学習用文書画像が、詳細ラベルにまでクラスタリングされる。
【００８２】
なお、図示する上での都合で、２次元の特徴空間を用いて例を示したが、文書画像を分類するのに十分な特徴量を利用する為には、数百次元〜数千次元の特徴空間になる。
【００８３】
次に、ステップＳ６０７において実施される機械学習処理について詳細に説明する。ここでは、上記のユーザラベルＡについての詳細ラベルに加えて、ユーザラベルＢが付与された別の学習用文書画像についてのクラスタリング処理の結果、下記のように詳細ラベルｂ１、ｂ２、ｂ３が付与されたとする。
｛Ｂ１、Ｂ３、Ｂ４、Ｂ７｝      詳細ラベル：ｂ１
｛Ｂ５、Ｂ６、Ｂ１０｝          詳細ラベル：ｂ２
｛Ｂ２、Ｂ８、Ｂ９｝            詳細ラベル：ｂ３
上記２つのユーザーラベルＡ、Ｂについて分類ルールを生成する場合、上記６つの詳細ラベルａ１、ａ２、ａ３、ｂ１、ｂ２、ｂ３について機械学習が実行される。前述したように、本実施形態での機械学習手法は２クラス分類器を利用するリアルアダブーストによるＯＶＡを採用する。よって、６つの詳細ラベルが付いた６つのクラスに対して分類ルールを生成するので、６つの分類器を作成することになる。
【００８４】
例えば、詳細ラベルａ１を持つクラスと詳細ラベルｂ１を持つクラスとが似た特徴を持ち、分類ルールの生成が困難な場合、前述の特徴量セット２を特徴量群に追加して、詳細な特徴量セットを利用して分類ルールを生成する。
【００８５】
また、リアルアダブーストを用いた２クラス分類では、与えられた学習データセットの分類に適した特徴量を選択して、その特徴量を組み合わせて分類器を作成する。上記の例で言えば、詳細ラベルａ１を持つクラスとそれ以外のクラスを分類する為の分類器と、詳細ラベルｂ１を持つクラスとそれ以外のクラスを分類する為の分類器では、選択される特徴量が異なる。
【００８６】
多くの特徴量からａ１とａ１以外を分類する為に最適な特徴量を選択して分類ルールを生成するので、ａ１とｂ１が似た特徴を持っていたとしても精度良く分類することが可能となる。生成された分類ルールは、画像分類装置１２０が記憶部１２７に格納する。
【００８７】
このようにして分類ルールが生成された後、画像分類装置１２０により文書画像を分類する場合、まず、画像分類装置１２０は記憶部１２７に格納された分類ルールをＲＡＭ１２６にロードする。そして、前述したように画像解析部１２３が文書画像の特徴量をすべての分類器に入力し、信頼度が最大であったクラスを分類先とする。文書画像を画像解析部１２３が分類し、例えば詳細ラベルａ１と判定すると、ＵＩ１２４及びモニタ１２８を通じてユーザーに通知されるユーザーラベルは“Ａ”となる。また、詳細ラベルａ１と判定された文書画像は、ユーザーラベル“Ａ”で指定された分類先（保存先フォルダなど）に分類される。
【００８８】
このようにして、ユーザーは、特徴が異なる文書画像に同じラベルを付与して分類することが可能になり、分類ルールを定める時の自由度を増すことが出来る。また、機械学習を実行する際の詳細ラベルに関してユーザーが意識する必要がなく、機械学習に関する知識がないユーザーが分類ラベルを設定しても、文書画像を有効に分類することができる分類ルールを生成することができる。
【００８９】
（第２の実施形態）
第１の実施形態においては、クラスタリング処理によって、同一ユーザーラベル内で個々の文書画像に詳細ラベルを付与した。クラスタリングの結果、詳細ラベルが付与された各クラスを構成する学習用文書画像の数に大きな偏りが出た場合、次に実行される機械学習処理によって生成される分類ルールの分類性能に影響を与える可能性がある。そのため、本実施形態では、特定の詳細ラベルが付与された学習用文書画像数が少ない時にユーザーに類似文書画像の追加を促す。そして、類似文書画像が追加された場合には、追加された類似文書画像を使用して、より精度の高い分類ルールを生成する。
【００９０】
以下に、図９のフロー図を参照して、本実施形態に係る処理について詳細に説明する。この処理は、第１の実施形態におけるクラスタリング処理（ステップＳ６０６）と、機械学習処理（ステップＳ６０７）との間で実施される。
【００９１】
ステップＳ９０１において、画像解析部１２３は、詳細ラベルが付与された学習用文書画像の数を、詳細ラベル毎にカウントする。
【００９２】
次いで、ステップＳ９０２において、詳細ラベル毎の文書画像の数が、所定の値以上であるかどうか判定する。全ての詳細ラベルにおいて、文書画像の数が所定の値以上あれば処理を終了する。一方、文書画像の数が所定の値未満である詳細ラベルが存在する場合はステップＳ９０３に進む。
【００９３】
ステップＳ９０３において、制御部１２１はＵＩ１２４及びモニタ１２８を利用して、文書画像の数が所定の値未満である詳細ラベルが付与された学習用文書画像を提示して、ユーザーに類似文書画像の追加読み取りを促すメッセージを表示する。すなわち、画像分類装置１２０は、文書画像提示部を備える。
【００９４】
ステップＳ９０４において、制御部１２１はＵＩ１２４及びモニタ１２８を利用して、ユーザーが類似文書画像の追加読み取りを行うかどうかの判断を受け取る。追加の画像読み取りが行われない場合は処理を終了し、機械学習による分類ルール生成を行う。追加の画像読み取りが実行される場合はステップＳ９０５に進む。
【００９５】
ステップＳ９０５において、画像解析部１２３は、追加された類似文書画像の特徴量を導出し、追加された類似文書画像を含む学習用文書画像群についてクラスタリング処理を再度実行する。
【００９６】
次いで、ステップＳ９０６において、画像解析部１２３はクラスタリング結果に基づいて、結合距離の予め定めた閾値において、学習用文書画像が一つに収束したクラスターを複数のサブクラスターに分割する。分類ラベル付与部１２９は、各サブクラスターに含まれる学習用文書画像に個別のラベルを詳細ラベルとして付与し直す。
【００９７】
すなわち、ステップＳ９０５及びステップＳ９０６に関して、画像分類装置１２０は、クラスタリング処理及び分類ルール生成処理を再度実行する再実行部を備える。
【００９８】
以上のようにして、特定の詳細ラベルが付与された学習用文書画像数が少ない時にユーザーに類似文書画像の追加を促す。そして、類似文書画像が追加された場合には、追加された類似文書画像を使用して、より精度の高い分類ルールを生成する。この処理によって、詳細ラベル毎の学習用文書画像の数に偏りが生じた場合でも、より精度の高い分類ルール生成が可能になる。
【００９９】
（第３の実施形態）
第１及び第２の実施形態のように分類ルールを生成し、画像分類システムが文書画像の分類を行うと、誤分類される文書画像が出てくる可能性がある。誤分類された文書画像が出てきた場合は、その文書画像にユーザーが望むユーザーラベルを設定し、クラスタリング処理及び機械学習による分類ルール生成処理を再度実行する必要がある。しかし、分類ルールを生成するための機械学習は、特徴量の数や文書画像の数の増加に応じて学習時間が増えてしまい、誤分類が生じる度に再学習していてはユーザーの利便性が損なわれる。そこで、本実施形態では、ユーザーが、誤分類された文書画像を再学習対象として選んだ場合、その文書画像の特徴量を導出し、ユーザーラベルを付与して記憶部１２７に記憶しておき、所定のタイミングで機械学習を行う。
【０１００】
以下に、図１０を参照して、本実施形態に係る処理について詳細に説明する。
【０１０１】
まず、ステップＳ１００１において、誤分類された文書画像が出てくると、制御部１２１はＵＩ１２４及びモニタ１２８を利用して、誤分類された文書画像を提示し、ユーザーに、その文書画像を再学習に利用するかどうか選択させるメッセージを表示する。
【０１０２】
次いで、ステップＳ１００２において、制御部１２１はＵＩ１２４及びモニタ１２８を利用して、ユーザーから、誤分類された文書画像を再学習に利用するかどうかの命令を受け取る。制御部１２１が、誤分類された文書画像を再学習用に利用するという命令を受け取った場合は、ステップＳ１００３に進む。
【０１０３】
ステップＳ１００３において、画像解析部１２３は、誤分類された文書画像の特徴量を導出し、記憶部１２７に格納する。また、制御部１２１は、ＵＩ１２４及びモニタ１２８を利用してユーザーに正しいユーザーラベルを指定させ、誤分類された文書画像の特徴量と関連付けて、記憶部１２７に格納する。
【０１０４】
一方、ステップＳ１００２において、制御部１２１が、誤分類された文書画像を再学習用に利用しないという命令を受け取った場合は、処理を終了する。
【０１０５】
次いで、ステップＳ１００４において、画像分類装置１２０は、所定のタイミングで、記憶部１２７に格納された文書画像の特徴量とユーザーラベルを利用して、クラスタリング処理及び機械学習による分類ルール生成処理を再度実行する。すなわち、画像分類装置１２０は、クラスタリング処理及び分類ルール生成処理を再度実行する再実行部を備える。例えば、画像分類装置１２０は、ユーザーの都合の良いタイミングやオフィスにおける就業時間外など、リソースを十分に使えるタイミングで、再度実行することができる。また、記憶部１２７に格納された再学習用文書画像の数が所定の値を超えた時に、制御部１２１がＵＩ１２４を利用して、ユーザーに、クラスタリング処理及び機械学習による分類ルール生成処理を再度実行するように促すメッセージを提示してもよい。この場合、制御部１２１はＵＩ１２４を利用してユーザーから命令を受け取り、クラスタリング処理及び機械学習による分類ルール生成処理を再度実行する。
【０１０６】
以上のように、誤分類された文書画像を格納し、蓄積しておくことにより、画像分類装置は、リソースを十分に使えるタイミングで再学習を実行することが出来る。
【０１０７】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2016071412.tif 000006
【図２】
2016071412.tif 000007
【図３】
2016071412.tif 000008
【図４】
2016071412.tif 000009
【図５】
2016071412.tif 000010
【図６】
2016071412.tif 000011
【図７】
2016071412.tif 000012
【図８】
2016071412.tif 000013
【図９】
2016071412.tif 000014
【図１０】
2016071412.tif 000015