(57)【特許請求の範囲】
【請求項１】
所定の特徴を表現している特徴データの種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別器であって、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して前記特徴データの種類を個別に識別する種類識別器を生成する第１学習手段と、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの特徴データの種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計手段と、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理手段と、
前記グループラベルを付与したものを含む前記学習用データを入力して前記特徴データのグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の特徴データを個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習手段と、
を備えることを特徴とする多クラス識別器。
【請求項２】
画像の種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別器であって、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して該データの画像の種類を個別に識別する種類識別器を生成する第１学習手段と、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの画像の種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計手段と、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理手段と、
前記グループラベルを付与したものを含む前記学習用データを入力して該データの画像のグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の画像を個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習手段と、
を備えることを特徴とする多クラス識別器。
【請求項３】
前記識別誤り集計手段において、
前記試験用データの種類の識別結果を該データの種別ラベルごとに積算する行列データであって、縦軸の各行に入力された前記試験用データの種別ラベルを割り当て、横軸の各列に識別された前記試験用データの種別ラベルを割り当て、前記各行と前記各列が交差する各要素位置に、該要素位置に対応する行に割り当てられた入力の種別ラベルを該要素位置に対応する列に割り当てられた出力の種別ラベルとして識別した回数を積算したデータを記憶させた混合行列データを生成する混合行列生成処理と、
前記混合行列データにおいて、主対角線上の要素位置以外の要素位置の各対角成分同士のデータをそれぞれ加算した各加算結果として、前記複数種類中の任意の２種類の組合せごとに該組合せに属する２種類間で相互に識別を誤った回数を集計する集計処理と、
を実行することを特徴とする請求項１または２のいずれかに記載の多クラス識別器。
【請求項４】
前記種類識別器、前記グループ識別器、または前記グループ内識別器の生成において、
前記学習用データのそれぞれにおいて、該学習用データに含まれる識別対象であるオブジェクトを示す主要被写体領域上で指定画素おきにＲＧＢデータを取得してそれぞれ特徴情報として抽出する特徴抽出処理と、
前記各特徴情報を複数のクラスタにクラスタリングするクラスタイング処理と、
前記学習用データのそれぞれにおいて、前記主要被写体領域上で指定画素おきに取得した前記各特徴情報ごとに、該特徴情報と前記各クラスタの重心のＲＧＢデータとの距離をそれぞれ算出し、該算出した距離のうち最小の距離に対応するクラスタを最近傍クラスタとして抽出し、該抽出した最近傍クラスタの重心データを該特徴情報のベクトル量子化値とするベクトル量子化処理と、
前記学習用データのそれぞれにおいて、前記主要被写体領域上で指定画素おきに取得した前記各ベクトル量子化値ごとに、該ベクトル量子化値に対応する前記最近傍クラスタのヒストグラム度数をプラス１する処理を繰り返し実行して、該学習用データに対応するヒストグラムを生成するヒストグラム生成処理と、
前記各学習用データに付与されている種別ラベルまたはグループラベルと前記各学習用データごとに生成されたヒストグラムとに基づいて、識別すべき個別の種類の画像または識別すべきグループを構成する種類の画像が入力されたときに最大の識別スコア値を出力する前記種類識別器、前記グループ識別器、または前記グループ内識別器を生成する識別器生成処理と、
を実行することを特徴とする請求項２に記載の多クラス識別器。
【請求項５】
前記主要被写体領域は、入力された画像データに対して、主要被写体らしさを示すエネルギー関数を用いるＧｒａｐｈ  Ｃｕｔｓ法のアルゴリズムに従って、背景領域との間で分割して取得される、
ことを特徴とする請求項４に記載の多クラス識別器。
【請求項６】
前記第２学習手段は、前記各グループを、該グループに対応する前記第１階層目識別器の識別スコア値と前記第２階層目識別器の識別スコア値に所定の倍率を乗算した値とを加算して得られる識別スコア値によって識別判定し、いずれの前記グループにも属さない種類を、該種類に対応する前記第１階層目識別器の識別スコア値によって識別判定する階層間統合処理部をさらに生成する、
ことを特徴とする請求項１ないし５のいずれかに記載の多クラス識別器。
【請求項７】
所定の特徴を表現している特徴データの種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別方法であって、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して前記特徴データの種類を個別に識別する種類識別器を生成する第１学習ステップと、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの特徴データの種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計ステップと、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理ステップと、
前記グループラベルを付与したものを含む前記学習用データを入力して前記特徴データのグループを識別するグループ識別器を生成し、前記グループに属さない種類を別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の特徴データを個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習ステップと、
を備えることを特徴とする多クラス識別方法。
【請求項８】
画像の種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別方法であって、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して該データの画像の種類を個別に識別する種類識別器を生成する第１回目機械学習ステップと、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの画像の種類を個別に識別し、前記複数種類中の任意の前記所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計ステップと、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理ステップと、
前記グループラベルを付与したものを含む前記学習用データを入力して該データの画像のグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の画像を個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２回目機械学習ステップと、
を備えることを特徴とする多クラス識別方法。
【請求項９】
所定の特徴を表現している特徴データの種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別処理を実行するコンピュータに、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して前記特徴データの種類を個別に識別する種類識別器を生成する第１学習ステップと、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの特徴データの種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計ステップと、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理ステップと、
前記グループラベルを付与したものを含む前記学習用データを入力して前記特徴データのグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の特徴データを個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習ステップと、
を実行させるためのプログラム。
【請求項１０】
画像の種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別処理を実行するコンピュータに、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して該データの画像の種類を個別に識別する種類識別器を生成する第１回目機械学習ステップと、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの画像の種類を個別に識別し、前記複数種類中の任意の前記所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計ステップと、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理ステップと、
前記グループラベルを付与したものを含む前記学習用データを入力して該データの画像のグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の画像を個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２回目機械学習ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多クラス識別器、方法、およびプログラムに関する。
【背景技術】
【０００２】
野山や道端で見かけた花の名前を知りたくなることがある。そこで、撮影等により得た花と葉のディジタル画像より、クラスタリング法を用いて対象物である花と葉の局所特徴を多数抽出し、更にその抽出特徴群をヒストグラム化した情報を特徴量とする。単数または複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する技術が提案されている（例えば特許文献１に記載の技術）。
【０００３】
また、花などの主要被写体を含む画像をＧｒａｐｈ  Ｃｕｔｓ法を用いて主要被写体である花の領域と背景画像の領域とに分割する技術が知られている（例えば特許文献２に記載の技術）。
【０００４】
ここで入力された花などの画像データに対して画像分類を行うときに、機械学習では、ある種類の画像自身かそれ以外かという２通りの画像分類を行う２クラスの識別器は容易に実現できる。一方、複数種類の画像の中から各種類の画像を識別する多クラスの画像分類を行うときには、２クラスの識別器を組み合わせて多クラスの識別器を構成することが一般に行われる。例えば、花の画像が６種類に分類される場合に、２クラスの識別器が６個生成される。各識別器は、それぞれに割り当てられた種類の画像が入力されたときに、それぞれ最大の識別スコア値を出力するように生成される。そして、画像が各識別器に入力されたときに、最も高い識別スコア値を出力した識別器に対応する種類が識別結果とされる。クラスタリング法の先行技術文献としては、例えば特許文献３乃至５に示されている。
【０００５】
特許文献３記載の技術は、画像を前景及び背景などの粗い領域へセグメント化し、前景領域と背景領域との間の類似性からの全体的な類似性度合を導くシステムを提供することを目的とし、本技術によるイベント・クラスタリング方法は、前景及び背景セグメント化を用いて、画像を一グループから類似のイベントへクラスタリングする。最初、各画像は複数のブロックへ分割され、よってブロック・ベースの画像が提供される。ブロック毎の比較によって、各ブロック・ベースの画像は、少なくとも前景及び背景を有する複数の領域へセグメント化される。１以上の光度、色、位置、及びサイズ特徴が上記領域から抽出され、この抽出された領域はグループ内の連続画像中の前景及び背景を有する領域の類似性を評価・比較するのに利用される。次いで、連続画像間の全体の類似性の度合が計算されることによって連続画像間の画像相違度合（ｉｍａｇｅ ｄｉｓｔａｎｃｅ）が提供され、この画像相違度合からイベント・クラスタの範囲が定められる。
【０００６】
特許文献４記載の技術は、パターンのパターン認識結果と各パターンに対応付けられた付加情報とに基づいて複数のカテゴリーから各パターンが属するカテゴリーを決定する認識手法に係る付加情報の決定方法であって、各パターンがパターン認識されたときに真のカテゴリーを含む各カテゴリーに属すると判定されるそれぞれの確率を要素とする混同行列を取得する工程と、目標の認識性能を入力させる工程と、混同行列を参照し、各パターンの真のカテゴリーに対して当該パターンに付加すべき付加情報の符号を対応付けて入力された目標性能を満足するように符号定義を決定する符号定義工程と、符号定義を付加情報として出力する工程とをコンピュータに実行させることを特徴とする付加情報決定方法を開示している。
【０００７】
特許文献５記載の技術は、撮像手段によって撮像された被写体の説明を検索して利用者に提供するデジタル図鑑システムであって、画像を撮像する撮像手段と、画像の中から主要被写体を選択する主要被写体選択手段と、主要被写体の特徴を抽出する特徴抽出手段と、被写体が有する互いに異なる複数の種類の特徴に対応付けて当該被写体の説明を格納する複数の画像データベースの中から、抽出した種類の特徴を格納する画像データベースを選択する画像データベース選択手段と、選択した画像データベースから主要被写体の説明を検索する説明検索手段とを備えるデジタル図鑑システムを提供するものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−２０３２４２号公報
【特許文献２】特開２０１１−３５６３６号公報
【特許文献３】特開２００３−１６４４８号公報
【特許文献４】特開２００７−２６０９８号公報
【特許文献５】特開２００６−３６７６０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
例えば花の種の分類において、多クラスの識別器を構成する場合、ある種類の花の画像自身とそれ以外に非常に似た花の画像が入ってしまうと、機械学習器は識別できない。逆に、同じ種類の花の画像同士でも、学習データで微妙に違うものがあった場合には、従来の機械学習では、過学習が発生して、これらの画像を識別できないという問題が発生していた。
【００１０】
過学習の例を図１３に示す。この図は、カントウタンポポとセイヨウタンポポを識別する識別境界１３０３を表したものであり、説明の簡単化のために、特徴情報１と特徴情報２とからなる２次元の特徴情報空間上で識別を行うことを示している。そもそも、カントウタンポポとセイヨウタンポポは、花全体の形状や向きからだけでは見分けが困難で、花の蕚の細かい部分まで見なければ判別できない酷似種である。そのような状況で、複数種類を含む学習用データを用いて、正解データであるｐｏｓｉｔｉｖｅデータ群１３０１と不正解データであるｎｅｇａｔｉｖｅデータ群１３０２を分類して、機械学習をさせることを考える。この場合、従来の機械学習器では、ｐｏｓｉｔｉｖｅデータ群１３０１とｎｅｇａｔｉｖｅデータ群１３０２を分けることだけを優先して機能してしまい、花の種の分類の本質的ではない画像の違いに注目して無理に違いを探してしまう場合が多く発生していた。例えば、学習画像のｐｏｓｉｔｉｖｅデータ群１３０１が１３０５として示されるようにたまたま右を向いており、ｎｅｇａｔｉｖｅデータ群１３０２が１３０６として示されるようにたまたま左を向いていた場合、識別器に設定される特徴情報１と特徴情報２に関する識別境界１３０３の部分１３０４は、花の向きが右向きか左向きかを基準にして設定されてしまう。この結果、識別境界１３０３上の境界部分１３０４では、カントウタンポポとセイヨウタンポポが正しい識別基準（花の蕚の相違）に基づいて決定されなくなってしまい、識別性能が低下してしまうという問題点を有していた。前記した先行技術文献記載の技術では、これらの問題点を解決していない。
【００１１】
本発明は、酷似種が含まれる多クラスの画像分類において、過学習を避けることを目的とする。
【課題を解決するための手段】
【００１２】
態様の一例では、所定の特徴を表現している特徴データの種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別器であって、複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して前記特徴データの種類を個別に識別する種類識別器を生成する第１学習手段と、いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの特徴データの種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計手段と、前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理手段と、前記グループラベルを付与したものを含む前記学習用データを入力して前記特徴データのグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の特徴データを個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習手段とを備える。
【発明の効果】
【００１３】
本発明によれば、酷似種が含まれる多クラスの画像分類において、過学習を避けることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る多クラス識別器のハードウェア構成例を示すブロック図である。
【図２】図１の多クラス識別器の機能的構成を示す機能ブロック図である。
【図３】本実施形態による画像識別器生成処理の全体動作を示すフローチャートである。
【図４】混合行列データの構成例を示す図である。
【図５】混合行列データからの集計処理の説明図である。
【図６】第２回目機械学習処理の詳細制御処理を示すフローチャートである。
【図７】本実施形態により構成される識別器の説明図である。
【図８】識別器生成のための詳細制御処理を示すフローチャートである。
【図９】特徴抽出処理を示すフローチャートである。
【図１０】ベクトル量子化処理を示すフローチャートである。
【図１１】ヒストグラム生成処理を示すフローチャートである。
【図１２】識別器生成処理を示すフローチャートである。
【図１３】従来技術の問題点（過学習）の説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態に係る多クラス識別器１０１のハードウェア構成例を示すブロック図である。
【００１６】
この多クラス識別器１０１は例えば、いわゆるスマートフォンなどの携帯情報端末から花などの撮影画像データを受信して、識別器によってその花などの種類を検索して識別し、その識別結果を携帯情報端末に返す検索システムのコンピュータ上に実現される。
【００１７】
多クラス識別器１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央演算処理装置）１０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０３と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０４を備える。また、多クラス識別器１０１は、ハードディスク記憶装置等の外部記憶装置１０５と、通信インタフェース１０６と、キーボード装置またはマウス装置などの入力装置１０７と、ディスプレイ装置などの出力装置１０８を備える。さらに、多クラス識別器１０１は、ＳＤメモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリカード、ＣＤ（Ｃｏｎｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などの可搬記録媒体１１０をセット可能な可搬記録媒体駆動装置１０９を備える。上述の各機器１０２〜１０９は、バス１１１によって相互に接続される。
【００１８】
ＲＯＭ１０３には、後述する図３から図９のフローチャートによって示される多クラス識別器生成処理の制御プログラムが記憶されている。ＣＰＵ１０２は、ＲＯＭ１０３から、この制御プログラムを読み出し、ＲＡＭ１０４をワークメモリとして実行する。これにより、後述する図２の機能ブロックで示される多クラス識別器生成機能が実現され、この結果、例えば花の種類を識別する多クラス識別器が生成される。この多クラス識別器は例えばソフトウェアであり、ＲＯＭ１０３、ＲＡＭ１０４、または外部記憶装置１０５に記憶される。なお、多クラス識別器生成処理において入力される学習用データや試験用データは、例えば可搬記録媒体駆動装置１０９にセットされる可搬記録媒体１１０、あるいは外部記憶装置１０５から供給される。
【００１９】
多クラス識別器が生成された後は、ＣＰＵ１０２は、ＲＯＭ１０３、ＲＡＭ１０４、または外部記憶装置１０５に記憶された多クラス識別器のソフトウェアを読み出して実行することにより、多クラス識別器として動作する。あるいは、多クラス識別器は、他のコンピュータシステムで実行されてもよい。この多クラス識別器は、例えばいわゆるスマートフォンなどの携帯情報端末からインターネットを経由して通信インタフェース１０６で花の撮影画像データを受信する。そして、多クラス識別器は、その花の種類を検索して識別し、その識別結果を通信インタフェース１０６からインターネットを経由して、携帯情報端末に返す。なお、画像識別器は、例えばスマートフォンの搭載アプリケーションとしてスマートフォンに直接提供されてもよい。
【００２０】
図２は、図１の多クラス識別器１０１の機能的構成を示す機能ブロック図である。
本実施形態における多クラス識別器１０１は、花などの画像の種類を第１階層目識別器２０８で識別し、特定の種類のグループは第２階層目識別器２０９でさらに詳細に識別する多階層からなる画像の識別器として実現される。
【００２１】
第１学習手段２０１は、複数種類（例えばＫ種類とする）中のいずれかに対応する種別ラベルを付与した例えば花に関する学習用データ２０３を入力して、そのデータ２０３の画像や特徴データの種類を個別に識別する種類識別器２０２を生成する。この種類識別器２０２は、識別すべき例えば花の種類に応じて、＃１から＃ＫのＫ個生成される。各種類識別器２０２は例えば、入力された画像データが、その種類識別器２０２に対応する種類自身かそれ以外かという２通りの分類を行う２クラスの識別器として実現される。学習用データ２０３は例えば、識別すべき例えば花の種類が６種類であれば、種類ごとに例えば５０枚ずつ、合計で５０枚×６種類＝３００枚が入力され学習される。
【００２２】
識別誤り集計手段２０４は、上述のいずれかの種別ラベルを付与した試験用データ２０５を＃１から＃Ｋの種類識別器２０２に入力して、そのデータ２０５の画像や特徴データの種類を個別に識別する。そして、識別誤り集計手段２０４は、複数種類（Ｋ種類）中の任意の所定数の種類、例えば２種類の組合せごとに、その組合せに属する所定数の種類間で相互に識別を誤った回数を集計する。例えば、花の例では、セイヨウタンポポとカントウタンポポの間で相互に識別を誤った回数が集計される。具体的には、カントウタンポポの種類識別器２０２が、セイヨウタンポポの種別ラベルが付与された試験用データ２０５をカントウタンポポと誤って識別した回数と、セイヨウタンポポの種類識別器２０２が、カントウタンポポの種別ラベルが付与された試験用データ２０５をセイヨウタンポポと誤って識別した回数の合計が集計される。ここで、試験用データ２０５は、学習用データ２０３とは異なる画像データであるが、学習用データ２０３と同様に、例えば、識別すべき花の種類が６種類であれば、種類ごとに例えば５０枚ずつ、合計で５０枚×６種類＝３００枚が入力され識別される。
【００２３】
グルーピング処理手段２０６は、識別誤り集計手段２０４での集計の結果が所定の閾値以上（例えば２５回以上、あるいは５０％以上）となる組合せのグループごとに、そのグループに属する所定数の種類のいずれかに対応する種別ラベルを有する学習用データに、そのグループに対応するグループラベルを付与する。このようにしてグループラベルが付与された学習用データを２０３′とする。例えば、花の例では、セイヨウタンポポとカントウタンポポの間で相互に識別を誤った回数が例えば３０回で閾値の２５回を超えていれば、セイヨウタンポポとカントウタンポポの種別ラベルが付与されている学習用データ２０３に、さらに例えばタンポポグループのグループラベルが付与されて学習用データ２０３′とされる。あるいは例えば、ヒルガオとハマヒルガオの間で相互に識別を誤った回数が例えば４０回で閾値の２５回を超えていれば、ヒルガオとハマヒルガオの種別ラベルが付与されている学習用データ２０３に、さらに例えばヒルガオグループのグループラベルが付与されて学習用データ２０３′とされる。
【００２４】
第２学習手段２０７は、上述のグループラベルを付与したものを含む学習用データ２０３′を入力して、そのデータ２０３′の画像や特徴データのグループを識別するグループ識別器２０９を生成する。このグループ識別器２０９は、識別すべき例えば花のグループ化された種類に応じて、＃１から＃ＬのＬ個生成される。上述の例では、タンポポグループとヒルガオグループの２つのグループが生成されたため、Ｌ＝２で、２個のグループ識別器２０９が生成される。各グループ識別器２０９は例えば、入力されたデータが、そのグループ識別器２０９に対応するグループに属する種類自身かそれ以外かという２通りの画像分類を行う２クラスの識別器として実現される。学習用データ２０３′は例えば、学習用データ２０３と同様に、識別すべき例えば花の種類が６種類であれば、種類ごとに５０枚ずつ、合計で５０枚×６種類＝３００枚が入力され学習される。この学習用データ２０３′において、カントウタンポポとセイヨウタンポポの種別ラベルが付与された学習用データ２０３′には、タンポポグループのグループラベルが付与されている。また、ヒルガオとハマヒルガオの種別ラベルが付与された学習用データ２０３′には、ヒルガオグループのグループラベルが付与されている。第２学習手段２０７は、上述のようにして生成した＃１から＃ＬのＬ個のグループ識別器２０９を、上記各グループに属さない種類を個別に識別する種類識別器２０２（これを＃Ｍから＃Ｎとする）と合わせて、第１階層目識別器２０８を構成する。
【００２５】
次に、第２学習手段２０７は、上述のグループ（例えばタンポポグループ、ヒルガオグループ）ごとに、学習用データ２０３を入力する。そして、第２学習手段２０７は、そのグループに属する所定数の種類（例えば２種類）の画像や特徴データを個別に識別する＃１から＃ＬのＬ個のグループ内識別器２１１を生成して、第２階層目識別器２１０を構成する。例えば花の例では、タンポポグループについては、カントウタンポポとセイヨウタンポポの２つの種類を個別に識別する＃１のグループ内識別器２１１が生成される。また、例えばヒルガオグループについては、ヒルガオとハマヒルガオの２つの種類を個別に識別する＃２のグループ内識別器２１１が生成される。
【００２６】
さらに、第２学習手段２０７は、次のような階層間統合処理部２１２を生成することができる。この階層間統合処理部２１２は、各グループの画像や特徴データについては、そのグループに対応する第１階層目識別器２０８の識別スコア値と第２階層目識別器２１０の識別スコア値に所定の倍率を乗算した値とを加算して得られる識別スコア値によって識別判定を行う。また、階層間統合処理部２１２は、上述のいずれのグループにも属さない種類の画像や特徴データについては、その種類に対応する第１階層目識別器２０８の識別スコア値によって識別判定を行う。
【００２７】
以上の図２に示される機能ブロック構成により、本実施形態では、酷似種が含まれる多クラスの画像や特徴データの分類において、過学習を避けるために、グループ単位の識別を行う第１階層目識別器２０８と、グループ内の識別を行う第２階層目識別器２１０の、２階層の識別器が実現される。この場合に、本実施形態では、グループを決定する際、第１学習手段２０１によって事前に、グループ化しない状態で機械学習による識別を行う種類識別器２０２が生成される。次に、識別誤り集計手段２０４によって、この種類識別器２０２を用いて、識別試験が行われ、カテゴリ間で識別誤りを生じた回数が集計される。そして、グルーピング処理手段２０６によって、機械学習が間違いやすいカテゴリ同士がグループ化される。
【００２８】
このようにして、本実施形態では、事前の識別誤りの集計により、酷似種を自動的に判定して仕分けを行うことが可能となり、その結果を用いて、グループ間識別、グループ内識別の２階層の識別が実行される。この結果、多クラス識別器において、図１３で説明したような過学習を抑制し、識別性能を向上させることが可能となる。
【００２９】
図３は、図２の機能ブロック図で示される機能を実現するために、図１のハードウェア構成で示される多クラス識別器１０１が例えば画像識別器として動作する場合に実行される、本実施形態による画像識別器生成処理の全体動作を示すフローチャートである。
【００３０】
このフローチャートで示される処理は、その詳細を示す図４から図９までのフローチャートで示される処理とともに、図１において、ＣＰＵ１０２がＲＯＭ１０３に記憶された制御プログラムを実行する処理として実現される。
【００３１】
まず、第１回目機械学習処理が実行される（図３のステップＳ３０１）。この処理では、前述した図２の第１学習手段２０１の機能が実行される。この結果、図２に示したように、＃１から＃ＫのＫ個の種類識別器２０２が生成される。
【００３２】
次に、混合行列生成処理（図３のステップＳ３０２）が実行され、その後、集計処理（図３のステップＳ３０３）が実行される。これらのステップＳ３０２とＳ３０３の処理は、図２の識別誤り集計手段２０４の機能を実現する。
【００３３】
ステップＳ３０２の混合行列生成処理では、Ｋ種類中のいずれかの種別ラベルを付与した試験用データ２０５がステップＳ３０１で生成された＃１から＃ＫのＫ個の種類識別器２０２にそれぞれ入力され、そのデータ２０５の画像の種類が個別に識別される。そして、図２で説明したように、Ｋ種類中の任意の例えば２種類の組合せごとにその組合せに属する例えば２種類間で相互に識別を誤った回数が集計されるときに、以下の混合行列データが使用される。
【００３４】
図４は、混合行列データの構成例を示す図である。この混合行列データは、図２の試験用データ２０５の画像の種類の識別結果をそのデータ２０５の種別ラベルごとに積算する行列データであり、図１のＲＡＭ１０４に記憶される。この混合行列データにおいて、縦軸の各行には、入力された試験用データ２０５の種別ラベルが割り当てられる。図４のデータ構成例では、セイヨウタンポポ、カントウタンポポ、ヒマワリ、チューリップ、ヒルガオ、ハマヒルガオのＫ＝６種類の種別ラベルが割り当てられている。また、混合行列データにおいて、横軸の各列には、識別された試験用データ２０５の種別ラベルが割り当てられる。図４のデータ構成例では、縦軸の各行と同じ種別ラベルが横軸の各列に割り当てられている。そして、混合行列データにおいて、各行と各列が交差する各要素位置に、その要素位置に対応する行に割り当てられた入力の種別ラベルをその要素位置に対応する列に割り当てられた出力の種別ラベルとして識別した回数が積算される。
【００３５】
混合行列データにおいて、主対角線上の要素位置に積算される回数は、図２の各種類識別器２０２が、正しく識別をした回数が積算されている。例えば、縦軸のセイヨウタンポポが割り当てられている行と横軸のセイヨウタンポポが割り当てられている列が交差する要素位置には、セイヨウタンポポを識別する種類識別器２０２の識別結果が正解となった識別数＝１５回が積算されている。同様に、縦軸の行と横軸の列で、カントウタンポポ、ヒマワリ、チューリップ、ヒルガオ、およびハマヒルガオがそれぞれ割り当てられている各行および各列の各交差位置にはそれぞれ、これらの各種類を識別する各種類識別器２０２の識別結果が正確となった識別数＝１５、５０、５０、２０、および２０回が積算されている。
【００３６】
一方、縦軸のセイヨウタンポポが割り当てられている行と横軸のカントウタンポポが割り当てられている列が交差する要素位置には、カントウタンポポを識別する種類識別器２０２が、それに入力したセイヨウタンポポの種別ラベルが付与された試験用データ２０５をカントウタンポポと誤って識別した識別数＝１５回が積算されている。同様に、縦軸のセイヨウタンポポが割り当てられている行において、横軸でそれぞれヒマワリ、チューリップ、ヒルガオ、およびハマヒルガオがそれぞれ割り当てられている列が交差する要素位置には、これらの各種類を識別する各種類識別器２０２が、それに入力したセイヨウタンポポの種別ラベルが付与された試験用データ２０５を上記各種類の画像と誤って識別した識別数＝５、５、５、５回がそれぞれ積算されている。
【００３７】
同様に、縦軸のカントウタンポポが割り当てられている行において、横軸でそれぞれセイヨウタンポポ、ヒマワリ、チューリップ、ヒルガオ、およびハマヒルガオがそれぞれ割り当てられている列が交差する要素位置には、これらの各種類を識別する各種類識別器２０２が、それに入力したカントウタンポポの種別ラベルが付与された試験用データ２０５を上記各種類の画像と誤って識別した識別数＝１５、５、５、５、５回がそれぞれ積算されている。
【００３８】
同様に、縦軸のヒルガオが割り当てられている行において、横軸でそれぞれセイヨウタンポポ、カントウタンポポ、ヒマワリ、チューリップ、およびハマヒルガオがそれぞれ割り当てられている列が交差する要素位置には、これらの各種類を識別する各種類識別器２０２が、それに入力したヒルガオの種別ラベルが付与された試験用データ２０５を上記各種類の画像と誤って識別した識別数＝５、５、０（積算無しでブランク）、０（積算無しでブランク）、２０回がそれぞれ積算されている。
【００３９】
同様に、縦軸のハマヒルガオが割り当てられている行において、横軸でそれぞれセイヨウタンポポ、カントウタンポポ、ヒマワリ、チューリップ、およびヒルガオがそれぞれ割り当てられている列が交差する要素位置には、これらの各種類を識別する各種類識別器２０２が、それに入力したハマヒルガオの種別ラベルが付与された試験用データ２０５を上記各種類の画像と誤って識別した識別数＝５、５、０（積算無しでブランク）、０（積算無しでブランク）、２０回がそれぞれ積算されている。
【００４０】
ヒマワリおよびチューリップの種類識別器２０２は、誤りを生じなかった。このため、縦軸のヒマワリが割り当てられている行において、横軸もヒマワリが割り当てられている列が交差する要素位置以外の要素位置の積算値は０（積算無しでブランク）である。同様に縦軸のチューリップが割り当てられている行において、横軸もチューリップが割り当てられている列が交差する要素位置以外の要素位置の積算値は０（積算無しでブランク）である。
【００４１】
次に、図３のステップＳ３０３の集計処理では、ステップＳ３０２で図１のＲＡＭ１０４上に生成された混合行列データにおいて、主対角線上の要素位置以外の要素位置の各対角成分同士のデータをそれぞれ加算した各加算結果として、例えばＫ種類中の任意の２種類の組合せごとにその組合せに属する２種類間で相互に識別を誤った回数が集計される。図５は、混合行列データからの集計処理の説明図である。
【００４２】
例えば、図４の混合行列データで、縦軸のセイヨウタンポポが割り当てられている行と横軸のカントウタンポポが割り当てられている列が交差する要素位置の積算値＝１５回が着目される。次に、その対角成分である、縦軸のカントウタンポポが割り当てられている行と縦軸のセイヨウタンポポが割り当てられている列が交差する要素位置の積算値＝１５回が着目される。そして、これらの対角成分同士のデータが加算された結果の積算値＝３０回が、図５に示されるように、縦軸のカントウタンポポが割り当てられている行と縦軸のセイヨウタンポポが割り当てられている列が交差する要素位置に上書きされる。また、縦軸のセイヨウタンポポが割り当てられている行と横軸のカントウタンポポが割り当てられている列が交差する要素位置の積算値は、クリアされる。
【００４３】
同様に、図４の混合行列データにおける縦軸の行と横軸の列について、ヒマワリとセイヨウタンポポ、セイヨウタンポポとヒマワリの対角成分同士が加算された結果の積算値＝５が、図５に示されるように、縦軸行＝ヒマワリ、横軸列＝セイヨウタンポポの交差要素位置に上書きされる。また、縦軸行＝セイヨウタンポポ、横軸列＝ヒマワリの交差要素位置の積算値はクリアされる。
他のヒマワリとカントウタンポポ、チューリップとセイヨウタンポポ、チューリップとカントウタンポポ、ヒルガオとセイヨウタンポポ、ヒルガオとカントウタンポポ、ハマヒルガオとセイヨウタンポポ、ハマヒルガオとカントウタンポポの各対角成分同士の組合せについても、同様に集計が行われる。図５に示される混合行列データが得られる。
【００４４】
以上の図３のステップＳ３０３の処理により、図１のＲＡＭ１０４上の図５に示される混合行列データの下三角行列領域の各要素位置の集計値として、例えばＫ種類中の任意の２種類の組合せごとにその組合せに属する２種類間で相互に識別を誤った回数が集計される。
【００４５】
図３のフローチャートの処理に戻って、ステップＳ３０３の処理の後、グルーピング処理が実行される（図３のステップＳ３０４）。この処理では、図２のグルーピング処理手段２０６の機能が実行される。具体的には、ステップＳ３０３の集計により図１のＲＡＭ１０４上に得られた混合行列データの下三角行列領域において、集計結果が例えば全識別正解数＝５０回の半分の２５回以上となる組合せのグループが抽出される。図５の例では、５０１として示されるように、カントウタンポポとセイヨウタンポポの２種類の組合せのグループ（集計値＝３０回）と、ハマヒルガオとヒルガオの２種類の組合せのグループ（集計値＝４０回）が抽出される。
【００４６】
次に、ステップＳ３０４において、これらの例えば２グループにそれぞれ属する２種類のいずれかに対応する種別ラベルを有する学習用データ２０３に、各グループに対応するグループラベルが付与される。例えばカントウタンポポまたはセイヨウタンポポの種別ラベルを有する学習用データ２０３に、それらが属するグループに対応するグループラベル、例えば「タンポポグループ」が追加的に付与される。また、ハマヒルガオまたはヒルガオの種別ラベルを有する学習用データ２０３に、それらが属するグループに対応するグループラベル、例えば「ヒルガオグループ」が追加的に付与される。
【００４７】
ステップＳ３０４のグルーピング処理の後、第２回目機械学習処理が実行される（図３のステップＳ３０５）。この処理では、図２の第２学習手段２０７の機能が実行される。
図６は、図３のステップＳ３０５の第２回目機械学習処理を示すフローチャート、図７は、第２回目機械学習処理の結果、本実施形態により構成される識別器の説明図である。
【００４８】
まず、第１階層目識別器生成処理が実行される（図６のステップＳ６０１）。この処理は、図２の第２学習手段２０７の説明で前述した通りである。この結果、図７に示されるように、タンポポグループとヒルガオグループにそれぞれ対応する＃１と＃２の２個のグループ識別器２０９が生成される。図７の例において、＃１のグループ識別器２０９は、入力画像データから抽出された特徴情報７０１がタンポポグループに属する種類の画像自身の特徴情報かそれ以外の残りかという２通りの画像分類を行う２クラスの識別器として実現される。同様に、＃２のグループ識別器２０９は、入力画像データから抽出された特徴情報７０１がヒルガオグループに属する種類の画像自身の特徴情報かそれ以外の残りかという２通りの画像分類を行う２クラスの識別器として実現される。
【００４９】
次に、ステップＳ６０１で、上述のグループ識別器２０９が、図３のステップＳ３０１で生成されている種類識別器２０２のうち上記各グループに属さない種類を個別に識別する種類識別器２０２と合わせられて、第１階層目識別器２０８が構成される。図７の例では、＃１および＃２のグループ識別器２０９が、タンポポグループとヒルガオグループのいずれにも属さないヒマワリおよびチューリップを個別に識別する＃１および＃２の種類識別器２０２と合わせられて、第１階層目識別器２０８が構成される。
【００５０】
次に、第２階層目識別器生成処理が実行される（図６のステップＳ６０２）。この処理も、図２の第２学習手段２０７の説明で前述した通りである。この結果、図７に示されるように、例えばタンポポグループについては、タンポポグループ内のカントウタンポポとセイヨウタンポポの２つの種類を個別に識別する＃１のグループ内識別器２１１が生成される。また、例えばヒルガオグループについては、ヒルガオグループ内のヒルガオとハマヒルガオの２つの種類を個別に識別する＃２のグループ内識別器２１１が生成される。この処理においては、グループに属する種類に対応する種別ラベルのみを有する学習用データ２０３を用いてグループ内識別器２１１が構成されてよい。あるいは、全ての種別ラベルを有する学習用データ２０３を用いて、グループ内の各種類の１ｖｓその他の識別を行う種類ごとのグループ内識別器２１１が構成されてもよい。
【００５１】
次に、階層間統合処理部生成処理が実行される（図６のステップＳ６０３）。この処理では、図２の階層間統合処理部２１２の機能処理が生成される。
この階層間統合処理部２１２は、各グループの画像については、そのグループに対応する第１階層目識別器２０８の識別スコア値と第２階層目識別器２１０の識別スコア値に所定の倍率を乗算した値とを加算して得られる識別スコア値によって識別判定を行う。すなわち、
［総識別スコア値］＝［第１階層目識別器２０８の識別スコア値］
＋α×［第２階層目識別器２１０の識別スコア値］
である。例えば、
［カントウタンポポの総識別スコア値］＝［タンポポグループの識別スコア値］
＋α×［カントウタンポポ vs セイヨウタンポポの識別スコア値］
である。
【００５２】
また、階層間統合処理部２１２は、上述のいずれのグループにも属さない種類の画像については、その種類に対応する第１階層目識別器２０８の識別スコア値によって識別判定を行う。すなわち、
［総識別スコア値］＝［第１階層目識別器２０８の識別スコア値］
である。例えば、
［ヒマワリの総識別スコア値］＝［ヒマワリの識別スコア値］
である。
【００５３】
以上の図２に示される機能ブロック構成により、本実施形態では、酷似種が含まれる多クラスの画像分類において、過学習を避けるために、グループ単位の識別を行う第１階層目識別器２０８と、グループ内の識別を行う第２階層目識別器２１０の、２階層の識別器が実現される。この場合に、本実施形態では、グループを決定する際、第１学習手段２０１によって事前に、グループ化しない状態で機械学習による識別を行う種類識別器２０２が生成される。次に、識別誤り集計手段２０４によって、この種類識別器２０２を用いて、識別試験が行われ、カテゴリ間で識別誤りを生じた回数が集計される。そして、グルーピング処理手段２０６によって、機械学習が間違いやすいカテゴリ同士がグループ化される。
【００５４】
このようにして、本実施形態では、事前の識別誤りの集計により、酷似種を自動的に判定して仕分けを行うことが可能となり、その結果を用いて、グループ間識別、グループ内識別の２階層の識別が実行される。この結果、画像識別器において、図１３で説明したような過学習を抑制し、識別性能を向上させることが可能となる。
【００５５】
図８は、図３のステップＳ３０１、図６のステップＳ６０１、または図６のステップＳ６０２にて、種類識別器２０２、グループ識別器２０９、またはグループ内識別器２１１等の識別器の生成処理を示すフローチャートである。
【００５６】
まず、ラベル生成処理が実行される（ステップＳ８０１）。ここでは、入力される複数種類×複数枚の学習用データ２０３のそれぞれに、そのデータが示す画像の種類を示す種別ラベルが付与される。
【００５７】
次に、特徴抽出処理が実行される（ステップＳ８０２）。この処理では、学習用データ２０３のそれぞれにおいて、その学習用データ２０３２０３に含まれる識別対象であるオブジェクトを示す主要被写体領域上で指定画素おきに各ＲＧＢデータが特徴情報として抽出され、その特徴情報が図１のＲＡＭ１０４に記憶される。
【００５８】
次に、クラスタリング処理が実行される（ステップＳ８０３）。この処理では、ステップＳ８０２で抽出された特徴情報が、例えばｋ−ｍｅａｎｓ法のクラスタリングアルゴリズムを用いて、複数（例えば５００個）のクラスタにクラスタリングされる。
【００５９】
次に、ベクトル量子化処理が実行される（ステップＳ８０４）。この処理では、学習用データ２０３のそれぞれにおいて、次の処理が実行される。ステップＳ８０２にて主要被写体領域上で指定画素おきに取得して図１のＲＡＭ１０４に保存していた各特徴情報ごとに、その特徴情報とステップＳ８０３で算出された各クラスタの重心のＲＧＢデータとの距離がそれぞれ算出される。そして、その算出された距離のうち最小の距離に対応するクラスタが最近傍クラスタとして抽出され、その抽出した最近傍クラスタの重心データがその特徴情報のベクトル量子化値とされる。そのベクトル量子化値は、図１のＲＡＭ１０４に記憶される。
【００６０】
次に、ヒストグラム処理が実行される（ステップＳ８０５）。この処理では、学習用データ２０３のそれぞれにおいて、ステップＳ８０２にて主要被写体領域上で指定画素おきに取得して図１のＲＡＭ１０４に保存していた各ベクトル量子化値ごとに、そのベクトル量子化値に対応する最近傍クラスタのヒストグラム度数がプラス１される処理が繰り返し実行される。これにより、その学習用データ２０３に対応するヒストグラムが生成される。
【００６１】
最後に、識別器生成処理が実行される（ステップＳ８０６）。この処理では、各学習用データ２０３または２０３′に付与されている種別ラベルまたはグループラベルと各学習用データ２０３ごとに生成されたヒストグラムとに基づいて、識別すべき個別の種類の画像または識別すべきグループを構成する種類の画像が入力されたときに最大の識別スコア値を出力する種類識別器２０２、グループ識別器２０９、またはグループ内識別器２１１が生成される。
【００６２】
以上の識別器の生成処理において、図８のステップＳ８０１からＳ８０５までの一連の処理は、種類識別器２０２の生成処理において、各学習用データ２０３に対して１回だけ実行し、その結果を図１のＲＡＭ１０４に保持しておけばよい。そして、グループ識別器２０９またはグループ内識別器２１１の生成処理においては、ＲＡＭ１０４に保持されているステップＳ８０１からＳ８０５までの実行結果を読み出して、図８のステップＳ８０６が実行されれば、高速に処理を実行することができる。
【００６３】
図９は、図８のステップＳ８０２の特徴抽出処理を示すフローチャートである。
この処理は、ステップＳ９０１において、学習用データ２０３が１枚分ずつ入力されながら、ステップＳ９０５で処理すべき学習用データ２０３がなくなったと判定されるまで、ステップＳ９０２からＳ９０４の一連の処理が実行される。
【００６４】
ステップＳ９０１で１枚分の学習用データ２０３が入力された後、まず、Ｇｒａｐｈ  Ｃｕｔｓ法を用いた処理により、学習用データ２０３から主要被写体領域が抽出される（図９のステップＳ９０２）。例えば、花の画像の場合には、花の部分の領域が抽出される。具体的には、主要被写体領域は、入力された学習用データ２０３に対して、主要被写体らしさを示すエネルギー関数を用いるＧｒａｐｈ  Ｃｕｔｓ法のアルゴリズムに従って、背景領域との間で分割して取得される。Ｇｒａｐｈ  Ｃｕｔｓ法の具体的なアルゴリズムとしては、例えば特許文献２に記載の技術を適用することができる。
【００６５】
次にステップＳ９０４でＲＧＢデータが取得されなくなったと判定されるまで、学習用データ２０３から指定画素おきにＲＧＢデータを取得して、それを特徴情報として図１のＲＡＭ１０４に記憶する処理が実行される（図９のステップＳ９０３→Ｓ９０４→Ｓ９０３の繰返し処理）。
【００６６】
学習用データ２０３上の指定画素おきの全てのＲＧＢデータについて処理が完了すると、次の学習用データ２０３があるか否かが判定される（図９のステップＳ９０５）。
ステップＳ９０５の判定がＹＥＳならば、ステップＳ９０１の処理に戻って、ステップＳ９０１からＳ９０４の一連の処理が繰り返される。
【００６７】
全ての学習用データ２０３に対する特徴抽出処理が完了してステップＳ９０５の判定がＮＯになると、図９のフローチャートで示される図８のステップＳ８０２の特徴抽出処理を終了する。
【００６８】
図１０は、図８のステップＳ８０４のベクトル量子化処理を示すフローチャートである。
この処理は、ステップＳ１００１において、学習用データ２０３が１枚分ずつ指定されながら、ステップＳ１００５で指定すべき学習用データ２０３がなくなったと判定されるまで、ステップＳ１００２からＳ１００４の一連の処理が実行される。
【００６９】
ステップＳ１００１で学習用データ２０３が指定された後、ステップＳ１００４で図１のＲＡＭ１０４からその学習用データ２０３に対応する特徴情報が取得されなくなったと判定されるまで、ステップＳ１００２とＳ１００３の処理が繰り返し実行される。
【００７０】
まず、現在の学習用データ２０３に対応する指定画素おきの特徴情報が、図１のＲＡＭ１０４から読み出される（図１０のステップＳ１００２）。
次に、その読み出された特徴情報とステップＳ８０３で算出された各クラスタの重心のＲＧＢデータとの距離がそれぞれ算出される。そして、その算出された距離のうち最小の距離に対応するクラスタが最近傍クラスタとして抽出され、その抽出した最近傍クラスタの重心データがその特徴情報のベクトル量子化値とされ、図１のＲＡＭ１０４に記憶される（図１０のステップＳ１００３）。
【００７１】
次に、現在の学習用データ２０３に対応する指定画素おきの特徴情報がまだＲＡＭ１０４上にあるか否かが判定される（図１０のステップＳ１００４）。
ステップＳ１００４の判定がＹＥＳならば、ステップＳ１００２の処理に戻って、次の特徴情報に対して、ステップＳ１００２とＳ１００３の処理が繰り返し実行される。
【００７２】
全ての特徴情報に対するベクトル量子化が完了しステップＳ１００４の判定がＮＯとなると、次の学習用データ２０３があるか否かが判定される（図１０のステップＳ１００５）。
【００７３】
ステップＳ１００５の判定がＹＥＳならば、ステップＳ１００１の処理に戻って、ステップＳ１００１からＳ１００４の一連の処理が繰り返される。
全ての学習用データ２０３に対するベクトル量子化処理が完了してステップＳ１００５の判定がＮＯになると、図１０のフローチャートで示される図８のステップＳ８０４のベクトル量子化処理を終了する。
【００７４】
図１１は、図８のステップＳ８０５のヒストグラム生成処理を示すフローチャートである。
この処理は、ステップＳ１１０１において、学習用データ２０３が１枚分ずつ指定されながら、ステップＳ１１０６で指定すべき学習用データ２０３がなくなったと判定されるまで、ステップＳ１１０２からＳ１１０５の一連の処理が実行される。
【００７５】
ステップＳ１１０１で学習用データ２０３が指定された後、ステップＳ１１０４で図１のＲＡＭ１０４からその学習用データ２０３に対応するベクトル量子化値が取得されなくなったと判定されるまで、ステップＳ１１０２とＳ１１０３の処理が繰り返し実行される。
【００７６】
まず、現在の学習用データ２０３に対応する指定画素おきのベクトル量子化値が、図１のＲＡＭ１０４から読み出される（図１１のステップＳ１１０２）。
次に、その読み出されたそのベクトル量子化値に対応する最近傍クラスタのＲＡＭ１０４上に記憶されているヒストグラム度数がプラス１される（図１１のステップＳ１１０３）。
【００７７】
次に、現在の学習用データ２０３に対応する指定画素おきのベクトル量子化値がまだＲＡＭ１０４上にあるか否かが判定される（図１１のステップＳ１１０４）。
ステップＳ１１０４の判定がＹＥＳならば、ステップＳ１１０２の処理に戻って、次のベクトル量子化値に対して、ステップＳ１１０２とＳ１１０３の処理が繰り返し実行される。
【００７８】
全てのベクトル量子化値に対するヒストグラムカウントが完了しステップＳ１１０４の判定がＮＯとなると、次の処理が実行される。図１のＲＡＭ１０４に記憶されている全クラスタのヒストグラム度数値が、現在の学習用データ２０３に対応するヒストグラムセットとしてＲＡＭ１０４に記憶される（図１１のステップＳ１１０４）。
【００７９】
その後、次の学習用データ２０３があるか否かが判定される（図１１のステップＳ１１０６）。
ステップＳ１１０６の判定がＹＥＳならば、ステップＳ１１０１の処理に戻って、ステップＳ１１０１からＳ１１０５の一連の処理が繰り返される。
【００８０】
全ての学習用データ２０３に対するヒストグラム生成処理が完了してステップＳ１１０６の判定がＮＯになると、図１１のフローチャートで示される図８のステップＳ８０５のヒストグラム生成処理を終了する。
【００８１】
図１２は、図８のステップＳ８０６の識別器生成処理を示すフローチャートである。
まず、識別すべき個別の種類または識別すべきグループを示すカテゴリが指定される（図１２のステップＳ１２０１）。
【００８２】
次に、現在のカテゴリに対応する１ｖｓその他識別用のｐｏｓｉｔｉｖｅデータとｎｅｇａｔｉｖｅデータが入力される（図１２のステップＳ１２０２）。例えば、カテゴリが花の種類である場合、その種類に対応する種別ラベルが付与されている学習用データ２０３または２０３′（図２）がｐｏｓｉｔｉｖｅデータとされる。また、その種類以外の種別ラベルが付与されている学習用データ２０３または２０３′が、ｎｅｇａｔｉｖｅデータとされる。また例えば、カテゴリが花の種類のグループである場合、そのグループに対応するグループラベルラベルが付与されている学習用データ２０３′がｐｏｓｉｔｉｖｅデータとされる。また、そのグループに含まれる種類以外の種類に対応する種別ラベルが付与されている学習用データ２０３′が、ｎｅｇａｔｉｖｅデータとされる。
【００８３】
そして、各学習用データ２０３または２０３′に付与されている種別ラベルまたはグループラベルと各学習用データ２０３ごとに図８のステップＳ８０５にて生成されたヒストグラムとに基づいて、次の処理が実行される。識別すべき個別の種類の画像または識別すべきグループを構成する種類の画像が入力されたときに最大の識別スコア値を出力するように、種類識別器２０２、グループ識別器２０９、またはグループ内識別器２１１における１ｖｓその他識別用パラメータが演算される（図１２のステップＳ１２０３）。
【００８４】
その後、次のカテゴリ（種類またはグループ）が指定されているか否かが判定される（図１２のステップＳ１２０４）。
ステップＳ１２０４の判定がＹＥＳならばステップＳ１２０１の処理に戻って、新たなカテゴリに対応する識別器の生成処理が実行される。
【００８５】
カテゴリがなくなってステップＳ１２０４の判定がＮＯになると、図１２のフローチャートで示される図８のステップＳ８０６の識別器生成処理を終了する。
以上説明した実施形態において、識別の対象を花の画像として説明を行ったが、本発明はこれに限られるものではない。また、画像データから主要被写体領域を抽出する処理は、Ｇｒａｐｈ  Ｃｕｔｓ法の処理に限られるものではなく、また、主要被写体領域の抽出は必ずしも必要とされるものではない。
【００８６】
更に、本実施形態では花に代表される画像の識別を例にとって説明したが、画像に限定されるものではなく、音声データや、所定の特徴を表すデータ群の識別に適用することができる。すなわち、機械学習で多クラス分類しようとした場合に、クラス間の分類性が悪い(オーバーラップがある)部分での、分類に応用可能である。例えば音声においても、分離性が良い箇所と、酷似している箇所を２回に分けて識別することによって、識別精度をあげることができる。
【００８７】
以上のようにして、本実施形態によれば、事前の識別誤りの集計により、酷似種を自動的に判定して仕分けを行うことが可能となり、その結果を用いて、グループ間識別、グループ内識別の２階層の識別が実行される。この結果、画像識別器において、過学習を抑制し、識別性能を向上させることが可能となる。
【００８８】
また、本実施形態によれば、識別第1候補にカントウタンポポ、第２候補にヒマワリ、第３候補にセイヨウタンポポ、と言う形で人間に違和感を与える不自然な識別を避けられる。
【００８９】
以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
所定の特徴を表現している特徴データの種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別器であって、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して前記特徴データの種類を個別に識別する種類識別器を生成する第１学習手段と、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの特徴データの種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計手段と、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用特徴データに該グループに対応するグループラベルを付与するグルーピング処理手段と、
前記グループラベルを付与したものを含む前記学習用特徴データを入力して前記特徴データのグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用特徴データを入力して該グループに属する前記所定数の種類の特徴データを個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習手段と、
を備えることを特徴とする多クラス識別器。
（付記２）
画像の種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別器であって、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して該データの画像の種類を個別に識別する種類識別器を生成する第１学習手段と、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの画像の種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計手段と、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理手段と、
前記グループラベルを付与したものを含む前記学習用データを入力して該データの画像のグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の画像を個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習手段と、
を備えることを特徴とする多クラス識別器。
（付記３）
前記識別誤り集計手段において、
前記試験用データの種類の識別結果を該データの種別ラベルごとに積算する行列データであって、縦軸の各行に入力された前記試験用データの種別ラベルを割り当て、横軸の各列に識別された前記試験用データの種別ラベルを割り当て、前記各行と前記各列が交差する各要素位置に、該要素位置に対応する行に割り当てられた入力の種別ラベルを該要素位置に対応する列に割り当てられた出力の種別ラベルとして識別した回数を積算したデータを記憶させた混合行列データを生成する混合行列生成処理と、
前記混合行列データにおいて、主対角線上の要素位置以外の要素位置の各対角成分同士のデータをそれぞれ加算した各加算結果として、前記複数種類中の任意の２種類の組合せごとに該組合せに属する２種類間で相互に識別を誤った回数を集計する集計処理と、
を実行することを特徴とする付記１または２のいずれかに記載の多クラス識別器。
（付記４）
前記種類識別器、前記グループ識別器、または前記グループ内識別器の生成において、
前記学習用データのそれぞれにおいて、該学習用データに含まれる識別対象であるオブジェクトを示す主要被写体領域上で指定画素おきにＲＧＢデータを取得してそれぞれ特徴情報として抽出する特徴抽出処理と、
前記各特徴情報を複数のクラスタにクラスタリングするクラスタイング処理と、
前記学習用データのそれぞれにおいて、前記主要被写体領域上で指定画素おきに取得した前記各特徴情報ごとに、該特徴情報と前記各クラスタの重心のＲＧＢデータとの距離をそれぞれ算出し、該算出した距離のうち最小の距離に対応するクラスタを最近傍クラスタとして抽出し、該抽出した最近傍クラスタの重心データを該特徴情報のベクトル量子化値とするベクトル量子化処理と、
前記学習用データのそれぞれにおいて、前記主要被写体領域上で指定画素おきに取得した前記各ベクトル量子化値ごとに、該ベクトル量子化値に対応する前記最近傍クラスタのヒストグラム度数をプラス１する処理を繰り返し実行して、該学習用データに対応するヒストグラムを生成するヒストグラム生成処理と、
前記各学習用データに付与されている種別ラベルまたはグループラベルと前記各学習用データごとに生成されたヒストグラムとに基づいて、識別すべき個別の種類の画像または識別すべきグループを構成する種類の画像が入力されたときに最大の識別スコア値を出力する前記種類識別器、前記グループ識別器、または前記グループ内識別器を生成する識別器生成処理と、
を実行することを特徴とする付記２に記載の多クラス識別器。
（付記５）
前記主要被写体領域は、入力された画像データに対して、主要被写体らしさを示すエネルギー関数を用いるＧｒａｐｈ  Ｃｕｔｓ法のアルゴリズムに従って、背景領域との間で分割して取得される、
ことを特徴とする付記４に記載の多クラス識別器。
（付記６）
前記第２学習手段は、前記各グループを、該グループに対応する前記第１階層目識別器の識別スコア値と前記第２階層目識別器の識別スコア値に所定の倍率を乗算した値とを加算して得られる識別スコア値によって識別判定し、いずれの前記グループにも属さない種類を、該種類に対応する前記第１階層目識別器の識別スコア値によって識別判定する階層間統合処理部をさらに生成する、
ことを特徴とする付記１ないし５のいずれかに記載の多クラス識別器。
（付記７）
所定の特徴を表現している特徴データの種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別方法であって、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して前記特徴データの種類を個別に識別する種類識別器を生成する第１学習ステップと、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの特徴データの種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計ステップと、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用特徴データに該グループに対応するグループラベルを付与するグルーピング処理ステップと、
前記グループラベルを付与したものを含む前記学習用特徴データを入力して前記特徴データのグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用特徴データを入力して該グループに属する前記所定数の種類の特徴データを個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習ステップと、
を備えることを特徴とする多クラス識別方法。
（付記８）
画像の種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別方法であって、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して該データの画像の種類を個別に識別する種類識別器を生成する第１回目機械学習ステップと、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの画像の種類を個別に識別し、前記複数種類中の任意の前記所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計ステップと、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理ステップと、
前記グループラベルを付与したものを含む前記学習用データを入力して該データの画像のグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の画像を個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２回目機械学習ステップと、
を備えることを特徴とする多クラス識別方法。
（付記９）
所定の特徴を表現している特徴データの種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別処理を実行するコンピュータに、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して前記特徴データの種類を個別に識別する種類識別器を生成する第１学習ステップと、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの特徴データの種類を個別に識別し、前記複数種類中の任意の所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計ステップと、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用特徴データに該グループに対応するグループラベルを付与するグルーピング処理ステップと、
前記グループラベルを付与したものを含む前記学習用特徴データを入力して前記特徴データのグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用特徴データを入力して該グループに属する前記所定数の種類の特徴データを個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２学習ステップと、
を実行させるためのプログラム。
（付記１０）
画像の種類を第１階層目識別器で識別し特定の種類のグループは第２階層目識別器でさらに詳細に識別する多クラス識別処理を実行するコンピュータに、
複数種類中のいずれかに対応する種別ラベルを付与した学習用データを入力して該データの画像の種類を個別に識別する種類識別器を生成する第１回目機械学習ステップと、
いずれかの前記種別ラベルを付与した試験用データを前記種類識別器に入力して該データの画像の種類を個別に識別し、前記複数種類中の任意の前記所定数の種類の組合せごとに該組合せに属する前記所定数の種類間で相互に識別を誤った回数を集計する識別誤り集計ステップと、
前記集計の結果が所定の閾値以上となる組合せのグループごとに、該グループに属する前記所定数の種類のいずれかに対応する種別ラベルを有する前記学習用データに該グループに対応するグループラベルを付与するグルーピング処理ステップと、
前記グループラベルを付与したものを含む前記学習用データを入力して該データの画像のグループを識別するグループ識別器を生成し、前記グループに属さない種類を個別に識別する前記種類識別器と合わせて前記第１階層目識別器を構成すると共に、前記グループごとに、前記学習用データを入力して該グループに属する前記所定数の種類の画像を個別に識別するグループ内識別器を生成して前記第２階層目識別器を構成する第２回目機械学習ステップと、
を実行させるためのプログラム。
【符号の説明】
【００９０】
１０１  画像識別器生成装置
１０２  ＣＰＵ
１０３  ＲＯＭ
１０４  ＲＡＭ
１０５  外部記憶装置
１０６  通信インタフェース
１０７  入力装置
１０８  出力装置
１０９  可搬記録媒体駆動装置
１１０  可搬記録媒体
１１１  バス
２０１  第１学習手段
２０２  種類識別器
２０３  学習用データ
２０４  識別誤り集計手段
２０５  試験用データ
２０６  グルーピング処理手段
２０７  第２学習手段
２０８  第１階層目識別器
２０９  グループ識別器
２１０  第２階層目識別器
２１１  グループ内識別器
２１２  階層間統合処理部
５０１  グループ化対象
７０１  入力画像データから抽出された特徴情報
１３０１  ｐｏｓｉｔｉｖｅデータ群
１３０２  ｎｅｇａｔｉｖｅデータ群
１３０３  識別境界
【図１】
0005660078.tif 000002
【図２】
0005660078.tif 000003
【図３】
0005660078.tif 000004
【図６】
0005660078.tif 000005
【図７】
0005660078.tif 000006
【図８】
0005660078.tif 000007
【図９】
0005660078.tif 000008
【図１０】
0005660078.tif 000009
【図１１】
0005660078.tif 000010
【図１２】
0005660078.tif 000011
【図４】
0005660078.tif 000012
【図５】
0005660078.tif 000013
【図１３】
0005660078.tif 000014