(57)【要約】【課題】類似したカテゴリを学習する場合であってもカテゴリの弁別を容易にすること。【解決手段】学習画像から第１の画像特徴量を抽出する第１画像特徴量抽出部と、第２の画像特徴量を抽出する第２画像特徴量抽出部と、第２の画像特徴量と、学習済みのカテゴリの第２の画像特徴量とに基づいて、学習画像のカテゴリに類似する学習済みのカテゴリが存在するか否か判定する類似カテゴリ判定部と、学習済みのカテゴリが存在すると判定された場合に、学習画像の第１の画像特徴量と、類似する学習済みのカテゴリの第１の画像特徴量とに基づいて、類似する学習済みのカテゴリの第２の画像特徴量と類似しない第２の画像特徴量を生成し、学習画像の第２の画像特徴量に加えて新たな第２の画像特徴量を生成する特徴量生成部と、新たな第２の画像特徴量を識別するカテゴリ識別器を生成するカテゴリ学習部と、備えるカテゴリ識別器生成装置。【選択図】図１
2015164012.tif 000002
【特許請求の範囲】
【請求項１】
画像のカテゴリを学習するための学習画像から第１の画像特徴量を抽出する第１画像特徴量抽出部と、
抽出された前記第１の画像特徴量から第２の画像特徴量を抽出する第２画像特徴量抽出部と、
抽出された前記第２の画像特徴量と、学習済みのカテゴリの第２の画像特徴量とに基づいて、前記学習画像のカテゴリに類似する前記学習済みのカテゴリが存在するか否か判定する類似カテゴリ判定部と、
類似する前記学習済みのカテゴリが存在すると判定された場合に、前記学習画像の前記第１の画像特徴量と、類似する前記学習済みのカテゴリの第１の画像特徴量とに基づいて、類似する前記学習済みのカテゴリの第２の画像特徴量と類似しない第２の画像特徴量を生成し、生成された前記第２の画像特徴量を前記学習画像の第２の画像特徴量に加えて新たな第２の画像特徴量を生成する特徴量生成部と、
前記新たな第２の画像特徴量を識別するためのカテゴリ識別器を生成するカテゴリ学習部と、
備えるカテゴリ識別器生成装置。
【請求項２】
前記カテゴリ学習部は、前記学習画像のカテゴリに類似しない前記学習済みのカテゴリに関して、線形識別器の出力値の関係式において、前記学習画像の第２の画像特徴量に新たに追加した前記第２の画像特徴量に対する重みを無くす、請求項１に記載のカテゴリ識別器生成装置。
【請求項３】
請求項１又は２に記載のカテゴリ識別器生成装置の前記カテゴリ学習部によって学習された前記カテゴリ識別器を用いて、入力された画像のカテゴリを識別するカテゴリ識別装置。
【請求項４】
請求項１〜３のいずれか１項に記載の装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のカテゴリを識別する技術に関する。
【背景技術】
【０００２】
画像に含まれる物体やシーンといったカテゴリを識別する手法として、例えば以下のような手法がある。事前にカテゴリラベル付きの学習用画像から特徴量を抽出し、ＳＶＭ（Support vector machine）等で複数のカテゴリの識別器を学習させる。そして、カテゴリの識別対象である未知の画像の特徴量を抽出し、学習させた複数のカテゴリの識別器を用いて未知の画像が学習済みのカテゴリのいずれに属するかを判定させる。このようにして、未知の画像のカテゴリを識別することができる。
カテゴリの識別に用いられる特徴量は２つの特徴量に大別することができる。１つ目の特徴量は、ＳＩＦＴ（Scale-Invariant Feature Transform）や色ヒストグラムといった画像信号に基づくLow-levelな特徴量（以下、「Low-level特徴量」という。）である。２つ目の特徴量は、Low-level特徴量から新たに学習したMid-levelな特徴量（以下、「Mid-level特徴量」という。）である。Mid-level特徴量は、例えば犬における尻尾・足・毛皮や飛行機における翼・窓・金属といった動物体を構成する構成要素や質感（例えば、非特許文献１参照）を表す特徴量や、都市部におけるビル・道路・人や自然風景における木・草原・川といったシーンを構成する物体や環境（例えば、非特許文献２参照）を表す特徴量である。
【０００３】
カテゴリの識別にLow-level特徴量を用いる場合、画像信号から直接カテゴリを学習しているため、学習過程が不透明であり、どのようなカテゴリに対してどのような特徴量を用いることが有効であるか検証することが困難である。また、画像信号とカテゴリとの意味的なギャップが大きいため、高精度な識別を行うには多くの学習データが必要となる。
カテゴリの識別にMid-level特徴量を用いる場合、まずLow-level特徴量を基にカテゴリを構成する中間要素の識別器を学習させ、中間要素の識別器の出力値を特徴量としてカテゴリを学習させる。カテゴリは人間に知覚可能な中間要素の組合せで表現されているため、カテゴリの識別にMid-level特徴量を用いる場合には学習過程が明瞭である。また、Mid-level特徴量とカテゴリとの意味的なギャップが、Low-level特徴量とカテゴリとのギャップに比べると小さいため、少量の学習データで高精度な識別が可能である。
しかしながら、Mid-level特徴量を用いる場合、どのような中間要素を特徴量とすべきか事前に決定する必要がある。非特許文献１、２では、人手で中間要素を決定し、決定された中間要素の識別器を学習させる。非特許文献３では、識別すべきカテゴリが既知である場合、識別すべきカテゴリを弁別するために最適な中間要素の特徴量を自動的に獲得している。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】A. Farhadi, I. Endres, D. Hoiem, and D. Forsyth. “Describing Objects by their Attributes”. In CVPR, pp. 1778-1785, 2009.
【非特許文献２】L. Li, H. Su, E.P. Xing, and L. Fei-Fei. “Object Bank: A High-level Image Representation for Scene Classification & Semantic Feature Sparsification”. In NIPS, pp. 1378-1386, 2010.
【非特許文献３】F.X. Yu, L Cao, R.S. Feris, J.R. Smith, and S.-F. Chang. “Designing Category-Level Attributes for Discriminative Visual Recognition”. In CVPR, pp. 771-778, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、新たにカテゴリを学習させる場合、既知のカテゴリの中間要素と新たに学習させるカテゴリの中間要素とが一致してしまうと、新たに学習させるカテゴリを弁別することが出来ない。例えば、事前に学習させたMid-level特徴量が尻尾・足・翼であり、既知のカテゴリが犬・飛行機であり、新たに猫のカテゴリを学習させる場合を考える。猫のカテゴリと飛行機のカテゴリとを比較した場合、猫のカテゴリには尻尾・足が存在する一方で翼は存在せず、飛行機のカテゴリには翼が存在する一方で尻尾・足は存在しない。そのため、猫のカテゴリと飛行機のカテゴリとでは、中間要素が互いに背反であるためカテゴリの弁別が可能である。しかし、猫のカテゴリと犬のカテゴリとを比較した場合、両カテゴリともに尻尾・足が存在し、翼が存在しない。そのため、猫のカテゴリと犬のカテゴリとでは、各中間要素が一致（衝突）しており両カテゴリを弁別することは困難である。上述したように、類似したカテゴリを学習する際には、事前に学習したMid-level特徴量のみではカテゴリの弁別が困難であるという問題があった。
【０００６】
上記事情に鑑み、本発明は、類似したカテゴリを学習する場合であってもカテゴリの弁別を容易にすることができる技術の提供を目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像のカテゴリを学習するための学習画像から第１の画像特徴量を抽出する第１画像特徴量抽出部と、抽出された前記第１の画像特徴量から第２の画像特徴量を抽出する第２画像特徴量抽出部と、抽出された前記第２の画像特徴量と、学習済みのカテゴリの第２の画像特徴量とに基づいて、前記学習画像のカテゴリに類似する前記学習済みのカテゴリが存在するか否か判定する類似カテゴリ判定部と、類似する前記学習済みのカテゴリが存在すると判定された場合に、前記学習画像の前記第１の画像特徴量と、類似する前記学習済みのカテゴリの第１の画像特徴量とに基づいて、類似する前記学習済みのカテゴリの第２の画像特徴量と類似しない第２の画像特徴量を生成し、生成された前記第２の画像特徴量を前記学習画像の第２の画像特徴量に加えて新たな第２の画像特徴量を生成する特徴量生成部と、前記新たな第２の画像特徴量を識別するためのカテゴリ識別器を生成するカテゴリ学習部と、備えるカテゴリ識別器生成装置である。
【０００８】
本発明の一態様は、上記のカテゴリ識別器生成装置であって、前記カテゴリ学習部は、前記学習画像のカテゴリに類似しない前記学習済みのカテゴリに関して、線形識別器の出力値の関係式において、前記学習画像の第２の画像特徴量に新たに追加した前記第２の画像特徴量に対する重みを無くす。
【０００９】
本発明の一態様は、上記のカテゴリ識別器生成装置の前記カテゴリ学習部によって学習された前記カテゴリ識別器を用いて、入力された画像のカテゴリを識別するカテゴリ識別装置である。
【００１０】
本発明の一態様は、上記の装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【００１１】
本発明により、類似したカテゴリを学習する場合であってもカテゴリの弁別を容易にすることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明におけるカテゴリ識別器生成装置１００の機能構成を表す概略ブロック図である。
【図２】学習カテゴリのMid-level特徴量の衝突検知に関する概念図である。
【図３】類似カテゴリが存在する場合における処理を説明するための概念図である。
【図４】類似カテゴリが存在する場合における処理を説明するための概念図である。
【図５】本発明におけるカテゴリ識別装置２００の機能構成を表す概略ブロック図である。
【図６】本実施形態におけるカテゴリ識別器生成装置１００の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明におけるカテゴリ識別器生成装置１００の機能構成を表す概略ブロック図である。カテゴリ識別器生成装置１００は、入力される画像（カテゴリ学習用画像）がどのようなカテゴリに分類されるかを識別する識別器（カテゴリ識別器）を学習によって生成する装置である。カテゴリは、画像に含まれる動物体やシーンなどであり、例えば猫や犬などである。また、カテゴリ識別器生成装置１００には、カテゴリ学習用画像記憶部１０に記憶されているカテゴリ学習用画像が入力される。カテゴリ学習用画像は、画像と画像のカテゴリとを示すカテゴリ付きの画像データである。カテゴリ学習用画像は、カテゴリ学習用画像を識別するためのインデクスに対応付けられてカテゴリ学習用画像記憶部１０に記憶されている。カテゴリ識別器生成装置１００は、入力されたカテゴリ学習用画像に基づいてカテゴリの識別器を学習する。
以下、カテゴリ識別器生成装置１００の具体的な構成について説明する。
【００１４】
カテゴリ識別器生成装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、カテゴリ識別器生成プログラムを実行する。カテゴリ識別器生成プログラムの実行によって、カテゴリ識別器生成装置１００は、Low-level特徴量抽出部（第１画像特徴量抽出部）１０１、Low-level特徴量記憶部１０２、Mid-level特徴量抽出部（第２画像特徴量抽出部）１０３、Mid-level特徴量記憶部１０４、類似カテゴリ判定部１０５、特徴量生成部１０６、カテゴリ学習部１０７、カテゴリ識別器記憶部１０８を備える装置として機能する。なお、カテゴリ識別器生成装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。また、カテゴリ識別器生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、カテゴリ識別器生成プログラムは、電気通信回線を介して送受信されてもよい。
【００１５】
Low-level特徴量抽出部１０１は、入力された学習対象のカテゴリ（以下、「学習カテゴリ」という。）のカテゴリ学習用画像からLow-level特徴量（第１の画像特徴量）を抽出する。Low-level特徴量の抽出には、例えばＳＩＦＴ、ＳＵＲＦ（Speed-Up Robust Features）、ＨｏＧ（Histogram of oriented Gradient）、色ヒストグラム、エッジヒストグラム、ウェーブレット特徴などが適用される。
Low-level特徴量記憶部１０２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。Low-level特徴量記憶部１０２は、Low-level特徴量抽出部１０１によって抽出されたLow-level特徴量とともに学習カテゴリのカテゴリ学習用画像のインデクスを記憶する。
【００１６】
Mid-level特徴量抽出部１０３は、Low-level特徴量抽出部１０１によって抽出されたLow-level特徴量からMid-level特徴量（第２の画像特徴量）を抽出する。Mid-level特徴量の抽出には、学習カテゴリの識別器以外のあらゆる識別器の出力値を用いることができる。Mid-level特徴量は、非特許文献１に記載のAttribute（属性）が挙げられる。より具体的には、犬・飛行機・猫をカテゴリとするとき、尻尾・足・翼がAttributeに相当する。
Mid-level特徴量記憶部１０４は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。Mid-level特徴量記憶部１０４は、Mid-level特徴量抽出部１０３によって抽出されたMid-level特徴量とともにカテゴリ学習用画像のインデクスを記憶する。
【００１７】
類似カテゴリ判定部１０５は、Mid-level特徴量記憶部１０４に記憶されているMid-level特徴量に基づいて、学習カテゴリと類似したカテゴリ（以下、「類似カテゴリ」という。）が存在するか否か判定する。具体的には、類似カテゴリ判定部１０５は、学習カテゴリのMid-level特徴量と、学習済みカテゴリのMid-level特徴量とが衝突しているか否か検知する。類似カテゴリが存在する場合、つまり、学習カテゴリのMid-level特徴量と、学習済みカテゴリのMid-level特徴量とが衝突している場合、類似カテゴリ判定部１０５は類似カテゴリのインデクスの情報を特徴量生成部１０６に出力する。一方、類似カテゴリが存在しない場合、つまり、学習カテゴリのMid-level特徴量と、学習済みカテゴリのMid-level特徴量とが衝突していない場合、類似カテゴリ判定部１０５は学習カテゴリのMid-level特徴量をカテゴリ学習部１０７に出力する。類似カテゴリ判定部１０５の具体的な処理については後述する。
【００１８】
特徴量生成部１０６は、類似カテゴリのインデクスの情報に基づいて、新たなMid-level特徴量を生成する。新たなMid-level特徴量とは、Mid-level特徴量記憶部１０４に記憶されていないMid-level特徴量である。具体的には、まず特徴量生成部１０６は、類似カテゴリのインデクスの情報に基づいて、学習カテゴリのLow-level特徴量と、類似カテゴリのLow-level特徴量とをLow-level特徴量記憶部１０２から取得する。次に、特徴量生成部１０６は、取得した学習カテゴリのLow-level特徴量を正例、類似カテゴリのLow-level特徴量を負例として識別器を学習する。これにより、特徴量生成部１０６は、学習カテゴリと類似カテゴリとを弁別することが可能になる。そして、特徴量生成部１０６は、学習した識別器の出力値を新たなMid-level特徴量として生成する。識別器には、例えば線形ＳＶＭが用いられてもよい。特徴量生成部１０６によって生成された新たなMid-level特徴量は、新たなカテゴリを学習する際にも使用される。つまり、特徴量生成部１０６は、生成したMid-level特徴量をMid-level特徴量記憶部１０４に記憶されている各学習済みカテゴリのMid-level特徴量として新たに追加記憶させる。
【００１９】
カテゴリ学習部１０７は、学習カテゴリの識別器（カテゴリ識別器）を学習する。例えば、類似カテゴリ判定部１０５から学習カテゴリのMid-level特徴量が入力された場合、カテゴリ学習部１０７は入力されたMid-level特徴量に基づいて学習カテゴリの識別器を学習する。識別器の学習には、例えば線形識別器が用いられてもよい。また、カテゴリ学習部１０７は、特徴量生成部１０６によって得られた新たなMid-level特徴量を学習カテゴリのMid-level特徴量に加えて学習カテゴリの識別器を学習する。ここで、新たなMid-level特徴量を生成する前に学習したカテゴリ識別器と、新たなMid-level特徴量を生成した後に学習したカテゴリ識別器（学習カテゴリの識別器）とでは、Mid-level特徴量の次元数が異なる。そのため、通常は、前者のカテゴリ識別器に関して再学習が必要になる。しかし、カテゴリ学習部１０７が、以下の処理を行うことによって再学習が必要無くなる。線形識別器における出力値は、式１に示すようにｎ次元の特徴量ａとその特徴量ａの重みｗの内積によって決定される。そのため、類似していない学習済みカテゴリに関しては、式２において特徴量生成部１０６で生成した特徴量の重みｗ＿ｎｅｗを０とすることで式１と同じ式になるため、識別結果を不変にすることができる。そのため、識別器の再学習が不必要となる。
【００２０】
【数１】
2015164012.tif 000003
【数２】
2015164012.tif 000004
【００２１】
カテゴリ識別器記憶部１０８は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。カテゴリ識別器記憶部１０８は、カテゴリ学習部１０７によって学習された識別器（カテゴリ識別器）を記憶している。
【００２２】
図２は、学習カテゴリのMid-level特徴量の衝突検知に関する概念図である。
図２には、左から順番にカテゴリ学習用画像、Mid-level特徴量、学習カテゴリのMid-level特徴量と学習済みカテゴリのMid-level特徴量との衝突検知結果が示されている。図２では、カテゴリ“飛行機”・“犬”・“猫”に関する画像がカテゴリ学習用画像として示されており、カテゴリ“飛行機”・“犬”が学習済みカテゴリに相当し、カテゴリ“猫”が学習カテゴリに相当する。図２の例では、Mid-level特徴量は、“Ｗｉｎｇ”・“Ｔａｉｌ”・“Ｆｕｒｒｙ”の３つの値が示されている。各カテゴリ“飛行機”・“犬”・“猫”のカテゴリ学習用画像１−１〜１−３、２−１〜２−３、３−１〜３−３のMid-level特徴量がそれぞれのカテゴリ学習用画像１−１〜１−３、２−１〜２−３、３−１〜３−３に対応付けて示されている。例えば、カテゴリ“飛行機”のカテゴリ学習用画像１−１のMid-level特徴量は、”Ａ11＝｛０．９０，０．２１，０．１８｝”である。類似カテゴリ判定部１０５は、各カテゴリ学習用画像１−１〜１−３、２−１〜２−３、３−１〜３−３のMid-level特徴量に基づいて、学習カテゴリ（図２では、カテゴリ“猫”）の類似カテゴリがあるか否か判定する。
以下、類似カテゴリ判定部１０５の具体的な処理について説明する。
【００２３】
類似カテゴリ判定部１０５は、衝突を検知するために学習カテゴリのMid-level特徴量と学習済みカテゴリのMid-level特徴量とに対して２標本検定を行い、帰無仮説が棄却されるか否か検定する。統計的検定には、ｔ検定が用いられてもよい。類似カテゴリ判定部１０５は、Mid-level特徴量の各次元（図２では、“Ｗｉｎｇ”・“Ｔａｉｌ”・“Ｆｕｒｒｙ”）に対して２標本検定を行い、帰無仮説が棄却された場合には帰無仮説が棄却された次元は衝突していないと判定する。一方、帰無仮説が棄却されなかった場合には、類似カテゴリ判定部１０５は帰無仮説が棄却されなかった次元は衝突していると判定する。
そして、類似カテゴリ判定部１０５は、各次元に対する判定結果に基づいて衝突率Ｒを算出する。具体的には、類似カテゴリ判定部１０５は、Mid-level特徴量の次元をＮ、衝突した次元の数をＮ_ｃｏｌｌｉｓｉｏｎとして、衝突率Ｒ=Ｎ_ｃｏｌｌｉｓｉｏｎ／Ｎにより衝突率Ｒを算出する。
【００２４】
類似カテゴリ判定部１０５は、衝突率Ｒが閾値を超えた場合、両カテゴリのMid-level特徴量が衝突しているため弁別できない、すなわち類似カテゴリが存在すると判定する。この場合、類似カテゴリ判定部１０５は、類似カテゴリのインデクスの情報を特徴量生成部１０６に出力する。一方、類似カテゴリ判定部１０５は、衝突率Ｒが閾値を超えなかった場合、両カテゴリのMid-level特徴量が衝突していないため弁別できる、すなわち類似カテゴリが存在しないと判定する。閾値は、カテゴリ識別器生成装置１００に予め記憶されていてもよいし、ユーザによって任意に決定されてもよい。
【００２５】
図２に示される例では、カテゴリ“飛行機”とカテゴリ“猫”との衝突検知結果は衝突率が０％である。つまり、カテゴリ“飛行機”とカテゴリ“猫”とは弁別が可能であることが示されている。この場合、類似カテゴリ判定部１０５は、カテゴリ“猫”のカテゴリ学習用画像のMid-level特徴量をカテゴリ学習部１０７に出力する。また、図２に示される例では、カテゴリ“犬”とカテゴリ“猫”との衝突検知結果は衝突率が１００％である。つまり、カテゴリ“犬”とカテゴリ“猫”とは弁別が不可能である（衝突している）ことが示されている。この場合、類似カテゴリ判定部１０５は、類似カテゴリ（カテゴリ“犬”）のインデクスの情報を特徴量生成部１０６に出力する。
以上で、類似カテゴリ判定部１０５の具体的な処理についての説明を終了する。
【００２６】
次に、図３及び４を用いて、類似カテゴリ判定部１０５及び特徴量生成部１０６の具体的な動作例について説明する。図３及び４は、類似カテゴリが存在する場合における処理を説明するための概念図である。図３及び４の説明では、予めカテゴリ“犬”及び“飛行機”の識別器が学習済みである場合を例に説明する。また、説明の簡単化のため、カテゴリで示されている移動体（例えば、“犬”や“飛行機”）がMid-level特徴量で示される属性（例えば、“Ｗｉｎｇ”や“Ｔａｉｌ”）を有している場合には“１”で示し、有していない場合には“０”で示す。
【００２７】
図３（Ａ）に示される例では、学習済みカテゴリ“犬”の属性“Ｗｉｎｇ”に対応する項目が“０”、属性“Ｔａｉｌ”に対応する項目が“１”である。つまり、犬は翼（“Ｗｉｎｇ”）を有しておらず、尻尾（“Ｔａｉｌ”）を有していることが表されている。また、学習済みカテゴリ“飛行機”の属性“Ｗｉｎｇ”に対応する項目が“１”、属性“Ｔａｉｌ”に対応する項目が“０”である。つまり、飛行機は翼を有しており、尻尾を有していないことが表されている。
【００２８】
上述のように、学習済みカテゴリ“犬”と“飛行機”とでは各属性の値が異なる。そのため、類似カテゴリ判定部１０５は、学習済みカテゴリ“犬”と“飛行機”とで衝突率Ｒが閾値未満であると判定する。つまり、学習済みカテゴリ“犬”のMid-level特徴量と“飛行機”のMid-level特徴量とが衝突していない。この場合、学習済みカテゴリ“犬”と“飛行機”とは互いに背反となっているため、新たにカテゴリ“猫”の識別器を学習させる場合、衝突する学習済みカテゴリは１組だけになる。
【００２９】
新たにカテゴリ“猫”の識別器を学習させる場合、カテゴリ“猫”に対応するカテゴリ学習用画像から抽出されたLow-level特徴量を元にMid-level特徴量（“Ｗｉｎｇ”や“Ｔａｉｌ”）が抽出される。図３（Ｂ）に、学習カテゴリ“猫”の各属性に対応する項目を追加した例を示す。
図３（Ｂ）に示される例では、学習カテゴリ“猫”の属性“Ｗｉｎｇ”に対応する項目が“０”、属性“Ｔａｉｌ”に対応する項目が“１”である。つまり、猫は翼（“Ｗｉｎｇ”）を有しておらず、尻尾（“Ｔａｉｌ”）を有していることが表されている。
【００３０】
図３（Ｂ）に示されるように、学習済みカテゴリ“犬”と学習カテゴリ“猫”とでは各属性の値が一致する。そのため、類似カテゴリ判定部１０５は、学習済みカテゴリ“犬”と学習カテゴリ“猫”とで衝突率Ｒが閾値以上であると判定する。つまり、学習済みカテゴリ“犬”のMid-level特徴量と学習カテゴリ“猫”のMid-level特徴量とが衝突している。この場合、特徴量生成部１０６は、両カテゴリ（学習済みカテゴリ“犬”と学習カテゴリ“猫”）を弁別可能な属性（Ｎｅｗ）の特徴量をMid-level特徴量として新たに追加する（図３（Ｃ））。学習済みカテゴリ“犬”と学習カテゴリ“猫”とを弁別することが可能な属性の特徴量が新たに追加されるため、全てのカテゴリは再び背反する。そして、学習カテゴリ“猫”を識別するための識別器が生成される。
【００３１】
また、再度新たにカテゴリ“ライオン”の識別器を学習させる場合、全てのカテゴリが背反であるため、衝突するカテゴリは１組だけになる。新たにカテゴリ“ライオン”の識別器を学習させる場合、カテゴリ“ライオン”に対応するカテゴリ学習用画像から抽出されたLow-level特徴量を元にMid-level特徴量（“Ｗｉｎｇ”や“Ｔａｉｌ”や“Ｎｅｗ”）が抽出される。図４（Ａ）に、学習カテゴリ“ライオン”の各属性に対応する項目を追加した例を示す。
図４（Ａ）に示される例では、学習カテゴリ“ライオン”の属性“Ｗｉｎｇ”に対応する項目が“０”、属性“Ｔａｉｌ”に対応する項目が“１”、属性“Ｎｅｗ”に対応する項目が“１”である。つまり、ライオンは翼（“Ｗｉｎｇ”）を有しておらず、尻尾（“Ｔａｉｌ”）を有しており、属性“Ｎｅｗ”を有していることが表されている。
【００３２】
図４（Ａ）に示されるように、学習済みカテゴリ“猫”と学習カテゴリ“ライオン”とで各属性の値が一致する。そのため、類似カテゴリ判定部１０５は、学習済みカテゴリ“猫”と学習カテゴリ“ライオン”とで衝突率Ｒが閾値以上であると判定する。つまり、学習済みカテゴリ“猫”のMid-level特徴量と学習カテゴリ“ライオン”のMid-level特徴量とが衝突している。この場合、特徴量生成部１０６は、両カテゴリ（学習済みカテゴリ“猫”と学習カテゴリ“ライオン”）を弁別可能な属性（Ｎｅｗ２）の特徴量をMid-level特徴量として新たに追加する（図４（Ｂ））。学習済みカテゴリ“猫”と学習カテゴリ“ライオン”とを弁別することが可能な属性の特徴量が新たに追加されるため、全てのカテゴリは再び背反する。そして、学習カテゴリ“ライオン”を識別するための識別器が生成される。新たなカテゴリが学習される度に、以上のような処理が繰り返し実行される。
以上で、類似カテゴリ判定部１０５及び特徴量生成部１０６の具体的な動作例についての説明を終了する。
【００３３】
以下、カテゴリ識別器生成装置１００における動作について具体例を用いて説明する。
カテゴリ識別器生成装置１００は、カテゴリを１つずつ（逐次的に）学習する、つまり、あるカテゴリを識別するためのカテゴリ識別器を逐次的に生成する。具体例として、犬・飛行機・猫を識別するための識別器を順番に学習する例を説明する。また、Mid-level特徴量は、例えば尻尾・足・翼の特徴量が使用される。
まず、カテゴリ識別器生成装置１００は、学習カテゴリ“犬”の識別器を学習する。犬が撮像されているカテゴリ学習用画像がカテゴリ識別器生成装置１００に入力されると、Low-level特徴量抽出部１０１はカテゴリ学習用画像からLow-level特徴量を抽出する。次に、Mid-level特徴量抽出部１０３は、Low-level特徴量からMid-level特徴量（尻尾・足・翼）を抽出する。
【００３４】
類似カテゴリ判定部１０５は、Mid-level特徴量記憶部１０４に記憶されているMid-level特徴量に基づいて類似カテゴリが存在するか否か判定する。現時点では、類似カテゴリが存在しないため、カテゴリ学習部１０７は学習カテゴリ“犬”のMid-level特徴量（尻尾・足・翼）に基づいてカテゴリ“犬”の識別器を学習する。
【００３５】
次に、カテゴリ識別器生成装置１００は、学習カテゴリ“飛行機”の識別器を学習する。飛行機が撮像されているカテゴリ学習用画像がカテゴリ識別器生成装置１００に入力されると、Low-level特徴量抽出部１０１はカテゴリ学習用画像からLow-level特徴量を抽出する。次に、Mid-level特徴量抽出部１０３は、Low-level特徴量からMid-level特徴量を抽出する。
【００３６】
類似カテゴリ判定部１０５は、Mid-level特徴量記憶部１０４に記憶されているMid-level特徴量に基づいて類似カテゴリが存在するか否か判定する。この場合には、類似カテゴリ判定部１０５は、学習カテゴリ“飛行機”のMid-level特徴量と学習済みカテゴリ“犬”のMid-level特徴量とが衝突しているか否か判定する。学習カテゴリ“飛行機”のMid-level特徴量と学習済みカテゴリ“犬”のMid-level特徴量とは背反するため、衝突していない。つまり、類似カテゴリが存在しないため、カテゴリ学習部１０７は、学習カテゴリ“飛行機”のMid-level特徴量に基づいてカテゴリ“飛行機”の識別器を学習する。
【００３７】
次に、カテゴリ識別器生成装置１００は、学習カテゴリ“猫”の識別器を学習する。猫が撮像されているカテゴリ学習用画像がカテゴリ識別器生成装置１００に入力されると、Low-level特徴量抽出部１０１はカテゴリ学習用画像からLow-level特徴量を抽出する。次に、Mid-level特徴量抽出部１０３は、Low-level特徴量からMid-level特徴量を抽出する。
【００３８】
類似カテゴリ判定部１０５は、Mid-level特徴量記憶部１０４に記憶されているMid-level特徴量に基づいて類似カテゴリが存在するか否か判定する。この場合には、類似カテゴリ判定部１０５は、学習カテゴリ“猫”のMid-level特徴量と学習済みカテゴリ“飛行機”のMid-level特徴量とが衝突しているか否か判定する。さらに、類似カテゴリ判定部１０５は、学習カテゴリ“猫”のMid-level特徴量と学習済みカテゴリ“犬”のMid-level特徴量とが衝突しているか否か判定する。
【００３９】
学習カテゴリ“猫”のMid-level特徴量と学習済みカテゴリ“飛行機”のMid-level特徴量とは背反するため、衝突していない。一方、学習カテゴリ“猫”のMid-level特徴量と学習済みカテゴリ“犬”のMid-level特徴量とは衝突率Ｒが閾値以上であるため、衝突している。この場合、特徴量生成部１０６は、学習カテゴリ“猫”のLow-level特徴量と学習済みカテゴリ“犬”のLow-level特徴量とに基づいて新たなMid-level特徴量（Ｎｅｗ）を生成する。具体的には、学習カテゴリ“猫”のLow-level特徴量を正例、学習済みカテゴリ“犬”のLow-level特徴量を負例として線形識別器を学習する。カテゴリ学習部１０７は、まず学習カテゴリ“猫”の識別器を、“尻尾”・“足”・“翼”・“Ｎｅｗ”の４つのMid-level特徴量に基づいて学習する。また、カテゴリ学習部１０７は、類似カテゴリである学習済みカテゴリ“犬”の識別器を、学習カテゴリ“猫”の識別器と同様に４つのMid-level特徴量に基づいて再学習する。
【００４０】
その後、新たなカテゴリを学習する際、カテゴリ識別器生成装置１００は上記処理にて新たに生成したMid-level特徴量“Ｎｅｗ”を加えた４つのMid-level特徴量を新たなカテゴリの対象が撮像されているカテゴリ学習用画像から抽出する。そして、カテゴリ識別器生成装置１００は、抽出したMid-level特徴量が学習済みカテゴリ“犬”・“飛行機”・“猫”それぞれのMid-level特徴量と衝突しているか否か判定する。類似カテゴリが存在する場合には、新たにMid-level特徴量（Ｎｅｗ２）が追加される。
【００４１】
図５は、本発明におけるカテゴリ識別装置２００の機能構成を表す概略ブロック図である。カテゴリ識別装置２００は、カテゴリ識別器生成装置１００によって生成されたカテゴリ識別器を用いて、カテゴリ識別装置２００に入力された画像のカテゴリを識別する。例えば、カテゴリ識別装置２００には、テスト画像記憶部２０に記憶されているテスト画像が入力される。テスト画像は、カテゴリ学習用画像と異なり、画像以外の情報を含まない。カテゴリ識別装置２００は、カテゴリ識別器生成装置１００によって生成されたカテゴリ識別器を用いて、入力されたテスト画像のカテゴリを識別する。
以下、カテゴリ識別装置２００の具体的な構成について説明する。
【００４２】
カテゴリ識別装置２００は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、カテゴリ識別プログラムを実行する。カテゴリ識別プログラムの実行によって、カテゴリ識別装置２００は、Low-level特徴量抽出部２０１、Mid-level特徴量抽出部２０２、カテゴリ識別器２０３を備える装置として機能する。なお、カテゴリ識別装置２００の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、カテゴリ識別プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、カテゴリ識別プログラムは、電気通信回線を介して送受信されてもよい。
【００４３】
Low-level特徴量抽出部２０１は、テスト画像からLow-level特徴量を抽出する。
Mid-level特徴量抽出部２０２は、Low-level特徴量抽出部２０１によって抽出されたLow-level特徴量からMid-level特徴量を抽出する。
カテゴリ識別器２０３は、カテゴリ学習部１０７の処理によって学習されたカテゴリ識別器である。カテゴリ識別器２０３は、Mid-level特徴量抽出部２０２によって抽出されたMid-level特徴量に基づいて、入力されたテスト画像のカテゴリを識別する。
【００４４】
図６は、本実施形態におけるカテゴリ識別器生成装置１００の処理の流れを示すフローチャートである。
カテゴリ識別器生成装置１００にカテゴリ学習用画像が入力される（ステップＳ１０１）。カテゴリ学習用画像が入力されると、Low-level特徴量抽出部１０１は入力されたカテゴリ学習用画像からLow-level特徴量を抽出する（ステップＳ１０２）。その後、Low-level特徴量抽出部１０１は、抽出したLow-level特徴量をカテゴリ学習用画像のインデクスとともにLow-level特徴量記憶部１０２に記憶させる。
【００４５】
次に、Mid-level特徴量抽出部１０３は、Low-level特徴量抽出部１０１によって抽出されたLow-level特徴量からMid-level特徴量を抽出する（ステップＳ１０３）。その後、Mid-level特徴量抽出部１０３は、抽出したMid-level特徴量をカテゴリ学習用画像のインデクスとともにMid-level特徴量記憶部１０４に記憶させる。
【００４６】
類似カテゴリ判定部１０５は、Mid-level特徴量抽出部１０３によって抽出されたMid-level特徴量と、Mid-level特徴量記憶部１０４に記憶されているMid-level特徴量とに基づいて類似カテゴリが存在するか否か判定する（ステップＳ１０４）。類似カテゴリが存在しない場合（ステップＳ１０４−ＮＯ）、カテゴリ学習部１０７は学習カテゴリのMid-level特徴量に基づいて、学習カテゴリの識別器を学習する（ステップＳ１０５）。その後、カテゴリ学習部１０７は、学習した識別器をカテゴリ識別器記憶部１０８に記憶させる（ステップＳ１０６）。
一方、類似カテゴリが存在する場合（ステップＳ１０４−ＹＥＳ）、特徴量生成部１０６は新たなMid-level特徴量を生成する（ステップＳ１０７）。
【００４７】
以上のように構成されたカテゴリ識別器生成装置１００によれば、高精度なカテゴリ識別器を生成することができる。具体的には、カテゴリ識別器生成装置１００に入力されるカテゴリ学習用画像の学習カテゴリと類似する学習済みカテゴリが自動的に判定され、類似カテゴリと、学習カテゴリとを弁別可能な属性の特徴量をMid-level特徴量として逐次的に生成し追加される。したがって、新たにカテゴリを学習させる場合に追加されるMid-level特徴量も高々１つになる。このように、カテゴリ識別器生成装置１００は、逐次的にカテゴリを学習することで、カテゴリの識別に必要な属性を大量に増やすことなく、必要最低限の属性の数でカテゴリを分類することができる。そのため、類似したカテゴリを学習する場合であってもカテゴリの弁別を容易にすることが可能になる。
【００４８】
また、非特許文献３のように、全てのカテゴリに最適な特徴を獲得するバッチ的な手法では、カテゴリを追加するたびに特徴を一新する必要があり、追加するカテゴリの数の増加に応じて計算量が増大してしまう。これに対し、本発明は、学習カテゴリと類似カテゴリとを弁別可能な特徴量のみを生成するため、カテゴリの数の増加に対して計算量が増大してしまうおそれが少ない。そのため、カテゴリの識別器を学習するのに効率的である。
【００４９】
また、カテゴリ識別器生成装置１００は、新たなMid-level特徴量を追加して学習カテゴリの識別器を学習する場合、学習済みのカテゴリの識別器とMid-level特徴量の次元数が異なるため、再学習が必要となってしまう。しかし、本発明のように、類似していない学習済みカテゴリに関しては、新たに追加されたMid-level特徴量に対する重みを０として計算することで再学習を不要とすることができる。
また、以上のように構成されたカテゴリ識別装置２００によれば、カテゴリ識別器生成装置１００によって生成されたカテゴリ識別器を用いて識別対象となる画像を識別する。そのため、精度よく画像のカテゴリを識別することが可能になる。
【００５０】
＜変形例＞
カテゴリ識別器生成装置１００に入力されるカテゴリ学習用画像は、１枚であってもよいし、複数枚であってもよい。また、カテゴリ識別装置２００に入力されるテスト画像は、１枚であってもよいし、複数枚であってもよい。
【００５１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５２】
１０…カテゴリ学習用画像記憶部，  ２０…テスト画像記憶部，  １００…カテゴリ識別器生成装置，  １０１…Low-level特徴量抽出部，  １０２…Low-level特徴量記憶部，  １０３…Mid-level特徴量抽出部，  １０４…Mid-level特徴量記憶部，  １０５…類似カテゴリ判定部，  １０６…特徴量生成部，  １０７…カテゴリ学習部，  １０８…カテゴリ識別器記憶部，  ２００…カテゴリ識別装置，  ２０１…Low-level特徴量抽出部，  ２０２…Mid-level特徴量抽出部，  ２０３…カテゴリ識別器
【図１】
2015164012.tif 000005
【図２】
2015164012.tif 000006
【図３】
2015164012.tif 000007
【図４】
2015164012.tif 000008
【図５】
2015164012.tif 000009
【図６】
2015164012.tif 000010