(57)【要約】【課題】少量のポジティブサンプルに基づいて精度の高いカテゴリの識別器を学習する。【解決手段】画像のカテゴリの正解画像であるポジティブサンプルにおいて、カテゴリに関連する構成要素の画像に基づいてLow-level特徴量を抽出し、Low-level特徴量に基づいて構成要素を識別する構成要素識別器を学習する構成要素学習部と、構成要素学習部によって学習された構成要素識別器によってポジティブサンプルに対し取得される特徴量に基づいてカテゴリを識別するカテゴリ識別器を学習するカテゴリ学習部と、を備えるカテゴリ識別器生成装置。【選択図】図５
2015001904.tif 000002
【特許請求の範囲】
【請求項１】
画像のカテゴリの正解画像であるポジティブサンプルにおいて、前記カテゴリに関連する構成要素の画像に基づいてLow-level特徴量を抽出し、前記Low-level特徴量に基づいて前記構成要素を識別する構成要素識別器を学習する構成要素学習部と、
前記構成要素学習部によって学習された前記構成要素識別器によって前記ポジティブサンプルに対し取得される特徴量に基づいて前記カテゴリを識別するカテゴリ識別器を学習するカテゴリ学習部と、
を備えるカテゴリ識別器生成装置。
【請求項２】
請求項１に記載のカテゴリ識別器生成装置の前記カテゴリ学習部によって学習された前記カテゴリ識別器を用いて、入力されるテストサンプル画像のカテゴリを識別するカテゴリ識別装置。
【請求項３】
請求項１又は請求項２に記載の装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のカテゴリを識別する技術に関する。
【背景技術】
【０００２】
画像のカテゴリの識別器を学習する手法として、大量の正解ラベル付き画像データから特徴量を抽出し、Nearest NeighborやＳＶＭ（Support vector machine）等でカテゴリの識別器を学習する手法がある（例えば非特許文献１参照）。用いられる特徴量の具体例としては、ＳＩＦＴ（Scale-Invariant Feature Transform）やカラーヒストグラムといった特徴量がある。また、抽出された特徴量の表現手法としては、Bag-of-keypointsがある。また、Large Scale Visual Recognition Challenge（10,000カテゴリの一般物体識別を目指し、１０００万枚の学習画像を基にカテゴリを学習する）に代表されるように、大規模な画像データセットを基に識別器を生成する手法が一般的となっている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】上東 太一 柳井 啓司：Bag-of-Keypoints表現を用いたWeb画像分類 情報処理学会コンピュータビジョン・イメージメディア研究会 pp.CVIM159-26,(2007).
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、正解ラベル付き画像データを大量に人手で作成することは、非常に大きな労力を要する。そのため、少量の（例えば、１〜３枚程度の）ポジティブサンプルを用いてカテゴリの識別器を学習することが望まれる。しかし、ポジティブサンプルが少量である場合、カテゴリ内分散に対応できないという問題がある。その理由として、以下の２つが挙げられる。
【０００５】
１つ目は、従来の識別器では全ての正例をまとめて学習していることである。つまり、従来の識別器では、ポジティブサンプル間の視覚的共通性の存在を仮定していた。そのため、仮定から外れたテストデータに対する精度が劣化するおそれがあった。例えば、椅子や自動車などといったカテゴリは、視覚的（色や形など）に多様であり共通性がない場合もしばしば存在する。このような問題は、ポジティブサンプルの数が多い場合にも起こりうる問題であるが、数が少ない場合にはより顕著に起こる問題である。
【０００６】
２つ目は、Low-level特徴量（弱特徴量）で画像（オブジェクト）を表現すると、ポジティブサンプルの偏りに影響されてしまうおそれがあることである。例えば色や形状特徴に基づいたLow-level特徴量を使った場合であって、赤い椅子の画像２枚がポジティブサンプルとして入力された場合、椅子以外にも赤いオブジェクトを正解と識別してしまう可能性がある。
【０００７】
上記事情に鑑み、本発明は、少量のポジティブサンプルに基づいて精度の高いカテゴリの識別器を学習する技術を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様は、画像のカテゴリの正解画像であるポジティブサンプルにおいて、前記カテゴリに関連する構成要素の画像に基づいてLow-level特徴量を抽出し、前記Low-level特徴量に基づいて前記構成要素を識別する構成要素識別器を学習する構成要素学習部と、前記構成要素学習部によって学習された前記構成要素識別器によって前記ポジティブサンプルに対し取得される特徴量に基づいて前記カテゴリを識別するカテゴリ識別器を学習するカテゴリ学習部と、を備えるカテゴリ識別器生成装置である。
【０００９】
本発明の一態様は、上記のカテゴリ識別器生成装置の前記カテゴリ学習部によって学習された前記カテゴリ識別器を用いて、入力されるテストサンプル画像のカテゴリを識別するカテゴリ識別装置である。
【００１０】
本発明の一態様は、上記の装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【００１１】
本発明により、少量のポジティブサンプルに基づいて精度の高いカテゴリの識別器を学習することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】従来の識別器の学習手法の特徴を示す図である。
【図２】本実施形態における識別器の学習手法の特徴を示す図である。
【図３】従来の識別器の学習手法の流れを示す図である。
【図４】本実施形態の識別器の学習手法の流れを示す図である。
【図５】本実施形態のカテゴリ識別器生成装置１００の構成を示すブロック図である。
【図６】本実施形態のカテゴリ識別器生成装置１００によって生成されたカテゴリ識別器を用いたカテゴリ識別装置４００の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
［概略］
本発明の実施形態は、入力される画像（テストサンプル）がどのようなカテゴリに分類されるかを識別する識別器（カテゴリ識別器）を学習によって生成するカテゴリ識別器生成装置である。
【００１４】
生成されるカテゴリ識別器は、例えば、入力される画像に写っている物体（オブジェクト）に基づいてカテゴリ分類を行う。この場合、オブジェクトがどのような物体又は生物であるかを分類するように識別器が構成される場合もある。また、生成されるカテゴリ識別器は、例えば入力される画像に撮影されている場面（シーン）に基づいてカテゴリ分類を行う。
【００１５】
カテゴリ識別器生成装置は、あるカテゴリに関する識別器を生成する場合に、このカテゴリに属している画像（ポジティブサンプル）と、このカテゴリに属していない画像（ネガティブサンプル）と、に基づいて学習を行う。カテゴリ識別器生成装置は、学習の結果として、学習したカテゴリに関して、テストサンプルが属しているか否かを識別するカテゴリ識別器を生成する。
以下、本発明の実施形態の概略を従来の技術と比較して説明する。具体的には、識別器と特徴量についてそれぞれ概略を説明する。
【００１６】
（１．識別器について）
図１は、従来の識別器の学習手法の特徴を示す図である。図１には、４つのポジティブサンプル９０１と、６つのネガティブサンプル９０２と、境界９０３と、テストサンプル９０４と、が示されている。図１に示されるように、従来の学習手法では、取得されている全ての（４つの）ポジティブサンプル９０１を１つにまとめて識別器を学習していた。そのため、全てのポジティブサンプル９０１の組み合わせに対応する１つの識別器が取得されていた。図１には、全てのポジティブサンプル９０１によって学習された識別器による識別基準を示す境界９０３が１つ示されている。したがって、１つのテストサンプルに対して、１つの識別結果が得られる。
【００１７】
図２は、本実施形態における識別器の学習手法の特徴を示す図である。図２（Ａ）、図２（Ｂ）及び図２（Ｃ）は、それぞれ第一識別器、第二識別器、第ｎ識別器（ｎは１以上の整数）に関する処理の概略を示す図である。図２には、ｎ個のポジティブサンプル１０１（１０１−１〜１０１−ｎ）と、６つのネガティブサンプル１０２と、ｎ個の境界１０３（１０３−１〜１０３−ｎ）と、各識別器におけるテストサンプル１０４（１０４−１〜１０４−ｎ）と、が示されている。
【００１８】
本実施形態では、取得されているポジティブサンプル１０１のうち、一部のポジティブサンプル１０１を用いて識別器を学習する。図２に示す具体例では、各識別器はそれぞれ異なる１つのポジティブサンプル１０１を用いて学習する。第一識別器は、図２（Ａ）に示されるようにポジティブサンプル１０１−１を用いて学習する。第二識別器は、図２（Ｂ）に示されるようにポジティブサンプル１０１−２を用いて学習する。第ｎ識別器は、図２（Ｃ）に示されるようにポジティブサンプル１０１−ｎを用いて学習する。各学習により、各識別器における境界１０１−１〜１０１−ｎが得られる。なお、各識別器において識別空間が異なるため、一つのテストサンプルであっても、図２（Ａ）〜図２（Ｃ）に示されるようにその位置は識別器毎に異なる。
【００１９】
本実施形態では、一部のポジティブサンプル１０１毎の特有な情報を学習できる。図２のように、１つのポジティブサンプル１０１毎に学習すれば、ポジティブサンプル１０１毎の特有な情報を学習できる。例えば、ポジティブサンプル１０１毎に、写っているオブジェクトの向きが異なる場合を想定する。また、オブジェクトをある特定の向きから撮影した場合にのみ写る特徴（色や模様）が存在する場合を想定する。このように想定された条件において、従来のように全てのポジティブサンプルをまとめて一つの識別器を学習すると、上記の特徴に関する情報が薄まってしまう可能性があった。これに対し、本実施形態のように一部のポジティブサンプルを用いて識別器を学習すると、上記の特徴を厳密に識別する識別器を学習することができる。そのため、上記の特徴が写っているテストサンプルが入力された場合、その識別器が高い値を示し、正確な識別を実現できる。
【００２０】
（２．特徴量について）
識別器を用いてオブジェクトを認識する場合、「オブジェクトの構成要素の有無」に基づいて認識が行われる。構成要素とは、認識の対象となるオブジェクトの像を構成する一部分である。例えば、認識の対象となるオブジェクトが鹿である場合、「４本の足」、「毛皮の模様」、「角」が構成要素になり得る。構成要素は、認識の対象となる全てのオブジェクトに共通している。そのため、たとえポジティブサンプルの数が少量であっても、鹿を既定する特徴に応じた識別器を学習することが可能である。また、「４本足」のような構成要素は、他のオブジェクト（例えば、猫や犬など）にも共通する構成要素である。そのため、構成要素が共通するオブジェクトの総数よりも構成要素の総数の方が少ない。したがって、共通する構成要素の識別器を共用することによって、事前学習の負担を減少させることができる。各構成要素の識別器は、事前にLow-level特徴に基づいた学習によって取得される。
なお、認識の対象がオブジェクトではなくシーンである場合、構成要素は、シーンの構成要素（オブジェクト）の有無で表現されてもよい。
【００２１】
図３は、従来の識別器の学習手法の流れを示す図である。従来は、大量のポジティブサンプル（学習画像）を用いてLow-level特徴量を抽出し、各オブジェクトのカテゴリを学習していた。図４は、本実施形態の識別器の学習手法の流れを示す図である。本実施形態では、少量のポジティブサンプル（学習画像）を用いてLow-level特徴量を抽出し、複数のカテゴリのオブジェクトに共通する構成要素（例えば、上述した「４本足」など）の特徴量を識別する。そして、構成要素の特徴量に基づいて、各オブジェクトのカテゴリを学習する。そのため、従来に比べて少量のポジティブサンプルに基づいて精度の高いカテゴリの識別器を学習することができる。また、複数のカテゴリのオブジェクトに共通する構成要素の特徴量を用いているため、未知のカテゴリを識別することも可能である。
【００２２】
［詳細］
以下、本発明の一実施形態によるカテゴリ識別器生成装置１００について説明する。図５は、本実施形態のカテゴリ識別器生成装置１００の構成を示すブロック図である。カテゴリ識別器生成装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、カテゴリ識別器生成プログラムを実行する。カテゴリ識別器生成装置１００は、カテゴリ識別器生成プログラムの実行によって、構成要素学習部２０及びカテゴリ学習部３０を備える装置として機能する。なお、カテゴリ識別器生成装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。カテゴリ識別器生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。カテゴリ識別器生成プログラムは、電気通信回線を介して送受信されてもよい。
【００２３】
構成要素学習部２０は、Low-level特徴量抽出部２１と、構成要素学習部２２とを備える。構成要素学習部２０には、構成要素学習用サンプル記憶部１１に記憶されている構成要素学習用サンプル（ポジティブサンプル）が入力される。構成要素学習用サンプルは、構成要素のラベル、画像内の構成要素の存在領域を示す情報（例えば、存在領域を示す矩形の情報、存在領域を示すセグメントの情報）を含む。
【００２４】
構成要素学習部２０に対して構成要素学習用サンプルが入力されると、Low-level特徴量抽出部２１は、各構成要素学習用サンプルのLow-level特徴量を抽出する。具体的には、Low-level特徴量抽出部２１は、各構成要素の存在領域におけるLow-level特徴量を抽出する。Low-level特徴量は、RGB Color Histogram、Edge Histogram、ウェーブレット特徴、HOG、SIFT等が適用される。構成要素学習部２２は、Low-level特徴量抽出部２１によって抽出されたLow-level特徴量に基づいて、構成要素の識別器を学習する。識別器の学習には、例えばExemplar-SVM（参考文献１）や、Power-SVM（参考文献２）などの技術が適用されてもよい。
【００２５】
（参考文献１）Malisiewicz, Tomasz, Abhinav Gupta, and Alexei A. Efros. “Ensemble of exemplar-svms for object detection and beyond.” Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.
（参考文献２）Zhang, Weiyu, S. X. Yu, and Shang-Hua Teng. “Power SVM: Generalization with exemplar classification uncertainty.” Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012.
【００２６】
構成要素学習部２２の処理によって、Low-level特徴量を入力として構成要素の有無を出力する識別器（構成要素識別器）が取得される。
カテゴリ学習部３０は、Low-level特徴量抽出部３１と、構成要素検出窓推定部３２と、構成要素識別器３３と、カテゴリ学習部３４とを備える。カテゴリ学習部３０には、カテゴリ学習用サンプル記憶部１２に記憶されているカテゴリ学習用サンプル（ポジティブサンプル）が入力される。カテゴリ学習用サンプルは、カテゴリのラベルを含む。なお、カテゴリ学習用サンプルは、構成要素学習用サンプルとは異なり、画像内の構成要素の存在領域を示す情報を含まない。そのため、カテゴリ学習部３０は、各カテゴリ学習用サンプルについて構成要素検出窓を推定する。
【００２７】
まず、Low-level特徴量抽出部３１は、入力されたカテゴリ学習用サンプルの画像の様々な領域においてLow-level特徴量を抽出する。構成要素検出窓推定部３２は、各領域において抽出されたLow-level特徴量に基づいて、構成要素の検出窓（以下、「構成要素検出窓」という。）を推定する。例えば、構成要素検出窓推定部３２は、構成要素のLow-level特徴量に最も近いLow-level特徴量が抽出された領域を、構成要素検出窓の領域として推定してもよい。構成要素検出窓推定部３２は、物体領域の抽出に利用されるサリエンシーマップを用いることによって構成要素検出窓の領域を推定してもよい。
【００２８】
構成要素識別器３３は、構成要素学習部２０の処理によって取得された構成要素識別器である。構成要素識別器３３は、構成要素検出窓推定部３２によって推定された構成要素検出窓におけるLow-level特徴量を入力として、構成要素特徴量を得る。カテゴリ学習部３４は、構成要素識別器３３によって得られた構成要素特徴量に基づいて、カテゴリの識別器（カテゴリ識別器）を学習する。カテゴリの識別器の学習は、構成要素識別器の学習と同様の手法で行われる。
【００２９】
このように構成された本実施形態では、少数（例えば１枚、数枚など）のポジティブサンプルを用いて構成要素の識別器を生成し、さらに構成要素の識別器を複数用いてカテゴリの識別器を学習する。構成要素の識別器は、その構成要素を有する複数のカテゴリにおいて共有することができる。そのため、少数のポジティブサンプルによって精度の良いカテゴリ識別器を生成することが可能となる。
【００３０】
以下、本実施形態のカテゴリ識別器生成装置１００によって生成されたカテゴリ識別器を用いたカテゴリ識別装置４００について説明する。
図６は、本実施形態のカテゴリ識別器生成装置１００によって生成されたカテゴリ識別器を用いたカテゴリ識別装置４００の構成を示すブロック図である。カテゴリ識別装置４００は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、カテゴリ識別プログラムを実行する。カテゴリ識別装置４００は、カテゴリ識別プログラムの実行によって、カテゴリ識別部４０を備える装置として機能する。なお、カテゴリ識別装置４００の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。カテゴリ識別プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。カテゴリ識別プログラムは、電気通信回線を介して送受信されてもよい。
【００３１】
カテゴリ識別部４０は、Low-level特徴量抽出部４１と、構成要素検出窓推定部４２と、構成要素識別器４３と、カテゴリ識別器４４とを備える。カテゴリ識別部４０には、テストデータ記憶部１３に記憶されているテストデータ（テストサンプル）が入力される。テストデータは、構成要素学習用サンプルやカテゴリ学習用サンプルと異なり、画像以外の情報を含まない。
【００３２】
カテゴリ識別部４０に対してテストデータが入力されると、Low-level特徴量抽出部４１は、テストデータの画像の様々な領域においてLow-level特徴量を抽出する。構成要素検出窓推定部４２は、各領域において抽出されたLow-level特徴量に基づいて、構成要素検出窓を推定する。例えば、構成要素検出窓推定部４２は、構成要素検出窓推定部３２と同様に構成されてもよい。
【００３３】
構成要素識別器４３は、構成要素学習部２０の処理によって取得された構成要素識別器である。構成要素識別器４３は、構成要素検出窓推定部４２によって推定された構成要素検出窓におけるLow-level特徴量を入力として、構成要素特徴量を得る。
カテゴリ識別器４４は、カテゴリ学習部３０の処理によって取得されたカテゴリ識別器である。カテゴリ識別器４４は、構成要素識別器４３によって取得された構成要素特徴量に基づいて、入力されたテストデータのカテゴリを識別する。
【００３４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００３５】
１１…構成要素学習用サンプル記憶部，  １２…カテゴリ学習用サンプル記憶部，  １３…テストデータ記憶部，  １００…カテゴリ識別器生成装置，  ２０…構成要素学習部，  ２１…Low-level特徴量抽出部，  ２２…構成要素学習部，  ３０…カテゴリ学習部，  ３１…Low-level特徴量抽出部，  ３２…構成要素検出窓推定部，  ３３…構成要素識別部，  ３４…カテゴリ学習部，  ４００…カテゴリ識別装置，  ４０…カテゴリ識別部，  ４１…Low-level特徴量抽出部，  ４２…構成要素検出窓推定部，  ４３…構成要素識別器，  ４４…カテゴリ識別器
【図１】
2015001904.tif 000003
【図２】
2015001904.tif 000004
【図３】
2015001904.tif 000005
【図４】
2015001904.tif 000006
【図５】
2015001904.tif 000007
【図６】
2015001904.tif 000008