(57)【要約】【課題】画像から特徴量を抽出するための演算量を適切に低減することが可能な特徴量抽出装置を提供する。【解決手段】特徴量抽出装置は、入力画像を取得し、入力画像の画素ごとの第１特徴量を抽出する第１抽出手段と、第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換手段と、入力画像について、変換値をビンとする第１ヒストグラムを生成する第１生成手段と、第１ヒストグラムに基づいて、入力画像の特徴量を出力する出力手段と、を備える。上記の特徴量抽出装置によれば、第１特徴量のデータ量を削減した変換値を用いてヒストグラムを作成するため、第１特徴量をそのまま用いてヒストグラムを作成する場合と比較して、ヒストグラムのビン数を削減することができる。【選択図】図１
2014085802.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出手段と、
前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換手段と、
前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成手段と、
前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力手段と、
を備えることを特徴とする特徴量抽出装置。
【請求項２】
前記変換手段は、第１注目画素を中心にして周囲の画素を回転させた画像が、第２注目画素を中心とする画像に一致するとみなせる場合に、前記第１注目画素について抽出された前記第１特徴量と、前記第２注目画素について抽出された前記第１特徴量とを、同じ値に変換することを特徴とする請求項１に記載の特徴量抽出装置。
【請求項３】
前記入力画像を取得し、前記第１特徴量とは異なる第２特徴量を抽出する第２抽出手段と、
前記入力画像について、前記第２特徴量をビンとする第２ヒストグラムを生成する第２生成手段と、を更に備えており、
前記出力手段は、前記第１ヒストグラムと前記第２ヒストグラムとを結合したヒストグラムに基づいて、前記入力画像の特徴量を出力することを特徴とする請求項１又は２に記載の特徴量抽出装置。
【請求項４】
前記第１特徴量は、ＣＳ−ＬＢＰであることを特徴とする請求項１乃至３のいずれか一項に記載の特徴量抽出装置。
【請求項５】
特徴量抽出装置によって実行される特徴量抽出方法であって、
入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出工程と、
前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換工程と、
前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成工程と、
前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力工程と、
を備えることを特徴とする特徴量抽出方法。
【請求項６】
コンピュータを有する特徴量抽出装置によって実行されるプログラムであって、
前記コンピュータを、
入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出手段、
前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換手段、
前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成手段、
前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から特徴量を抽出する技術分野に関する。
【背景技術】
【０００２】
従来から、画像から局所特徴量を抽出する技術が提案されている。例えば、特許文献１には、局所特徴量としてＬＢＰ（Local Binary Pattern）を画像から抽出する技術が提案されている。また、例えば、非特許文献１には、局所特徴量としてＣＳ−ＬＢＰ（Center-symmetric Local Binary Patterns）を画像から抽出する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７７２８１９号公報
【非特許文献】
【０００４】
【非特許文献１】Y. Zheng, et. al., “Effective Pedestrian Detection Using Center-symmetric Local Binary/Trinary Patterns”, IEEE Conference on Computer Vision and Pattern Recognition, June 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１及び非特許文献１に記載された技術では、生成されるヒストグラムのビン数が多くなる傾向にあった。そのため、演算量が多くなる傾向にあった。また、特許文献１に記載された技術では、回転不変性を得るためにＬＢＰをサークルシフトしていたため、演算量が多くなる傾向にあった。
【０００６】
本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、画像から特徴量を抽出するための演算量を適切に低減することが可能な特徴量抽出装置、特徴量抽出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項に記載の１の発明は、特徴量抽出装置は、入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出手段と、前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換手段と、前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成手段と、前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力手段と、を備えることを特徴とする。
【０００８】
請求項に記載の他の発明は、特徴量抽出装置によって実行される特徴量抽出方法は、入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出工程と、前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換工程と、前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成工程と、前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力工程と、を備えることを特徴とする。
【０００９】
また、請求項に記載の他の発明は、コンピュータを有する特徴量抽出装置によって実行されるプログラムは、前記コンピュータを、入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出手段、前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換手段、前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成手段、前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力手段、として機能させることを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】第１実施例に係る特徴量抽出装置の概略構成を示す。
【図２】ＣＳ−ＬＢＰ値を算出する方法の一例を説明するための図を示す。
【図３】第２実施例に係る特徴量抽出装置の概略構成を示す。
【図４】第３実施例に係る特徴量抽出装置の概略構成を示す。
【図５】ＣＳ−ＬＢＰ値をＣＳ−ＬＢＰ変換値に変換する場合に用いる変換表の一例を示す。
【図６】回転不変性を説明するための図を示す。
【図７】１６値（４ビット）のＣＳ−ＬＢＰ値のとり得るパターンを模式的に表した図を示す。
【図８】第４実施例に係る特徴量抽出装置の概略構成を示す。
【図９】第５実施例に係る特徴量抽出装置の概略構成を示す。
【図１０】本実施例による結果の具体例を示す。
【図１１】ベクトル長（次元数）を説明するための図を示す。
【図１２】第２変形例に係る変換表を示す。
【図１３】第３変形例において特徴量を求めるための演算式を示す。
【発明を実施するための形態】
【００１１】
本発明の１つの観点では、特徴量抽出装置は、入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出手段と、前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換手段と、前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成手段と、前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力手段と、を備える。
【００１２】
上記の特徴量抽出装置は、例えば画像から局所特徴量を抽出するために好適に利用される。第１抽出手段は、入力画像の画素ごとの第１特徴量を抽出し、変換手段は、第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める。そして、第１生成手段は、入力画像について、変換値をビンとする第１ヒストグラムを生成し、出力手段は、第１ヒストグラムに基づいて、入力画像の特徴量を出力する。
【００１３】
上記の特徴量抽出装置によれば、第１特徴量のデータ量を削減した変換値を用いてヒストグラムを作成するため、第１特徴量をそのまま用いてヒストグラムを作成する場合と比較して、ヒストグラムのビン数を削減することができる。よって、入力画像の特徴量を求めるための演算量を低減することが可能となる。
【００１４】
上記の特徴量抽出装置の一態様では、前記変換手段は、第１注目画素を中心にして周囲の画素を回転させた画像が、第２注目画素を中心とする画像に一致するとみなせる場合に、前記第１注目画素について抽出された前記第１特徴量と、前記第２注目画素について抽出された前記第１特徴量とを、同じ値に変換する。
【００１５】
上記のように第１特徴量を変換することで、回転不変性のある特徴量を得ることができる。また、変換手段による変換によって回転不変性を実現するので、サークルシフトによって回転不変性を実現する構成と比較すると、演算量を削減することができる。
【００１６】
上記の特徴量抽出装置の他の一態様では、前記入力画像を取得し、前記第１特徴量とは異なる第２特徴量を抽出する第２抽出手段と、前記入力画像について、前記第２特徴量をビンとする第２ヒストグラムを生成する第２生成手段と、を更に備えており、前記出力手段は、前記第１ヒストグラムと前記第２ヒストグラムとを結合したヒストグラムに基づいて、前記入力画像の特徴量を出力する。
【００１７】
上記のように第１特徴量とは異なる第２特徴量を更に用いることで、特徴量の識別性（精度）を向上させることが可能となる。
【００１８】
好適な例では、第１特徴量として、ＣＳ−ＬＢＰを用いることができる。
【００１９】
本発明の他の観点では、特徴量抽出装置によって実行される特徴量抽出方法は、入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出工程と、前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換工程と、前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成工程と、前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力工程と、を備える。
【００２０】
本発明の更に他の観点では、コンピュータを有する特徴量抽出装置によって実行されるプログラムは、前記コンピュータを、入力画像を取得し、前記入力画像の画素ごとの第１特徴量を抽出する第１抽出手段、前記第１特徴量を変換することにより、当該第１特徴量のデータ量を削減した変換値を求める変換手段、前記入力画像について、前記変換値をビンとする第１ヒストグラムを生成する第１生成手段、前記第１ヒストグラムに基づいて、前記入力画像の特徴量を出力する出力手段、として機能させる。
【実施例】
【００２１】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２２】
［第１実施例］
図１は、第１実施例に係る特徴量抽出装置１０ａの概略構成を示すブロック図である。図１に示すように、第１実施例に係る特徴量抽出装置１０ａは、主に、画像入力手段１と、ＣＳ−ＬＢＰ値計算手段２と、ＣＳ−ＬＢＰ値変換手段３ａと、ヒストグラム生成手段４と、特徴量記述手段５と、を備える。例えば、特徴量抽出装置１０ａは、パーソナルコンピュータ内のＣＰＵ（Central Processing Unit）によって実現される。
【００２３】
画像入力手段１には、カメラで撮影された画像や、ハードディスクなどの記憶手段に蓄積された画像が入力される。
【００２４】
ＣＳ−ＬＢＰ値計算手段２は、画像入力手段１から入力画像が入力され、入力画像の画素ごとに対応する４ビットや８ビットや１６ビットなどで表わされるスカラー量としてのＣＳ−ＬＢＰ値を算出する。ＣＳ−ＬＢＰ値は、局所特徴量を示す値の一つであり、輝度の勾配などを示す値である。なお、ＣＳ−ＬＢＰ値計算手段２は、本発明における「第１抽出手段」の一例に相当する。
【００２５】
ここで、図２を参照して、４ビットのＣＳ−ＬＢＰ値を算出する方法を一例として説明する。図２に示すように、ＣＳ−ＬＢＰ値計算手段２は、４ビットのＣＳ−ＬＢＰ値を算出する場合、注目画素ｇｃから１画素の距離にある周囲の８画素ｇ０〜ｇ７を用いる。ＣＳ−ＬＢＰ値計算手段２は、注目画素ｇｃを中心に点対称の位置関係にある４組の画素ｇ０とｇ４、画素ｇ１とｇ５、画素ｇ２とｇ６、及び画素ｇ３とｇ７について、画素値の差分絶対値を計算し、差分絶対値を閾値ｔで２値化する。そして、ＣＳ−ＬＢＰ値計算手段２は、２値化した値を「２」のべき乗の重みで加算することにより、注目画素ｇｃのＣＳ−ＬＢＰ値を得る。
【００２６】
なお、注目画素から２画素の距離にある周囲の１６画素について上記と同様の計算を行えば、８ビットのＣＳ−ＬＢＰ値が得られる。また、以下では、４ビットのＣＳ−ＬＢＰ値を用いた構成を例に挙げて説明するが、当該構成は、４ビット以外のＣＳ−ＬＢＰ値を用いた場合にも同様に適用される。
【００２７】
図１に戻って、特徴量抽出装置１０ａの他の構成要素についての説明を再開する。ＣＳ−ＬＢＰ値変換手段３ａは、ＣＳ−ＬＢＰ値計算手段２によって算出された各画素のＣＳ−ＬＢＰ値を、任意の値（ＣＳ−ＬＢＰ変換値）に変換する。具体的には、ＣＳ−ＬＢＰ値変換手段３ａは、ＣＳ−ＬＢＰ値のデータ量（ビット数など）を削減したＣＳ−ＬＢＰ変換値を求める。例えば、ＣＳ−ＬＢＰ値変換手段３ａは、任意の関数を用いて、４ビット（１６値）のＣＳ−ＬＢＰ値を変換することで、４ビット（１６値）以下のＣＳ−ＬＢＰ変換値を求める。なお、ＣＳ−ＬＢＰ値変換手段３ａは、本発明における「変換手段」の一例に相当する。
【００２８】
ヒストグラム生成手段４は、ＣＳ−ＬＢＰ値変換手段３ａによって求められた全画素のＣＳ−ＬＢＰ変換値から、当該ＣＳ−ＬＢＰ変換値をビンとするヒストグラム（第１ヒストグラム）を生成する。例えば、ＣＳ−ＬＢＰ変換値の最大値が「９」であれば、全画素は１０個（０〜９）のビンに分類されたヒストグラムとして、入力画像と当該ヒストグラムとが対応付けられる。なお、ヒストグラム生成手段４は、本発明における「第１生成手段」の一例に相当する。
【００２９】
特徴量記述手段５は、ヒストグラム生成手段４によって生成されたヒストグラムを、そのビン数を要素数（次元数）とする多次元のベクトル量（すなわち特徴量）として記述する。そして、特徴量記述手段５は、得られた特徴量を記憶させたり表示させたりすべく、当該特徴量を記憶手段や表示手段などに出力する。例えば、ビン数が「１０」であれば、１０次元のベクトルが特徴量となる。なお、特徴量記述手段５は、本発明における「出力手段」の一例に相当する。
【００３０】
以上説明したように、第１実施例では、ＣＳ−ＬＢＰ値のデータ量を削減したＣＳ−ＬＢＰ変換値を用いてヒストグラムを生成する。したがって、第１実施例によれば、特許文献１に記載されたようなＬＢＰ値を用いてヒストグラムを生成する構成や、非特許文献１に記載されたようなＣＳ−ＬＢＰ値をそのまま用いてヒストグラムを生成する構成と比較して、ヒストグラムのビン数を削減することができる。よって、第１実施例によれば、特許文献１及び非特許文献１に記載された技術と比較して、入力画像の特徴量を求めるための演算量を低減することが可能となる。
【００３１】
ここで、第１実施例と特許文献１及び非特許文献１に記載された技術との比較について、より具体的に説明する。特許文献１に記載された技術では、ＬＢＰ値を用いているが、ＬＢＰ値はＣＳ−ＬＢＰ値よりもデータ量が多くなる。例えば、注目画素から１画素の距離にある周囲の８画素を用いた場合には８ビットのＬＢＰ値が求められ（ヒストグラムのビン数は「２８＝２５６」となる）、注目画素から２画素の距離にある周囲の１６画素を用いた場合には１６ビットのＬＢＰ値が求められる（ヒストグラムのビン数は「２１６＝６５５３６」となる）。このような８ビット及び１６ビットのＬＢＰ値に対応するＣＳ−ＬＢＰ値は、前述したように、それぞれ４ビット（ヒストグラムのビン数は「２４＝１６」となる）及び８ビット（ヒストグラムのビン数は「２８＝２５６」となる）となる。したがって、第１実施例のように、ＣＳ−ＬＢＰ値のデータ量を更に削減したＣＳ−ＬＢＰ変換値を用いる構成によれば、特許文献１に記載されたようなＬＢＰ値を用いる構成と比較して、生成されるヒストグラムのビン数を削減することができる。
【００３２】
他方で、非特許文献１に記載された技術では、ＣＳ−ＬＢＰ値を用いているため、ＬＢＰ値を用いる特許文献１に記載された技術と比較して、ヒストグラムのビン数を削減することができる。しかしながら、非特許文献１に記載された技術では、ＣＳ−ＬＢＰ値をそのまま用いてヒストグラムを生成するのに対して、第１実施例では、ＣＳ−ＬＢＰ値のデータ量を削減したＣＳ−ＬＢＰ変換値を用いてヒストグラムを生成する。したがって、第１実施例によれば、非特許文献１に記載された技術と比較して、ヒストグラムのビン数を削減することができる。
【００３３】
［第２実施例］
図３は、第２実施例に係る特徴量抽出装置１０ｂの概略構成を示すブロック図である。ここでは、第１実施例に係る特徴量抽出装置１０ａ（図１参照）と同様の構成要素については同一の符号を付し、その説明を適宜省略する。
【００３４】
図３に示すように、第２実施例に係る特徴量抽出装置１０ｂは、ＣＳ−ＬＢＰ値変換手段３ａの代わりにルックアップテーブル手段３ｂを有する点で、第１実施例に係る特徴量抽出装置１０ａと構成が異なる。
【００３５】
ルックアップテーブル手段３ｂは、事前に定めた所定の変換表（ルックアップテーブル）を用いて、ＣＳ−ＬＢＰ値計算手段２によって算出された各画素のＣＳ−ＬＢＰ値を、任意の値（ＣＳ−ＬＢＰ変換値）に変換する。具体的には、ルックアップテーブル手段３ｂは、所定の変換表を用いて、ＣＳ−ＬＢＰ値のデータ量（ビット数など）を削減したＣＳ−ＬＢＰ変換値を求める。例えば、ＣＳ−ＬＢＰ値がｎビットであれば、変換表は、２のｎ乗のエントリーを持ち、２のｎ乗以下の範囲の値がＣＳ−ＬＢＰ変換値として求められるように構成されている。なお、ルックアップテーブル手段３ｂは、本発明における「変換手段」の一例に相当する。
【００３６】
以上説明した第２実施例によっても、第１実施例と同様に、ヒストグラムのビン数を削減することができる。
【００３７】
［第３実施例］
図４は、第３実施例に係る特徴量抽出装置１０ｃの概略構成を示すブロック図である。ここでは、第１実施例に係る特徴量抽出装置１０ａ（図１参照）と同様の構成要素については同一の符号を付し、その説明を適宜省略する。
【００３８】
図４に示すように、第３実施例に係る特徴量抽出装置１０ｃは、ＣＳ−ＬＢＰ値計算手段２の代わりに４ビットＣＳ−ＬＢＰ値計算手段２ｃを有すると共に、ＣＳ−ＬＢＰ値変換手段３ａの代わりに１６値→９値対応付け手段３ｃを有する点で、第１実施例に係る特徴量抽出装置１０ａと構成が異なる。
【００３９】
４ビットＣＳ−ＬＢＰ値計算手段２ｃは、画像入力手段１から入力画像が入力され、入力画像の画素ごとに対応する４ビット（１６値）のＣＳ−ＬＢＰ値を算出する。４ビットＣＳ−ＬＢＰ値計算手段２ｃは、例えば図２に示した方法によって、４ビット（１６値）のＣＳ−ＬＢＰ値を算出する。１６値→９値対応付け手段３ｃは、４ビットＣＳ−ＬＢＰ値計算手段２ｃによって算出された４ビット（１６値）のＣＳ−ＬＢＰ値を、９値のＣＳ−ＬＢＰ変換値に変換する。なお、４ビットＣＳ−ＬＢＰ値計算手段２ｃは、本発明における「第１抽出手段」の一例に相当し、１６値→９値対応付け手段３ｃは、本発明における「変換手段」の一例に相当する。
【００４０】
図５は、１６値→９値対応付け手段３ｃが１６値のＣＳ−ＬＢＰ値（入力）を９値のＣＳ−ＬＢＰ変換値（出力）に変換する場合に用いる変換表の一例を示している。図５に示すような変換表によれば、１６値のＣＳ−ＬＢＰ値（０〜１５）が、９値のＣＳ−ＬＢＰ変換値（０〜８）に変換される。具体的には、「０」のＣＳ−ＬＢＰ値は「０」のＣＳ−ＬＢＰ変換値に変換され、「１」、「２」、「４」、「８」のＣＳ−ＬＢＰ値は「１」のＣＳ−ＬＢＰ変換値に変換され、「３」、「６」、「１２」のＣＳ−ＬＢＰ値は「２」のＣＳ−ＬＢＰ変換値に変換され、「５」、「１０」のＣＳ−ＬＢＰ値は「３」のＣＳ−ＬＢＰ変換値に変換され、「９」のＣＳ−ＬＢＰ値は「４」のＣＳ−ＬＢＰ変換値に変換され、「７」、「１４」のＣＳ−ＬＢＰ値は「５」のＣＳ−ＬＢＰ変換値に変換され、「１１」のＣＳ−ＬＢＰ値は「６」のＣＳ−ＬＢＰ変換値に変換され、「１３」のＣＳ−ＬＢＰ値は「７」のＣＳ−ＬＢＰ変換値に変換され、「１５」のＣＳ−ＬＢＰ値は「８」のＣＳ−ＬＢＰ変換値に変換される。このような変換表によれば、任意の複数のＣＳ−ＬＢＰ値が一つのＣＳ−ＬＢＰ変換値に変換されることで（例えば「１」、「２」、「４」、「８」のＣＳ−ＬＢＰ値が「１」のＣＳ−ＬＢＰ変換値に変換される）、１６値から９値へとデータ量が削減されることとなる。
【００４１】
ここで、図６及び図７を参照して、図５に示すような変換表の求め方について説明する。本実施例では、１６値のＣＳ−ＬＢＰ値を９値のＣＳ−ＬＢＰ変換値に変換するに当たって、画像の回転に対する不変性（以下では「回転不変性」と呼ぶ。）が実現されるような変換表を用いる。
【００４２】
図６は、回転不変性を説明するための図を示す。図６では、「●」で示す注目画素と、その注目画素から１画素の距離にある周囲の８画素とを示している。注目画素の周囲の８画素は、色の濃淡によって違いを表している。図６（ａ）に示す画像を元画像とした場合、図６（ｂ）に示す画像を注目画素を中心にして回転すると、元画像に一致する画像となる。つまり、図６（ａ）に示す画像と図６（ｂ）に示す画像とは回転不変性が成り立つと言える。この場合には、図６（ａ）に示す画像中の注目画素についてのＣＳ−ＬＢＰ値と、図６（ｂ）に示す画像中の注目画素についてのＣＳ−ＬＢＰ値とが、同じ値のＣＳ−ＬＢＰ変換値に変換されるようにする。他方で、図６（ｃ）に示す画像を注目画素を中心にして回転しても、元画像に一致する画像にならない。つまり、図６（ａ）に示す画像と図６（ｃ）に示す画像とは回転不変性が成り立たないと言える。この場合には、図６（ａ）に示す画像中の注目画素についてのＣＳ−ＬＢＰ値と、図６（ｃ）に示す画像中の注目画素についてのＣＳ−ＬＢＰ値とが、異なる値のＣＳ−ＬＢＰ変換値に変換されるようにする。
【００４３】
なお、注目画素を中心にして画像を回転するとは、注目画素の周囲の８画素の全てを、注目画素を中心とした時計回り又は反時計回りの方向に概ね沿った方向に、１画素分ずつ隣にシフトさせていくことを意味する。
【００４４】
図７は、１６値（４ビット）のＣＳ−ＬＢＰ値のとり得るパターンを模式的に表した図を示している。図７では、「●」で示す注目画素と、その注目画素から１画素の距離にある周囲の８画素とを示している。周囲の８画素において、「○」を示した画素は、図２に示した数式により「１」が得られた画素を表しており、「○」が示されていない画素は、図２に示した数式により「０」が得られた画素を表している。図７に示すように、「１」、「２」、「４」、「８」のパターンは互いに回転不変性が成り立ち、「３」、「６」、「１２」のパターンは互いに回転不変性が成り立ち、「５」、「１０」のパターンは互いに回転不変性が成り立ち、「７」、「１４」のパターンは互いに回転不変性が成り立つことがわかる。これに対して、「０」、「９」、「１１」、「１３」、「１５」のパターンは、いずれの他のパターンとも回転不変性が成り立たないことがわかる。このような図７に示すＣＳ−ＬＢＰ値のパターンに基づいて、上記の図５に示した変換表が作成される。
【００４５】
以上説明したように、第３実施例では、図５に示したような変換表を用いた１６値→９値対応付け手段３ｃによる変換によって、回転不変性を実現している。これにより、特許文献１に記されたようなサークルシフトを用いる構成と比較して、演算量を削減することができる。
【００４６】
なお、図５に示したような変換表は、第２実施例で示したルックアップテーブル手段３ｂが用いる変換表に適用しても良い。
【００４７】
［第４実施例］
図８は、第４実施例に係る特徴量抽出装置１０ｄの概略構成を示すブロック図である。ここでは、第１実施例に係る特徴量抽出装置１０ａ（図１参照）と同様の構成要素については同一の符号を付し、その説明を適宜省略する。
【００４８】
図８に示すように、第４実施例に係る特徴量抽出装置１０ｄは、第１実施例に係る特徴量抽出装置１０ａが有する構成要素に加えて、特徴量抽出手段６ｄと、ヒストグラム生成手段７と、ヒストグラム結合手段８とを更に有する。
【００４９】
特徴量抽出手段６ｄは、画像入力手段１から入力画像が入力され、画素ごとに、ＣＳ−ＬＢＰ値とは異なる任意の特徴量を抽出する。例えば、特徴量抽出手段６ｄは、微分特徴などの特徴量を抽出する。また、例えば、特徴量抽出手段６ｄは、後述するヒストグラム生成手段７が生成するヒストグラムのビン数の増大を抑えるために、特徴量を適当な閾値処理などにより量子化しても良い。なお、特徴量抽出手段６ｄは、本発明における「第２抽出手段」の一例に相当する。
【００５０】
ヒストグラム生成手段７は、特徴量抽出手段６ｄによって抽出された全画素の特徴量から、当該特徴量をビンとするヒストグラムを生成する。例えば、特徴量抽出手段６ｄによって抽出された特徴量の最大値が「１」であれば、全画素は２個（０〜１）のビンに分類されたヒストグラムとして、入力画像と当該ヒストグラムとが対応付けられる。なお、ヒストグラム生成手段７は、本発明における「第２生成手段」の一例に相当する。
【００５１】
ヒストグラム結合手段８は、ヒストグラム生成手段４によって生成されたヒストグラム（第１ヒストグラム）と、ヒストグラム生成手段７によって生成されたヒストグラム（第２ヒストグラム）とを結合したヒストグラムを生成する。例えば、ヒストグラム生成手段４によって生成されたヒストグラムが９値であり、ヒストグラム生成手段７によって生成されたヒストグラムが２値であれば、これらのヒストグラムを結合すると「１１」のビン数を有するヒストグラムが生成される。そして、特徴量記述手段５は、ヒストグラム結合手段８によって結合されたヒストグラムを、そのビン数を要素数（次元数）とする多次元のベクトル量（すなわち特徴量）として記述して出力する。
【００５２】
以上説明した第４実施例によれば、第１乃至第３実施例と比較して、ＣＳ−ＬＢＰ値とは異なる特徴量を更に用いることで（つまりＣＳ−ＬＢＰ値のヒストグラムとＣＳ−ＬＢＰ値とは異なる特徴量のヒストグラムとを結合することで）、ベクトルの次元数は増加するが、局所特徴量の識別性（精度）を向上させることが可能となる。例えば、第４実施例を２つの画像の同一性の照合に利用した場合、画像間のわずかな特徴の差異を適切に識別することができ、照合精度を向上させることが可能となる。
【００５３】
なお、上記では、第４実施例に対して第１実施例を適用した例を示したが（図８参照）、第１実施例の代わりに第２実施例又は第３実施例を第４実施例に対して適用しても良い。つまり、ＣＳ−ＬＢＰ値変換手段３ａの代わりにルックアップテーブル手段３ｂを適用したり、ＣＳ−ＬＢＰ値計算手段２及びＣＳ−ＬＢＰ値変換手段３ａの代わりに４ビットＣＳ−ＬＢＰ値計算手段２ｃ及び１６値→９値対応付け手段３ｃを適用したりしても良い。
【００５４】
［第５実施例］
図９は、第５実施例に係る特徴量抽出装置１０ｅの概略構成を示すブロック図である。ここでは、第４実施例に係る特徴量抽出装置１０ｄ（図８参照）と同様の構成要素については同一の符号を付し、その説明を適宜省略する。
【００５５】
図９に示すように、第５実施例に係る特徴量抽出装置１０ｅは、特徴量抽出手段６ｄの代わりにフィルタ手段６ｅを有する点で、第４実施例に係る特徴量抽出装置１０ｅと構成が異なる。
【００５６】
フィルタ手段６ｅは、画像入力手段１から入力画像が入力され、入力画像に対して任意のフィルタ処理を行うことで、画素ごとのフィルタ値を求める。例えば、フィルタ手段６ｅは、ラプラシアンフィルタなどの微分フィルタを用いてフィルタ処理を行う。また、例えば、フィルタ手段６ｅは、ヒストグラム生成手段７が生成するヒストグラムのビン数の増大を抑えるために、フィルタ値を適当な閾値処理などにより量子化しても良い。そして、ヒストグラム生成手段７は、フィルタ手段６ｅによって求められた全画素のフィルタ値から、当該フィルタ値をビンとするヒストグラムを生成する。なお、フィルタ手段６ｅは、本発明における「第２抽出手段」の一例に相当する。
【００５７】
ここで、フィルタ手段６ｅによるフィルタ処理の具体例について説明する。１つの例では、フィルタ手段６ｅは、式（１）に示すように、注目画素の輝度Ｉｉ,ｊと、隣接する４画素の輝度Ｉｉ,ｊ＋１、Ｉｉ,ｊ−１、Ｉｉ＋１,ｊ、Ｉｉ−１,ｊとから、輝度に関する２次微分▽２Ｉｉ,ｊを計算するラプラシアンフィルタを用いることができる。式（１）において、「ｉ」は画像の横方向の座標であり、「ｊ」は画像の縦方向の座標である。また、フィルタ手段６ｅは、式（２）に示すように、式（１）より得られたフィルタ値を閾値Ｔｈによって２値化する処理を更に行うことができる。
【００５８】
▽２Ｉｉ,ｊ＝Ｉｉ,ｊ＋１＋Ｉｉ,ｊ−１＋Ｉｉ＋１,ｊ＋Ｉｉ−１,ｊ−４Ｉｉ,ｊ    式（１）
ビット列＝１  （▽２Ｉ＞Ｔｈ）
０  （▽２Ｉ≦Ｔｈ）      式（２）
このようなラプラシアンフィルタを用いることで、輝度の勾配情報（ＣＳ−ＬＢＰ値に相当する）だけでなく、輝度の極値情報（最大または最小輝度）も利用することができる。そのため、局所特徴量の識別性（精度）を向上させることが可能となる。
【００５９】
なお、上記では、第５実施例に対して第１実施例を適用した例を示したが（図９参照）、第１実施例の代わりに第２実施例又は第３実施例を第５実施例に対して適用しても良い。つまり、ＣＳ−ＬＢＰ値変換手段３ａの代わりにルックアップテーブル手段３ｂを適用したり、ＣＳ−ＬＢＰ値計算手段２及びＣＳ−ＬＢＰ値変換手段３ａの代わりに４ビットＣＳ−ＬＢＰ値計算手段２ｃ及び１６値→９値対応付け手段３ｃを適用したりしても良い。
【００６０】
［本実施例の結果例］
次に、図１０を参照して、上記した本実施例による結果の具体例について説明する。ここでは、アムステルダム大学の評価画像（「URL:http://staff.science.uva.nl/~aloi/」参照）を入力画像として用いて、本実施例による特徴量の識別性能をシミュレーションした結果について示す。図１０では、横軸に特徴量のベクトル長（次元数）を示しており、縦軸に画像照合の正解率（％）を示している。また、グラフＧ１は、第３実施例において９値のＣＳ−ＬＢＰ変換値を用いた場合の結果の一例を示しており、グラフＧ２は、第５実施例において９値のＣＳ−ＬＢＰ変換値を用いると共に１ビットの他の特徴量を用いた場合の結果の一例を示しており、グラフＧ３は、特許文献１に記載された技術において８ビット（２５６値）のＬＢＰ値を用いた場合の結果の一例を示しており、グラフＧ４は、非特許文献１に記載された技術において４ビット（１６値）のＣＳ−ＬＢＰ値を用いた場合の結果の一例を示している。
【００６１】
図１０において横軸に示すベクトル長（次元数）は、図１１に示すように、入力画像を複数のブロックに分割し、各ブロックで計算した特徴量（ベクトル）を結合したものである。図１０に示すグラフＧ１〜Ｇ４は、分割するブロック数を変化させることでベクトル長（次元数）を変化させてプロットした結果である。例えば、特許文献１で用いている８ビットのＬＢＰ値では、１ブロックの特徴量は「２８＝２５６」次元であるので、入力画像をｎブロックに分割することで「２５６×ｎ」次元のベクトルとなる。また、非特許文献１で用いている４ビットのＣＳ−ＬＢＰ値では、「１６×ｎ」次元のベクトルとなる。また、第３実施例において９値のＣＳ−ＬＢＰ変換値を用いた場合には、「９×ｎ」次元のベクトルとなり、第５実施例において９値のＣＳ−ＬＢＰ変換値を用いると共に１ビットの他の特徴量を用いた場合には、「１０×ｎ」次元のベクトルとなる。
【００６２】
図１０において縦軸に示す正解率（％）は、評価画像から、テスト画像と、種類が同じだが撮影条件の異なる照合画像とのペアを５００組用い、テスト画像１枚ごとに照合画像５００枚との照合を、全テスト画像５００枚について行った結果を示している。具体的には、テスト画像が同種の照合画像を一致画像として選択した場合には正解とし、異種の照合画像を一致画像として選択した場合には不正解として、照合画像５００枚に対する正解数の比率（％）を正解率としている。ここで、一致画像は、テスト画像の特徴量にユークリッド距離が最も近い特徴量を有する照合画像とした。
【００６３】
図１０より、グラフＧ１とグラフＧ４とを比較すると、第３実施例において９値のＣＳ−ＬＢＰ変換値を用いた場合には、非特許文献１に記載された技術において４ビット（１６値）のＣＳ−ＬＢＰ値を用いた場合よりも、正解率が１０％程度改善していることがわかる。また、グラフＧ２とグラフＧ４とを比較すると、第５実施例において９値のＣＳ−ＬＢＰ変換値を用いると共に１ビットの他の特徴量を用いた場合には、非特許文献１に記載された技術において４ビット（１６値）のＣＳ−ＬＢＰ値を用いた場合よりも、正解率が１３％程度改善していることがわかる。
【００６４】
なお、図１０に示すように、本実施例のほうが非特許文献１などに記載された技術よりも正解率が向上しているのは、（１）本実施例は非特許文献１に記載された技術よりも１ブロックの特徴量のデータ量が少ないため、同じベクトル長（次元数）において用いられるブロック数が多くなること、および、（２）図５に示す変換手段により回転不変性を得ていること、が理由として挙げられる。
【００６５】
［変形例］
以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。
【００６６】
（第１変形例）
第１変形例は、画像入力手段１への入力画像に対して所定の処理（以下では「前処理」と呼ぶ。）を行い、前処理を行った後の画像に対して、上記した第１乃至第５実施例で示した処理を行うものである。つまり、第１変形例では、第１乃至第３実施例で示したＣＳ−ＬＢＰ値を求める処理（ＣＳ−ＬＢＰ値計算手段２による処理又は４ビットＣＳ−ＬＢＰ値計算手段２ｃによる処理）の前に前処理を行い、第４実施例で示したＣＳ−ＬＢＰ値及び特徴量を求める処理（ＣＳ−ＬＢＰ値計算手段２及び特徴量抽出手段６ｄによる処理）の前に前処理を行い、第５実施例で示したＣＳ−ＬＢＰ値及びフィルタ値を求める処理（ＣＳ−ＬＢＰ値計算手段２及びフィルタ手段６ｅによる処理）の前に前処理を行う。
【００６７】
前処理としては、以下の（１）〜（６）のような処理が例示される。
【００６８】
（１）入力画像（カラー画像）をグレースケール画像に変換する処理
（２）入力画像の色空間を変換し、変換された画像から任意の１成分を抽出する処理
（３）入力画像の色空間を変換し、変換された画像から任意の複数成分を抽出し、さらに抽出された成分画像の対応する画素値同士を任意の演算により混合する処理
（４）（２）又は（３）の処理において、入力画像をＲＧＢ空間の画像とし、色空間変換後の画像をＨＳＶ空間とする場合の処理
（５）（４）の処理において、演算をＳ成分とＶ成分の平均「（Ｓ＋Ｖ）／２」とする場合の処理
（６）（４）の処理において、演算をＳ成分とＶ成分との２乗平均とする場合の処理
以上説明した第１変形例によれば、入力画像からＣＳ−ＬＢＰ値を直接計算する場合と比較して、有効な特徴量を抽出するのに適した画像に調整する自由度を与えることができる。例えば、画像のテクスチャ特徴に注目したい場合には、（１）に示したような前処理により入力画像をグレースケール画像に変換してＣＳ−ＬＢＰ値を計算したり、（２）乃至（６）に示した前処理のいずれかによりカラー画像の任意の色成分のみを抽出してＣＳ−ＬＢＰ値を計算したりすることができる。また、第１変形例によれば、カラー画像の複数の成分から特徴量を抽出する場合に比べて、演算量を削減することができる。
【００６９】
（第２変形例）
第２変形例は、ＣＳ−ＬＢＰ値（入力）からＣＳ−ＬＢＰ変換値（出力）に変換する場合に、図１２に示すような変換表を用いるものである。このような変換表は、第１実施例で示したＣＳ−ＬＢＰ値変換手段３ａや、第２実施例で示したルックアップテーブル手段３ｂや、第３実施例で示した１６値→９値対応付け手段３ｃに適用される（第３実施例に適用する場合には、厳密には、「１６値→９値対応付け手段」を「１６値→６値対応付け手段」とすることとなる）。
【００７０】
図１２に示すような変換表によれば、１６値のＣＳ−ＬＢＰ値（０〜１５）が、６値のＣＳ−ＬＢＰ変換値（０〜５）に変換される。具体的には、「０」のＣＳ−ＬＢＰ値は「０」のＣＳ−ＬＢＰ変換値に変換され、「１」、「２」、「４」、「５」、「８」、「９」、「１０」のＣＳ−ＬＢＰ値は「１」のＣＳ−ＬＢＰ変換値に変換され、「３」、「６」、「１２」のＣＳ−ＬＢＰ値は「２」のＣＳ−ＬＢＰ変換値に変換され、「７」、「１４」のＣＳ−ＬＢＰ値は「３」のＣＳ−ＬＢＰ変換値に変換され、「１１」、「１３」のＣＳ−ＬＢＰ値は「４」のＣＳ−ＬＢＰ変換値に変換され、「１５」のＣＳ−ＬＢＰ値は「５」のＣＳ−ＬＢＰ変換値に変換される。
【００７１】
図１２に示すような変換表は、以下のような考えに基づいて作成される。図７に示したように、「１」、「２」、「４」、「５」、「８」、「９」、「１０」のＣＳ−ＬＢＰ値のパターンは、孤立ノイズである可能性が高いと考えられる。そのため、これらのパターンを異なる特徴とせずに、同一のＣＳ−ＬＢＰ変換値に縮退するように変換表を構成することで、ノイズに対するロバスト性を得ることとした。これは、「３」、「６」、「７」、「１１」、「１２」、「１３」、「１４」、「１５」のパターンは、ＣＳ−ＬＢＰ値が「１」となる画素が２個以上連続しているため、強いエッジ成分に注目していることにも相当する。他方で、「３」、「６」、「１２」のパターンと、「７」、「１４」のパターンと、「１１」、「１３」のパターンとは、注目画素を中心に適量に回転すれば一致するとみなせる。つまり、回転不変性があるとみなせる（なお、「１１」、「１３」のパターンは、回転した画像が完全には一致しないが、類似する画像となるため、回転不変性があるものとみなすこととした）。そのため、これらのパターンを同一のＣＳ−ＬＢＰ変換値に縮退するように変換表を構成することで、回転不変性を得ることとした。
【００７２】
以上説明した第２変形例によれば、画像のエッジ成分に注目した、ノイズにロバストで回転不変性のある特徴量を得ることができる。また、第２変形例によれば、ＣＳ−ＬＢＰ変換値を６値に削減することで、特徴量（ベクトル）が６次元に削減され、以降の処理（ヒストグラム生成手段４や特徴量記述手段５などの処理）を少ない演算量とメモリ使用量で実行することができる。
【００７３】
（第３変形例）
第３変形例は、上記した第４実施例に係る特徴量抽出手段６ｄにおいて、図１３に示す（ａ）〜（ｄ）のいずれかの演算式により、ＣＳ−ＬＢＰ値とは異なる特徴量を抽出するものである。図１３の左側には、注目画素ｇｃと、注目画素ｇｃから１画素の距離にある周囲の８画素ｇ０〜ｇ７と、注目画素ｇｃから２画素の距離にある周囲の１６画素ｈ０〜ｈ１５とを示している。演算式（ａ）又は（ｂ）を用いた場合には、注目画素ｇｃの周囲の８画素ｇ０〜ｇ７についての演算結果に対して適当な閾値Ｔｈ０、Ｔｈ１で２値化して得られたビット列（２ビット、４値）を、注目画素ｇｃの特徴量とする。演算式（３）又は（４）を用いた場合には、注目画素ｇｃの周囲の１６画素ｈ０〜ｈ１５についての演算結果に対して適当な閾値で２値化して得られたビット列（２ビット、４値）を、注目画素ｇｃの特徴量とする。なお、演算式（ａ）〜（ｄ）中の「ｇ」及び「ｈ」は、各画素（ｇｃ、ｇ０〜ｇ７、ｈ０〜ｈ１５）の画素値を示している。
【００７４】
このような演算式（ａ）〜（ｄ）は、注目画素ｇｃの輝度に関する１次元２次微分に相当する。具体的には、演算式（ａ）及び（ｂ）は、注目画素ｇｃの輝度に対して１画素の距離で微分したものに相当し、演算式（ｃ）及び（ｄ）は、注目画素ｇｃの輝度に対して２画素の距離で微分したものに相当する。演算式（ｃ）及び（ｄ）を用いた場合には、注目画素ｇｃから２画素離れた１６画素ｈ０〜ｈ１５を利用することで、さらに広域の特徴をとらえることができ、特徴量の識別性を向上させることが可能となる。
【００７５】
なお、図１３に示した演算式（ａ）〜（ｄ）を用いた処理を、第５実施例で示したフィルタ手段６ｅに適用しても良い。つまり、フィルタ手段６ｅが、演算式（ａ）〜（ｄ）を用いた処理を行うこととしても良い。
【００７６】
（第４変形例）
上記では、本発明をＣＳ−ＬＢＰに適用する例を示したが、本発明は、ＣＳ−ＬＢＰ以外にも、ＬＢＰや、ＢＲＩＥＦ（Binary Robust Independent Elementary Features）や、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）などにも適用することができる。この場合には、入力画像からＬＢＰやＢＲＩＥＦやＢＲＩＳＫなどの特徴量を抽出し、抽出した値を変換することでデータ量を削減した変換値を求め、変換値をビンとするヒストグラムを作成すれば良い。
【００７７】
［適用例］
本発明は、画像認識や、画像監視や、画像編集などに適用可能である。また、本発明は、家電製品や、コンピュータシステムや、車載機器や、オーディオビジュアル機器や、ゲーム機器や、デジタルサーネージ機器などにも適用可能である。
【符号の説明】
【００７８】
１  画像入力手段
２  ＣＳ−ＬＢＰ値計算手段
２ｃ  ４ビットＣＳ−ＬＢＰ値計算手段
３ａ  ＣＳ−ＬＢＰ値変換手段
３ｂ  ルックアップテーブル手段
３ｃ  １６値→９値対応付け手段
４、７  ヒストグラム生成手段
５  特徴量記述手段
６ｄ  特徴量抽出手段
６ｅ  フィルタ手段
８  ヒストグラム結合手段
１０ａ、１０ｂ、１０ｃ、１０ｄ、１０ｅ  特徴量抽出装置
【図１】
2014085802.tif 000003
【図２】
2014085802.tif 000004
【図３】
2014085802.tif 000005
【図４】
2014085802.tif 000006
【図５】
2014085802.tif 000007
【図６】
2014085802.tif 000008
【図７】
2014085802.tif 000009
【図８】
2014085802.tif 000010
【図９】
2014085802.tif 000011
【図１１】
2014085802.tif 000012
【図１２】
2014085802.tif 000013
【図１３】
2014085802.tif 000014
【図１０】
2014085802.tif 000015