(57)【要約】【課題】画像の輝度などの特徴量の値毎に、その特徴量の値の位置に関連する情報とを考慮して類似度を算定するパターン対応づけ方法および装置を提供すること。【解決手段】データ蓄積部１２１に保存した画像データに対して、輝度などの特徴量ごとに、位置、分散など、高次のモーメント統計量を用いて数理的に類似関数を輝度解析部１２２において計算する。また、輝度などの特徴量の勾配値ごとに、位置、分散など、高次のモーメント統計量を用いて数理的に類似関数をエッジ解析部１２３において計算する。連続した画像間の類似度や、検索したい画像と元の画像との類似度を類似度解析部１２４において計算する。類似度が最も高い組み合わせを最適解とし、画像間で、移動対象を追跡したり、データベースから特定の対象を検索したりする。【選択図】図２
2016122405.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得して格納するための記憶装置と、
前記画像データの特徴量に関するヒストグラムを作成し、前記特徴量の値毎にモーメント統計量を算出する特徴量解析部と、
前記特徴量の勾配値を算出して前記画像データに対応するエッジ画像を生成し、前記特徴量の勾配値に関するヒストグラムを作成し、前記特徴量の勾配値毎にモーメント統計量を算出するエッジ解析部と、
前記特徴量の値毎のモーメント統計量の前記画像データ間の第１の類似度および前記特徴量の勾配値毎のモーメント統計量の前記画像データ間の第２の類似度をそれぞれ算出して、前記第１および第２の類似度に基づき前記画像データ間の類似度を算出する類似度解析部と、
を備えたことを特徴するパターン対応づけ装置。
【請求項２】
前記画像データは、カメラで撮影された画像データであり、前記特徴量は、輝度であることを特徴とする請求項１記載のパターン対応づけ装置。
【請求項３】
前記画像データは、サーモグラフィ装置で測定されたサーモグラフィであり、前記特徴量は、温度であることを特徴とする請求項１記載のパターン対応づけ装置。
【請求項４】
前記モーメント統計量は、少なくとも平均値、分散、尖度および歪度のいずれか１つを含むことを特徴とする請求項１乃至３のいずれかに記載のパターン対応づけ装置。
【請求項５】
画像データを取得して記憶装置に格納するステップと、
前記画像データの特徴量に関するヒストグラムを作成し、前記特徴量の値毎にモーメント統計量を算出するステップと、
前記特徴量の勾配値を算出して前記画像データに対応するエッジ画像を生成し、前記特徴量の勾配値に関するヒストグラムを作成し、前記特徴量の勾配値毎にモーメント統計量を算出するステップと、
前記特徴量の値毎のモーメント統計量の前記画像データ間の第１の類似度および前記特徴量の勾配値毎のモーメント統計量の前記画像データ間の第２の類似度をそれぞれ算出して、前記第１および第２の類似度に基づき前記画像データ間の類似度を算出するステップと、
を有することを特徴するパターン対応づけ方法。
【請求項６】
前記画像データは、カメラで撮影された画像データであり、前記特徴量は、輝度であることを特徴とする請求項５記載のパターン対応づけ方法。
【請求項７】
前記画像データは、サーモグラフィ装置で測定されたサーモグラフィであり、前記特徴量は、温度であることを特徴とする請求項５記載のパターン対応づけ方法。
【請求項８】
前記モーメント統計量は、少なくとも平均値、分散、尖度および歪度のいずれか１つを含むことを特徴とする請求項５乃至７のいずれかに記載のパターン対応づけ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、輝度などの特徴量の分布に基づき画像に含まれるパターンの検索や追跡を行うパターン対応づけ方法および装置に関する。
【背景技術】
【０００２】
近年、カメラ映像監視による人・車の自動追跡や、興味の対象を膨大なデータベースから効率よく検索する方法・システムの需要が高まっている。前者においては、照明条件が比較的安定している屋内環境だけに留まらず、太陽光や天候による照明変動に曝されている屋外環境でも行われており、特に屋外環境では不安定な追跡となることが多いことが知られている。後者においては、各種データを画像に再構成し、その画像と類似したパターンを検索する場合、画像に含まれるパターンの複雑さが一定の水準を超えると一意に絞り込むことは困難である。
【０００３】
そのような中で、画像データごとに、画像を構成する画素の輝度や色、テクスチャなどを特徴量としたさまざまな追跡方法や検索方法が提案されている。特に、画像中の対象の輝度の画素数を統計解析するヒストグラム法は、環境変動への耐性が比較的高く、利用されることが多い。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「ヒストグラム」、[online]、［平成２６年１２月１５日検索］、インターネット＜URL:http://ja.wikipedia.org/wiki/%E3%83%92%E3%82%B9%E3%83%88%E3%82%B0%E3%83%A9%E3%83%A0＞
【非特許文献２】「Bhattacharyya distance」、[online]、［平成２６年１２月１５日検索］、インターネット＜URL:http://en.wikipedia.org/wiki/Bhattacharyya_distance＞
【非特許文献３】「エッジ検出」、[online]、［平成２６年１２月１５日検索］、インターネット＜URL:http://ja.wikipedia.org/wiki/%E3%82%A8%E3%83%83%E3%82%B8%E6%A4%9C%E5%87%BA＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この従来のヒストグラム法は環境変動への耐性が高く、簡便な方法である一方で、画像中の対象の位置情報が欠落しているため、１つの画像データから別の画像データを検索したり、追跡したりするために使う場合、画像の輝度分布が同じであるが、パターンの空間位置が異なる画像データ、すなわち構図の異なる画像データを識別できないという課題がある。そのため、誤検出の増加を抑制するための方法が求められている。
【０００６】
また、カメラ映像監視の画像データには、例えばデータセンタなどの室内、サーバの吸気、排気、ラックなどにおいて温度計測されたサーモグラフィを用いたものも含まれており、可視化された温度分布データと過去に蓄積された温度分布データを比較参照してデータセンタ内の状態を推定することにも利用されている。
【０００７】
しかしこの場合も、データセンタにおいて１つの画像内で監視される複数のサーバの発熱量や、ＯＮ、ＯＦＦなどの状態に関わる組み合わせは膨大であり、過去に蓄積された状態と同一の場合は稀である。また、温度分布のヒストグラムだけに依存し、サーバの位置情報を利用していないため、ある吸気温度を示すサーバ付近の温度センサの温度と、離れた場所にある同一の吸気温度を示す温度センサの温度を示すようなパターンを識別することができず、特に、サーバ数が多くなるほど誤った対応づけが生じるという課題がある。
【０００８】
本発明は、このような課題に鑑みてなされたもので、その目的とするところは、画像の輝度などの特徴量の値毎に、その特徴量の値の位置に関連する情報とを考慮して類似度を算定するパターン対応づけ方法および装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明は、パターン対応づけ装置であって、画像データを取得して格納するための記憶装置と、前記画像データの特徴量に関するヒストグラムを作成し、前記特徴量の値毎にモーメント統計量を算出する特徴量解析部と、前記特徴量の勾配値を算出して前記画像データに対応するエッジ画像を生成し、前記特徴量の勾配値に関するヒストグラムを作成し、前記特徴量の勾配値毎にモーメント統計量を算出するエッジ解析部と、前記特徴量の値毎のモーメント統計量の前記画像データ間の第１の類似度および前記特徴量の勾配値毎のモーメント統計量の前記画像データ間の第２の類似度をそれぞれ算出して、前記第１および第２の類似度に基づき前記画像データ間の類似度を算出する類似度解析部と、を備えたことを特徴する。
【００１０】
請求項２に記載の発明は、請求項１記載のパターン対応づけ装置において、前記画像データは、カメラで撮影された画像データであり、前記特徴量は、輝度であることを特徴とする。
【００１１】
請求項３に記載の発明は、請求項１記載のパターン対応づけ装置において、前記画像データは、サーモグラフィ装置で測定されたサーモグラフィであり、前記特徴量は、温度であることを特徴とする。
【００１２】
請求項４に記載の発明は、請求項１乃至３のいずれかに記載のパターン対応づけ装置において、前記モーメント統計量は、少なくとも平均値、分散、尖度および歪度のいずれか１つを含むことを特徴とする。
【００１３】
請求項５に記載の発明は、パターン対応づけ方法であって、画像データを取得して記憶装置に格納するステップと、前記画像データの特徴量に関するヒストグラムを作成し、前記特徴量の値毎にモーメント統計量を算出するステップと、前記特徴量の勾配値を算出して前記画像データに対応するエッジ画像を生成し、前記特徴量の勾配値に関するヒストグラムを作成し、前記特徴量の勾配値毎にモーメント統計量を算出するステップと、前記特徴量の値毎のモーメント統計量の前記画像データ間の第１の類似度および前記特徴量の勾配値毎のモーメント統計量の前記画像データ間の第２の類似度をそれぞれ算出して、前記第１および第２の類似度に基づき前記画像データ間の類似度を算出するステップと、を有することを特徴する。
【００１４】
請求項６に記載の発明は、請求項５記載のパターン対応づけ方法において、前記画像データは、カメラで撮影された画像データであり、前記特徴量は、輝度であることを特徴とする。
【００１５】
請求項７に記載の発明は、請求項５記載のパターン対応づけ方法において、前記画像データは、サーモグラフィ装置で測定されたサーモグラフィであり、前記特徴量は、温度であることを特徴とする。
【００１６】
請求項８に記載の発明は、請求項５乃至７のいずれかに記載のパターン対応づけ方法において、前記モーメント統計量は、少なくとも平均値、分散、尖度および歪度のいずれか１つを含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、時系列画像データにおいて、特定の対象領域あるいは、画像全体を対象とした類似検索、画像間の移動対象の追跡問題などにおいて、従来の輝度などの特徴量だけからなるヒストグラムに、輝度ごと、及び、画素間の輝度の勾配値などの特徴量の位置に関連する情報を求めた上で、それぞれの位置、分散など、高次のモーメント統計量を用いて数理的に類似関数に表現することで、環境変動にロバストなパターン対応づけが、従来からの簡便なヒストグラム分布の計算法の延長で可能となった。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係るパターン対応づけ装置の構成を示す図である。
【図２】本発明の一実施形態に係るパターン対応づけ方法を説明する流れ図である。
【図３】従来からの画像の輝度に関するヒストグラム法を用いた問題例を示す図である。
【図４】従来からの画像の輝度に関するヒストグラム法を用いた問題例のヒストグラムを示す図である。
【図５】本発明によるデータベース上の複数の画像データを検索する際に用いる１枚の基準画像データの例である。
【図６】本発明によるデータベース上の複数の画像データの例である。
【図７】カメラ映像を用いたときに背景に大きな環境変動がある状況下で、特定の対象を追跡した時の実験例を示す図である。
【図８】類似度評価法の違いによる画像データを用いた追跡率および検出率の精度比較結果を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、詳細に説明する。
【００２０】
図１に、本発明の一実施形態に係るパターン対応づけ装置１００の構成を示す。本発明を構成するデータ蓄積部１２１、輝度解析部１２２、エッジ解析部１２３、類似度解析部１２４、は、記憶装置１２０に格納され、以下の機能を持つ部品、もしくは処理装置１３０で実行可能なソフトウェアとして構成可能である。入力インタフェース１１０は、入力装置１５０などから入力された信号を数値情報としてシステムに入力するインタフェースである。出力インタフェース１４０は、処理結果をモニタ１６０などに出力するインタフェースである。
【００２１】
図２に、本発明の一実施形態に係るパターン対応づけ方法の主な処理の流れを示す。本発明は、カメラで撮影された画像データや、様々な観測データから再構成され可視化された画像データを、カメラあるいはさまざまなデータベースなどから入力インタフェース部１１０へ入力し、取得した画像データを記憶部１２０のデータ蓄積部１２１に保存する（Ｓ２０１）。データ蓄積部１２１に保存した画像データに対して、輝度などの特徴量ごとに、位置、分散など、高次のモーメント統計量を用いて数理的に類似関数を輝度解析部１２２において計算する（Ｓ２０２）。また、輝度などの特徴量の隣接画素間の空間的変化量を表す勾配値ごとに、位置、分散など、高次のモーメント統計量を用いて数理的に類似関数をエッジ解析部１２３において計算する（Ｓ２０３）。連続した画像間の類似度や、検索したい画像と元の画像との類似度を類似度解析部１２４において計算する（Ｓ２０４）。類似度が最も高い組み合わせを最適解とし、画像間で、移動対象を追跡したり、データベースから特定の対象を検索したりして、対応づけられた画像を結果の１つとして表示部１６０で示す（Ｓ２０５）。このようにして、本発明は環境変動にロバストなパターン対応づけ方法および装置を実現する。
【００２２】
図３（ａ）〜（ｄ）に、従来からの画像の輝度に関するヒストグラム法を用いた問題例を示す。あるテクスチャを持つ星形の物体が画像中に存在しているものとする。ここでは、１枚の画像における星の面積が一定とする。この条件の場合、図３（ａ）に対して、星の位置の違いがある場合（図３（ｂ）、（ｃ））、回転がある場合（図３（ｂ）、（ｃ））、個々の星の面積は小さいが、複数の星がある場合（図３（ｄ））などが想定できる。
【００２３】
これらの画像では、同一のテクスチャを持ち、かつ星の面積が一定であるため、画像全体の輝度のヒストグラムをつくると、図４に示すように、図３（ａ）〜（ｄ）の４つとも全て同じ分布となる。なお、図４では、例として画像内の最大輝度が２５５の時の輝度ごとの画素数を、画像全体の画素数で割って正規化した生起頻度（確率）０〜１で表している。この例が示すように、ヒストグラムでは画像ごとにおいて明らかに異なる位置、大きさ、回転などを識別することができない。即ち、ヒストグラム法は簡便であるものの、連続した時系列画像データにおいて、安定した対象の追跡や、データベース検索に一定の限界があることを示している。
【００２４】
その一方で、ヒストグラム法の計算の簡便さは利点として残る。なお、輝度については、データセンタなどで計測される温度センサからの温度を画像パターンとして可視化したサーモグラフィと置き換えることができる。
【００２５】
以下に、図１の輝度解析部１２２について述べる。
【００２６】
そこで本発明では、ヒストグラム法の欠点であった対象の位置情報の欠落問題に関して、次のような手順により、解決する。まず、１枚の画像の画素数をＮ、各画素がもつ最大輝度をＢ（最小０）とする。輝度は、０〜Ｂの整数値ｂをとるものとすると、ヒストグラムは、
【００２７】
【数１】
2016122405.tif 000003
【００２８】
と数理モデルで記述できる。このとき、画像中のｉ番目の画素が輝度ｂをもつ場合（ｂi＝ｂ）は、ディラックのデルタ関数δbib＝１であり、これ以外の場合（ｂi≠ｂ）は、δbib＝０である。Ｃは正規化係数であり、１枚当たりのすべての輝度に関する生起確率の和が１となるように、
【００２９】
【数２】
2016122405.tif 000004
【００３０】
の関係を与えた。続いて、従来のヒストグラム解析では考慮されていなかった輝度ごとに対応した画素の画像内の位置の平均値やばらつき（分散）といった高次モーメント量を加える。すなわち、説明のために便宜的に表現すれば、本発明では、輝度の分布領域の重心とその広がりも考慮すると言える。ここで、画素ｉの画像中の位置はｘi＝［ｘ，ｙ］Tとすると、第一次モーメントである平均値は、
【００３１】
【数３】
2016122405.tif 000005
【００３２】
となり、第二次モーメントである分散は、
【００３３】
【数４】
2016122405.tif 000006
【００３４】
となる。第三次モーメント、第四次モーメントである尖度、歪度なども容易に定義することができ、対象の輝度分布がガウス分布でないときは効果的であるが、対象には一定以上の大きさが必要となる。
次に、２つの画像データ
【００３５】
【数５】
2016122405.tif 000007
【００３６】
【数６】
2016122405.tif 000008
【００３７】
の類似度を、式（１）〜（３）を用いて求める。これについては、確率分布の裾の交わり具合を考慮したＢｈａｔｔａｃｈａｒａｙｙａ係数を用いた（非特許文献２参照）。これは次のように定義される。
【００３８】
【数７】
2016122405.tif 000009
【００３９】
【数８】
2016122405.tif 000010
【００４０】
ただし、
【００４１】
【数９】
2016122405.tif 000011
【００４２】
である。式（４）、（５）において、Ψは可変型重み係数であり、ｎbとｎ’bの差が小さい（大きい）ほど、類似度が高い（低い）ので、重み係数は大きくなる。
【００４３】
以下に、エッジ解析部１２３について述べる。
【００４４】
輝度解析部１２２では、入力データは、観測された画像データの輝度分布であったが、エッジ解析部１２３では、この画像データに対して、エッジ検出を施す。エッジ検出には、さまざまな方法が知られているが（非特許文献３参照）、ここでは、コンピュータビジョンで広く用いられているＣＡＮＮＹ法を適用する。本手法は、ノイズなどの影響を排除し、強い輝度勾配値（輝度の空間一次微分）を抽出することに特徴がある。以下、ＣＡＮＮＹ法により得られた画像データをエッジ画像と呼ぶ。上述したように、式（１）などに、エッジ画像を適用する。このとき、１枚の画像の画素数はＮと変わらないが、各画素がもつ一次微分相当の値については、予め、最大値Ｂ（２５５）で正規化しておく。実際、一次微分値は、正と負の値をもつ。以降、エッジ画像に対し、輝度勾配値に関する式（２）〜（５）に対応する式を輝度に関する場合と同様の手順で求めればよい。エッジについては、勾配方向と勾配の強さが得られるが、テクスチャの回転性に依存しないように、勾配の強さを用いた。勾配方向を考慮するような場合は、周波数領域に変換したうえで、周波数領域に関するヒストグラムを作成すればよい。
【００４５】
以上より、式（４）より、輝度およびエッジに関して２つの類似度が得られ、これをそれぞれ、ρ１、ρ２とする。輝度とエッジに関する双方の類似度は、０≦ρ１＋ρ２≦２．０の範囲において、最大値の場合が対応づけに資するデータとなる。
【００４６】
図５に、本発明によるデータベース上の複数の画像データを検索する際に用いる１枚の基準画像データＸの例を示す。また、図６に、検索対象となるデータベース上の複数の画像データを示す。これらを用いて、１枚の画像データＸと同じあるいは、類似した画像データを膨大なデータベース上の複数の画像データ（ａ）〜（ｄ）から検索する実験を行った。
【００４７】
従来からの輝度に基づいたヒストグラム法を用いた場合、複数の画像データ（ａ）〜（ｄ）のヒストグラムは図４に示したように、すべて同じ分布になるため、複数の画像データ（ａ）〜（ｄ）から基準画像データＸと最も類似するもの１つに絞り込むことが困難であった。一方、本発明によれば、輝度およびエッジに関して、図５、図６（ａ）に示すような位置情報｛（ｘ１，ｙ１），（ｘ２，ｙ２）．．．｝や高次モーメント量の１つの分散を加味しているため、複数の画像データ（ａ）〜（ｄ）と基準画像データＸとの違いが数値としてはっきりと表れ、図６（ａ）を識別することができた。図６（ｂ）、（ｃ）、（ｄ）の順に、Ｘとの相対距離が大きくなり、類似度指標式（４）の値が０．８、０．４、０．０１と小さくなった。
【００４８】
図７に、カメラ映像を用いたときに背景に大きな環境変動がある状況下で、特定の対象を追跡した時の実験例を示す。実環境では、環境変動は、太陽光、陰影、他の物体混入、建物などにより対象の一部が隠蔽されるオクルージョンなどが複雑に絡んでいる、また、追跡すべき興味の対象の形状、テクスチャも複雑であることが多く、変形も伴っていることが少なくない。そこで、ここでは、時系列画像データにおける特定対象の移動追跡問題を扱った。
【００４９】
従来からのヒストグラム法では、背景の環境変動や移動対象の変形の影響を強く受けて、対象を見逃してしまうことがたびたび生じた。一方、本発明では、安定して特定対象を追跡することができた。なお、本発明では、現在時刻から次の時刻での追跡したい対象の検索範囲について、１枚の画像６４０画素×４８０画素中、１０画素×１０画素の範囲を探索し、その中で、最も類似度が高い対象を検索するようにした。
【００５０】
図８に、図７の実験例について、類似度評価法の違いによる画像データを用いた追跡率および検出率の精度比較結果を示す。元の画像の位置をα、推定された位置をβとしたときに、β／α×１００が評価値となり、特に、対象の重心移動を追跡したときを追跡率とし、対象の全体又は一部を検出したときを検出率と定義する。
【００５１】
さまざまな画像データを用いて、従来からのヒストグラム法Ａ、本発明において輝度のみを用いた場合Ｂ、輝度およびエッジを併用した場合Ｃにおける追跡率と検出率を評価する実験を行った。なお、画像データに対して、環境変動を想定して、白色ノイズや正規ノイズを加えたことと、画像中の対象の一部をランダムに欠落させて不完全な画像データをも作成して評価データとして用いた。
【００５２】
その結果、Ａ、Ｂ、Ｃの順に、精度が改善された。特に、本発明において、輝度だけよりも、エッジ情報を併用した方がよくなった。これについては、輝度において、空間的な位置が加味されたが、エッジ情報を導入することで、隣接する異なる輝度間の関係性が加味されたためである。即ち、より細かい空間構造が追跡問題や検出問題において効果的であることが示唆された。
【００５３】
また、本発明は、カメラ映像監視だけでなく、上述したように、データセンタ内における温度などの状態を推定する場合に応用できる。本発明により、温度センサの（空間）位置情報と温度を同時に考慮したヒストグラム分布を用いることで、従来からの誤認識を大幅に減らすことができ、より的確に、過去データとの参照との対応づけができる。また、別の応用として、データセンタ内の温度分布の時系列変化を空間的に追従することも可能である。即ち、状態の推移を把握し、解析につなげていくことが考えられる。
【符号の説明】
【００５４】
１００  パターン対応づけ装置
１１０  入力インタフェース
１２０  記憶装置
１２１  データ蓄積部
１２２  輝度解析部
１２３  エッジ解析部
１２４  類似度解析部
１３０  処理装置
１４０  出力インタフェース
１５０  入力装置
１６０  モニタ
【図１】
2016122405.tif 000012
【図２】
2016122405.tif 000013
【図８】
2016122405.tif 000014
【図３】
2016122405.tif 000015
【図４】
2016122405.tif 000016
【図５】
2016122405.tif 000017
【図６】
2016122405.tif 000018
【図７】
2016122405.tif 000019