(57)【要約】【課題】人による感じ方に相応する画像の類似度を算出する。【解決手段】各画像Ｉ１、Ｉ２を複数の領域に分割する画像分割部３と、領域の面積についての分布の複雑性を示す領域面積分布複雑性ヒストグラムを作成する領域面積分布複雑性ヒストグラム作成部４と、画像Ｉ１、Ｉ２の類似性を示す類似度を画像Ｉ１の領域面積分布複雑性ヒストグラムと画像Ｉ２の領域面積分布複雑性ヒストグラムの類似性に基づいて算出する類似度算出部５とを設ける。【選択図】図１
2014085851.tif 000002
【特許請求の範囲】
【請求項１】
２つの画像を取得する画像取得部と、
一方の前記画像を複数の領域に分割し、かつ、当該各領域について、当該領域内の各画素の画素値が少なくとも互いに近似するようにするとともに、他方の前記画像を複数の領域に分割し、かつ、当該各領域について、当該領域内の各画素の画素値が少なくとも互いに近似するようにする画像分割部と、
前記画像分割部による分割後の領域に含まれる画素の数について予め定められた複数の範囲のそれぞれにつき前記一方の画像において当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成するとともに、前記予め定められた各範囲につき前記他方の画像において当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成する領域面積分布複雑性ヒストグラム作成部と、
前記２つの画像の類似性を示す類似度を、前記一方の画像の領域面積分布複雑性ヒストグラムと前記他方の画像の領域面積分布複雑性ヒストグラムの類似性に基づいて算出する類似度算出部と
を備えることを特徴とする画像類似度算出装置。
【請求項２】
前記取得された一方の画像の階調数を低減し、前記取得された他方の画像の階調数を低減する量子化部
を備えることを特徴とする請求項１記載の画像類似度算出装置。
【請求項３】
前記領域面積分布複雑性ヒストグラム作成部は、
前記一方の画像の領域面積分布複雑性ヒストグラム内の各数を正規化するとともに、前記他方の画像の領域面積分布複雑性ヒストグラム内の各数を正規化する
ことを特徴とする請求項１または２記載の画像類似度算出装置。
【請求項４】
２つの画像を取得する画像取得部を備える画像類似度算出装置の動作方法であって、
前記画像類似度算出装置の画像分割部が、一方の前記画像を複数の領域に分割し、かつ、当該各領域について、当該領域内の各画素の画素値が少なくとも互いに近似するようにするとともに、他方の前記画像を複数の領域に分割し、かつ、当該各領域について、当該領域内の各画素の画素値が少なくとも互いに近似するようにし、
前記画像類似度算出装置の領域面積分布複雑性ヒストグラム作成部が、前記画像分割部による分割後の領域に含まれる画素の数について予め定められた複数の範囲のそれぞれにつき前記一方の画像において当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成するとともに、前記予め定められた各範囲につき前記他方の画像において当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成し、
前記画像類似度算出装置の類似度算出部が、前記２つの画像の類似性を示す類似度を、前記一方の画像の領域面積分布複雑性ヒストグラムと前記他方の画像の領域面積分布複雑性ヒストグラムの類似性に基づいて算出する
を備えることを特徴とする画像類似度算出装置の動作方法。
【請求項５】
前記画像類似度算出装置の量子化部が、前記取得された一方の画像の階調数を低減し、前記取得された他方の画像の階調数を低減する
ことを特徴とする請求項４記載の画像類似度算出装置の動作方法。
【請求項６】
前記領域面積分布複雑性ヒストグラム作成部は、
前記一方の画像の領域面積分布複雑性ヒストグラム内の各数を正規化するとともに、前記他方の画像の領域面積分布複雑性ヒストグラム内の各数を正規化する
ことを特徴とする請求項４または５記載の画像類似度算出装置の動作方法。
【請求項７】
請求項１ないし３のいずれかに記載の画像類似度算出装置としてコンピュータを動作させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人による感じ方に相応する画像の類似度を算出できる画像類似度算出装置およびその動作方法に関するものである。
【背景技術】
【０００２】
従来においては、類似する画像の検索や画像のクラスタリングなどの用途のために、画像間の類似度が算出される。
【０００３】
類似度を画像の形状の情報に基づいて算出する一般的な手法として、非特許文献１に記載のような輝度勾配方向のヒストグラムを用いるものがある。この手法では、画像のエッジの方向が似ているほど、類似度が高く算出される。例えば、人物の画像の場合には、同様に人物が写った画像との類似度が高く算出される。
【０００４】
似ていると感じる画像間には共通点が存在する。例えば、図３に示すように、正方形が描かれている画像と、その正方形と同程度の大きさの円が描かれた画像については、シンプルな図形が描かれているという点で似ていると感じられる。しかし、非特許文献１に記載の輝度勾配方向のヒストグラムに基づく手法によれば、このようにエッジの方向が異なる画像は似ていないとされてしまう。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】N. Dalal and B. Triggs. “Histograms of Oriented Gradients for Human Detection,” In Proc. IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 886-893, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、人による感じ方に相応する画像の類似度を算出できる画像類似度算出装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、第１の本発明は、２つの画像を取得する画像取得部と、一方の前記画像を複数の領域に分割し、かつ、当該各領域について、当該領域内の各画素の画素値が少なくとも互いに近似するようにするとともに、他方の前記画像を複数の領域に分割し、かつ、当該各領域について、当該領域内の各画素の画素値が少なくとも互いに近似するようにする画像分割部と、前記画像分割部による分割後の領域に含まれる画素の数について予め定められた複数の範囲のそれぞれにつき前記一方の画像において当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成するとともに、前記予め定められた各範囲につき前記他方の画像において当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成する領域面積分布複雑性ヒストグラム作成部と、前記２つの画像の類似性を示す類似度を、前記一方の画像の領域面積分布複雑性ヒストグラムと前記他方の画像の領域面積分布複雑性ヒストグラムの類似性に基づいて算出する類似度算出部とを備えることを特徴とする画像類似度算出装置をもって解決手段とする。
【０００８】
例えば、前記画像類似度算出装置は、前記取得された一方の画像の階調数を低減し、前記取得された他方の画像の階調数を低減する量子化部を備える。
【０００９】
例えば、前記領域面積分布複雑性ヒストグラム作成部は、前記一方の画像の領域面積分布複雑性ヒストグラム内の各数（合計した結果の画素の数）を正規化するとともに、前記他方の画像の領域面積分布複雑性ヒストグラム内の各数（合計した結果の画素の数）を正規化する。
【００１０】
第２の本発明は、２つの画像を取得する画像取得部を備える画像類似度算出装置の動作方法であって、前記画像類似度算出装置の画像分割部が、一方の前記画像を複数の領域に分割し、かつ、当該各領域について、当該領域内の各画素の画素値が少なくとも互いに近似するようにするとともに、他方の前記画像を複数の領域に分割し、かつ、当該各領域について、当該領域内の各画素の画素値が少なくとも互いに近似するようにし、前記画像類似度算出装置の領域面積分布複雑性ヒストグラム作成部が、前記画像分割部による分割後の領域に含まれる画素の数について予め定められた複数の範囲のそれぞれにつき前記一方の画像において当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成するとともに、前記予め定められた各範囲につき前記他方の画像において当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成し、前記画像類似度算出装置の類似度算出部が、前記２つの画像の類似性を示す類似度を、前記一方の画像の領域面積分布複雑性ヒストグラムと前記他方の画像の領域面積分布複雑性ヒストグラムの類似性に基づいて算出するを備えることを特徴とする画像類似度算出装置の動作方法をもって解決手段とする。
【００１１】
例えば、前記動作方法においては、前記画像類似度算出装置の量子化部が、前記取得された一方の画像の階調数を低減し、前記取得された他方の画像の階調数を低減する。
【００１２】
例えば、前記動作方法においては、前記領域面積分布複雑性ヒストグラム作成部は、前記一方の画像の領域面積分布複雑性ヒストグラム内の各数を正規化するとともに、前記他方の画像の領域面積分布複雑性ヒストグラム内の各数を正規化する。
【発明の効果】
【００１３】
本発明によれば、人による感じ方に相応する画像の類似度を算出することができる。例えば、形状が複雑か単純かといった観点で類似度を算出できる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態に係る画像類似度算出装置を模式的に示す構成図である。
【図２】画像類似度算出装置の動作方法を示すフローチャートである。
【図３】従来方法において似ていないとされる画像の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照して説明する。
【００１６】
図１は、本実施の形態に係る画像類似度算出装置を模式的に示す構成図である。 
画像類似度算出装置は、外部から画像、ここでは類似度の算出対象である２つの画像Ｉ１、Ｉ２を取得する画像取得部１と、画像を構成する画素の画素値を量子化する量子化部２と、画像を複数の領域に分割する画像分割部３と、領域の面積についての分布の複雑性を示す領域面積分布複雑性ヒストグラムを作成する領域面積分布複雑性ヒストグラム作成部４と、画像Ｉ１、Ｉ２の類似性を示す類似度を画像Ｉ１の領域面積分布複雑性ヒストグラムと画像Ｉ２の領域面積分布複雑性ヒストグラムの類似性に基づいて算出する類似度算出部５とを備える。
【００１７】
図２は、画像類似度算出装置の動作方法を示すフローチャートである。 
まず、画像取得部１は、画像Ｉ１、Ｉ２を取得する（Ｓ１）。
【００１８】
次に、量子化部２が、画像Ｉ１、Ｉ２を構成する画素の画素値を量子化する（Ｓ３）。
【００１９】
例えば、量子化部２は、量子化により、２５６階調のグレースケール画像を８階調のグレースケール画像に変換する。または、量子化部２は、量子化により、いわゆるフルカラー（およそ１６００万色）のカラー画像を２５６階調のグレースケール画像に変換し、つまり、階調を低減し、さらなる量子化により、そのグレースケール画像を８階調のグレースケール画像に変換する。
【００２０】
この場合、量子化部２は、画像の各画素値を２５６階調より少ない８階調に対応する８個の画素値の中の対応するものに置き換える。
【００２１】
具体的には、量子化部２は、０から３１までの画素値を１６に、３２から６３までの画素値を４８に、６４から９５までの画素値を８０に、９６から１２７までの画素値を１１２に、１２８から１５９までの画素値を１４４に、１６０から１９１までの画素値を１７６に、１９２から２２３までの画素値を２０８、２２４から２５５までの画素値を２４０それぞれ置き換える。
【００２２】
これにより、グレースケール画像である画像Ｉ１、Ｉ２またはグレースケール画像となった画像Ｉ１、Ｉ２の階調数を同じにすることができる。
【００２３】
または、例えば、量子化部２は、ＲＧＢ表色系の各色で２５６階調のカラー画像を各色で４階調のカラー画像、つまり、６４色のカラー画像に変換する。
【００２４】
具体的には、量子化部２は、各色の画素値を以下のように置き換える。つまり、量子化部２は、０から６３までの画素値を３２に、６４から１２７までの画素値を９６に、１２８から１９１までの画素値を１６０に、１９２から２５５までの画素値を２２４それぞれ置き換える。カラー画像についてのこのような処理は減色処理ともいう。
【００２５】
これにより、カラー画像である画像Ｉ１、Ｉ２の色数を同じにすることができる。
【００２６】
つまり、グレースケール画像の階調数も色の違いと考えると、量子化により、各画像の色数を同じにすることができる。
【００２７】
なお、量子化は一方の画像にのみ行ってもよい。つまり、色数を一方の画像にあわせるのである。
【００２８】
また、色表現については、他の表色系を用いてもよい。また、各画素につき、各色の画素値からなるベクトルを生成し、ベクトルで画素を分類し、同一分類の画素の画素値が同じになるようにしてもよい。
【００２９】
次に、画像分割部３が、各画像Ｉ１、Ｉ２を複数の領域に分割し、かつ、各領域について、その領域内の各画素の画素値が少なくとも互いに近似するようにする（Ｓ５）。
【００３０】
例えば、画像分割部３は、以下の処理を行う。 
1.左上の画素から順番に処理する
2.まだ領域が決まっていない画素であれば注目画素とし、新たな領域を設定する
3.注目画素の上下左右の画素がまだ領域が決まっておらず注目画素と同じ画素値（例えば色）を有していれば、注目画素と同じ領域とする
4.3.で注目画素と同じ領域となった画素を次の注目画素とし、3.の処理を行う
5.領域に追加する画素がなくなったら、右の画素、それがない場合には次の行の左端の画素について2.の処理を行う
6.全ての画素について処理を行ったら終了する
これにより、領域内の各画素の画素値、つまり色が同一となる。
【００３１】
または、画像分割部３は、隣接する領域同士で画素値（つまり色）が近似している場合は、それらの領域を統合する。これにより、領域内の各画素の画素値（色）が少なくとも互いに近似するようになる。 
なお、画像の分割には、この他の手法を用いても良い。
【００３２】
次に、領域面積分布複雑性ヒストグラム作成部４が、各画像Ｉ１、Ｉ２の領域面積分布複雑性ヒストグラムを作成する（Ｓ７）。
【００３３】
具体的には、領域面積分布複雑性ヒストグラム作成部４は、領域に含まれる画素の数について予め定められた複数の範囲のそれぞれにつき当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成する。領域に含まれる画素の数は、すなわち領域の面積である。
【００３４】
例えば、領域面積分布複雑性ヒストグラム作成部４は、画像の全画素数の3/4以上の範囲、3/4未満且つ1/2以上の範囲、1/2未満且つ1/4以上の範囲、1/4未満の範囲が予め定められている場合、その４つの各範囲につき当該範囲に含まれる数の画素を有する領域を選択するとともに選択した各領域の画素の数を合計し、４つの各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成する。
【００３５】
なお、各範囲の幅を等しくする必要はなく、各範囲は、画像の全画素数の1/2以上の範囲、1/2未満且つ1/4以上の範囲、1/4未満且つ1/8以上の範囲、1/8未満の範囲などであってもよい。
【００３６】
なお、領域面積分布複雑性ヒストグラム作成部４は、領域面積分布複雑性ヒストグラム内の各数（合計の数）を、当該数が画像の全画素数に占める割合（当該数を全画素数で割った値）に置き換えてもよい。つまり、領域面積分布複雑性ヒストグラム作成部４は、正規化を行ってもよい。
【００３７】
また、領域面積分布複雑性ヒストグラム作成部４は、各範囲につき当該範囲に含まれる数の画素を有する各領域の数を合計し、当該各範囲の当該合計の数（領域数）からなる領域面積分布複雑性ヒストグラムを作成してもよい。
【００３８】
なお、領域面積分布複雑性ヒストグラム作成部４は、領域面積分布複雑性ヒストグラム内の各数（領域数）を、当該数が画像の全領域数に占める割合（当該数を全領域数で割った値）に置き換えてもよい。つまり、領域面積分布複雑性ヒストグラム作成部４は、正規化を行ってもよい。
【００３９】
次に、類似度算出部５が、画像Ｉ１、Ｉ２の類似度を、画像Ｉ１の領域面積分布複雑性ヒストグラムと画像Ｉ２の領域面積分布複雑性ヒストグラムの類似性に基づいて算出する。
【００４０】
まず、類似度算出部５は、画像Ｉ１の領域面積分布複雑性ヒストグラムと画像Ｉ２の領域面積分布複雑性ヒストグラムの類似度を算出する（Ｓ９）。
【００４１】
ヒストグラムの類似度は、一般化すれば、以下のように算出でき、類似度算出部６もこれに従って各類似度を算出する。
【００４２】
ｎ個の要素からなるヒストグラムH１、H2の類似度Rh(H１、H2)は、式（１）により算出できる。
【数１】
2014085851.tif 000003
【００４３】
なお、hｉ1、hｉ2はそれぞれ、H１、H2におけるｉ番目の要素の値である。hj1、hj2はそれぞれ、H１、H2におけるｊ番目の要素の値である。
【００４４】
次に、類似度算出部６は、画像Ｉ１、Ｉ２の類似度を、式（２）により算出する（Ｓ１１）。
【数２】
2014085851.tif 000004
【００４５】
なお、R(I１,I2)は、画像Ｉ１、Ｉ２の類似度である。
【００４６】
Rs(I１,I2)は、画像Ｉ１の領域面積分布複雑性ヒストグラムと画像Ｉ２の領域面積分布複雑性ヒストグラムの類似度である。 
ｑは、予め定められたパラメータである。
【００４７】
次に、類似度算出部５は、算出した画像Ｉ１、Ｉ２の類似度R(I１,I2)を出力し（Ｓ１３）、処理を終える。
【００４８】
したがって、本実施の形態に係る画像類似度算出装置によれば、画像を分割する画像分割部３と、分割後の領域に含まれる画素の数について予め定められた複数の範囲のそれぞれにつき当該範囲に該当する各領域内の画素の数を合計し、当該各範囲の当該合計の数からなる領域面積分布複雑性ヒストグラムを作成する領域面積分布複雑性ヒストグラム作成部４と、画像の類似度を領域面積分布複雑性ヒストグラムの類似性に基づいて算出する類似度算出部５とを備えることで、図３に示すような、正方形が描かれている画像と、その正方形と同程度の大きさの円が書かれた画像のように、シンプルな図形があるという点で似ていると感じる画像同士の類似度は高くなり、よって、類似度を、人による感じ方に相応させることができる。
【００４９】
その結果、シンプルな形状の画像に似ている画像として、同様にシンプルな形状の画像を検索することが可能になる。逆に、複雑な形状の画像に似ている画像として、同様に複雑な形状の画像を検索することが可能になる。
【００５０】
また、量子化部２が量子化を行うことで、つまり、画像の階調数を低減することで、領域数を少なくできる。これにより、ヒストグラムを作成する際やヒストグラム同士の類似度や画像の類似度を算出する際の計算量を低減することができる。
【００５１】
また、例えば、画素値が完全に一致していなくても、似た色を一つの領域として扱えるため、人の感覚で同じ色であると感じる領域を抽出することができる。
【００５２】
また、領域面積分布複雑性ヒストグラム作成部４は、領域面積分布複雑性ヒストグラム内の各数（画素の合計数や領域数）を正規化するので、大きさ（全画素数）の異なる画像間の類似度を算出することができる。
【００５３】
また、本実施の形態に係る画像類似度算出装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【００５４】
１  画像取得部
２  量子化部
３  画像分割部
４  領域面積分布複雑性ヒストグラム作成部
５  類似度算出部
【図１】
2014085851.tif 000005
【図２】
2014085851.tif 000006
【図３】
2014085851.tif 000007