(57)【要約】【課題】計算コストの増大を招かずに類似画像のクラスタリングが可能な画像評価装置を提供する。【解決手段】画像評価装置１００を、画像及びこの画像の属性情報が関連付けられて記憶された記憶部１０３と、記憶部１０３から画像を読み出し、当該画像の色空間に基づいて、その特徴量を計算し、画像に当該特徴量を関連付けて記憶部１０３に記憶する特徴量計算部１０４と、記憶部１０３に記憶された特徴量に基づいて画像を分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、画像に当該クラスタを関連付けて記憶部１０３に記憶するクラスタリング実行部１０５とから構成する。【選択図】図１
2009251705.tif 000002
【特許請求の範囲】
【請求項１】
画像及びこの画像の属性情報が関連付けられて記憶された記憶部と、
前記記憶部から前記画像を読み出し、当該画像に基づいて、色空間の特徴量を計算し、前記画像に当該特徴量を関連付けて前記記憶部に記憶する特徴量計算部と、
前記記憶部に記憶された前記特徴量に基づいて画像を分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、前記画像に当該クラスタを関連付けて前記記憶部に記憶するクラスタリング実行部と、
を有する画像評価装置。
【請求項２】
前記特徴量計算部は、
前記画像が表現されている第１の表色系を離散化した色空間に基づいてカラーヒストグラムを生成し、当該カラーヒストグラムを第２の表色系に色空間変換した後、頻度値の非線形量子化及びＨａａｒ変換を行い、この計算結果を特徴量とする請求項１に記載の画像評価装置。
【請求項３】
前記第１の表色系が、ＹＣｂＣｒ表色系である請求項２に記載の画像評価装置。
【請求項４】
前記第１の表色系を離散化した色空間が、人の色に対する感応度に応じて離散化間隔が細分化されている請求項２または３に記載の画像評価装置。
【請求項５】
前記第２の表色系が、ＨＳＶ表色系、ＨＭＭＤ表色系、又はＲＧＢ表色系のいずれかである請求項２〜４いずれか一項に記載の画像評価装置。
【請求項６】
前記第１の表色系を離散化した色空間に基づいて生成した前記カラーヒストグラムを前記第２の表色系に色空間変換する際に、前記記憶部に予め設定されたルックアップテーブルを用いて行うように構成された請求項２〜５いずれか一項に記載の画像評価装置。
【請求項７】
前記画像の第１の表色系がＹＣｂＣｒ表色系であり、第２の表色系がＨＳＶ表色系である場合に、
前記特徴量計算部は、ＹＣｂＣｒ表色系を離散化したＹＣｂＣｒ色空間を、Ｙ軸、Ｃｂ軸、Ｃｒ軸の各軸に対して８分割して分割数５１２のＹＣｂＣｒヒストグラムを作成し、ＹＣｂＣｒヒストグラムをＨＳＶ表色系のヒストグラムに色空間変換するように構成され、
前記ルックアップテーブルは、ｋ番目におけるＹＣｂＣｒヒストグラムのＹＣｂＣｒの値をＹk，Ｃｂk，Ｃｒkとし、ｋ番目のＹＣｂＣｒヒストグラムに対応するＨＳＶ色空間上の座標値をＨk，Ｓk，Ｖkとし、ｋ番目のＹＣｂＣｒヒストグラムにおける赤成分、緑成分、青成分の強度をＲk，Ｇk，Ｂkとし、これらの色成分のうち最も大きい成分をＭＡＸkとし、最も小さい成分をＭＩＮkとし、それぞれ引数のうち最小の値を返す関数をｍｉｎ（・）とし、それぞれ引数のうち最大の値を返す関数をｍａｘ（・）とし、％を剰余演算としたときに、次式
Rk  ＝  Yk                    ＋1.40200×(Crk−128)
Gk  ＝  Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk  ＝  Yk＋1.77200×(Cbk−128)
MAXk  ＝  max(Rk，Gk，Bk)
MINk  ＝  min(Rk，Gk，Bk)
Hk  ＝  (60×(Gk−Bk)／(MAXk−MINk))％360，if  MAXk  ＝  Rk
＝  (60×(Bk−Rk)／(MAXk−MINk)＋120)％360，if  MAXk  ＝  Gk
＝  (60×(Rk−Gk)／(MAXk−MINk)＋240)％360，if  MAXk  ＝  Bk
Sk  ＝  (MAXk−MINk)／MAXk
Vk  ＝  MAXk
により算出される請求項６に記載の画像評価装置。
【請求項８】
前記画像の第１の表色系がＹＣｂＣｒ表色系であり、第２の表色系がＨＭＭＤ表色系である場合に、
前記特徴量計算部は、ＹＣｂＣｒ表色系を離散化したＹＣｂＣｒ色空間を、Ｙ軸、Ｃｂ軸、Ｃｒ軸の各軸に対して８分割して分割数５１２のＹＣｂＣｒヒストグラムを作成し、ＹＣｂＣｒヒストグラムをＨＭＭＤ表色系のヒストグラムに色空間変換するように構成され、
前記ルックアップテーブルは、ｋ番目におけるＹＣｂＣｒヒストグラムのＹＣｂＣｒの値をＹk，Ｃｂk，Ｃｒkとし、ｋ番目のＹＣｂＣｒヒストグラムに対応するＨＭＭＤ色空間上の座標値をＨk，Ｄｉｆｆkとし、ｋ番目のＹＣｂＣｒヒストグラムにおける赤成分、緑成分、青成分の強度をＲk，Ｇk，Ｂkとし、これらの色成分うち最も大きい成分をＭＡＸkとし、最も小さい成分をＭＩＮkとし、それぞれ引数のうち最小の値を返す関数をｍｉｎ（・）とし、それぞれ引数のうち最大の値を返す関数をｍａｘ（・）とし、％を剰余演算としたときに、次式
Rk  ＝  Yk                    ＋1.40200×(Crk−128)
Gk  ＝  Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk  ＝  Yk＋1.77200×(Cbk−128)
MAXk  ＝  max(Rk，Gk，Bk)
MINk  ＝  min(Rk，Gk，Bk)
Hk  ＝  (60×(Gk−Bk)／(MAXk−MINk))％360，if  MAXk  ＝  Rk
＝  (60×(Bk−Rk)／(MAXk−MINk)＋120)％360，if  MAXk  ＝  Gk
＝  (60×(Rk−Gk)／(MAXk−MINk)＋240)％360，if  MAXk  ＝  Bk
Diffk  ＝  (MAXk−MINk)
により算出される請求項６に記載の画像評価装置。
【請求項９】
前記記憶部から前記クラスタ毎に前記画像を読み出して表示する画像表示部を有する請求項１〜８いずれか一項に記載の画像評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像評価装置に関する。
【背景技術】
【０００２】
従来、与えられた画像集合の各画像から、当該画像の特徴を表現する統計量（以下、「特徴量」と呼ぶ）を計算し、その特徴量を基に画像集合を一定の基準に基づいてグルーピングする技術が存在し、その中でも特徴量を基にクラスタリングと呼ばれる技術を用いて、画像集合を類似画像グループに自動的にグルーピングする技術は多数提案されている（例えば、特許文献１参照）。その中でも、特徴量としてＨＳＶ色空間で画像を表現し、カラーヒストグラムを作成した後、このカラーヒストグラムに対してＨａａｒ変換を施すことにより得られるスケーラブルカラー（Scalable Color）と呼ばれる特徴量は、カラー画像に対する類似画像検索に対して良好な特性を持つことが知られており、当該技術領域において、良く利用されている。
【０００３】
また、ＨＳＶ色空間は色表現において人間の色彩感覚と近い表色系として知られている。このことに起因してスケーラブルカラーが単純な統計量にも関わらず、人間の感覚に上手く適応した類似画像検索性能を出すと考えられている。一方、同様の理由で主にカラー印刷に関する技術領域において、ＨＳＶ色空間での色表現を基に印刷色の決定（及び色補正）を行う手法も多数提案されている。その中でも、主に色空間変換の高速化及び精度向上を目的として、色空間変換のためのルックアップテーブル（以下、「ＬＵＴ」と呼ぶ）を用意し、処理を行うものが提案されている（例えば、特許文献１及び２参照）。
【特許文献１】特開２０００−０６９３０６号公報
【特許文献２】特開２００６−２０３８９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した、スケーラブルカラー等で利用するＨＳＶ色空間への変換は、単純な計算ではあるが、最近のデジタルスチルカメラによって撮影された数百万画素規模の画像に適応しようとすると、仮にＬＵＴを利用した変換を行ったとしても一定の計算コストがかかってしまい、実装するプラットフォームに対する負荷が高いものとなってしまうという課題があった。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、計算コストの増大を招かずに類似画像のクラスタリングが可能な画像評価装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明に係る画像評価装置は、画像及びこの画像の属性情報が関連付けられて記憶された記憶部と、この記憶部から画像を読み出し、当該画像に基づいて、色空間の特徴量を計算し、この画像に当該特徴量を関連付けて記憶部に記憶する特徴量計算部と、記憶部に記憶された特徴量に基づいて画像を分類し、類似する画像から構成される複数のクラスタを生成するクラスタリング処理を実行し、画像に当該クラスタを関連付けて記憶部に記憶するクラスタリング実行部と、を有して構成される。
【０００７】
このような画像評価装置において、特徴量計算部は、画像が表現されている第１の表色系を離散化した色空間に基づいてカラーヒストグラムを生成し、当該カラーヒストグラムを第２の表色系に色空間変換した後、頻度値の非線形量子化及びＨａａｒ変換を行い、この計算結果を特徴量とすることが好ましい。
【０００８】
このとき、第１の表色系が、ＹＣｂＣｒ表色系であることが好ましい。ここで、第１の表色系を離散化した色空間が、人の色に対する感応度に応じて離散化間隔が細分化されていることが好ましい。また、第２の表色系が、ＨＳＶ表色系、ＨＭＭＤ表色系、又はＲＧＢ表色系のいずれかであることが好ましい。
【０００９】
また、このような画像評価装置は、第１の表色系を離散化した色空間に基づいて生成したカラーヒストグラムを第２の表色系に色空間変換する際に、記憶部に予め設定されたルックアップテーブルを用いて行うように構成されることが好ましい。
【００１０】
ここで、画像の第１の表色系がＹＣｂＣｒ表色系であり、第２の表色系がＨＳＶ表色系である場合に、特徴量計算部は、ＹＣｂＣｒ表色系を離散化したＹＣｂＣｒ色空間を、Ｙ軸、Ｃｂ軸、Ｃｒ軸の各軸に対して８分割して分割数５１２のＹＣｂＣｒヒストグラムを作成し、ＹＣｂＣｒヒストグラムをＨＳＶ表色系のヒストグラムに色空間変換するように構成され、ルックアップテーブルは、ｋ番目におけるＹＣｂＣｒヒストグラムのＹＣｂＣｒの値をＹk，Ｃｂk，Ｃｒkとし、ｋ番目のＹＣｂＣｒヒストグラムに対応するＨＳＶ色空間上の座標値をＨk，Ｓk，Ｖkとし、ｋ番目のＹＣｂＣｒヒストグラムにおける赤成分、緑成分、青成分の強度をＲk，Ｇk，Ｂkとし、これらの色成分うち最も大きい成分をＭＡＸkとし、最も小さい成分をＭＩＮkとし、それぞれ引数のうち最小の値を返す関数をｍｉｎ（・）とし、それぞれ引数のうち最大の値を返す関数をｍａｘ（・）とし、％を剰余演算としたときに、次式
Rk  ＝  Yk                    ＋1.40200×(Crk−128)
Gk  ＝  Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk  ＝  Yk＋1.77200×(Cbk−128)
MAXk  ＝  max(Rk，Gk，Bk)
MINk  ＝  min(Rk，Gk，Bk)
Hk  ＝  (60×(Gk−Bk)／(MAXk−MINk))％360，if  MAXk  ＝  Rk
＝  (60×(Bk−Rk)／(MAXk−MINk)＋120)％360，if  MAXk  ＝  Gk
＝  (60×(Rk−Gk)／(MAXk−MINk)＋240)％360，if  MAXk  ＝  Bk
Sk  ＝  (MAXk−MINk)／MAXk
Vk  ＝  MAXk
により算出されることが好ましい。
【００１１】
あるいは、画像の第１の表色系がＹＣｂＣｒ表色系であり、第２の表色系がＨＭＭＤ表色系である場合に、特徴量計算部は、ＹＣｂＣｒ表色系を離散化したＹＣｂＣｒ色空間を、Ｙ軸、Ｃｂ軸、Ｃｒ軸の各軸に対して８分割して分割数５１２のＹＣｂＣｒヒストグラムを作成し、ＹＣｂＣｒヒストグラムをＨＭＭＤ表色系のヒストグラムに色空間変換するように構成され、ルックアップテーブルは、ｋ番目におけるＹＣｂＣｒヒストグラムのＹＣｂＣｒの値をＹk，Ｃｂk，Ｃｒkとし、ｋ番目のＹＣｂＣｒヒストグラムに対応するＨＭＭＤ色空間上の座標値をＨk，Ｄｉｆｆkとし、ｋ番目のＹＣｂＣｒヒストグラムにおける赤成分、緑成分、青成分の強度をＲk，Ｇk，Ｂkとし、これらの色成分うち最も大きい成分をＭＡＸkとし、最も小さい成分をＭＩＮkとし、それぞれ引数のうち最小の値を返す関数をｍｉｎ（・）とし、それぞれ引数のうち最大の値を返す関数をｍａｘ（・）とし、％を剰余演算としたときに、次式
Rk  ＝  Yk                    ＋1.40200×(Crk−128)
Gk  ＝  Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk  ＝  Yk＋1.77200×(Cbk−128)
MAXk  ＝  max(Rk，Gk，Bk)
MINk  ＝  min(Rk，Gk，Bk)
Hk  ＝  (60×(Gk−Bk)／(MAXk−MINk))％360，if  MAXk  ＝  Rk
＝  (60×(Bk−Rk)／(MAXk−MINk)＋120)％360，if  MAXk  ＝  Gk
＝  (60×(Rk−Gk)／(MAXk−MINk)＋240)％360，if  MAXk  ＝  Bk
Diffk  ＝  (MAXk−MINk)
により算出されることが好ましい。
【００１２】
なお、このような画像評価装置は、記憶部からクラスタ毎に画像を読み出して表示する画像表示部を有することが好ましい。
【発明の効果】
【００１３】
本発明に係る画像評価装置を以上のように構成すると、計算コストの増大を招かずに類似画像のクラスタリングが可能となり、類似画像のグルーピングを、高精度かつ高速に行うことが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて本実施形態に係る画像評価装置１００の構成について説明する。図１に示すように、この画像評価装置１００は、装置全体を制御する制御部１０１と、画像及びこの画像の属性情報が関連付けられて記憶されたデータベース１０３（記憶部）と、制御部１０１の指示により画像評価処理を行うＣＰＵ１０２と、このＣＰＵ１０２上でデータベース１０３の画像に対する色空間の特徴量を計算する特徴量計算部１０４と、算出された特徴量に基づいて、画像を分類し、類似画像から構成される複数のクラスタを生成する（クラスタリング処理を実行する）クラスタリング実行部１０５と、クラスタリング処理の結果や途中計算などを一時的に保存する作業領域（Ｗｏｒｋ  ＲＡＭ）１０６と、制御部１０１にクラスタリング開始指示を与えるクラスタリング開始スイッチ（Ｓ／Ｗ）１０７と、クラスタリング結果に基づいて画像を表示する画像表示部１０８とから構成される。
【００１５】
データベース１０３は、図２に示すように、画像データの格納先や所属するクラスタ番号などが記憶される画像情報格納領域１０３ａと、画像データそのものが記憶される画像データ格納領域１０３ｆとを有する。画像情報格納領域１０３ａは、図２（ａ）のようなデータ構造を有しており、画像データのファイル名が記憶されるファイル名カラム１０３ｂと、この画像及び属性情報からなる画像データの格納先のアドレスが記憶される画像データ格納アドレスカラム１０３ｃと、後述する特徴量算出の結果である画像の特徴量が記憶される特徴量カラム１０３ｄと、後述するクラスタリングの結果が記憶されるクラスタ番号カラム１０３ｅとを有している。一方、画像データ格納領域１０３ｆは、図２（ｂ）に示すようなデータ構造を有しており、画像そのものが記憶される画像カラム１０３ｇと、ヘッダ領域、撮影時刻情報などの属性情報が記憶される属性情報カラム１０３ｈとを有し、１つの画像データに対する情報が１レコードとして管理される。ここで、画像データ格納領域１０３ｆに格納されている画像データの格納場所（アドレス）は、画像情報格納領域１０３ａの画像データ格納アドレスカラム１０３ｃに記憶されており、ファイル名カラム１０３ｂに記憶されている画像データのファイル名から抽出しようとする画像データを特定し、この画像データのアドレスを画像データ格納アドレスカラム１０３ｃから抽出して、画像データ格納領域１０３ｆのアドレスから該当する画像データそのものを取得することができる。なお、この画像カラム１０３ｇと属性情報カラム１０３ｈとを一つのファイルとして構成するようにしてもよい。このようなデータ構造としては、日本電子工業振興協会（ＪＥＩＤＡ）で規格されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）等が知られている。
【００１６】
（画像評価処理）
画像評価装置１００による画像評価処理について、図３のフローチャートを合わせて用いて説明する。ユーザが、クラスタリング開始スイッチ１０７を押下すると、クラスタリング開始指示が制御部１０１に対して発信される（ステップＳ１００）。このクラスタリング開始指示を受信すると、制御部１０１はＣＰＵ１０２に対し、クラスタリング開始命令を発行する（ステップＳ２００）。ＣＰＵ１０２は、このクラスタリング開始命令を受信すると、データベース１０３のファイル名カラム１０３ｂに記憶されたファイル名（例えば、０００１．ｊｐｇなど）と対応づけて、画像データ格納領域１０３ｆの画像データを１枚ずつ読み出し、当該画像データを特徴量計算部１０４に渡して、特徴量計算実行の指示を与える（ステップＳ３００）。特徴量計算部１０４は、渡された画像データを基に、当該画像の特徴量を計算し、計算結果である特徴量をＣＰＵ１０２に返す（ステップＳ４００）。なお、特徴量計算処理の詳細は、後述する。ＣＰＵ１０２は、計算結果である当該特徴量を、当該画像データと関連づけてデータベース１０３の特徴量カラム１０３ｄに記憶し保存する（ステップＳ５００）。これらの画像データ読み込み処理（ステップＳ３００）、特徴量計算処理（ステップＳ４００）及びデータベース１０３への特徴量の記憶処理（ステップＳ５００）は、データベース１０３内に保存された画像全てに対して実行されるまで繰り返される。
【００１７】
以上、データベース１０３に保存されている画像全てに対し、画像データを読み込んで特徴量計算及びデータベース１０３への保存が終了した段階で、画像評価装置１００は引き続き、画像クラスタリング処理を行う。画像クラスタリング処理においてＣＰＵ１０２はデータベース１０３に格納された、各画像と関連づけられた特徴量全てを読み出し、これら全画像分の特徴量（以下特徴量セットと呼ぶ）をクラスタリング実行部１０５に渡し、クラスタリング実行命令をクラスタリング実行部１０５に発行する（ステップＳ６００）。クラスタリング実行部１０５は、与えられた特徴量セットを基に、画像を分類して複数のクラスタを生成するクラスタリングを実行し、図９に示すように、各特徴量と関連づけられた画像が何れのクラスタに属するかを表す計算結果（以下、クラスタリング結果と呼ぶ）をＣＰＵ１０２に返す（以上、ステップＳ７００）。なお、以上で述べたような画像データ、特徴量セット、クラスタリング結果などの各種データは、作業領域１０６に一時的に記憶され、これらを各部が使用することにより、各部間でのデータの受け渡しが行われる。
【００１８】
次に、ＣＰＵ１０２は、クラスタリング実行部１０５から受け取ったクリスタリング結果を基に、インデクシング処理を行う。すなわち、生成された全クラスタにクラスタ番号を昇順に付与し、データベース１０３の各画像に対して、画像毎に属するクラスタ番号を対応付けてデータベース１０３のクラスタ番号カラム１０３ｅに記憶する（ステップＳ８００）。例えば、本実施形態では、図９に示すように、画像が４つのクラスタ（類似画像グループ）にクラスタリングされ、各クラスタに各々１〜４のクラスタ番号が付与され、図２に示すように、各画像のクラスタ番号カラム１０３ｅに、所属するクラスタ番号が記憶される。
【００１９】
ＣＰＵ１０２は以上の画像クラスタリング処理（ステップＳ７００）及びインデクシング処理（ステップＳ８００）が終了した後、その旨を制御部１０１に通知する（ステップＳ９００）。制御部１０１は、ＣＰＵ１０２からクラスタリング処理等終了の通知を受け取った段階でデータベース１０３にアクセスし、画像データ及び所属するクラスタ番号とを全て読み込み、画像表示部１０８に対してクラスタリング結果を表示するよう命令及び各画像データを発行する（ステップＳ１０００）。
【００２０】
画像表示部１０８は、制御部１０１からクラスタリング結果表示の命令及び画像データを受け取ると、予め決められた表示形式（画面レイアウト）に従ってクラスタリング結果であるところの各画像集合を、順次表示する（ステップＳ１１００）。図１０に、画像表示部１０８への画像の表示例を示す。このようにクラスタ（類似グループ）毎にまとまって、画像が表示される。ここで、画像の表示方法は、選択されたレイアウトに定義されている形式（大きさや位置）に従う。以上が、画像評価装置１００による画像評価処理の動作である。
【００２１】
（特徴量計算処理）
次に、特徴量計算部１０４が、画像１枚に対して行う特徴量計算処理（ステップＳ４００）の手順に関して、図４のフローチャートを基に説明する。以下、本実施形態では、特徴量計算部１０４に入力される画像データは、第１の表色系としてＹＣｂＣｒ（以下、単に「ＹＣＣ」と呼ぶ）表色系にて表現されているものとする（また、以降の説明において、この画像データを単に「ＹＣＣデータ」と呼ぶ）。特徴量計算部１０４に入力されたＹＣＣデータは、図６（ａ）に示すように、区分されたＹＣＣ色空間上にプロットされ、各ブロック毎にプロットされた個数をカウントする事により３次元のＹＣＣヒストグラムが生成される（ステップＳ４１０）。
【００２２】
図６（ａ）に、Ｙ成分を８プレーンに分割した場合のＹＣＣ色空間の例を示す。この図の下から３番目のプレーンのＣｂＣｒ平面を表したものを図６（ｂ）に示す。また、Ｃｒ成分を８プレーンに分割した場合のＹＣＣ色空間において、所定のプレーンのＹＣｂ平面を表したものを図６（ｃ）に示す。この図６（ｂ）は、ＣｂＣｒ平面を縦横８×８ブロックの領域に分割したものであり（ＲＧＢからＹＣｂＣｒへの変換を行い、該当する領域は色づけ及び分割線を表示しているが、該当しない領域は白色かつ分割線は非表示としている。）、中央付近と周辺付近とでは、色の分布密度が異なる。つまり、中央付近は色分布が密となり、周辺付近は疎となる。この色分布特性から、本発明者は、領域分布を中央付近は細かく、周辺付近は粗くすることにより、各平面を分割した際のブロック数を少なくできることを知見した。すなわち、例えば、図６（ｂ）において、ＣｂＣｒ平面を等分割した場合、１６×１６＝２５６個のブロック数になるが、図６（ｂ）に示した分割線のように、周辺付近のブロックをまとめる（すなわち、粗くする）ことにより、８×８＝６４個のブロック数に減少させることができる（情報量の圧縮）。この結果、後述する計算回数が減少し、演算の高速化が可能となる。更に、周辺付近の色分布は疎になっていることから、この周辺付近のブロックをまとめても、ブロック単位での色情報に大差はなく、そのため計算誤差も少なくなり精度の良い演算が可能となる。
【００２３】
図６（ａ）に示すように、ＹＣＣ色空間は、上述のようにＹＣＣ各軸とも８分割されているため、ＹＣＣ色空間を分割した際の分割数（以降の説明では、この分割数を「ｂｉｎ」と呼ぶ）は、ｂｉｎ数＝８3＝５１２ｂｉｎであり、すなわち、作成されるＹＣＣヒストグラムは５１２ｂｉｎのヒストグラムとなる。ＹＣＣヒストグラム作成後、特徴量計算部１０４は、５１２分割されたＹＣＣ色空間から、ＹＣＣヒストグラムとＨＳＶヒストグラムとの対応づけがデータベース１０１に予め記憶されたＬＵＴを参照し、図７に示すような２５６分割されたＨＳＶ色空間に色空間変換を行う（ステップＳ４２０）。図７（ａ）は、ＨＳＶ色空間を表し、図７（ｂ）は、１６分割されたＨ平面を表し、図７（ｃ）は、ＳＶ平面の一部を表す。なお、図７では、Ｈ平面及びＳＶ平面は等間隔に分割されているが、必ずしも等間隔に分割されていなくても良い。ＹＣＣからＨＳＶへの変換ＬＵＴは、ＹＣＣヒストグラムの各ｂｉｎの代表値、すなわち各ｂｉｎの中心点座標に対し、下記式（１）を適用する事により、作成することができる。
【００２４】
Rk  ＝  Yk                    ＋1.40200×(Crk−128)
Gk  ＝  Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk  ＝  Yk＋1.77200×(Cbk−128)
MAXk  ＝  max(Rk，Gk，Bk)
MINk  ＝  min(Rk，Gk，Bk)
Hk  ＝  (60×(Gk−Bk)／(MAXk−MINk))％360，if  MAXk  ＝  Rk
＝  (60×(Bk−Rk)／(MAXk−MINk)＋120)％360，if  MAXk  ＝  Gk
＝  (60×(Rk−Gk)／(MAXk−MINk)＋240)％360，if  MAXk  ＝  Bk
Sk  ＝  (MAXk−MINk)／MAXk
Vk  ＝  MAXk                                                            （１）
【００２５】
上記式（１）中、添字のｋは、ＹＣＣヒストグラムにおけるｂｉｎのインデックスを表し、Ｙk，Ｃｂk，Ｃｒkは、ＹＣＣヒストグラムのｂｉｎ＝ｋにおけるＹＣＣの値を意味し、Ｈk，Ｓk，Ｖkは、ＹＣＣヒストグラムのｂｉｎ＝ｋに対応するＨＳＶ色空間上の座標値を表し、この値がＨＳＶヒストグラムにおける各ｂｉｎの代表値となる。Ｒk，Ｇk，Ｂkは、ｂｉｎ＝ｋにおける赤成分、緑成分、青成分の強度を表し、ＭＡＸkは、これらの色成分うち最も大きい成分を表し、ＭＩＮkは、これらの色成分のうち最も小さい成分を表す。また、ｍｉｎ（・），ｍａｘ（・）は、それぞれ引数のうち最小、最大の値を返す関数を意味し、％は、剰余演算を意味する。
【００２６】
このような演算により、所定のＹＣＣヒストグラムに対応するＨＳＶヒストグラムへの変換ＬＵＴが作成される。このＬＵＴを用いてＹＣＣヒストグラムをＨＳＶヒストグラムに変換する際に、ＹＣＣヒストグラムにおいて異なるｂｉｎに属していた頻度値がＨＳＶ色空間上で同一の座標に変換された場合、ＨＳＶヒストグラムの該当するｂｉｎの頻度値は変換元のＹＣＣヒストグラムにおける頻度値の合計値となる。すなわち、座標（Ｙk，Ｃｂk，Ｃｒk）の頻度値がｎkであり、（Ｙm，Ｃｂm，Ｃｒm）の頻度値がｎmであり、かつ（Ｙk，Ｃｂk，Ｃｒk）と（Ｙm，Ｃｂm，Ｃｒm）がＨＳＶ色空間上で同一の座標（Ｈk，Ｓk，Ｖk）に変換される場合、（Ｈk，Ｓk，Ｖk）の頻度値は（ｎk＋ｎm）となる。なお、（Ｙk，Ｃｂk，Ｃｒk）と（Ｈk，Ｓk，Ｖk）が１対１対応であった場合は、（Ｈk，Ｓk，Ｖk）の頻度値はそのままｎkとなる。
【００２７】
以上が特徴量計算部１０４が行うヒストグラムの変換処理である。特徴量計算部１０４は前述の通りＨＳＶヒストグラムを作成した後、通常のスケーラブルカラーにおける演算と同様に頻度値の非線形量子化及びＨａａｒ変換を行い、その計算結果を最終的に得られた特徴量としてＣＰＵ１０２に返値として通知する（ステップＳ４３０）。
【００２８】
なお、本実施態様においては、ＹＣＣ色空間からＨＳＶ色空間に色変換を行う例を挙げたが、変換先の色空間はＨＳＶ色空間に限らず、ＨＭＭＤ（Ｈｕｅ，Ｍａｘ，Ｍｉｎ，Ｄｉｆｆ）色空間（これらは、ＭＰＥＧ−７として定義されている。）であっても良い。その際、上記式（１）は、下記式（２）の通り変更される。
【００２９】
Rk  ＝  Yk                    ＋1.40200×(Crk−128)
Gk  ＝  Yk−0.34414×(Cbk−128)−0.71414×(Crk−128)
Bk  ＝  Yk＋1.77200×(Cbk−128)
MAXk  ＝  max(Rk，Gk，Bk)
MINk  ＝  min(Rk，Gk，Bk)
Hk  ＝  (60×(Gk−Bk)／(MAXk−MINk))％360，if  MAXk  ＝  Rk
＝  (60×(Bk−Rk)／(MAXk−MINk)＋120)％360，if  MAXk  ＝  Gk
＝  (60×(Rk−Gk)／(MAXk−MINk)＋240)％360，if  MAXk  ＝  Bk
Diffk  ＝  (MAXk−MINk)                                                  （２）
【００３０】
ＨＭＭＤ表色系は、上記式（２）における（Ｈk，ＭＡＸk，ＭＩＮk，Ｄｉｆｆk）を色空間の座標値とする色空間である。また、本実施形態では、変換元の表色系がＹＣＣ表色系であることを前提に説明を行ったが、本発明はこれに限定されるものではなく、例えば変換元がＲＧＢ表色系やその他の表色系であっても適応可能なものである。
【００３１】
（クラスタリング処理）
次に、クラスタリング実行部１０５が、特徴量セットを基に行うクラスタリング処理（ステップＳ７００）の手順に関して、図５のフローチャートを基に説明する。クラスタリング実行部１０５は、ＣＰＵ１０２から特徴量セットを取得し（ステップＳ７１０）、これらに対して、凝集的クラスタリングの一種である階層的クラスタリングを実行する（ステップＳ７２０）。この階層的クラスタリングに関しては、従来公知の手法を用いることができる。例えば、各画像の色空間の特徴量（ｎ次元）により、画像間の距離をｎ次元空間で求めて、その距離に基づいて階層的クラスタリングを行う。階層的クラスタリングを行った結果、特徴量に対応して、全ての画像に対して、図８に示すような系統図が作成される。この系統図を所定の閾値Ｔdで切断する事により、図９に示すようなクラスタリング結果が得られる（ステップＳ７４０）。クラスタリング実行部１０５は、画像クラスタリング処理が終了した旨と得られたクラスタリング結果をＣＰＵ１０２に通知する（ステップＳ７５０）。
【００３２】
以上のように、従来は画像をＨＳＶ色空間などに変換する場合、数百万画素全てについて計算していたため、計算コストが膨大で実装するプラットフォームに対する負荷が高いものとなっていたが、本実施形態の画像評価装置によれば、計算コストの増大を招かずに画像の色空間変換を行って、その色空間特徴量を計算し、この特徴量に基づいて類似画像のクラスタリングを高精度かつ高速に行うことができる。その結果、類似画像をグループ毎に表示することが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本実施形態の画像評価装置の構成を表すブロック図である。
【図２】データベースのデータ構造を示す説明図である。
【図３】本実施形態の画像評価装置で行われる画像評価処理手順を表すフローチャートである。
【図４】特徴量計算部における特徴量計算処理手順を表すフローチャートである。
【図５】クラスタリング実行部におけるクラスタリング処理手順を表すフローチャートである。
【図６】（ａ）はＹＣＣ色空間を表す模式図で、（ｂ）はＣｂＣｒ平面を表す模式図で、（ｃ）はＹＣｒ平面を表す模式図である。
【図７】（ａ）はＨＳＶ色空間を表す模式図で、（ｂ）はＨ平面を表す模式図で、（ｃ）はＳＶ平面を表す模式図である。
【図８】階層的クラスタリングの結果得られる系統図をＴdで切断した結果を表す模式図である。
【図９】最終的に得られたクラスタリング結果の例を表す模式図である。
【図１０】画像表示用の画面レイアウトに従って画像表示部に表示される画面の例を示す模式図である。
【符号の説明】
【００３４】
１００  画像評価装置    １０１  制御部    １０３  データベース（記憶部）
１０４  特徴量計算部    １０５  クラスタリング実行部    １０８  画像表示部
【図１】
2009251705.tif 000003
【図２】
2009251705.tif 000004
【図３】
2009251705.tif 000005
【図４】
2009251705.tif 000006
【図５】
2009251705.tif 000007
【図６】
2009251705.tif 000008
【図７】
2009251705.tif 000009
【図８】
2009251705.tif 000010
【図９】
2009251705.tif 000011
【図１０】
2009251705.tif 000012