(57)【要約】【課題】物体を撮像した画像データにおける該物体の色を適切に識別する。【解決手段】対象物体１０１を撮像した画像データを入力し、前記機能部１０２に該画像データを格納する機能部１０３と、前記格納された画像データにおける対象物体が共通に有する色で構成された領域である共通色領域と該共通色領域を構成する色を抽出する機能部１０４と、前記抽出された共通色領域を構成する色に基づいて、画像データ中の画素の色を相対値に変換する機能部１０５と、前記変換された相対値に関する分布特性データを求め、該分布特性データを格納する機能部１０６と、を用い、入力された学習用画像データに対して、得られた学習用画像の分布特性データにおいて、入力されたクエリ画像データに対して、得られたクエリ画像の分布特性データに類似する分布特性を有する前記学習用画像の分布特性データが存在しているか否かを判定する（１０８）。【選択図】図１
2009025867.tif 000002
【特許請求の範囲】
【請求項１】
画像データに関する処理を行う際に一時的にデータを蓄積し、該データを入出力するデータ蓄積部と、
対象物体を入力機器を使って撮像した画像データを入力し、前記データ蓄積部に該画像データを格納するデータ入力部と、
を備え、
該データ入力部によって入力された対象物体を撮像した学習用画像データと、該データ入力部によって入力された識別すべき対象物体を撮像したクエリ画像データ、に基づいて対象物体の色を識別する色情報識別装置であって、
画像データに関する分布特性を示すデータを含む分布特性データを蓄積する分布特性管理部と、
前記データ蓄積部に格納された画像データにおける対象物体が共通に有する色で構成された領域である共通色領域と該共通色領域を構成する色を抽出する共通色領域抽出部と、
前記共通色領域抽出部によって抽出された共通色領域を構成する色に基づいて、画像データ中の画素の色を相対値に変換する相対値変換部と、
前記相対値変換部によって変換された相対値に関する分布特性データを求め、前記分布特性管理部を用いて該分布特性データを格納する分布特性抽出部と、
前記学習用画像データに対して前記共通色領域抽出部，相対値変換部，分布特性抽出部を用いて得られた学習用画像の分布特性データにおいて、
前記クエリ画像データに対して前記共通色領域抽出部，相対値変換部，分布特性抽出部を用いて得られたクエリ画像の分布特性データに類似する分布特性を有する前記学習用画像の分布特性データが存在しているか否かを判定する分布特性照合部と、
を備えることを特徴とする色情報識別装置。
【請求項２】
請求項１に記載の色情報識別装置において、
前記データ蓄積部に格納された画像データを構成する画素値に基づいて統計的データを求める統計的情報取得部と、
前記統計的情報取得部によって求められた統計的データに基づいて画像データを正規化し、該正規化されたデータを画像データとして前記データ蓄積部を用いて蓄積する前記正規化部と、
を備えることを特徴とする色情報識別装置。
【請求項３】
請求項１または２に記載の色情報識別装置において、
前記分布特性抽出部が、
前記分布特性データに含まれるデータとして、前記相対値に関する分布特性の形状を表現する分布形状情報を抽出する手段、
を備え、
前記分布特性照合部が、
前記学習用画像の分布特性データに含まれる分布形状情報と前記クエリ画像分布特性データに含まれる分布形状情報に基づく類似度を求め、
その求めた類似度が特定の条件を満たす場合に、該学習用画像の分布特性データとクエリ画像の分布特性データは類似すると見做す手段、
を備える
ことを特徴とする色情報識別装置。
【請求項４】
請求項１または２に記載の色情報識別装置において、
前記分布特性抽出部が、
前記分布特性データに含まれるデータとして、前記相対値に関する分布空間における統計的な特性を示す統計的特性情報を抽出する手段、
を備え、
前記分布特性照合部が、
前記学習用画像の分布特性データに含まれる統計的特性情報と前記クエリ画像分布特性データに含まれる統計的特性情報に基づく類似度を求め、
その求めた類似度が特定の条件を満たす場合に、該学習用画像の分布特性データとクエリ画像の分布特性データは類似すると見做す手段、
を備える
ことを特徴とする色情報識別装置。
【請求項５】
画像データに関する処理を行う際に一時的にデータを蓄積し、該データを入出力するデータ蓄積部と、
対象物体を入力機器を使って撮像した画像データを入力し、前記データ蓄積部に該画像データを格納するデータ入力部と、
画像データに関する分布特性を示すデータを含む分布特性データを蓄積する分布特性管理部と、
を備え、
該データ入力部によって入力された対象物体を撮像した学習用画像データと、該データ入力部によって入力された識別すべき対象物体を撮像したクエリ画像データ、に基づいて対象物体の色を識別する装置に使用する
色情報識別方法であって、
前記データ蓄積部に格納された学習用画像データにおける対象物体が共通に有する色で構成された領域である共通色領域と該共通色領域を構成する色を抽出する第１共通色領域抽出ステップと、
前記第１共通色領域抽出ステップによって抽出された共通色領域を構成する色に基づいて、学習用画像データ中の画素の色を相対値に変換する第１相対値変換ステップと、
前記第１相対値変換ステップによって変換された相対値に関する分布特性データを求め、前記分布特性管理部を用いて該分布特性データを学習用画像データの分布特性データとして格納する第１分布特性抽出ステップと、
前記データ蓄積部に格納されたクエリ画像データにおける対象物体が共通に有する色で構成された領域である共通色領域と該共通色領域を構成する色を抽出する第２共通色領域抽出ステップと、
前記第２共通色領域抽出ステップによって抽出された共通色領域を構成する色に基づいて、クエリ画像データ中の画素の色を相対値に変換する第２相対値変換ステップと、
前記第２相対値変換ステップによって変換された相対値に関する分布特性データを求め、前記分布特性管理部を用いて該分布特性データをクエリ画像の分布特性データとして格納する第２分布特性抽出ステップと、
第１分布特性抽出ステップによって得られた学習用画像の分布特性データにおいて、
第２分布特性抽出ステップによって得られたクエリ画像データの分布特性データに類似する分布特性を有する前記学習用画像の分布特性データが存在しているか否かを判定する分布特性照合ステップと、
を有することを特徴とする色情報識別方法。
【請求項６】
請求項５に記載の色情報識別方法において、
前記第１共通色領域抽出ステップの前に、
前記データ蓄積部に格納された学習用画像データを構成する画素値に基づいて統計的データを求める第１統計的情報取得ステップと、
前記第１統計的情報取得ステップによって求められた統計的データに基づいて画像データを正規化し、該正規化されたデータを学習用画像データとして前記データ蓄積部を用いて蓄積する第１正規化ステップと、
を有し、
前記第２共通色領域抽出ステップの前に、
前記データ蓄積部に格納されたクエリ画像データを構成する画素値に基づいて統計的データを求める第２統計的情報取得ステップと、
前記第２統計的情報取得ステップによって求められた統計的データに基づいて画像データを正規化し、該正規化されたデータをクエリ画像データとして前記データ蓄積部を用いて蓄積する第２正規化ステップと、
を有する
ことを特徴とする色情報識別方法。
【請求項７】
請求項５または６に記載の色情報識別方法において、
前記第１分布特性抽出ステップが、
前記学習用画像データの分布特性データに含まれるデータとして、前記相対値に関する分布特性の形状を表現する分布形状情報を抽出するステップ、
を有し、
前記第２分布特性抽出ステップが、
前記クエリ画像データの分布特性データに含まれるデータとして、前記相対値に関する分布特性の形状を表現する分布形状情報を抽出するステップ、
を有し、
前記分布特性照合ステップが、
前記学習用画像の分布特性データに含まれる分布形状情報と前記クエリ画像の分布特性データに含まれる分布形状情報に基づく類似度を求め、
その求めた類似度が特定の条件を満たす場合に、該学習用画像の分布特性データとクエリ画像の分布特性データは類似すると見做すステップ、
を有する
ことを特徴とする色情報識別方法。
【請求項８】
請求項５または６に記載の色情報識別方法において、
前記第１分布特性抽出ステップが、
前記学習用画像データの分布特性データに含まれるデータとして、前記相対値に関する分布空間における統計的な特性を示す統計的特性情報を抽出するステップ、
を有し、
前記第２分布特性抽出ステップが、
前記クエリ画像データの分布特性データに含まれるデータとして、前記相対値に関する分布空間における統計的な特性を示す統計的特性情報を抽出するステップ、
を有し、
前記分布特性照合ステップが、
前記学習用画像の分布特性データに含まれる統計的特性情報と前記クエリ画像の分布特性データに含まれる統計的特性情報に基づく類似度を求め、
その求めた類似度が特定の条件を満たす場合に、該学習用画像の分布特性データとクエリ画像の分布特性データは類似すると見做すステップ、
を有する
ことを特徴とする色情報識別方法。
【請求項９】
コンピュータを請求項１乃至４のいずれかに記載の色情報識別装置における各部及び各手段として機能させることを特徴とする色情報識別プログラム。
【請求項１０】
請求項９に記載の色情報識別プログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに撮像された物体の色を識別する色識別技術に関するものである。
【背景技術】
【０００２】
従来、画像中の物体認識における色を正確に推定するためには、画像取得時の照明光の色による影響、カメラ等の入力機器の特性およびモニタ等の出力機器の特性による影響を加味して、入力画像を標準環境（例えば、白色光）下での色への変換を行っていた。
【０００３】
照明光の推定技術及び変換技術、入力機器特性及び出力機器特性の推定及び補正技術について以下に説明する。
【０００４】
まず、照明光の推定技術および変換技術について説明する。一般に、物体表面から我々の眼に入る色Ｌ（λ）は、以下の式に示すように、物体の色ρ（λ）と照明光の色Ｅ（λ）の積で表される。
【０００５】
【数１】
2009025867.tif 000003
【０００６】
上記の式は、色の波長λの関数で表現した場合のものであり、画像の情報（画素値等）として扱う場合には、以下の式のようにＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）に置き換えて考える。
【０００７】
【数２】
2009025867.tif 000004
【０００８】
我々が画像として得る情報は、反射光（即ち、ＬR，ＬG，ＬB）の情報であり、これらの情報から、照明光の色ＥR，ＥG，ＥBを推定する技術が照明光推定技術である。そして、照明光の色がＥR’，ＥG’，ＥB’の場合の反射光の色ＬR’，ＬG’，ＬB’を式（２）にしたがって求めることが照明光変換技術である。
【０００９】
以下では、画像から照明光の色を推定する技術（照明光推定技術）について説明する。照明光推定技術は、不良設定問題であり、照明光や物体の色に関する仮説を用いる手法が主流である。その手法としては、例えば、物体の鏡面反射（ハイライト）を用いる方法（例えば、非特許文献１参照）、白色仮説や灰色仮説（例えば、非特許文献２参照）、基底関数を用いる方法（例えば、非特許文献３参照）等が知られている。
【００１０】
鏡面反射を用いる方法は、物体の鏡面反射成分が照明光の色を反映していることを利用して、鏡面反射領域の色を照明光の色として推定する方法である。
【００１１】
白色仮説は、画像中で最も明るい色を白色であると仮定し、明るい領域の色を照明光の色として推定する方法である。また、灰色仮説は、画像中にある複数の物体の色を平均すると灰色になると仮定し、画像全体の色を照明光の色として推定する方法である。
【００１２】
基底関数を用いる方法は、様々な照明光の分光特性および様々な物体の表面反射率を調査し、主成分分析を行うことにより、照明光の分光特性を近似するための基底関数、物体の表面反射率を近似するための基底関数を求め、これら基底関数の係数を照明光や物体の色を表す情報として推定する方法である。
【００１３】
次に、入力機器及び出力機器の特性の推定および補正方法を以下に説明する。なお、以下の説明では、入力機器としてカメラ（即ち、撮影装置もしくは撮像装置）、出力機器としてモニタ（表示装置）の場合を例として挙げるが、他の機器であっても、基本的な手法は同様である。
【００１４】
入力機器（例えば、カメラ系）に入力される情報は、物体から物理的に反射される光の情報であり、通常、Ｘ、Ｙ、Ｚのような三刺激値で表される。一方、カメラ等入力機器を介して得られた画像の情報は、Ｒ，Ｇ，Ｂのように、８ビット（０〜２５５までの値）で表される場合が多い。ＸＹＺ値からＲＧＢ値への変換の方法を求めることが入力機器の特性を求めることになる。
【００１５】
【数３】
2009025867.tif 000005
【００１６】
上記の式のａijは、ＸＹＺ三刺激値をＲＧＢ値に変換するためのマトリクスであり、入力機器の特性を表す。
【００１７】
さらに、カメラ系の場合、入力と出力が非線形的な関係を有する場合が多く、式（３）の結果に対して、式（４）のような変換を行って、Ｒ’Ｇ’Ｂ’値を得る。
【００１８】
【数４】
2009025867.tif 000006
【００１９】
なお、係数γは、非線形性を表す係数であり、ガンマ特性と呼ばれている。
【００２０】
出力機器の場合は、上述の入力機器とは逆の変換を求めることになり、式（３）でのＸＹＺとＲＧＢが逆になり、式（４）のような非線形性の関数の組み合わせで表される。
【００２１】
上述のように、入力機器および出力機器の特性の推定とは、式（３）でのマトリクスの係数と式（４）の係数γを求めることに相当する。
【００２２】
さらに、入力機器や出力機器の特性を補正する際には、逆の変換操作を行えばよい。
なお、上述の説明では、γ係数は、ＲＧＢ毎に同一のものを使っているが、各色成分で異なる係数の場合もある。
【００２３】
上述の照明光推定技術および入力機器特性、出力機器特性の推定技術によって、画像中の物体の色（白色照明光下の物体の色）を推定できる。
【非特許文献１】Ｇ．Ｊ．Ｋｌｉｎｋｅｒ，Ｓ．Ａ．Ｓｈａｆｅｒ，Ｔ．Ｋａｎａｄｅ、“Ｕｓｉｎｇ  ａ  ｃｏｌｏｒ  ｒｅｆｌｅｃｔｉｏｎ  ｍｏｄｅｌ  ｔｏ  ｓｅｐａｒａｔｅ  ｈｉｇｈｌｉｇｈｔｓ  ｆｒｏｍ  ｏｂｊｅｃｔ  ｃｏｌｏｒ”、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｆｉｒｓｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、ＩＥＥＥ、１９８７（昭和６２）、ｐｐ．１４５−１５０。
【非特許文献２】Ｇｅｒｓｈｏｎ  Ｒ、“Ｔｈｅ  Ｃｏｍｐｕｔｅｒ  ｏｆ  ｃｏｌｏｒ  ｃｏｎｓｔａｎｔ  ｄｅｓｃｒｉｐｔｏｒｓ  ｉｎ  ｃｈｒｏｍａｔｉｃ  ｉｍａｇｅｓ”、Ｃｏｌｏｒ  Ｒｅｓｅａｒｃｈ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎ、Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ．Ｉｎｃ、Ｄｅｃｅｍｂｅｒ  １９８９（平成１年１２月）、Ｖｏｌ．１４，Ｎｏ．６、ｐｐ．３２５−３３４。
【非特許文献３】Ｌ．Ｔ．Ｍａｌｏｎｙ，Ｂ．Ａ．Ｗａｎｄｅｌｌ、“Ｃｏｌｏｒ  ｃｏｎｓｔａｎｃｙ：Ａ  ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｃｏｖｅｒｉｎｇ  ｓｕｒｆａｃｅ  ｓｐｅｃｔｒａｌ  ｒｅｆｌｅｃｔａｎｃｅ”、Ｊｏｕｒｎａｌ  ｏｆ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ、ＯＰＴＩＣＡＬ  ＳＯＣＩＥＴＹ  ＯＦ  ＡＭＥＲＩＣＡ、１９８６（昭和６１年）、Ｖｏｌ  ３，Ｎｏ．１，ｐｐ．２９−３３。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら、上述の従来手法には以下のような課題があった。
【００２５】
最近の入力機器には、オートホワイトバランス機能が搭載されており、カメラのファインダ中に含まれるシーン全体の明るさや色の情報に基づいて、自動的に照明光等の影響を補正することができる。このオートホワイトバランス機能が正しく動作すれば、得られる画像は、実際のシーンを目でみた時とほぼ同じになるはずであるが、実際には、正しく動作しているとは言い難い。
【００２６】
例えば、画像全体が一定の色方向に大きくシフトしている場合には、得られる画像はシフト方向の色に偏った画像か、もしくは、逆に、シフト方向とは逆の方向に偏った（逆補正が大きすぎる）画像になる。また、ファインダ中に、１種類の色領域しか存在しない場合には、オートホワイトバランス機能により、どのような色み、明るさのものを撮像しても得られる画像は同じになる。
【００２７】
一方、オートホワイトバランス機能を無効にすることが可能であれば、上述の照明光推定技術と入力機器及び出力機器の特性推定技術によって補正後の画像を得ることが可能であるが、実際には、オートホワイトバランス機能を無効にすること自体が不可能である。
【００２８】
そのため、同一の色を有する物体を、様々な背景での様々な照明光下で、様々な入力機器で撮像すると、毎回、異なった色を有する画像として得られるため、同一の物体であると識別することが難しい。
【００２９】
以上にように、一般に普及している入力系（入力機器）を用いる場合には、オートホワイトバランス機能が搭載されていることによって、画像の色を正しく表現することができない。
【００３０】
本発明は、前記課題に基づいてなされたものであって、物体を撮像した画像データにおける該物体の色を適切に識別する色情報識別装置，色情報識別方法，色情報識別プログラム及びそのプログラムを格納した記録媒体を提供することにある。
【課題を解決するための手段】
【００３１】
前記課題の解決を図るために、請求項１記載の発明は、画像データに関する処理を行う際に一時的にデータを蓄積し、該データを入出力するデータ蓄積部と、対象物体を入力機器を使って撮像した画像データを入力し、前記データ蓄積部に該画像データを格納するデータ入力部と、を備え、該データ入力部によって入力された対象物体を撮像した学習用画像データと、該データ入力部によって入力された識別すべき対象物体を撮像したクエリ画像データ、に基づいて対象物体の色を識別する色情報識別装置であって、画像データに関する分布特性を示すデータを含む分布特性データを蓄積する分布特性管理部と、前記データ蓄積部に格納された画像データにおける対象物体が共通に有する色で構成された領域である共通色領域と該共通色領域を構成する色を抽出する共通色領域抽出部と、前記共通色領域抽出部によって抽出された共通色領域を構成する色に基づいて、画像データ中の画素の色を相対値に変換する相対値変換部と、前記相対値変換部によって変換された相対値に関する分布特性データを求め、前記分布特性管理部を用いて該分布特性データを格納する分布特性抽出部と、前記学習用画像データに対して前記共通色領域抽出部，相対値変換部，分布特性抽出部を用いて得られた学習用画像の分布特性データにおいて、前記クエリ画像データに対して前記共通色領域抽出部，相対値変換部，分布特性抽出部を用いて得られたクエリ画像の分布特性データに類似する分布特性を有する前記学習用画像の分布特性データが存在しているか否かを判定する分布特性照合部と、を備えることを特徴とする。
【００３２】
請求項２記載の発明は、請求項１記載の発明において、前記データ蓄積部に格納された画像データを構成する画素値に基づいて統計的データを求める統計的情報取得部と、前記統計的情報取得部によって求められた統計的データに基づいて画像データを正規化し、該正規化されたデータを画像データとして前記データ蓄積部を用いて蓄積する前記正規化部と、を備えることを特徴とする。
【００３３】
請求項３記載の発明は、請求項１または２に記載の発明において、前記分布特性抽出部が、前記分布特性データに含まれるデータとして、前記相対値に関する分布特性の形状を表現する分布形状情報を抽出する手段、を備え、前記分布特性照合部が、前記学習用画像の分布特性データに含まれる分布形状情報と前記クエリ画像分布特性データに含まれる分布形状情報に基づく類似度を求め、その求めた類似度が特定の条件を満たす場合に、該学習用画像の分布特性データとクエリ画像の分布特性データは類似すると見做す手段、を備えることを特徴とする。
【００３４】
請求項４記載の発明は、請求項１または２に記載の発明において、前記分布特性抽出部が、前記分布特性データに含まれるデータとして、前記相対値に関する分布空間における統計的な特性を示す統計的特性情報を抽出する手段、を備え、前記分布特性照合部が、前記学習用画像の分布特性データに含まれる統計的特性情報と前記クエリ画像分布特性データに含まれる統計的特性情報に基づく類似度を求め、その求めた類似度が特定の条件を満たす場合に、該学習用画像の分布特性データとクエリ画像の分布特性データは類似すると見做す手段、を備えることを特徴とする。
【００３５】
請求項５記載の発明は、画像データに関する処理を行う際に一時的にデータを蓄積し、該データを入出力するデータ蓄積部と、対象物体を入力機器を使って撮像した画像データを入力し、前記データ蓄積部に該画像データを格納するデータ入力部と、画像データに関する分布特性を示すデータを含む分布特性データを蓄積する分布特性管理部と、を備え、該データ入力部によって入力された対象物体を撮像した学習用画像データと、該データ入力部によって入力された識別すべき対象物体を撮像したクエリ画像データ、に基づいて対象物体の色を識別する装置に使用する色情報識別方法であって、前記データ蓄積部に格納された学習用画像データにおける対象物体が共通に有する色で構成された領域である共通色領域と該共通色領域を構成する色を抽出する第１共通色領域抽出ステップと、前記第１共通色領域抽出ステップによって抽出された共通色領域を構成する色に基づいて、学習用画像データ中の画素の色を相対値に変換する第１相対値変換ステップと、前記第１相対値変換ステップによって変換された相対値に関する分布特性データを求め、前記分布特性管理部を用いて該分布特性データを学習用画像データの分布特性データとして格納する第１分布特性抽出ステップと、前記データ蓄積部に格納されたクエリ画像データにおける対象物体が共通に有する色で構成された領域である共通色領域と該共通色領域を構成する色を抽出する第２共通色領域抽出ステップと、前記第２共通色領域抽出ステップによって抽出された共通色領域を構成する色に基づいて、クエリ画像データ中の画素の色を相対値に変換する第２相対値変換ステップと、前記第２相対値変換ステップによって変換された相対値に関する分布特性データを求め、前記分布特性管理部を用いて該分布特性データをクエリ画像の分布特性データとして格納する第２分布特性抽出ステップと、第１分布特性抽出ステップによって得られた学習用画像の分布特性データにおいて、第２分布特性抽出ステップによって得られたクエリ画像データの分布特性データに類似する分布特性を有する前記学習用画像の分布特性データが存在しているか否かを判定する分布特性照合ステップと、を有することを特徴とする。
【００３６】
請求項６記載の発明は、請求項５記載の発明において、前記第１共通色領域抽出ステップの前に、前記データ蓄積部に格納された学習用画像データを構成する画素値に基づいて統計的データを求める第１統計的情報取得ステップと、前記第１統計的情報取得ステップによって求められた統計的データに基づいて画像データを正規化し、該正規化されたデータを学習用画像データとして前記データ蓄積部を用いて蓄積する第１正規化ステップと、を有し、前記第２共通色領域抽出ステップの前に、前記データ蓄積部に格納されたクエリ画像データを構成する画素値に基づいて統計的データを求める第２統計的情報取得ステップと、前記第２統計的情報取得ステップによって求められた統計的データに基づいて画像データを正規化し、該正規化されたデータをクエリ画像データとして前記データ蓄積部を用いて蓄積する第２正規化ステップと、を有することを特徴とする。
【００３７】
請求項７記載の発明は、請求項５または６に記載の発明において、前記第１分布特性抽出ステップが、前記学習用画像データの分布特性データに含まれるデータとして、前記相対値に関する分布特性の形状を表現する分布形状情報を抽出するステップ、を有し、前記第２分布特性抽出ステップが、前記クエリ画像データの分布特性データに含まれるデータとして、前記相対値に関する分布特性の形状を表現する分布形状情報を抽出するステップ、を有し、前記分布特性照合ステップが、前記学習用画像の分布特性データに含まれる分布形状情報と前記クエリ画像の分布特性データに含まれる分布形状情報に基づく類似度を求め、その求めた類似度が特定の条件を満たす場合に、該学習用画像の分布特性データとクエリ画像の分布特性データは類似すると見做すステップ、を有することを特徴とする。
【００３８】
請求項８記載の発明は、請求項５または６に記載の発明において、前記第１分布特性抽出ステップが、前記学習用画像データの分布特性データに含まれるデータとして、前記相対値に関する分布空間における統計的な特性を示す統計的特性情報を抽出するステップ、を有し、前記第２分布特性抽出ステップが、前記クエリ画像データの分布特性データに含まれるデータとして、前記相対値に関する分布空間における統計的な特性を示す統計的特性情報を抽出するステップ、を有し、前記分布特性照合ステップが、前記学習用画像の分布特性データに含まれる統計的特性情報と前記クエリ画像の分布特性データに含まれる統計的特性情報に基づく類似度を求め、その求めた類似度が特定の条件を満たす場合に、該学習用画像の分布特性データとクエリ画像の分布特性データは類似すると見做すステップ、を有することを特徴とする。
【００３９】
請求項９記載の発明は、色情報識別プログラムであって、コンピュータを請求項１乃至４のいずれかに記載の色情報識別装置における各部及び各手段として機能させることを特徴とする。
【００４０】
請求項１０記載の発明は、記録媒体であって、請求項９に記載の色情報識別プログラムを記録したことを特徴とする。
【００４１】
前記請求項１，５に記載の発明は、共通色領域を構成する色に基づく相対値を取得し、さらに、該相対値に基づく分布特性データを取得できる。
【００４２】
前記請求項２，６に記載の発明は、画像間の偏りを小さくできる。
【００４３】
前記請求項３，７に記載の発明は、画像データに応じた分布形状情報を取得できる。
【００４４】
前記請求項４，８に記載の発明は、画像データに応じた統計的特性情報を取得できる。
【００４５】
前記請求項９に記載の発明は、請求項１乃至４のいずれかに記載の色情報識別装置をコンピュータプログラムとして記載できる。
【００４６】
前記請求項１０に記載の発明は、請求項９に記載の色情報識別プログラムを記録媒体に記録できる。
【発明の効果】
【００４７】
以上示したように請求項１，５の発明によれば、相対値に基づく分布特性データによって、物体の色の違いを相対的に識別できる。即ち、画像データにおけるホワイトバランス、照明環境、対象物体の背景に依存せずに、対象物体の色を識別できる。
【００４８】
請求項２，６の発明によれば、照明光や入力機器による画像データの極端な色変化に伴う影響（誤識別）を軽減できる。
【００４９】
請求項３，７の発明によれば、分布形状情報に基づいて、クエリ画像の分布特性データに類似する分布特性を有する前記学習用画像の分布特性データが存在しているか否かを判定できる。
【００５０】
請求項４，８の発明によれば、統計的特性情報に基づいて、クエリ画像の分布特性データに類似する分布特性を有する前記学習用画像の分布特性データが存在しているか否かを判定できる。
【００５１】
請求項９の発明によれば、色情報識別装置としてコンピュータを動作させるコンピュータプログラムを提供できる。
【００５２】
請求項１０の発明によれば、色情報識別装置としてコンピュータを動作させるコンピュータプログラムを記録した記録媒体を提供できる。
【００５３】
これらを以って画像認識技術分野に貢献できる。
【発明を実施するための最良の形態】
【００５４】
以下、本発明の実施形態における色情報識別装置を図面等に基づいて詳細に説明する。なお、図面において、本実施形態で同一機能を有するものには同一符号を付し、その繰り返しの説明は省略する。また、以下の説明では、対象を画像として説明するが、対象を映像としても、同様である。
【００５５】
本実施形態における色情報識別装置の構成を図１に基づいて説明する。図１中の色情報識別装置は、画素データ（画素値）から構成された画像データを入力するデータ入力部１０２，入力された画像データを蓄積するデータ蓄積部１０３，入力された画像データにおける対象物体が共通に有する色で構成された領域（以後、共通色領域という）を抽出する共通色領域抽出部１０４，画像データ中の画素の各色に対する共通色領域の色に関する相対値を求める相対値変換部１０５，前記相対値に基づいて分布特性を求める分布特性抽出部１０６，求められた分布特性を格納し管理する分布特性ＤＢ（ＤａｔａＢａｓｅ）１０７，識別すべき対象物体を撮像した画像であって問い合わせ画像であるクエリ画像の分布特性が学習用画像の分布特性に類似するか否かを判定する分布特性照合部１０８，前記判定の結果を出力する結果出力部１０９を備え、識別すべき対象物体を含む被写体１０１を撮像した画像データを入力とする。
【００５６】
なお、前記色情報識別装置における各部は、該色情報識別装置に備えられたＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）などによって制御されて良い。
【００５７】
また、前記色情報識別装置は、各部で使用される情報やデータを格納し管理する記憶部（図示省略；例えば、メモリやハードディスク装置）を備える。データ蓄積部１０３，分布特性ＤＢ１０７は、画像やデータ等を格納する前記記憶部を含む。前記色情報識別装置は、分布特性管理部（図示省略）を備え、分布特性ＤＢ１０７は該分布特性管理部によって管理される。
【００５８】
本実施形態における色情報識別装置を構成する各部の動作を図２に示すフローチャートに基づいて説明する。
【００５９】
本実施形態における色情報識別装置の動作は、分布特性ＤＢを作成する段階（図２（Ａ）中のフローチャート）、クエリ画像に含まれる対象物体と同じ色を有する対象物体を撮像した学習用画像を分布特性ＤＢから探索する段階（図２（Ｂ）中のフローチャート）の二段階から構成される。
【００６０】
まず、図２（Ａ）に基づいて分布特性ＤＢを作成する段階について以下に説明する。
【００６１】
対象物体を含む被写体１０１を入力機器を使って撮像した画像データ（学習用画像）を、データ入力部１０２によって入力し、データ蓄積部１０３に格納する（Ｓ１０１）。なお、データ入力部１０２は、例えば、デジタルカメラやスキャナ、携帯電話に付属のカメラ等の入力機器を含んでよい。データ蓄積部１０３は、データ入力部１０１から入力された画像や分布特性ＤＢを作成する段階で一時的に得られた画像やデータ等を格納する。
【００６２】
次に、共通色領域抽出部１０４が、データ蓄積部１０３に格納された学習用画像に対して、該学習用画像中の対象物体の共通色領域と該共通色領域を構成する色を求め抽出し、データ蓄積部１０３に格納する（Ｓ１０２）。
【００６３】
なお、本実施形態では、物体（対象物体）表面における色や明るさ等のデザインのみが異なる同一形状の物体の識別を目的としており、通常、色違いの同一物体の場合、図３に示すように、共通色領域を有することが多いことを利用する。
【００６４】
図３は同一形状で色違いのカップｃ１〜ｃ３（対象物体）を撮像した画像（学習用画像）であり、カップｃ１〜ｃ３の蓋の一部とカップの上部は、共通色領域（例えば、図３中の領域Ａ）である。このように、対象物体に関して共通色領域を抽出し、その色を求める（例えば、共通色領域を１つ求める）。なお、ここでいう色とは、ＲＧＢ値等、色を表現する値のことである。ただし、色を表現する値であれば、どのような色空間上の値であってもよく、例えば、ＸＹＺ値、Ｌ*ａ*ｂ*やＬ*ｕ*ｖ*等の色空間でも良い。
【００６５】
また、前記色領域を抽出する方法は、マウス等のポインティングデバイスで該当領域を含む点を指定して同色と判定される領域を抽出する方法、マウス等のポインティングデバイスで該当領域を矩形で選択する方法もある。また、画素値の分布から自動的に共通色領域を抽出する方法もあり、どのような方法であっても構わない。また、画像上で複数の共通色領域候補を指定し、その複数の共通色領域候補を１つに統合した領域を共通色領域と見做しても良い。例えば、その複数の共通色領域候補の画素値を平均値を算出し、その平均値で構成された領域を共通色領域と見做しても良い。
【００６６】
次に、相対値変換部１０５では、共通色領域抽出部１０４で得られた共通色領域を構成する色（以下、単に共通色領域の色という）に基づいて、学習用画像中に含まれる全ての画素の各色に対する該共通色領域の色に関する相対値を求め、該相対値をデータ蓄積部１０３に格納する（Ｓ１０３）。即ち、共通色領域の色に基づいて、学習用画像中の画素の色（画素値）を相対値に変換する。その相対値の計算は以下の式のように求める。
【００６７】
【数５】
2009025867.tif 000007
【００６８】
ここで、Ｒ0，Ｇ0，Ｂ0は共通色領域の色であり、Ｒ，Ｇ，Ｂは学習用画像の各画素値、Ｒ’，Ｇ’，Ｂ’は各画素に対する相対値である。入力画像の各画素について上述の相対値を求める操作を実施し、データ蓄積部１０３に転送する。
【００６９】
そして、分布特性抽出部１０６は、相対値変換部１０５による結果（相対値）をデータ蓄積部１０３から取り出し、相対値の情報を色空間にマッピングした際の分布特性データ（単に、分布特性ともいう）を求める。最終的に、分布特性抽出部１０６で得られた結果（分布特性管理データ；例えば、画像（学習用画像）を識別する画像識別子，分布特性データ（例えば、分布形状の方向を表すベクトル群，ヒストグラムを構成する値群）を含むデータ）を分布特性ＤＢ１０７に格納する（Ｓ１０４）。なお、前記分布特性管理データには、相対値群を含んでも良い。
【００７０】
ここで、前記分布特性の求め方を以下に説明する。図４は、学習用画像の各画素における共通色領域に対する相対値をＲＧＢ空間にマッピングしたもの（図４中の符号Ｌで示すもの）であり、ＲＧＢ空間上で、複数のクラスタやシリンダを形成している。そこで、分布特性を求める方法としては、例えば、ＲＧＢ三次元空間，ＲＧ（Ｒｅｄ  Ｇｒｅｅｎ）空間，ＧＢ（Ｇｒｅｅｎ  Ｂｌｕｅ）空間，ＲＢ（Ｒｅｄ  Ｂｌｕｅ）空間のような二次元空間上で分布特性の形状（主成分）を求める方法や、それらの空間を複数のブロックに分割し、各ブロックに含まれる点の数（ヒストグラム）を求める方法等を採用する。
【００７１】
図５は、３次元空間で分布特性の形状を表現する分布形状情報（主成分；分布形状ともいう）を求める様子を示した図である。さらに、図５中の矢印が分布形状情報であって、分布形状の方向を表すベクトルｄ１，ｄ２である。
【００７２】
また、図６は、統計的特性情報であって、色空間内の相対値をＲ（Ｒｅｄ）成分のみに着目し表現したヒストグラムＨである。なお、図６では、横軸がＲ成分の相対値、縦軸がＲ成分の相対値の度数（同一の相対値を有するＲ成分の画素数）、を示す。しかし、色空間内の相対値の表現は、ＲＧのような二成分に関する頻度でも構わないし、三次元空間をボクセルに分割してボクセル内に含まれる画素の数をヒストグラムとして表現しても構わない。さらには、頻度ではなく、１区間毎の１ボクセルに含まれる画素の数が一定数より多い場合に１、それ以外は０というように二値で表現しても構わない。
【００７３】
上述のように、分布特性ＤＢを作成するまでの流れと処理内容を説明した。次に、複数の色をもつ物体の画像の分布特性ＤＢが既に格納されているという前提で、クエリ画像が分布特性ＤＢに格納されている情報と照合し、どのような色を有する物体であるかを識別する流れおよび処理内容について図２（Ｂ）に基づいて以下に説明する。
【００７４】
なお、対象物体を含む被写体１０１を撮像した画像データ（クエリ画像）の入力処理から分布特性抽出部１０６が行う抽出処理（図２（Ｂ）中のステップＳ１０１〜Ｓ１０４）までは、入力画像がクエリ画像であること以外は図２（Ａ）中のステップＳ１０１〜Ｓ１０４と同一処理であるため説明を省略する。そして、分布特性ＤＢ１０７には、クエリ画像の分布特性に関するデータ（分布特性管理データであって、例えば、画像（クエリ画像）を識別する画像識別子，分布特性データ（例えば、分布形状の方向を表すベクトル群，ヒストグラムを構成する値群）を含むデータ）も格納されているものとする。なお、前記分布特性管理データは、相対値群を含んでも良い。以下では、分布特性照合部１０８で行う処理（Ｓ１０５）以降の処理について説明する。
【００７５】
分布特性照合部１０８は、クエリ画像の分布特性データに類似する（近い）分布特性が分布特性ＤＢにおける学習用画像の分布特性データに存在しているか否かを判定し、存在していた場合、その類似する学習用画像の分布特性データを判定結果とする（Ｓ１０５）。得られた判定結果は結果出力部１０９に転送される。
【００７６】
より具体的には、分布特性照合部１０８では、学習用画像の分布特性データとクエリ画像の分布特性データに基づく類似度を求め、その類似度が、特定の条件（例えば、ある閾値以上であり、かつ、最も類似度の高い）を満たす学習用画像を類似すると見做し（学習用画像の識別子を）抽出する。なお、以下では、分布特性を分布形状情報（例えば、主成分の方向）で表現した場合の類似度の求め方，統計的特性情報（例えば、ヒストグラム）で表現した場合の類似度の求め方を説明する。
【００７７】
分布特性を主成分の方向で表す場合の類似度（主成分の方向に基づく類似度）は、図７のように、クエリ画像の主成分を表すベクトルａ、分布特性ＤＢに格納されている（学習用画像の）主成分を表すベクトルｂとして、これら２ベクトルのなす角度θの大きさを類似度と見做す。
【００７８】
例えば、以下の式に示すようにｃｏｓθを求め、ｃｏｓθが閾値ｔｈ1より大きい（ｃｏｓθ＞ｔｈ1）の場合、類似度が高い（類似する）と判定する。なお、ここでｔｈ1は特定の閾値であって、事前に行う実験等に基づいて定める値である。
【００７９】
【数６】
2009025867.tif 000008
【００８０】
また、分布特性がヒストグラムで表現されている（即ち、分布空間における統計的な特性を示す統計的特性情報で示されている）場合の類似度（ヒストグラムに基づく類似度）を求める方法を図８に基づいて説明する。なお、図８（Ａ）はクエリ画像から得られた分布特性を表すヒストグラムＨ１、図８（Ｂ）は分布特性ＤＢに格納されている（学習用画像から得られた分布特性を表す）ヒストグラムＨ２である。
【００８１】
ヒストグラムのビン毎に頻度の小さい方の度数を加えた数値を類似度と見做し、該類似度によって類似するか否かを判定する。例えば、該類似度が特定の閾値よりも大きい場合に該類似度が高い（類似する）と判定する。図８（Ｃ）は、ヒストグラムＨ１とヒストグラムＨ２のビン毎に小さい方を取り出してヒストグラムＨ３として並べたものである。ヒストグラムＨ３における類似度は、度数の総和である。その総和がｔｈ2より大きい（総和＞ｔｈ2）場合、類似度が高い（類似する）と判定する。なお、ここでｔｈ2は特定の閾値であって、事前に行う実験等に基づいて定める値である。また、ヒストグラムの比較を行うにあたっては、双方の度数の総和を事前にそろえておくものとする。
【００８２】
そして、結果出力部１０９は、分布特性照合部１０８での結果に基づいて、類似度が閾値以上の学習用画像があった場合に、その中で最も類似度の高い学習用画像に撮像された対象物体を該当の色情報を有する対象物体と見做し、その学習用画像をモニタ等の出力機器を介して出力する（Ｓ１０６）。また、入力画像の分布特性と分布特性ＤＢに格納されている分布特性との類似度の中で閾値を越えるものが１つも存在しなかった場合には、該当なしの旨をモニタ等の出力機器を介して表示する。
【００８３】
本実施形態の実施例における色情報識別装置を図９に基づいて説明する。図９中の色情報識別装置は、図１中の色情報識別装置の構成に対して、入力画像に関する統計的データを求める統計的情報取得部１１０、求められた統計的情報に基づいて入力画像を正規化する正規化部１１１を加えたものになっている。
【００８４】
本実施例における色情報識別装置を構成する各部の動作を、図１中の色情報識別装置との差分を中心に、図１０に示すフローチャートに基づいて説明する。
【００８５】
本実施例における色情報識別装置の動作は、上述の実施形態のように、分布特性ＤＢを作成する段階（図１０（Ａ）中のフローチャート）と、クエリ画像の対象物体と同じ色を有する対象物体の学習用画像を分布特性ＤＢから探索する段階（図１０（Ｂ）中のフローチャート）の二段階から構成され、さらに、各々の段階における共通色領域抽出部１０４による処理の前に、統計的情報取得部１１０および正規化部１１１によって処理（図１０中の破線で囲まれたステップＳ１０７，Ｓ１０８）を実施し、画像間の偏りを小さくする処理を行う。この処理は、照明光や入力機器による極端な色変化による影響（誤識別）を軽減できる。
【００８６】
統計的情報取得部１１０は、データ蓄積部１０３に格納されている入力画像（学習用画像もしくはクエリ画像）に関する統計的データ（例えば、ＲＧＢ情報の分布）を求める（Ｓ１０７）。
【００８７】
図１１（Ａ）は、入力画像の統計的データとしてＲ成分の画素値に対するヒストグラムＨ４である。実際には、ＧＢ成分についても同様にヒストグラムを求め、結果をデータ蓄積部１０３に転送する。なお、前記統計的情報は、ヒストグラムの他に、平均や分散等の情報を求めても構わない。
【００８８】
次に、正規化部１１１は、前記統計的情報取得部１１０での結果をデータ蓄積部１０３から入手し、入力画像の画素値に対して正規化処理を行う（Ｓ１０８）。図１１（Ｂ）に基づいて正規化処理の概念を説明する。図１１（Ｂ）は、図１１（Ａ）に示すヒストグラムＨ４に対して、画素値２５５の手前の小さい山を、左側の大きな山に統合し、画素値範囲２０〜２５５から画素値範囲０〜２５５にしてヒストグラムＨ５を作成した。より具体的には、画素値範囲２４０〜２５５までは画素値２５５に集約し、画素値範囲２０〜２４０を画素値範囲０〜２５５に変換する。
【００８９】
前記正規化部１１１における処理結果は、新たな画像データとして、再度、データ蓄積部１０３に転送され、その後、共通色領域抽出部１０４での処理が開始される。それ以降の処理は、本実施形態と同様であるため、説明を省略する。
【００９０】
なお、本実施形態及び実施例の色情報識別装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態及び実施例の色情報識別装置に関する方法（手順）をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体（記憶媒体）、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００９１】
さらに、上述の本実施形態及び実施例の色情報識別装置に関する方法を記述したコンピュータプログラムを、その方法に必要とされる入出力データを格納したメモリや外部記憶部等にアクセスするように実装してもよい。
【００９２】
以上のように、本実施形態及び実施例では、カメラ等の入力機器がオートホワイトバランス機能をもって、自動的に画像の色を調整した場合であっても、入力機器、照明環境、撮影時の対象物体の背景に依存せずに、物体の色を識別し、対象物体の色を認識（識別）できる。
【００９３】
以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
【００９４】
例えば、本実施形態の変形例として、データ蓄積部と分布特性ＤＢを１つのデータベースに統合する構成としても良い。
【図面の簡単な説明】
【００９５】
【図１】本実施形態における色情報識別装置の構成図。
【図２】本実施形態における色情報識別装置を構成する各部の動作を示すものであって、（Ａ）は分布特性ＤＢを作成する段階を示すフローチャート、（Ｂ）はクエリ画像の対象物体と同じ色を有する対象物体の学習用画像を分布特性ＤＢから探索する段階を示すフローチャート。
【図３】共通色領域の概念を示す図。
【図４】相対値の分布の状況を示す図。
【図５】相対値の分布から分布特性の形状として主成分を求める様子を示した図。
【図６】相対値の分布からヒストグラムを求める様子を示した図。
【図７】分布特性の形状を主成分の方向で表現した場合の類似度を求める様子を示した図。
【図８】分布特性をヒストグラムで表現した場合の類似度を求める様子を示したものであって、（Ａ）はクエリ画像から得られた分布特性を表すヒストグラム、（Ｂ）は分布特性ＤＢに格納されているヒストグラム、（Ｃ）は図８（Ａ）のヒストグラムと図８（Ｂ）のヒストグラムに基づくヒストグラム。
【図９】本実施例における色情報識別装置の構成図。
【図１０】本実施例における色情報識別装置を構成する各部の動作を示すものであって、（Ａ）は分布特性ＤＢを作成する段階を示すフローチャート、（Ｂ）はクエリ画像の対象物体と同じ色を有する対象物体の学習用画像を分布特性ＤＢから探索する段階を示すフローチャート。
【図１１】入力画像に対する統計的処理及び正規化処理を示すものであって、（Ａ）は入力画像の統計的情報を示す図、（Ｂ）は正規化処理の概要を示す図。
【符号の説明】
【００９６】
１０１…被写体
１０２…データ入力部
１０３…データ蓄積部
１０４…共通色領域抽出部
１０５…相対値変換部
１０６…分布特性抽出部
１０７…分布特性ＤＢ
１０８…分布特性照合部
１０９…結果出力部
１１０…統計的情報取得部
１１１…正規化部
Ａ…共通色領域
Ｈ，Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５…ヒストグラム
Ｌ…ＲＧＢ空間における相対値群
ａ…クエリ画像の主成分を表すベクトル
ｂ…分布特性ＤＢに格納されている主成分を表すベクトル
ｃ１〜ｃ３…カップ
ｄ１，ｄ２…分布形状の方向を表すベクトル
θ…ベクトルａとベクトルｂの成す角度
【図１】
2009025867.tif 000009
【図２】
2009025867.tif 000010
【図３】
2009025867.tif 000011
【図４】
2009025867.tif 000012
【図５】
2009025867.tif 000013
【図６】
2009025867.tif 000014
【図７】
2009025867.tif 000015
【図８】
2009025867.tif 000016
【図９】
2009025867.tif 000017
【図１０】
2009025867.tif 000018
【図１１】
2009025867.tif 000019