(57)【要約】【課題】有色物体を撮像した画像・映像データから該物体の色を標準照明（白色光）下の色と同定することのできる有色物体同定装置を提供する。【解決手段】画像もしくは映像の情報を蓄積するデータ蓄積部１０３と、画像もしくは映像から同定対象の色領域を指定する対象色領域指定部１０４と、画像もしくは映像から前記対象色領域指定部１０４で指定された領域とは異なる色領域を指定する比較色領域指定部１０５と、前記対象色領域指定１０４によって得られた色領域と前記比較色領域指定部１０５によって得られた色領域の情報を用いて特徴量を抽出する色特徴抽出部１０６と、前記色特徴抽出部１０６で得られた色特徴を色特徴データベース１０８に蓄積する色特徴蓄積部１０７と、前記色特徴データベース１０８に蓄積された色特徴と、入力された画像もしくは映像から得られた色特徴の距離を求める色特徴照合部１０９とを備える。【選択図】図１
2010128540.tif 000002
【特許請求の範囲】
【請求項１】
画像もしくは映像中の物体の色を他の環境で取得された画像もしくは映像中の物体の色と同定する有色物体同定装置であって、
画像もしくは映像の情報を蓄積するデータ蓄積手段と、
画像もしくは映像から同定対象の色領域を指定する対象色領域指定手段と、
画像もしくは映像から前記対象色領域指定手段で指定された領域とは異なる色領域を指定する比較色領域指定手段と、
前記対象色領域指定手段によって得られた色領域と前記比較色領域指定手段によって得られた色領域の情報を用いて特徴量を抽出する色特徴抽出手段と、
前記色特徴抽出手段で得られた色特徴を色特徴データベースに蓄積する色特徴蓄積手段と、
前記色特徴データベースに蓄積された色特徴と、入力された画像もしくは映像から得られた色特徴の距離を求める色特徴照合手段と、
を備えたことを特徴とする有色物体同定装置。
【請求項２】
請求項１に記載の有色物体同定装置において、
前記比較色領域指定手段により指定された比較色領域の候補の中から平均画素値が低彩度領域か否かの判定を行う低彩度判定手段を備え、
前記比較色領域指定手段は、前記低彩度判定手段によって低彩度と判定された領域がある場合は、その領域を比較色領域として抽出することを特徴とする有色物体同定装置。
【請求項３】
画像もしくは映像に係る処理を行う際に一時的にデータを蓄積し、該データを入出力するデータ蓄積手段と、対象物体を入力機器を使って撮像した画像もしくは映像データを入力し、前記データ蓄積手段に該画像もしくは映像データを格納するデータ入力手段とを備え、該データ入力手段によって入力された標準照明光下での対象の有色物体を撮像した学習用画像・映像データと前記データ入力手段によって入力された同定対象の有色物体を撮像したクエリ画像・映像データに基づいて対象物体の色を同定する装置における有色物体同定方法であって、
対象色領域指定手段が、前記データ蓄積手段に格納された学習用画像・映像データにおける対象物体を他の同形状物体との識別が可能な色領域を指定する第１の対象色領域指定ステップと、
比較色領域指定手段が、前記データ蓄積手段に格納された学習用画像・映像データから前記第１の色領域指定ステップで指定された領域とは異なる色領域を指定する第１の比較色領域指定ステップと、
色特徴抽出手段が、前記第１の対象色領域指定ステップによって得られた色領域と前記第１の比較色領域指定ステップによって得られた色領域の情報を用いて特徴量を抽出する第１の色特徴抽出ステップと、
色特徴蓄積手段が、前記第１の色特徴抽出ステップで得られた色特徴を色特徴データベースに格納する色特徴格納ステップと、
対象色領域指定手段が、前記データ蓄積手段に格納されたクエリ用画像・映像データにおける対象物体を他の同形状物体との識別が可能な色領域を指定する第２の対象色領域指定ステップと、
比較色領域指定手段が、前記データ蓄積手段に格納されたクエリ用画像・映像データから前記第２の色領域指定ステップで指定された領域とは異なる色領域を指定する第２の比較色領域指定ステップと、
色特徴抽出手段が、前記第２の対象色領域指定ステップによって得られた色領域と前記第２の比較色領域指定ステップによって得られた色領域の情報を用いて特徴量を抽出する第２の色特徴抽出ステップと、
色特徴照合手段が、前記第１の色特徴抽出ステップによって得られた学習用画像・映像データの色特徴と、前記第２の色特徴抽出ステップによって得られたクエリ用画像・映像データの色特徴の距離を求めることによって、クエリ画像の色特徴と類似する特徴量を有する前記学習用画像・映像データが存在しているか否かを判定する色特徴照合ステップと、
を備えたことを特徴とする有色物体同定方法。
【請求項４】
請求項３に記載の有色物体同定方法において、
低彩度判定手段が、前記第１の比較色領域指定ステップにより指定された比較色領域の候補の中から平均画素値が低彩度領域か否かの判定を行う第１の低彩度判定ステップと、
低彩度判定手段が、前記第２の比較色領域指定ステップにより指定された比較色領域の候補の中から平均画素値が低彩度領域か否かの判定を行う第２の低彩度判定ステップとをさらに備え、
前記第１の比較色領域指定ステップは、前記第１の低彩度判定ステップにより低彩度と判定された領域がある場合は、その領域を比較色領域として抽出し、
前記第２の比較色領域指定ステップは、前記第２の低彩度判定ステップにより低彩度と判定された領域がある場合は、その領域を比較色領域として抽出する、
ことを特徴とする有色物体同定方法。
【請求項５】
コンピュータを請求項１又は２に記載の各手段として機能させる有色物体同定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像・映像データとして撮像された物体の色を同定するための色同定技術に関するものであり、店頭での商品の色を標準照明光下での色として確認したり、また、複数のデバイス間（モニタ間）での同一物体や同一人物の服装を照合する際に利用できる有色物体同定装置、方法、プログラムに関する。
【背景技術】
【０００２】
従来、画像・映像中の物体認識技術において色を正確に推定するためには、画像・映像取得時の照明条件の影響、カメラ等の入力機器の特性やモニタ等の出力機器の特性による影響を加味して、入力画像・映像を標準照明光（例えば白色光）下での色に変換をしていた。以下に従来の照明光色の推定・変換技術、入力・出力機器特性の推定・補正技術を説明する。
【０００３】
まず、照明光の推定技術と変換技術について説明する。一般に、物体表面から我々の眼に入る色光の分光分布Ｌ（λ）は、式（１）に示すように物体の色の分光反射率ρ（λ）と照明光の分光分布Ｅ（λ）の積で表現される。なお、λは波長を表す。
【０００４】
Ｌ（λ）＝Ｅ（λ）×ρ（λ）・・・（１）
しかしながら、我々が通常入手できる情報は画素値からなる画像・映像のデータであるので、式（１）を以下の式（２）のように変形して扱う。
【０００５】
ＬR＝ＥR×ρR
ＬG＝ＥG×ρG・・・・・・・・・・（２）
ＬB＝ＥB×ρB
式（２）において、ＬR、ＬG、ＬBは物体からの反射光、即ち、画像・映像の画素値のＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）成分であり、ＥR、ＥG、ＥBは照明光の色、ρR、ρG、ρBは物体の色のそれぞれＲＧＢの色成分を表す。式（２）のように色を表す場合、画像・映像から照明光の色を推定することは、画素値（ＬR、ＬG、ＬB）から（ＥR、ＥG、ＥB）を推定することであり、照明光変換技術とは、別な照明光（ＥR´、ＥG´、ＥB´）下での画素値を求めることであり、式（２）において、両辺に、ＥR´／ＥR、ＥG´／ＥG、ＥB´／ＥBをかけることに相当する。標準照明光（白色光）下での画像に変換することは、即ち、画像中の物体の色を求めることと同値である。
【０００６】
以下、照明光推定技術の従来手法について説明する。式（２）に示すように、画像・映像の情報から照明光の色を推定することは不良設定問題であるため、解を得るためには、照明光や物体の色に関する仮説を用いて解く手法が主流である。例えば、鏡面反射（ハイライト）成分を用いる技術（非特許文献１参照）、白色仮説や灰色仮説を用いる技術（非特許文献２参照）、基底関数を用いる技術（非特許文献３参照）が知られている。
【０００７】
前記鏡面反射成分を用いる手法では、誘縁体のような物体が画像中にあることを前提に、その物体表面からの鏡面反射成分が照明光の色を表すことを利用する。前記白色仮説は、画像中で最も明るい色を白色であると仮定し、明るい領域の色を照明光の色として推定する方法であり、前記灰色仮説は、画像中にある複数の物体の色を平均すると灰色になると仮定し、画像全体の色を照明光の色として推定する方法である。また、前記基底関数を用いる手法では、様々な照明光の分光特性および物体の表面反射率を調査し主成分分析を行うことにより照明光の分光特性を近似するための基底関数、物体の表面反射率を近似するための基底関数を求め、これら基底関数の係数を照明光・物体の色を表す情報として推定する方法である。
【０００８】
次に、入力・出力機器の特性の推定および補正方法について説明する。なお、以下の例では入力機器をカメラ、出力機器をＣＲＴモニタとした場合について説明するが、他の機器の場合であっても原理は同様である。まず、入力機器の特性は、入力である光（＝反射光）の色と、入力機器を介して得られる画素値との関係を求めることになる。ここで画素値をＲ、Ｇ、Ｂとし、反射光の色をＸ，Ｙ，Ｚ（ＣＩＥ三刺激値）とすると、式（３）のように表される。式（３）における行列Ａの成分ａij（１≦ｉ，ｊ≦３）を求めることが入力機器の特性を求めることになる。
【０００９】
【数１】
2010128540.tif 000003
【００１０】
特に、カメラの場合、入力と出力が非線形的な関係になっている場合が多く（γ特性）、式（３）の結果を以下のように変換できる。
【００１１】
Ｒ´＝２５５×（Ｒ／２５５）γr
Ｇ´＝２５５×（Ｇ／２５５）γg・・・・・・・（４）
Ｂ´＝２５５×（Ｂ／２５５）γb
式（３）と式（４）の組み合わせにより、カメラへの入力光（ＸＹＺ三刺激値等）と、入力後に得られる画素値（ＲＧＢ値）の関係を得ることができ、これを入力機器の特性と言う。通常、カメラへの入力データとして、色票からの反射光を用いる場合もある。
【００１２】
出力機器の特性についても同様に、入力値である画素値と、出力値である光の三刺激値の関係式（式（３））およびγ特性をあらわす式（４）の逆変換により得ることができる。
【００１３】
以上のように、照明光の推定と入力・出力機器の特性の推定によって、画像・映像を所定の標準光下での画像・映像に変換することが可能となる。
【非特許文献１】Ｇ．Ｊ．Ｋｌｉｎｋｅｒ，Ｓ．Ａ．Ｓｈａｆｅｒ，Ｔ．Ｋａｎａｄｅ，“Ｕｓｉｎｇ  ａ  ｃｏｌｏｒ  ｒｅｆｌｅｃｔｉｏｎ  ｍｏｄｅｌ  ｔｏ  ｓｅｐａｒａｔｅ  ｈｉｇｈｌｉｇｈｔｓ  ｆｒｏｍ  ｏｂｊｅｃｔ  ｃｏｌｏｒ”、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｆｉｒｓｔ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ）、ＩＥＥＥ  １９８７，ｐｐ．１４５−１５０
【非特許文献２】Ｇｅｒｓｈｏｎ  Ｒ，“Ｔｈｅ  Ｃｏｍｐｕｔａｔｉｏｎ  ｏｆ  ｃｏｌｏｒ  ｃｏｎｓｔａｎｔ  ｄｅｓｃｒｉｐｔｏｒｓ  ｉｎ  ｃｈｒｏｍａｔｉｃ  ｉｍａｇｅｓ”、Ｃｏｌｏｒ  Ｒｅｓｅａｒｃｈ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎ、Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ．Ｉｎｃ、Ｄｅｃｅｍｂｅｒ  １９８９、Ｖｏｌ．１４，Ｎｏ．６，ｐｐ．３２５−３３４
【非特許文献３】Ｌ．Ｔ．Ｍａｌｏｎｙ，Ｂ．Ａ．Ｗａｎｄｅｌｌ，“Ｃｏｌｏｒ  ｃｏｎｓｔａｎｃｙ：Ａ  ｍｅｔｈｏｄ  ｆｏｒ  ｒｅｃｏｖｅｒｉｎｇ  ｓｕｒｆａｃｅ  ｓｐｅｃｔｒａｌ  ｒｅｆｌｅｃｔａｎｃｅ”、Ｊｏｕｒｎａｌ  ｏｆ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ、Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ、１９８６、Ｖｏｌ．３，Ｎｏ．１，ｐｐ．２９−３３
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述の従来手法には以下のような課題があった。  
【００１５】
最近の入力機器には、カメラで入力された画像から照明光の情報を推定し白色光源下の画像に自動的に変換するオートホワイトバランス機能が設定されているものがある。このホワイトバランス機能が正確に働いていれば、どんな光源の下で撮像した画像であっても正しく白色光下の画像に変換されるはずであるが、実際には、照明光の色みが残っていたり、また、補正量が多すぎるために照明光とは逆の色みに変換される場合も多々見受けられる。
【００１６】
また、画像中に１種類もしくは類似した色しかない場合には照明光の推定ができないため、ホワイトバランス機能も正しく働かない。照明光の情報を手動で設定したり、また、ホワイトバランス機能を無効にできれば、入力機器の補正を行った上で照明光による影響を補正することができる。
【００１７】
しかし、一部のカメラには、オートホワイトバランス機能を無効に設定すること自体ができないため、我々が得ることのできる画像は、カメラのホワイトバランス機能がかかったものとなる。このような場合、ホワイトバランスは、対象となる物体の周辺にある色みによって影響を受けることが多いため、同じ色物体であっても撮像する度に異なる色みをもつ可能性もあり得る。
【００１８】
さらに、ホワイトバランス機能をＯＦＦにできるカメラ系で撮像した場合は、従来手法の非特許文献１〜３に挙げた技術を適用することによって照明光色の推定および物体色の推定を行うことが可能であるが、以下のような課題がある。
【００１９】
非特許文献１に記載の技術では画像中に鏡面反射成分が存在することを前提としており、画素値分布から鏡面反射成分を取得する際に主成分分析を行っているため処理時間がかかるという問題があった。
【００２０】
また、非特許文献２では、灰色仮説が成立するシーンを対象としており、シーン中に在る物体の色の平均が灰色にならない場合には推定誤差が発生することが問題である。
【００２１】
また、非特許文献３の技術では、任意の照明光の分光特性や物体の表面反射率が限られた数の基底関数の線形和として、どの程度正確に表現可能であるかが未知であり、さらに、基底関数の係数を求める際には未知数が方程式の数より多いため、次元数を減らして解くため、正確性に欠けるという問題があった。
【００２２】
以上のように、既存のカメラ系で画像・映像を入力する場合には、オートホワイトバランス機能における過大補正もしくは過小補正によって色が正しく表現されないという問題およびホワイトバランス機能がＯＦＦの場合であっても、既存の照明光推定技術では前提とする仮説に制約があり任意の画像に適用できないという問題があった。
【００２３】
本発明は前記課題に基づいてなされたものであって、有色物体を撮像した画像・映像データから該物体の色を標準照明（白色光）下の色と同定することのできる有色物体同定装置、有色物体同定方法、有色物体同定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
上述の課題を解決するため、請求項１に記載の有色物体同定装置は、画像もしくは映像中の物体の色を他の環境で取得された画像もしくは映像中の物体の色と同定する有色物体同定装置であって、画像もしくは映像の情報を蓄積するデータ蓄積手段と、画像もしくは映像から同定対象の色領域を指定する対象色領域指定手段と、画像もしくは映像から前記対象色領域指定手段で指定された領域とは異なる色領域を指定する比較色領域指定手段と、前記対象色領域指定手段によって得られた色領域と前記比較色領域指定手段によって得られた色領域の情報を用いて特徴量を抽出する色特徴抽出手段と、前記色特徴抽出手段で得られた色特徴を色特徴データベースに蓄積する色特徴蓄積手段と、前記色特徴データベースに蓄積された色特徴と、入力された画像もしくは映像から得られた色特徴の距離を求める色特徴照合手段と、を備えたことを特徴としている。
【００２５】
また請求項２に記載の有色物体同定装置は、請求項１において、前記比較色領域指定手段により指定された比較色領域の候補の中から平均画素値が低彩度領域か否かの判定を行う低彩度判定手段を備え、前記比較色領域指定手段は、前記低彩度判定手段によって低彩度と判定された領域がある場合は、その領域を比較色領域として抽出することを特徴としている。
【００２６】
また、請求項３に記載の有色物体同定方法は、画像もしくは映像に係る処理を行う際に一時的にデータを蓄積し、該データを入出力するデータ蓄積手段と、対象物体を入力機器を使って撮像した画像もしくは映像データを入力し、前記データ蓄積手段に該画像もしくは映像データを格納するデータ入力手段とを備え、該データ入力手段によって入力された標準照明光下での対象の有色物体を撮像した学習用画像・映像データと前記データ入力手段によって入力された同定対象の有色物体を撮像したクエリ画像・映像データに基づいて対象物体の色を同定する装置における有色物体同定方法であって、対象色領域指定手段が、前記データ蓄積手段に格納された学習用画像・映像データにおける対象物体を他の同形状物体との識別が可能な色領域を指定する第１の対象色領域指定ステップと、比較色領域指定手段が、前記データ蓄積手段に格納された学習用画像・映像データから前記第１の色領域指定ステップで指定された領域とは異なる色領域を指定する第１の比較色領域指定ステップと、色特徴抽出手段が、前記第１の対象色領域指定ステップによって得られた色領域と前記第１の比較色領域指定ステップによって得られた色領域の情報を用いて特徴量を抽出する第１の色特徴抽出ステップと、色特徴蓄積手段が、前記第１の色特徴抽出ステップで得られた色特徴を色特徴データベースに格納する色特徴格納ステップと、対象色領域指定手段が、前記データ蓄積手段に格納されたクエリ用画像・映像データにおける対象物体を他の同形状物体との識別が可能な色領域を指定する第２の対象色領域指定ステップと、比較色領域指定手段が、前記データ蓄積手段に格納されたクエリ用画像・映像データから前記第２の色領域指定ステップで指定された領域とは異なる色領域を指定する第２の比較色領域指定ステップと、色特徴抽出手段が、前記第２の対象色領域指定ステップによって得られた色領域と前記第２の比較色領域指定ステップによって得られた色領域の情報を用いて特徴量を抽出する第２の色特徴抽出ステップと、色特徴照合手段が、前記第１の色特徴抽出ステップによって得られた学習用画像・映像データの色特徴と、前記第２の色特徴抽出ステップによって得られたクエリ用画像・映像データの色特徴の距離を求めることによって、クエリ画像の色特徴と類似する特徴量を有する前記学習用画像・映像データが存在しているか否かを判定する色特徴照合ステップと、を備えたことを特徴としている。
【００２７】
また請求項４に記載の有色物体同定方法は、請求項３において、低彩度判定手段が、前記第１の比較色領域指定ステップにより指定された比較色領域の候補の中から平均画素値が低彩度領域か否かの判定を行う第１の低彩度判定ステップと、低彩度判定手段が、前記第２の比較色領域指定ステップにより指定された比較色領域の候補の中から平均画素値が低彩度領域か否かの判定を行う第２の低彩度判定ステップとをさらに備え、前記第１の比較色領域指定ステップは、前記第１の低彩度判定ステップにより低彩度と判定された領域がある場合は、その領域を比較色領域として抽出し、前記第２の比較色領域指定ステップは、前記第２の低彩度判定ステップにより低彩度と判定された領域がある場合は、その領域を比較色領域として抽出する、ことを特徴としている。
【００２８】
また、請求項５に記載の有色物体同定プログラムは、コンピュータを請求項１又は２に記載の各手段として機能させる有色物体同定プログラムである。
【発明の効果】
【００２９】
本発明によれば、入力機器のホワイトバランス機能が自動設定されている場合、事前に所定の光源下での同一の有色物体の画像データがあれば、撮像時の照明条件によらず画像内に含まれる有色物体を同定することが可能となる。また、ホワイトバランス機能をＯＦＦにできる場合であっても、従来手法が前提とする仮定（鏡面反射成分の有無、白色仮説や灰色仮説の成立、および、基底関数による任意の照明光や物体の表面反射率の表現可能性）を満足しない条件下でも精度よく照明光や入力機器の影響を受けずに標準照明光（白色光）下の画像と照合でき、物体の色を推定することが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００３１】
なお、図面において、本実施形態で同一機能を有するものには同一符号を付し、その繰り返しの説明は省略する。また、以下では、画像を対象として説明するが、映像であっても同様である。
【００３２】
図１は本発明の一実施形態例における有色物体同定装置の構成を示している。図１において、１０２は、同定すべき有色物体を含む被写体１０１を撮像した画像データを入力として、画像を入力するデータ入力手段としてのデータ入力部である。１０３は、入力画像および処理途中の結果を一時的に格納するデータ蓄積手段としてのデータ蓄積部である。１０４は、有色物体の中で他の色をもつ同形状の物体と識別可能な色領域を指定する対象色領域指定手段としての対象色領域指定部である。１０５は、入力画像から前記対象色領域指定部１０４以外の色領域を指定する比較色領域指定手段としての比較色領域指定部である。１０６は、前記対象色領域指定部１０４で指定された色領域と前記比較色領域指定部１０５で指定された色領域の情報から色特徴を求める色特徴抽出手段としての色特徴抽出部である。１０７は、色特徴抽出部１０６で得られた色特徴を色特徴データベース（ＤＢ）１０８に格納する色特徴蓄積手段としての色特徴蓄積部である。１０９は、色特徴間の類似度を求める色特徴照合手段としての色特徴照合部である。１１０は、前記色特徴照合部１０９による結果を出力する結果出力部である。
【００３３】
なお、図１の有色物体同定装置における前記各部１０２〜１１０は、パーソナルコンピュータ上のＣＰＵやＯＳ等によって制御されても構わない。
【００３４】
本実施形態における有色物体同定装置を構成する各部の動作を図２に示すフローチャートに基づいて説明する。本実施形態における有色物体同定装置の動作は標準照明（白色光）下の画像から色特徴ＤＢ１０８を作成する段階（図２（ａ））と、任意の照明光下でのクエリ画像に含まれる対象の有色物体と同じ色を有する物体を撮像した学習用画像を色特徴ＤＢ１０８から探索する段階（図２（ｂ））とから構成される。
【００３５】
まず、図２（ａ）の色特徴ＤＢ１０８を作成する段階について説明する。標準照明光（白色光）下での有色物体を含む被写体１０１をデータ入力部１０２を介して入力し、学習用入力画像としてデータ蓄積部１０３に格納する（ステップＳ１１）。データ入力部１０２はデジタルカメラやスキャナ、携帯電話に付属のカメラ等のような入力機器を表す。データ蓄積部１０３は、入力された画像や処理途中のデータを一時的に格納する領域であり、パーソナルコンピュータのメモリ等で実装されても構わない。
【００３６】
次に、対象色領域指定部１０４において、データ蓄積部１０３に格納された学習用入力画像の中から、他の同形状物体との識別が可能な色領域を指定し、該色領域の色情報をデータ蓄積部１０３に格納する（ステップＳ１２；本発明の第１の対象色領域指定ステップ）。ここで格納される色情報は、例えば、指定された色領域の画素値の平均値であり、色空間はＲＧＢ、ＨＳＩ、ＸＹＺ、Ｌａ*ｂ*やＬ*ｕ*ｖ*のような均等色空間でも構わない。
【００３７】
次に比較色領域指定部１０５では、データ蓄積部１０３に格納されている学習用入力画像の中から前記対象色領域指定部１０４で指定しなかった色領域を指定し、該色領域の色情報をデータ蓄積部１０３に格納する（ステップＳ１３；本発明の第１の比較色領域指定ステップ）。また、データ蓄積部１０３に格納される色情報は、例えば、対象色領域指定部１０４の場合と同様の色空間上における、指定領域の画素値の平均値である。
【００３８】
次に色特徴抽出部１０６では、データ蓄積部１０３に格納されている対象色領域指定部１０４および比較色領域指定部１０５によって得られた色情報を用いて特徴量を求め（ステップＳ１４；本発明の第１の色特徴抽出ステップ）、色特徴データベース（ＤＢ）１０８に格納する（ステップＳ１５；本発明の色特徴格納ステップ）。
【００３９】
以下、特徴量の抽出について説明する。まず、比較色領域指定部１０５での色情報（Ｒc、Ｇc、Ｂc）に対する対象色領域指定部１０４の色情報（Ｒt、Ｇt、Ｂt）の比率（Ｒr、Ｇr、Ｂr）を計算する（式（５））。
【００４０】
Ｒr＝Ｒt／Ｒc
Ｇr＝Ｇt／Ｇc・・・・・・・（５）
Ｂr＝Ｂt／Ｂc
次に、上式の結果を用いて成分毎の比を特徴量として求める（式（６））。
【００４１】
Ｆ1＝Ｒr／Ｇr
Ｆ2＝Ｂr／Ｇr・・・・・・・（６）
上述のように、学習用画像を入力してから色特徴ＤＢ１０８を作成するまでの処理の流れを説明した。次に、有色物体の画像の色特徴が既に色特徴ＤＢ１０８に格納されているという前提でクエリ画像から得られる色特徴と照合する際の処理の流れを図２（ｂ）を参照しながら説明する。
【００４２】
図２（ｂ）において、ステップＳ２１〜Ｓ２４に示す、任意の照明光下の有色物体を含む被写体１０１を撮像してから（クエリ画像）、色特徴抽出部１０６が色情報を用いて特徴量を求めるまでの処理は、図２（ａ）で述べた学習用画像での処理（ステップＳ１１〜Ｓ１４）と同様の処理であり、その説明は省略する。
【００４３】
尚、図２（ｂ）のステップＳ２２は本発明の第２の対象色領域指定ステップに相当し、ステップＳ２３は本発明の第２の比較色領域指定ステップに相当し、ステップＳ２４は本発明の第２の色特徴抽出ステップに相当する。
【００４４】
次に色特徴照合部１０９では、クエリ画像の色特徴に近い特徴量を色特徴ＤＢ１０８から抽出する。特徴量の照合は例えば以下の式（７）に示す距離を求め、最小のものを選択し（ステップＳ２５；本発明の色特徴照合ステップ）、結果出力部１１０に該当の画像を転送する。なお、距離の最小値がある閾値よりも大きい場合には類似の特徴量が存在しないものとしてその結果を結果出力部１１０に転送する。
【００４５】
【数２】
2010128540.tif 000004
【００４６】
上記式（７）において、Ｆ1、Ｆ2は色特徴ＤＢ１０８の特徴量（学習画像側）、Ｆ1´、Ｆ2´はクエリ画像から得られた色特徴であり、Ｄｉｓは２つの特徴量の距離を表し、距離が小さいほど特徴量が類似していることを表す。式（７）では色特徴が２変数で表現されている場合にそのユークリッド距離を類似度として求める場合を示しているが、色特徴が１変数の場合は差の絶対値を類似度として求めても良い。
【００４７】
次に結果出力部１１０では、色特徴照合部１０９で得られた結果をモニタ等の出力機器に出力する（ステップＳ２６）。
【００４８】
次に本発明の他の実施形態例を図３および図４とともに説明する。図３は本実施形態例における有色物体同定装置の構成を示し、図４は図３の装置における各部が行う処理のフローチャートを示している。
【００４９】
図３、図４において、図１、図２と同一部分は同一符号をもって示している。図３において図１と異なる点は、前記比較色領域指定部１０５により指定された比較色領域の候補の中から平均画素値が低彩度領域か否かの判定を行う低彩度判定部１１１をさらに設け、前記比較色領域指定部１０５は、前記低彩度判定部１１１によって低彩度と判定された領域がある場合は、その領域を比較色領域として抽出するように構成した点にあり、その他の部分は図１と同一に構成されている。
【００５０】
また図４において図２と異なる点は、図４（ａ）に、低彩度判定部１１１が行うステップＳ３１（本発明の第１の低彩度判定ステップ）が追加されたことと、図４（ｂ）に、低彩度判定部１１１が行うステップＳ３２（本発明の第２の低彩度判定ステップ）が追加されたことと、ステップＳ１３，Ｓ２３では、ステップＳ３１，Ｓ３２の判定結果に基づいた処理を各々行うことにある。
【００５１】
図３、図４において、画像の入力から対象色領域指定までの処理は前記図２と同様のため説明は省略し、比較色領域指定部１０５における比較色領域の指定（ステップＳ１３，Ｓ２３）から説明する。低彩度判定部１１１では、ステップＳ１３，Ｓ２３において選択された領域が低彩度か否かを判定し（ステップＳ３１，Ｓ３２）、比較色領域指定部１０５は、前記判定結果が低彩度の場合にその情報をデータ蓄積部１０３に格納し、もし、選択された領域の中で低彩度領域がみつからなかった場合は、最も彩度の低い色領域を選択してデータ蓄積部１０３に格納する。ここで、低彩度かどうかの判定は以下のようにして行う。
【００５２】
上述したように、物体からの反射光、即ち、画像の画素値は、物体の色と照明光の色の積として表されるため、色が同一の場合、反射光は照明光に応じて変化する。特に、物体の色が無彩色である場合は、反射光は照明光の色を直接的に反映する。ここで、照明光を自然光であると仮定すると、照明光の色は黒体放射軌跡（図５のラインＬ）上にのることが知られている。図５は、ｘｙ色度図である。
【００５３】
そこで、画素値がこのラインＬ上にのっている場合は、物体の色自体が無彩色である可能性が高いといえる。本発明では、照明光による物体からの反射光の変動が、どの物体に対しても同様に発生することを利用して、同一画像内の異なる色領域の比率を求める。そのため、比較色領域には、物体がもつオリジナルの色の影響が比較的小さい領域を選ぶことにより精度の向上を図る。
【００５４】
しかしながら、ラインＬは線分であり、画像中にこのような線にのる領域を探すことは困難であり、最悪、存在しないケースもありえる。そこで、比較的彩度の低い色が照明光の変動によって動く範囲を図５に示す領域Ｂとして設定し、比較色領域が、この領域Ｂの内側にあるか否かで選択すべき領域が否かを判定する。なお、存在しない場合は、図５に示すｘｙ色度図上でラインＬとの距離が最も小さい領域を比較色領域として選択する。
【００５５】
また、本実施形態の有色物体同定装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の有色物体同定方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メール等の手段によりネットワーク経由で提供することも可能である。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態例における有色物体同定装置の構成を示すブロック図。
【図２】本発明の一実施形態例における有色物体同定装置を構成する各部の動作を示すものであって、（ａ）は色特徴ＤＢを作成する段階を示すフローチャート、（ｂ）はクエリ画像の対象と同じ色を有する有色物体の学習用画像を色特徴ＤＢから探索する段階を示すフローチャート。
【図３】本発明の他の実施形態例における有色物体同定装置の構成を示すブロック図。
【図４】本発明の他の実施形態例における有色物体同定装置を構成する各部の動作を示すものであって、（ａ）は色特徴ＤＢを作成する段階を示すフローチャート、（ｂ）はクエリ画像の対象と同じ色を有する有色物体の学習用画像を色特徴ＤＢから探索する段階を示すフローチャート。
【図５】本発明の他の実施形態例において低彩度領域を判定するための仕組みを示した説明図。
【符号の説明】
【００５７】
１０１…被写体
１０２…データ入力部
１０３…データ蓄積部
１０４…対象色領域指定部
１０５…比較色領域指定部
１０６…色特徴抽出部
１０７…色特徴蓄積部
１０８…色特徴データベース（ＤＢ）
１０９…色特徴照合部
１１０…結果出力部
１１１…低彩度判定部
【図１】
2010128540.tif 000005
【図２】
2010128540.tif 000006
【図３】
2010128540.tif 000007
【図４】
2010128540.tif 000008
【図５】
2010128540.tif 000009