(57)【要約】【課題】  照明光が変動する場合であっても、カラー画像に含まれる対象領域の色を、その照明光に適応して識別することが可能な色識別装置を提供する。【解決手段】  色識別装置１は、対象領域における色の特徴量の候補となる対象候補色特徴量と、背景領域における色の特徴量の候補となる背景候補色特徴量とを、色の種別を示すカテゴリ識別子に対応付けて記憶する色テンプレート記憶手段７と、入力画像から、対象領域を対象領域画像として切り出す対象領域切り出し手段３と、背景領域を背景領域画像として切り出す背景領域切り出し手段４と、背景候補色特徴量と背景領域画像の色の特徴量との差異に基づいて、色テンプレート記憶手段７から、対象領域画像に対応するカテゴリ識別子を選択することで、対象領域の色を特定する色特定手段８とを備えることを特徴とする。【選択図】      図１
2006201975.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる、識別対象となる対象領域の色を識別する色識別装置であって、
前記対象領域における色の特徴量の候補となる対象候補色特徴量と、前記対象領域の背景に位置する背景領域における色の特徴量の候補となる背景候補色特徴量とを、色の種別を示すカテゴリ識別子に対応付けて予め記憶する色テンプレート記憶手段と、
前記入力画像における前記対象領域を示す座標に基づいて、前記入力画像から前記対象領域を対象領域画像として切り出す対象領域切り出し手段と、
前記入力画像における前記背景領域を示す座標に基づいて、前記入力画像から前記対象領域切り出し手段で切り出された対象領域画像の背景となる背景領域を背景領域画像として切り出す背景領域切り出し手段と、
前記背景候補色特徴量と、前記背景領域画像の色の特徴量との差異に基づいて、前記対象領域画像の色の特徴量に対応する前記対象候補色特徴量を特定し、当該対象候補色特徴量に対応付けられているカテゴリ識別子で示される色を、前記対象領域の色として特定する色特定手段と、
を備えていることを特徴とする色識別装置。
【請求項２】
前記色特定手段は、
前記背景領域画像の色を統計することで、当該背景領域画像の色の特徴量である背景色特徴量を算出する背景色統計手段と、
この背景色統計手段で算出された背景色特徴量を前記背景候補色特徴量に補正するための色補正演算式を生成する色補正演算式生成手段と、
この色補正演算式生成手段で生成された色補正演算式に基づいて、前記対象領域画像の色補正を行なうことで、補正済み対象領域画像を生成する色補正手段と、
この色補正手段で生成された補正済み対象領域画像の色を統計することで、当該補正済み対象領域画像の色の特徴量である補正済み対象色特徴量を算出する補正済み対象色統計手段と、
この補正済み対象色統計手段で算出された補正済み対象色特徴量と、前記対象候補色特徴量とを比較することで、前記補正済み対象色特徴量に最も類似する対象候補色特徴量に対応するカテゴリ識別子を、前記対象領域のカテゴリ識別子として選択する色種別選択手段と、
を備えていることを特徴とする請求項１に記載の色識別装置。
【請求項３】
入力画像に含まれる、識別対象となる対象領域の色を識別する色識別装置であって、
前記対象領域における色の特徴量の候補となる対象候補色特徴量を、色の種別を示すカテゴリ識別子に対応付けて予め記憶する対象色テンプレート記憶手段と、
前記対象領域の背景に位置する背景領域における色の特徴量の候補となる背景候補色特徴量を、前記背景の色の種別を示す背景カテゴリ識別子に対応付けて予め記憶する背景色テンプレート記憶手段と、
前記入力画像における前記対象領域を示す座標に基づいて、前記入力画像から前記対象領域を対象領域画像として切り出す対象領域切り出し手段と、
前記入力画像における前記背景領域を示す座標に基づいて、前記入力画像から前記対象領域切り出し手段で切り出された対象領域画像の背景となる背景領域を背景領域画像として切り出す背景領域切り出し手段と、
前記背景カテゴリ識別子毎に、前記背景領域切り出し手段で切り出された背景領域画像の色の特徴量を、前記背景候補色特徴量に補正するための色補正演算式を生成する背景補正演算式生成手段と、
この背景補正演算式生成手段で生成された色補正演算式に基づいて、前記対象領域画像の色補正を行なうことで、補正済み対象領域画像を生成する対象色補正手段と、
この対象色補正手段で生成された補正済み対象領域画像の色を統計することで、当該補正済み対象領域画像の色の特徴量である補正済み対象色特徴量を算出する補正済み対象色統計手段と、
この補正済み対象色統計手段で算出された前記背景カテゴリ識別子毎の補正済み対象色特徴量と、前記対象色テンプレート記憶手段に記憶されている、前記カテゴリ識別子毎の対象候補色特徴量とを比較することで、前記補正済み対象色特徴量に最も類似する対象候補色特徴量に対応するカテゴリ識別子を、前記対象領域のカテゴリ識別子として選択する色種別選択手段と、
を備えていることを特徴とする色識別装置。
【請求項４】
前記色の特徴量として、当該特徴量を算出する画像に含まれる画素の色ベクトルの平均ベクトル及び共分散行列、又は、前記色ベクトルのヒストグラムを用い、
前記色種別選択手段が、前記補正済み対象色特徴量と、前記対象候補色特徴量との距離が最小となる対象候補色特徴量に対応するカテゴリ識別子を選択することを特徴とする請求項２又は請求項３に記載の色識別装置。
【請求項５】
色を識別する対象領域における色の特徴量の候補となる対象候補色特徴量と、前記対象領域の背景に位置する背景領域における色の特徴量の候補となる背景候補色特徴量とを、色の種別を示すカテゴリ識別子に対応付けて予め記憶した色テンプレート記憶手段を参照することで、入力画像に含まれる前記対象領域の色を識別するために、コンピュータを、
前記入力画像における前記対象領域を示す座標に基づいて、前記入力画像から前記対象領域を対象領域画像として切り出す対象領域切り出し手段、
前記入力画像における前記背景領域を示す座標に基づいて、前記入力画像から前記対象領域切り出し手段で切り出された対象領域画像の背景となる背景領域を背景領域画像として切り出す背景領域切り出し手段、
この背景領域切り出し手段で切り出された背景領域画像の色を統計することで、当該背景領域画像の色の特徴量である背景色特徴量を算出する背景色統計手段、
この背景色統計手段で算出された背景色特徴量を背景候補色特徴量に補正するための色補正演算式を生成する色補正演算式生成手段、
この色補正演算式生成手段で生成された色補正演算式に基づいて、前記対象領域画像の色補正を行なうことで、補正済み対象領域画像を生成する色補正手段、
この色補正手段で生成された補正済み対象領域画像の色を統計することで、当該補正済み対象領域画像の色の特徴量である補正済み対象色特徴量を算出する補正済み対象色統計手段、
この補正済み対象色統計手段で算出された補正済み対象色特徴量と、前記対象候補色特徴量とを比較することで、前記補正済み対象色特徴量に最も類似する対象候補色特徴量に対応するカテゴリ識別子を、前記対象領域のカテゴリ識別子として選択する色種別選択手段、
として機能させることを特徴とする色識別プログラム。
【請求項６】
色を識別する対象領域における色の特徴量の候補となる対象候補色特徴量を、色の種別を示すカテゴリ識別子に対応付けて予め記憶した対象色テンプレート記憶手段と、前記対象領域の背景に位置する背景領域における色の特徴量の候補となる背景候補色特徴量を、前記背景の色の種別を示す背景カテゴリ識別子に対応付けて予め記憶した背景色テンプレート記憶手段とを参照することで、入力画像に含まれる前記対象領域の色を識別するために、コンピュータを、
前記入力画像における前記対象領域を示す座標に基づいて、前記入力画像から前記対象領域を対象領域画像として切り出す対象領域切り出し手段、
前記入力画像における前記背景領域を示す座標に基づいて、前記入力画像から前記対象領域切り出し手段で切り出された対象領域画像の背景となる背景領域を背景領域画像として切り出す背景領域切り出し手段、
前記背景カテゴリ識別子毎に、前記背景領域切り出し手段で切り出された背景領域画像の色の特徴量を、前記背景候補色特徴量に補正するための色補正演算式を生成する背景補正演算式生成手段、
この背景補正演算式生成手段で生成された色補正演算式に基づいて、前記対象領域画像の色補正を行なうことで、補正済み対象領域画像を生成する対象色補正手段、
この対象色補正手段で生成された補正済み対象領域画像の色を統計することで、当該補正済み対象領域画像の色の特徴量である補正済み対象色特徴量を算出する補正済み対象色統計手段、
この補正済み対象色統計手段で算出された前記背景カテゴリ識別子毎の補正済み対象色特徴量と、前記対象色テンプレート記憶手段に記憶されている、前記カテゴリ識別子毎の対象候補色特徴量とを比較することで、前記補正済み対象色特徴量に最も類似する対象候補色特徴量に対応するカテゴリ識別子を、前記対象領域のカテゴリ識別子として選択する色種別選択手段、
として機能させることを特徴とする色識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像に含まれる、識別対象となる対象領域（部分領域）の色を識別し、予め定めた色種別に分類する色識別装置及び色識別プログラムに関する。
【背景技術】
【０００２】
従来、カラー画像の一部分（部分領域）の色を識別する場合、カラー画像の各色成分（例えば、赤［Ｒ］、緑［Ｇ］及び青［Ｂ］）に注目し、それらの統計的な分布範囲や、分布頻度に基づいて、各色成分における予め定めた閾値の範囲で、部分領域の色の種別を判定する閾値処理による手法が一般的に行われ、種々の提案がなされている。
【０００３】
例えば、この閾値処理を高速に行うために、メモリ上のルックアップテーブルに色成分における閾値の範囲を保持し、入力された光の色を、その閾値の範囲で分類する手法が提案されている（特許文献１参照）。
また、固定した閾値によって色を分類することなく、色識別の汎用性を高めるため、色識別を行う対象物の色成分が、予め設定された複数の基準色にどれだけ帰属しているのかを示す帰属度を定義し、その帰属度を測定することで、対象物の色がどの基準色に帰属するのかを判定する手法（特許文献２参照）や、ニューラルネットによって色の学習を行うことで、色の識別を行う手法（特許文献３参照）が提案されている。
【０００４】
また、色の微妙な差異に対する識別性能を向上させるため、カラー画像の色分布特性に合わせて色空間の座標を変換する手法が提案されている（特許文献４参照）。
さらに、カラー画像において、識別対象となる対象領域と背景領域との混色による識別性能の劣化を防止するため、対象領域の色と背景領域の色との色空間上における角度と、背景領域の色と予め登録した色との色空間上における角度との一致度に基づいて、対象領域の色を識別する手法が提案されている（特許文献５参照）。
【特許文献１】特開平５−５６５５号公報（段落００１２〜００１６、図１及び図２）
【特許文献２】特開平５−１３３８０９号公報（段落０００９〜００１５、図１〜３）
【特許文献３】特開平５−２６６１９０号公報（段落００１２〜００２２、図１〜４）
【特許文献４】特開平５−６０６１６号公報（段落００１２〜００２８、図２〜４）
【特許文献５】特開平１０−１０４０７５号公報（段落００１２〜００５９、図１〜６）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１乃至特許文献４で開示された色識別の手法では、背景領域の色を考慮せずに、識別対象となる対象領域の色のみに基づいて、色の識別を行っているため、照明光が変動したかどうかを認識することができない。このため、従来の色識別の手法では、照明光が変動し、例えば、人物等の対象を照らす照明にムラや影があったり、時間とともに照明光の照度や色が変化したりする場合、その人物等が映っている対象領域の色を、同一の色として識別することができないという問題がある。
また、特許文献５で開示された色識別の手法では、対象領域の色を識別する際に、背景領域の色を考慮しているが、これは、あくまで、対象領域に背景色が混入した場合であっても、的確に対象領域の色を識別することを目的としたものであり、照明光の変動に対応するものではない。このため、前記同様、照明光が変動した場合、対象領域の色を、同一の色として識別することができないという問題がある。
【０００６】
本発明は、以上のような課題を解決するためになされたものであり、照明光が変動する場合であっても、カラー画像に含まれる、識別対象となる対象領域の色を、その照明光に適応して識別することが可能な色識別装置及び色識別プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の色識別装置は、入力画像に含まれる、識別対象となる対象領域の色を識別する色識別装置であって、色テンプレート記憶手段と、対象領域切り出し手段と、背景領域切り出し手段と、色特定手段とを備える構成とした。
【０００８】
かかる構成によれば、色識別装置は、予め、色テンプレート記憶手段に、対象領域における色の特徴量の候補となる対象候補色特徴量と、前記対象領域の背景に位置する背景領域における色の特徴量の候補となる背景候補色特徴量とを、色の種別を示すカテゴリ識別子に対応付けて記憶しておく。例えば、照明や日照の強さが必ずしも同一でない状態で撮像された画像から、色を識別するための候補となる対象領域及びその背景領域の色の特徴量を、カテゴリ識別子に対応付けて記憶しておく。これによって、対象候補色特徴量と背景候補色特徴量とが、カテゴリ識別子により１対１に対応付けられる。
【０００９】
そして、色識別装置は、対象領域切り出し手段によって、入力された対象領域を示す座標により、入力画像から対象領域を対象領域画像として切り出す。また、色識別装置は、背景領域切り出し手段によって、入力された背景領域を示す座標により、入力画像から、対象領域切り出し手段で切り出された対象領域画像の背景となる背景領域を背景領域画像として切り出す。これによって、この背景領域切り出し手段は、対象領域の照明や日照の状態が同一となる背景領域を切り出すことになる。
なお、対象領域切り出し手段及び背景領域切り出し手段は、マウス等のポインティングデバイスにより画像内の座標を指定されることで、その座標で示される画像領域を切り出すこととしてもよい。また、対象領域切り出し手段及び背景領域切り出し手段は、既知の画像オブジェクト追跡装置が出力する、対象物体の追跡結果である座標を、対象領域を示す座標とするとともに、その対象物体の周辺領域を示す座標を、背景領域を示す座標としてもよい。
【００１０】
このとき、背景候補色特徴量と背景領域画像の色の特徴量との差異は、照明や日照の変化により発生することになり、対象候補色特徴量と対象領域画像の色の特徴量との差異に相当するとみなすことができる。
そこで、色識別装置は、色特定手段によって、背景候補色特徴量と背景領域画像の色の特徴量との差異に基づいて、対象領域画像の色の特徴量に対応する対象候補色特徴量を特定し、その対象候補色特徴量に対応付けられているカテゴリ識別子で示される色を、対象領域の色として特定する。
【００１１】
また、請求項２に記載の色識別装置は、請求項１に記載の色識別装置において、前記色特定手段が、背景色統計手段と、色補正演算式生成手段と、色補正手段と、補正済み対象色統計手段と、色種別選択手段とを備える構成とした。
【００１２】
かかる構成によれば、色識別装置は、背景色統計手段によって、背景領域画像の色を統計することで、背景領域画像の色の特徴量である背景色特徴量を算出する。そして、色識別装置は、色補正演算式生成手段によって、背景色特徴量を、色テンプレート記憶手段に記憶されている背景候補色特徴量に補正するための色補正演算式を生成する。この色補正演算式は、照明や日照の変化に伴う色の変化を補正するものとなる。
そこで、色識別装置は、色補正手段によって、色補正演算式に基づいて、対象領域画像の色補正を行うことで、補正済み対象領域画像を生成する。すなわち、補正済み対象領域画像は、照明や日照の変化に伴う色の変化を補正した画像となる。
【００１３】
そして、色識別装置は、補正済み対象色統計手段によって、補正済み対象領域画像の色を統計することで、補正済み対象領域画像の色の特徴量である補正済み対象色特徴量を算出する。
そして、色識別装置は、色種別選択手段によって、補正済み対象色特徴量と対象候補色特徴量とを比較することで、当該補正済み対象色特徴量に最も類似する対象候補色特徴量に対応するカテゴリ識別子を選択する。この選択されたカテゴリ識別子は、背景領域の色変化に伴う対象領域の色を特定する識別子となる。
【００１４】
さらに、請求項３に記載の色識別装置は、入力画像に含まれる、識別対象となる対象領域の色を識別する色識別装置であって、対象色テンプレート記憶手段と、背景色テンプレート記憶手段と、対象領域切り出し手段と、背景領域切り出し手段と、背景補正演算式生成手段と、対象色補正手段と、補正済み対象色統計手段と、色種別選択手段とを備える構成とした。
【００１５】
かかる構成によれば、色識別装置は、予め、対象色テンプレート記憶手段に、対象領域における色の特徴量の候補となる対象候補色特徴量を、色の種別を示すカテゴリ識別子に対応付けて記憶しておく。また、色識別装置は、予め、背景色テンプレート記憶手段に、対象領域の背景に位置する背景領域における色の特徴量の候補となる背景候補色特徴量を、背景の色の種別を示す背景カテゴリ識別子に対応付けて記憶しておく。この背景の色としては、例えば、照明の強度によって明るくなった箇所や暗くなった箇所、あるいは、日照による日向や日陰といった複数の特徴量を記憶しておく。
【００１６】
そして、色識別装置は、対象領域切り出し手段によって、入力された対象領域を示す座標により、入力画像から対象領域を対象領域画像として切り出す。また、色識別装置は、背景領域切り出し手段によって、入力された背景領域を示す座標により、入力画像から、対象領域切り出し手段で切り出された対象領域画像の背景となる背景領域を背景領域画像として切り出す。これによって、この背景領域切り出し手段は、対象領域の照明や日照の状態が同一となる背景領域を切り出すことになる。
そして、色識別装置は、背景補正演算式生成手段によって、背景カテゴリ識別子毎に、背景領域切り出し手段で切り出された背景領域画像の色の特徴量を、背景候補色特徴量に補正するための色補正演算式を生成する。
【００１７】
さらに、色識別装置は、対象色補正手段によって、その色補正演算式に基づいて、対象領域画像の色補正を行うことで、補正済み対象領域画像を生成する。この補正済み対象領域画像は、照明や日照の変化に伴う色の変化を補正した画像となる。
そして、色識別装置は、補正済み対象色統計手段によって、補正済み対象領域画像の色を統計することで、補正済み対象領域画像の色の特徴量である補正済み対象色特徴量を算出する。
そして、色識別装置は、色種別選択手段によって、補正済み対象色特徴量と対象候補色特徴量とを、前記カテゴリ識別子毎に比較することで、補正済み対象色特徴量に最も類似する対象候補色特徴量に対応するカテゴリ識別子を、対象領域のカテゴリ識別子として選択する。この選択されたカテゴリ識別子は、背景領域の色変化に伴う対象領域の色を特定する識別子となる。
【００１８】
また、請求項４に記載の色識別装置は、請求項２又は請求項３に記載の色識別装置において、色の特徴量として、当該特徴量を算出する画像に含まれる画素の色ベクトルの平均ベクトル及び共分散行列、又は、前記色ベクトルのヒストグラムを用い、前記色種別選択手段が、前記補正済み対象色特徴量と、前記対象候補色特徴量との距離が最小となる対象候補色特徴量に対応するカテゴリ識別子を選択することを特徴とする。
【００１９】
かかる構成によれば、色識別装置は、色の特徴量を色ベクトルの平均ベクトル及び共分散行列、又は、色ベクトルのヒストグラムとすることで、色の特徴量が統計的なデータで表現されることになる。そして、色識別装置は、色種別選択手段によって、補正済み対象色特徴量と対象候補色特徴量との類似性を特徴量の距離で算出し、距離が最小となる対象候補色特徴量に対応するカテゴリ識別子を、対象領域の色種別として判定することができる。
【００２０】
さらに、請求項５に記載の色識別プログラムは、色を識別する対象領域における色の特徴量の候補となる対象候補色特徴量と、前記対象領域の背景に位置する背景領域における色の特徴量の候補となる背景候補色特徴量とを、色の種別を示すカテゴリ識別子に対応付けて記憶した色テンプレート記憶手段を参照することで、入力画像に含まれる前記対象領域の色を識別するために、コンピュータを、対象領域切り出し手段、背景領域切り出し手段、背景色統計手段、色補正演算式生成手段、色補正手段、補正済み対象色統計手段、色種別選択手段として機能させる構成とした。
【００２１】
かかる構成によれば、色識別プログラムは、対象領域切り出し手段によって、入力された対象領域を示す座標により、入力画像から対象領域を対象領域画像として切り出し、背景領域切り出し手段によって、入力された背景領域を示す座標により、入力画像から、対象領域切り出し手段で切り出された対象領域画像の背景となる背景領域を背景領域画像として切り出す。これによって、入力画像から、対象領域画像と、対象領域の照明や日照の状態が同一となる背景領域画像とが切り出される。
そして、色識別プログラムは、背景色統計手段によって、背景領域画像の色を統計することで、背景領域画像の色の特徴量である背景色特徴量を算出する。そして、色識別プログラムは、色補正演算式生成手段によって、背景色特徴量を、色テンプレート記憶手段に記憶されている背景候補色特徴量に補正するための色補正演算式を生成する。
【００２２】
また、色識別プログラムは、色補正手段によって、色補正演算式により対象領域画像の色補正を行うことで、補正済み対象領域画像を生成する。この補正済み対象領域画像は、照明や日照の変化に伴う色の変化を補正した画像となる。
そして、色識別プログラムは、補正済み対象色統計手段によって、補正済み対象領域画像の色を統計することで、補正済み対象領域画像の色の特徴量である補正済み対象色特徴量を算出する。そして、色識別プログラムは、色種別選択手段によって、補正済み対象色特徴量と対象候補色特徴量とを比較することで、当該補正済み対象色特徴量に最も類似する対象候補色特徴量に対応するカテゴリ識別子を選択する。この選択されたカテゴリ識別子は、背景領域の色変化に伴う対象領域の色を特定する識別子となる。
【００２３】
また、請求項６に記載の色識別プログラムは、色を識別する対象領域における色の特徴量の候補となる対象候補色特徴量を、色の種別を示すカテゴリ識別子に対応付けて記憶した対象色テンプレート記憶手段と、前記対象領域の背景に位置する背景領域における色の特徴量の候補となる背景候補色特徴量を、前記背景の色の種別を示す背景カテゴリ識別子に対応付けて記憶した背景色テンプレート記憶手段とを参照することで、入力画像に含まれる前記対象領域の色を識別するために、コンピュータを、対象領域切り出し手段、背景領域切り出し手段、背景補正演算式生成手段、対象色補正手段、補正済み対象色統計手段、色種別選択手段として機能させる構成とした。
【００２４】
かかる構成によれば、色識別プログラムは、対象領域切り出し手段によって、入力された対象領域を示す座標により、入力画像から対象領域を対象領域画像として切り出し、背景領域切り出し手段によって、入力された背景領域を示す座標により、入力画像から、対象領域切り出し手段で切り出された対象領域画像の背景となる背景領域を背景領域画像として切り出す。これによって、この背景領域切り出し手段は、対象領域の照明や日照の状態が同一となる背景領域を切り出すことになる。
そして、色識別プログラムは、背景補正演算式生成手段によって、背景カテゴリ識別子毎に、背景色統計手段で算出された背景色特徴量を背景候補色特徴量に補正するための色補正演算式を生成する。
【００２５】
さらに、色識別プログラムは、対象色補正手段によって、色補正演算式により対象領域画像の色補正を行うことで、補正済み対象領域画像を生成する。この補正済み対象領域画像は、照明や日照の変化に伴う色の変化を補正した画像となる。
そして、色識別プログラムは、補正済み対象色統計手段によって、補正済み対象領域画像の色を統計することで、補正済み対象領域画像の色の特徴量である補正済み対象色特徴量を算出する。
そして、色識別プログラムは、色種別選択手段によって、背景カテゴリ識別子毎の補正済み対象色特徴量と、カテゴリ識別子毎の対象候補色特徴量とを比較することで、補正済み対象色特徴量に最も類似する対象候補色特徴量に対応するカテゴリ識別子を、対象領域のカテゴリ識別子として選択する。この選択されたカテゴリ識別子は、背景領域の色変化に伴う対象領域の色を特定する識別子となる。
【発明の効果】
【００２６】
請求項１に記載の発明によれば、背景の色の変化に基づいて、対象領域の色を識別するため、照明や日照が変動する場合であっても、的確に対象領域の色を識別することができる。例えば、照明や日照が変動することで、対象領域が明るくなったり暗くなったりする場合であっても、その対象領域の色を同一の色として識別することができる。
請求項２又は請求項５に記載の発明によれば、対象領域の色の特徴量の変化を、背景領域の色の特徴量の変化とみなすことで、対象領域の色の変化を定量的に測定することができる。これによって、照明や日照が変動する場合であっても、その定量化された変化量に基づいて、的確に対象領域の色を識別することができる。
【００２７】
請求項３又は請求項６に記載の発明によれば、対象領域の色の特徴量の候補と、背景領域の色の特徴量の候補とを、個々に記憶しておくことで、照明等による色の変化は、背景領域の色を複数登録しておくだけでよい。また、背景領域の色を登録した時点で、色補正演算式を予め生成できるため、識別時の演算量を軽減することができる。
請求項４に記載の発明によれば、色の特徴量を色ベクトルの平均ベクトル及び共分散行列、又は、色ベクトルのヒストグラムとすることで、色の特徴量が統計的なデータで表現され、色の比較を少ないデータ量で的確に行うことができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態について図面を参照して説明する。
＜第一の実施の形態＞
［色識別装置１の構成］
まず、図１を参照して、第一の実施の形態に係る色識別装置の構成について説明する。図１は、本発明における第一の実施の形態に係る色識別装置の構成を示すブロック図である。図１に示すように、色識別装置１は、画像（カラー画像）内において、識別対象となる対象領域の座標を示す対象領域切り出し座標で示される対象領域の色を識別し、複数の色の種別を示すカテゴリ番号（カテゴリ識別子）の中から、１つのカテゴリ番号を特定することで、色の識別を行うものである。なお、この色識別装置１は、色種別を登録する機能と、その登録した（予め定めた）色種別に基づいて、対象領域の色を識別する機能とを有している。ここでは、色識別装置１は、対象領域切り出し手段３と、背景領域切り出し手段４と、切り替え手段５（５ａ，５ｂ，５ｃ）と、色統計分類手段６と、色テンプレート記憶手段７と、色特定手段８とを備えている。
【００２９】
対象領域切り出し手段３は、対象領域を特定する座標である対象領域切り出し座標に基づいて、入力された画像ｃ（ｘ，ｙ）から、対象領域を対象領域画像として切り出すものである。この対象領域切り出し手段３で切り出された対象領域画像ｃF（ｘ，ｙ）は、切り替え手段５（５ｂ）に出力される。
【００３０】
ここで、対象領域切り出し座標は、例えば、図示を省略したマウス等のポインティングデバイス（座標入力手段）により指定することができる。
このとき、対象領域は、登録又は識別すべき物体領域の少なくとも一部を含むような領域とする。例えば、左上及び右下の２座標により入力画像内における方形を１つ設定し、その内部（方形領域）を対象領域とする。また、例えば、３個以上の座標により多角形を構成し、その内部（多角形領域）を対象領域としてもよい。さらに、例えば、前記した方形領域若しくは多角形領域を複数指定し、それら複数の領域の集合演算（和集合）により対象領域を設定してもよい。
なお、時刻とともに対象物体が移動する場合は、既知の画像オブジェクト追跡技術を用いて対象物体を追跡し、その対象物体の領域を示す座標を対象領域切り出し座標として設定してもよい。
【００３１】
背景領域切り出し手段４は、対象領域の背景となる背景領域を特定する座標である背景領域切り出し座標に基づいて、入力された画像ｃ（ｘ，ｙ）から、背景領域を背景領域画像として切り出すものである。この背景領域切り出し手段４で切り出された背景領域画像ｃB（ｘ，ｙ）は、切り替え手段５（５ｃ）に出力される。
ここで、背景領域切り出し座標は、前記した対象領域切り出し座標と同様に、例えば、図示を省略したマウス等のポインティングデバイス（座標入力手段）により指定することができる。
【００３２】
このとき、背景領域は、画像内における色の登録又は識別を行う物体領域の補集合領域の少なくとも一部を含むような領域とする。なお、背景領域は、前記した対象領域と同様に、例えば、左上及び右下の２座標により画像内における方形を１つ設定し、その内部（方形領域）を背景領域とする。また、例えば、３個以上の座標により多角形を構成し、その内部（多角形領域）を背景領域としてもよい。さらに、例えば、前記した方形領域若しくは多角形領域を複数指定し、それら複数の領域の集合演算（和集合）により背景領域を設定してもよい。
なお、時刻とともに対象物体が移動する場合は、既知の画像オブジェクト追跡技術を用いて対象物体を追跡し、例えば、対象物体の周辺領域を示す座標を背景領域切り出し座標として設定してもよい。
【００３３】
ここで、図４を参照（適宜図１参照）して、対象領域切り出し手段３及び背景領域切り出し手段４で切り出される対象領域画像及び背景領域画像について説明する。図４は、画像から切り出した対象領域画像及び背景領域画像の切り出し例を示す図であって、（ａ）は対象領域画像の切り出し例、（ｂ）は背景領域画像の切り出し例を示している。なお、ここでは、入力画像を、サッカー競技を撮影した画像、色を識別する対象物体を、画像内に映っている選手Ｔとしている。
【００３４】
ここで、選手Ｔの色を識別する場合、対象領域切り出し手段３は、例えば、図４（ａ）に示すように、画像ｃ（ｘ，ｙ）から、選手Ｔの少なくとも一部を含むような左上及び右下の２座標により特定される方形領域Ｒを、対象領域画像ｃF（ｘ，ｙ）として切り出す。
また、背景領域切り出し手段４は、例えば、図４（ｂ）に示すように、選手Ｔの周辺領域に４つの方形領域（Ｒ1〜Ｒ4）を設定し、その各領域の和集合を、背景領域画像ｃB（ｘ，ｙ）として切り出す。
これによって、対象物体の色を特定するための領域（対象領域）と、その対象物体の背景の色を特定する領域（背景領域）が、部分画像として切り出されたことになる。
図１に戻って、色識別装置１の構成について説明を続ける。
【００３５】
切り替え手段５（５ａ，５ｂ，５ｃ）は、外部から入力される登録／識別切り替え信号に基づいて、色識別装置１の機能を、色種別の登録、又は、登録した色種別に基づいた対象領域の色識別のいずれか一方に切り替えるものである。この切り替え手段５は、色種別の登録時と識別時とで、入力された信号の出力先を切り替える構成としている。
【００３６】
切り替え手段５ａは、色種別を特定するための識別子であるカテゴリ番号を入力し、登録／識別切り替え信号が「登録」を示す信号である場合（登録時）には、カテゴリ番号を色統計分類手段６に出力する。また、当該信号が「識別」を示す信号である場合（識別時）には、出力を行わないこととする。
【００３７】
切り替え手段５ｂは、対象領域切り出し手段３で切り出された対象領域画像を入力し、登録／識別切り替え信号が「登録」を示す信号である場合（登録時）には、対象領域画像を色統計分類手段６に出力する。また、当該信号が「識別」を示す信号である場合（識別時）には、対象領域画像を色特定手段８に出力する。
【００３８】
切り替え手段５ｃは、背景領域切り出し手段４で切り出された背景領域画像を入力し、登録／識別切り替え信号が「登録」を示す信号である場合（登録時）には、背景領域画像を色統計分類手段６に出力する。また、当該信号が「識別」を示す信号である場合（識別時）には、背景領域画像を色特定手段８に出力する。
【００３９】
色統計分類手段６は、色種別の登録時において、対象領域切り出し手段３で切り出された対象領域画像と、背景領域切り出し手段４で切り出された背景領域画像とに対して、それぞれ色の統計を行い、色の種別毎に分類するものである。すなわち、色統計分類手段６は、対象領域画像及び背景領域画像における、それぞれの色の統計量を、カテゴリ番号に対応付けて色テンプレート記憶手段７に記憶することで色の分類を行う。これらの統計量は、各画像の色の特徴を表すことになり、色を識別するための指標となる。また、これらの統計量で表された色は、色の識別時において対象領域又は背景領域の色の候補となるものである。そこで、ここでは、対象領域画像及び背景領域画像の色の統計量を、それぞれ対象候補色特徴量及び背景候補色特徴量と呼ぶこととする。
【００４０】
ここで、色統計分類手段６は、対象候補色特徴量として、例えば、対象領域画像の色ベクトルの平均ベクトル及び共分散行列を用いることができる。すなわち、色統計分類手段６は、以下の式（１）に示すように、対象領域Ｆにおける色ベクトルを示す対象領域画像ｃF（ｘ，ｙ）から、平均ベクトルμF及び共分散行列ΣFを算出することで、対象候補色特徴量ＣFとする。ここで、Ｔは行列の転置を示している。
【００４１】
【数１】
2006201975.tif 000003
【００４２】
また、以下の式（２）に示すように、対象領域Ｆにおける色ベクトルを示す対象領域画像ｃF（ｘ，ｙ）から、ヒストグラムｈF（ｃ）を求め、対象候補色特徴量ＣFとしてもよい。なお、ヒストグラムｈF（ｃ）を求めるにあたっては、色空間を適当な間隔で量子化した色ベクトルｃ′を用い、その間隔における色ベクトルｃ′の量ｈF（ｃ′）を求めることにより行う。例えば、ＲＧＢ（赤〔Ｒ〕、緑〔Ｇ〕、青〔Ｂ〕）空間を１６×１６×１６画素に均等量子化してヒストグラムを求める。
【００４３】
【数２】
2006201975.tif 000004
【００４４】
また、色統計分類手段６は、背景領域色特徴量として、例えば、対象領域画像の色ベクトルの平均ベクトルを用いることができる。すなわち、色統計分類手段６は、以下の式（３）に示すように、背景領域Ｂにおける色ベクトルを示す背景領域画像ｃB（ｘ，ｙ）から、平均ベクトルμBを算出することで、背景候補色特徴量ＣBとする。
【００４５】
【数３】
2006201975.tif 000005
【００４６】
なお、背景候補色特徴量ＣBは、背景領域画像の色ベクトルの平均ベクトル及び共分散行列を用いることとしてもよい。すなわち、色統計分類手段６は、以下の式（４）に示すように、背景領域Ｂにおける色ベクトルを示す背景領域画像ｃB（ｘ，ｙ）から、平均ベクトルμB及び共分散行列ΣBを算出することで、背景候補色特徴量ＣBとする。ここで、Ｔは行列の転置を示している。
【００４７】
【数４】
2006201975.tif 000006
【００４８】
色テンプレート記憶手段７は、色統計分類手段６で統計された対象候補色特徴量ＣF及び背景候補色特徴量ＣBを、カテゴリ番号Ｋに対応付け、色のテンプレートとして記憶するもので、一般的なハードディスク等の記憶装置である。この色テンプレート記憶手段７には、照明や日照の強さが必ずしも同一でない状態で撮像された画像から、色を識別するための候補となる対象領域及びその背景領域の色の統計量を記憶しておく。
なお、以下では、対象候補色特徴量ＣF及び背景候補色特徴量ＣBを、カテゴリ番号Ｋに対応付けて表現する場合は、ＣF(K)及びＣB(K)と上付きの（Ｋ）を付加して表記し、それぞれを対象テンプレート及び背景テンプレートと呼ぶこととする。
この色テンプレート記憶手段７には、例えば、図２に示すように、対象候補色特徴量ＣFと、背景候補色特徴量ＣBとを、カテゴリ番号Ｋに対応付けて、表形式で記憶しておく。これによって、複数の対象テンプレート（ＣF(1)〜ＣF(N)）及び背景テンプレート（ＣB(1)〜ＣB(N)）が、カテゴリ番号Ｋ（１〜Ｎ）に対応付けられる。
【００４９】
色特定手段８は、対象領域の色の識別時において、対象領域切り出し手段３で切り出された対象領域画像と、背景領域切り出し手段４で切り出された背景領域画像とを、色テンプレート記憶手段７に記憶されているテンプレート群｛カテゴリ番号Ｋ、対象テンプレートＣF(K)、背景テンプレートＣB(K)｝と比較することで、対象領域画像がどのカテゴリ番号に属するかを特定するものである。ここで、特定されたカテゴリ番号が、色識別装置１の識別結果であるカテゴリ番号Ｋｏｕｔとして出力される。
【００５０】
ここで、図３を参照（適宜図１参照）して、色特定手段８の詳細な構成について説明する。図３は、色特定手段の構成を示すブロック図である。ここでは、色特定手段８は、クロック発生手段８０と、テンプレート選択手段８１と、分割手段８２と、色統計手段８３（８３ａ，８３ｂ）と、色補正演算式生成手段８４と、色補正手段８５と、色種別選択手段８６とを備えている。
【００５１】
クロック発生手段８０は、一定の時間間隔毎にクロック信号を発生させるものであり、一般的な水晶発振モジュールである。このクロック発生手段８０で発生されたクロック信号は、テンプレート選択手段８１に出力される。
【００５２】
テンプレート選択手段８１は、クロック発生手段８０で発生されたクロック信号をトリガとして、色テンプレート記憶手段７に記憶されているテンプレート群｛カテゴリ番号Ｋ、対象テンプレートＣF(K)、背景テンプレートＣB(K)｝の中から順次１つのテンプレートを選択するものである。このテンプレート選択手段８１で選択されたテンプレートは、分割手段８２に出力される。
【００５３】
分割手段８２は、テンプレート選択手段８１で選択されたテンプレートに含まれるカテゴリ番号、対象テンプレート及び背景テンプレートを個々の情報に分割するものである。この分割手段８２で分割された背景テンプレートは、色補正演算式生成手段８４に出力され、カテゴリ番号及び対象テンプレートは、色種別選択手段８６に出力される。
【００５４】
色統計手段（背景色統計手段）８３（８３ａ）は、背景領域切り出し手段４で切り出された背景領域画像において、色の統計を行うものである。この色統計手段８３ａで統計された統計量である背景色特徴量は、色補正演算式生成手段８４に出力される。
この色統計手段８３ａは、背景色特徴量として、例えば、背景領域画像の色ベクトルの平均ベクトルを用いることができる。この場合、色統計手段８３ａは、図１で説明した色統計分類手段６において、背景候補色特徴量ＣBを算出した前記式（３）と同様の式で、背景色特徴量（ここではＣB(IN)）を求めることができる。
【００５５】
色補正演算式生成手段８４は、色統計手段８３ａで統計された背景色特徴量と、分割手段８２で分割された背景テンプレートとの色の特徴量の差異に基づいて、対象領域画像の色を補正するための色補正演算式を生成するものである。これは、同一の画像において、背景色特徴量と背景テンプレートとの色の特徴量の差異は、対象色特徴量と対象テンプレートとの色の特徴量の差異とほぼ同一になるためである。なお、色補正演算式生成手段８４で生成された色補正演算式は、色補正手段８５に出力される。
この色補正演算式生成手段８４は、例えば、カテゴリ番号Ｋの背景テンプレートＣB(K)、及び、色統計手段８３ａで統計された背景色特徴量ＣB(IN)に、それぞれ平均ベクトルμB(K)及びμB(IN)が含まれている場合は、以下の式（５）により色補正演算式Ｆ（ｃ）を生成する。ただし、ｃは、画像に含まれる画素の色ベクトルを示す。
【００５６】
【数５】
2006201975.tif 000007
【００５７】
また、色補正演算式生成手段８４は、例えば、カテゴリ番号Ｋの背景テンプレートＣB(K)、及び、色統計手段８３ａで統計された背景色特徴量ＣB(IN)に、それぞれヒストグラムｈB(K)（ｃ）及びｈB(IN)（ｃ）が含まれている場合は、以下の式（６）により、平均ベクトルμB(K)及びμB(IN)を求めた後に、前記式（５）を適用することとしてもよい。なお、μB(IN)については、式（６）において、（Ｋ）を（ＩＮ）に代えるだけであるので、式を省略する。
【００５８】
【数６】
2006201975.tif 000008
【００５９】
色補正手段８５は、色補正演算式生成手段８４で生成された色補正演算式に基づいて、対象領域切り出し手段３で切り出された対象領域画像における全画素の色ベクトルの補正を行うものである。すなわち、色補正手段８５は、前記式（５）の色補正演算式Ｆ（ｃ）に基づいて、以下の式（７）の演算を行うことで、対象領域画像ｃF（ｘ，ｙ）の全画素の色ベクトルを補正した補正済み対象領域画像ｃF(COR)（ｘ，ｙ）を生成する。
【００６０】
【数７】
2006201975.tif 000009
【００６１】
この色補正手段８５で補正され、生成された補正済み対象領域画像ｃF(COR)（ｘ，ｙ）は、色統計手段８３ｂに出力される。
【００６２】
色統計手段（補正済み対象色統計手段）８３（８３ｂ）は、色補正手段８５から出力される補正済み対象領域画像において、色の統計を行うものである。この色統計手段８３ｂで統計された統計量である補正済み対象色特徴量は、色種別選択手段８６に出力される。
ここで、色統計手段８３ｂは、補正済み対象色特徴量として、例えば、補正済み対象領域画像の色ベクトルの平均ベクトルを用いることができる。すなわち、色統計手段８３ｂは、以下の式（８）に示すように、対象領域Ｆにおける色ベクトルを示す補正済み対象領域画像ｃF(COR)（ｘ，ｙ）から、平均ベクトルμF(COR)を算出することで、補正済み対象色特徴量ＣF(COR)とする。
【００６３】
【数８】
2006201975.tif 000010
【００６４】
なお、以下の式（９）に示すように、対象領域Ｆにおける色ベクトルを示す補正済み対象領域画像ｃF(COR)（ｘ，ｙ）から、ヒストグラムｈF(COR)（ｃ）を求め、補正済み対象色特徴量ＣF(COR)としてもよい。なお、ヒストグラムｈF(COR)（ｃ）を求めるにあたっては、色空間を適当な間隔で量子化した色ベクトルｃ′を用い、その間隔における色ベクトルｃ′の量ｈF(COR)（ｃ′）を求めることにより行う。例えば、ＲＧＢ空間を１６×１６×１６画素に均等量子化してヒストグラムを求める。
【００６５】
【数９】
2006201975.tif 000011
【００６６】
色種別選択手段８６は、分割手段８２で分割された対象テンプレート（対象候補色特徴量）と、色統計手段８３ｂで統計された補正済み対象色特徴量とが、最も類似するカテゴリ番号を、識別結果として出力するものである。ここでは、色種別選択手段８６は、以下の式（１０）に示すように、対象テンプレートＣF(K)と、補正済み対象色特徴量ＣF(COR)との距離ｄ（ＣF(K)，ＣF(COR)）を比較し、その距離が最小となるカテゴリ番号Ｋを、認識結果のカテゴリ番号Ｋｏｕｔとして出力する。
【００６７】
【数１０】
2006201975.tif 000012
【００６８】
なお、対象テンプレートＣF(K)として、平均ベクトルμF(K)及び共分散行列ΣF(K)を用い、補正済み対象色特徴量ＣF(COR)として、平均ベクトルμF(COR)を用いる場合には、距離ｄ（ＣF(K)，ＣF(COR)）として、例えば、以下の式（１１）に示すマハラノビス（Mahalanobis）距離を用いることができる。
【００６９】
【数１１】
2006201975.tif 000013
【００７０】
あるいは、以下の式（１２）に示すｍ次のミンコフスキ（Minkowski）距離（Ｌmノルム）を用いることもできる。
【００７１】
【数１２】
2006201975.tif 000014
【００７２】
この式（１２）は、特にｍ＝１のときは、市街化距離あるいはマンハッタン（Manhattan）距離（Ｌ1ノルム）と呼ばれ、ｍ＝２のときは、ユークリッド（Euclid）距離（Ｌ2ノルム）と呼ばれるものである。
さらに、距離ｄ（ＣF(K)，ＣF(COR)）として、例えば、以下の式（１３）に示すチェビシェフ（Chebyshev）距離（Ｌ∞ノルム）を用いることができる。
【００７３】
【数１３】
2006201975.tif 000015
【００７４】
なお、距離ｄ（ＣF(K)，ＣF(COR)）には、前記した式（１１）〜式（１３）以外にも、ベクトル又は共分散行列に対して定義される距離測度であれば、任意のものを用いることができる。
【００７５】
また、対象テンプレートＣF(K)として、色ベクトルのヒストグラムｈF(K)（ｃ）を用い、補正済み対象領域色特徴量ＣF(COR)として、色ベクトルのヒストグラムｈF(COR)（ｃ）を用いる場合（前記式（９）参照）には、距離ｄ（ＣF(K)，ＣF(COR)）として、例えば、以下の式（１４）に示す正規化されたヒストグラム（正規化ヒストグラム）間のＬ1ノルムを用いることができる。
【００７６】
【数１４】
2006201975.tif 000016
【００７７】
あるいは、以下の式（１５）に示す正規化ヒストグラム間のバッタチャリア（Bhattacharya）距離を用いることもできる。
【００７８】
【数１５】
2006201975.tif 000017
【００７９】
なお、距離ｄ（ＣF(K)，ＣF(COR)）には、前記した式（１４）及び式（１５）以外にも、ヒストグラム間に対して定義される距離測度であれば、任意のものを用いることができる。
【００８０】
以上説明したように、色識別装置１は、予め色テンプレート記憶手段７に、カテゴリ番号と対応付けて、対象領域の色と背景領域の色とを複数登録しておくことで、ある画像において、照明光の変動によって色が変化する場合であっても、背景領域の変化に対応して、対象領域の色を識別することができる。
なお、色識別装置１は、一般的なコンピュータを、前記した各手段として機能させることで実現することができる。このプログラム（色識別プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００８１】
［色識別装置１の動作］
次に、第一の実施の形態に係る色識別装置の動作について説明する。なお、ここでは、カテゴリ番号に対応付けてテンプレートを登録する登録動作（色登録動作）と、その登録されたテンプレートを参照して画像の対象領域の色を識別する識別動作（色識別動作）とを分けて説明する。
【００８２】
（色登録動作）
最初に、図５を参照（構成については適宜図１参照）して、色識別装置１の色登録動作について説明する。図５は、本発明における第一の実施の形態に係る色識別装置の色登録動作を示すフローチャートである。なお、色登録動作時には、色識別装置１に、予め登録／識別切り替え信号として、「登録」を示す信号が入力され、切り替え手段５（５ａ，５ｂ，５ｃ）が、各信号の出力先を「登録時」側に切り替えていることとする。
【００８３】
まず、色識別装置１は、対象領域切り出し手段３によって、画像ｃ（ｘ，ｙ）から、対象領域切り出し座標に対応する対象領域を対象領域画像ｃF（ｘ，ｙ）として切り出す（ステップＳ１）。この対象領域画像ｃF（ｘ，ｙ）は、切り替え手段５ｂを介して色統計分類手段６に出力される。
【００８４】
さらに、色識別装置１は、背景領域切り出し手段４によって、画像ｃ（ｘ，ｙ）から、背景領域切り出し座標に対応する背景領域を背景領域画像ｃB（ｘ，ｙ）として切り出す（ステップＳ２）。この背景領域画像ｃB（ｘ，ｙ）は、切り替え手段５ｃを介して色統計分類手段６に出力される。
続けて、色識別装置１は、色統計分類手段６によって、ステップＳ１で切り出された対象領域画像ｃF（ｘ，ｙ）、及び、ステップＳ２で切り出された背景領域画像ｃB（ｘ，ｙ）のそれぞれにおいて色の統計を行う（ステップＳ３）。
【００８５】
さらに、色識別装置１は、色統計分類手段６によって、ステップＳ３で統計されたそれぞれの統計量である対象候補色特徴量ＣF及び背景候補色特徴量ＣBを、対象テンプレート及び背景テンプレートとして、切り替え手段５ａを介して入力されるカテゴリ番号（色種別）Ｋに対応付けて、色テンプレート記憶手段７に記憶する（ステップＳ４）。
以上の動作を繰り返し行うことで、色テンプレート記憶手段７には、複数の対象テンプレート（ＣF(1)〜ＣF(N)）及び背景テンプレート（ＣB(1)〜ＣB(N)）が、カテゴリ番号Ｋ（１〜Ｎ）に対応付けられて記憶される（図２参照）。
【００８６】
（色識別動作）
次に、図６を参照して（構成については適宜図１及び図３参照）して、色識別装置１の色識別動作について説明する。図６は、本発明における第一の実施の形態に係る色識別装置の色識別動作を示すフローチャートである。なお、色識別動作時には、色識別装置１に、予め登録／識別切り替え信号として、「識別」を示す信号が入力され、切り替え手段５（５ａ，５ｂ，５ｃ）が、各信号の出力先を「識別時」側に切り替えていることとする。
【００８７】
まず、色識別装置１は、対象領域切り出し手段３によって、画像ｃ（ｘ，ｙ）から、対象領域切り出し座標に対応する対象領域を対象領域画像ｃF（ｘ，ｙ）として切り出す（ステップＳ１１）。この対象領域画像ｃF（ｘ，ｙ）は、切り替え手段５ｂを介して色特定手段８に出力される。
【００８８】
さらに、色識別装置１は、背景領域切り出し手段４によって、画像ｃ（ｘ，ｙ）から、背景領域切り出し座標に対応する背景領域を背景領域画像ｃB（ｘ，ｙ）として切り出す（ステップＳ１２）。この背景領域画像ｃB（ｘ，ｙ）は、切り替え手段５ｃを介して色特定手段８に出力される。
そして、色識別装置１は、色特定手段８の色統計手段８３ａによって、背景領域画像ｃB（ｘ，ｙ）において色を統計することで、背景色特徴量ＣB(IN)を算出する（ステップＳ１３）。
また、色識別装置１は、テンプレート選択手段８１によって、クロック発生手段８０が発生するクロック信号をトリガとして、順次１つのテンプレート（カテゴリ番号Ｋ、対象テンプレートＣF(K)、背景テンプレートＣB(K)）を色テンプレート記憶手段７から読み出し、個々の情報に分割する（ステップＳ１４）。
【００８９】
さらに、色識別装置１は、色補正演算式生成手段８４によって、ステップＳ１３で統計された背景色特徴量ＣB(IN)と、ステップＳ１４で分割された背景テンプレートＣB(K)との差異に基づいて、対象領域画像ｃF（ｘ，ｙ）の色を補正するための色補正演算式Ｆ（ｃ）を生成する（ステップＳ１５）。
そして、色識別装置１は、色補正手段８５によって、ステップＳ１５で生成された色補正演算式Ｆ（ｃ）を用いて、ステップＳ１１で切り出された対象領域画像ｃF（ｘ，ｙ）における全画素の色ベクトルの補正を行うことで、補正済み対象領域画像ｃF(COR)（ｘ，ｙ）を生成する（ステップＳ１６）。
【００９０】
続けて、色識別装置１は、色統計手段８３ｂによって、ステップＳ１６で生成された補正済み対象領域画像ｃF(COR)（ｘ，ｙ）において色を統計することで、補正済み対象色特徴量ｃF(COR)を算出する（ステップＳ１７）。
そして、色識別装置１は、色種別選択手段８６によって、ステップＳ１４で分割された対象テンプレートＣF(K)と、ステップＳ１７で統計された補正済み対象色特徴量との距離を算出し、図示しないメモリ等に記憶しておく（ステップＳ１８）。
そして、色識別装置１は、色種別選択手段８６によって、全てのカテゴリ番号Ｋについて、対象テンプレートと補正済み対象色特徴量との距離が算出されたかどうかを判定し（ステップＳ１９）、まだ、全てのカテゴリ番号Ｋについて距離が算出されていない場合（ステップＳ１９でＮｏ）、色識別装置１は、ステップＳ１４に戻って、次のテンプレートの読み出しを行う。
【００９１】
一方、全てのカテゴリ番号Ｋについて距離が算出された場合（ステップＳ１９でＹｅｓ）、色識別装置１は、色種別選択手段８６によって、その距離が最小となる対象テンプレートに対応するカテゴリ番号を、識別結果として出力する（ステップＳ２０）。
以上の動作によって、色識別装置１は、照明光の変動によって色が変化する場合であっても、背景領域の変化に対応して、複数の色種別（カテゴリ番号）の中から１つを、対象領域の色種別として選択することができる。
【００９２】
＜第二の実施の形態＞
［色識別装置１Ｂの構成］
次に、図７を参照して、第二の実施の形態に係る色識別装置の構成について説明する。図７は、本発明における第二の実施の形態に係る色識別装置の構成を示すブロック図である。図７に示すように、色識別装置１Ｂは、画像（カラー画像）内において、切り出し座標で示される領域内の識別対象となる対象領域の色を識別し、複数の色の種別を示すカテゴリ番号（カテゴリ識別子）の中から、１つのカテゴリ番号を特定することで、色の識別を行うものである。なお、この色識別装置１Ｂは、色種別を登録する機能と、その登録した（予め定めた）色種別に基づいて、対象領域の色を識別する機能とを有している。
【００９３】
ここでは、色識別装置１Ｂは、二値画像生成手段２と、対象領域切り出し手段３Ｂと、背景領域切り出し手段４Ｂと、切り替え手段５（５ａ，５ｂ，５ｃ）と、色統計分類手段６と、色テンプレート記憶手段７と、色特定手段８とを備えている。なお、二値画像生成手段２、対象領域切り出し手段３Ｂ及び背景領域切り出し手段４Ｂ以外の構成は、図１で説明した色識別装置１の構成と同じものであるため、同一の符号を付し、説明を省略する。
【００９４】
二値画像生成手段２は、入力された画像ｃ（ｘ，ｙ）から、対象領域の候補となる領域と、背景となる領域を区分した二値画像を生成するものである。この二値画像生成手段２で生成された二値画像は、対象領域切り出し手段３Ｂ及び背景領域切り出し手段４Ｂに出力される。
なお、この二値画像生成手段２は、一般的なハードクロマキによって二値画像を生成することができる。ここで、入力された画像ｃ（ｘ，ｙ）は、色空間内におけるベクトル値（色ベクトル）をとる。そこで、ここでは、ハードクロマキとして、入力された色ベクトルを｛０，１｝の二値に変換するものとする。すなわち、ハードクロマキは、以下の式（１６）に示すように、画像ｃ（ｘ，ｙ）を二値画像ｓ（ｘ，ｙ）に変換する関数ｆとすることができる。
【００９５】
【数１６】
2006201975.tif 000018
【００９６】
例えば、画像がサッカー競技を撮影した画像である場合、二値画像生成手段２は、背景となる芝生、土等の領域における色ベクトルの平均値、共分散等の統計量を予め求めておき、入力された画像の画素の色ベクトルが、その統計量に近い場合には「０」、それ以外の場合に「１」を出力する関数ｆを、ハードクロマキとする。
【００９７】
また、二値画像生成手段２は、背景差分法によって二値画像を生成することも可能である。例えば、画像がサッカー競技を撮影した画像である場合、選手が映っていない、若しくは選手を除去した背景画像ｂ（ｘ，ｙ）を予め準備しておき、以下の式（１７）に示すように、入力された画像ｃ（ｘ，ｙ）と、予め準備した背景画像ｂ（ｘ，ｙ）との色ベクトルの大きさの差分が、予め定めた閾値θ以下の場合は「０」、それ以外の場合は「１」とすることで、二値画像Ｓ（ｘ，ｙ）を生成することとしてもよい。
【００９８】
【数１７】
2006201975.tif 000019
【００９９】
また、二値画像生成手段２は、時系列に入力される画像毎に動きのある領域を検出し、動きのある領域を、対象領域の候補となる領域、動きのない領域を背景となる領域として区分することで、二値画像を生成することとしてもよい。
【０１００】
対象領域切り出し手段３Ｂは、外部から入力された切り出し座標と、二値画像生成手段２によって生成された二値画像とに基づいて、入力された画像ｃ（ｘ，ｙ）から、対象領域を対象領域画像として切り出すものである。この対象領域切り出し手段３Ｂで切り出された対象領域画像ｃF（ｘ，ｙ）は、切り替え手段５（５ｂ）に出力される。
なお、切り出し座標は、例えば、図示を省略したマウス等のポインティングデバイス（座標入力手段）により指定することができる。このとき、対象領域は、登録又は識別すべき物体領域を含んだ領域とする。
【０１０１】
ここで、図８を参照（適宜図７参照）して、対象領域切り出し手段３Ｂにおける対象領域画像の切り出し方法について説明する。図８は、対象領域切り出し手段において対象領域画像を切り出す手順を示した図である。ｃ（ｘ，ｙ）は入力された画像、ｓ（ｘ，ｙ）は二値画像生成手段２で生成された二値画像、Ｒは切り出し座標により指定された方形領域の例をそれぞれ示している。
【０１０２】
ここで、対象領域切り出し手段３Ｂは、二値画像ｓ（ｘ，ｙ）において画素値が“１（白）”の領域と、方形領域Ｒで指定された内部領域との集合演算（積集合演算）により、対象領域Ｆを生成する。さらに、対象領域切り出し手段３Ｂは、画像ｃ（ｘ，ｙ）から、対象領域Ｆの画素値が“１（白）”である画素のみを抽出することで、対象領域画像ｃF（ｘ，ｙ）を生成する。
図７に戻って、色識別装置１Ｂの構成について説明を続ける。
【０１０３】
背景領域切り出し手段４Ｂは、対象領域切り出し手段３Ｂに入力された座標と同じ切り出し座標と、二値画像生成手段２によって生成された二値画像とに基づいて、入力された画像ｃ（ｘ，ｙ）から、背景領域を背景領域画像として切り出すものである。この背景領域切り出し手段４Ｂで切り出された背景領域画像ｃB（ｘ，ｙ）は、切り替え手段５（５ｃ）に出力される。
【０１０４】
ここで、図９を参照（適宜図７参照）して、背景領域切り出し手段４Ｂにおける背景領域画像の切り出し方法について説明する。図９は、背景領域切り出し手段において背景領域画像を切り出す手順を示した図である。ｃ（ｘ，ｙ）は入力された画像、ｓ（ｘ，ｙ）は二値画像生成手段２で生成された二値画像、Ｒは切り出し座標により指定された方形領域の例をそれぞれ示している。
【０１０５】
ここで、背景領域切り出し手段４Ｂは、二値画像ｓ（ｘ，ｙ）において画素値が“０（黒）”の領域と、方形領域Ｒで指定された内部領域との集合演算（補集合及び積集合演算）により、背景領域Ｂを生成する。さらに、背景領域切り出し手段４Ｂは、画像ｃ（ｘ，ｙ）から、背景領域Ｂの画素値が“１（白）”である画素のみを抽出することで、背景領域画像ｃB（ｘ，ｙ）を生成する。
【０１０６】
以上説明したように、色識別装置１Ｂは、対象領域を抽出するための切り出し座標と、背景領域を抽出するための切り出し座標とを同一にできるため、色識別装置１（図１参照）と比べて、領域を設定するための手順を簡略化することができる。また、色識別装置１Ｂは、対象領域と背景領域とを明確に区分することができるため、対象領域の特徴量を正確に登録し、識別することができる。
また、色識別装置１Ｂは、一般的なコンピュータを、前記した各手段として機能させることで実現することができる。このプログラム（色識別プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１０７】
なお、色識別装置１Ｂの動作は、対象領域切り出し手段３Ｂ及び背景切り出し手段４Ｂにおいて、二値画像を用いて対象領域画像及び背景領域画像を切り出す以外は、図５で説明した色識別装置１（図１）の動作と同様であるので、説明を省略する。
【０１０８】
＜第三の実施の形態＞
［色識別装置１Ｃの構成］
次に、図１０を参照して、第三の実施の形態に係る色識別装置の構成について説明する。図１０は、本発明における第三の実施の形態に係る色識別装置の構成を示すブロック図である。図１０に示すように、色識別装置１Ｃは、画像（カラー画像）内において、切り出し座標で示される領域内の識別対象となる対象領域の色を識別し、複数の色の種別を示すカテゴリ番号（カテゴリ識別子）の中から、１つのカテゴリ番号を特定することで、色の識別を行うものである。なお、この色識別装置１Ｃは、対象領域と背景領域との色種別を個別に登録し、その登録した（予め定めた）色種別に基づいて、対象領域の色を識別する。
【０１０９】
ここでは、色識別装置１Ｃは、二値画像生成手段２と、対象領域切り出し手段３Ｂと、背景領域切り出し手段４Ｂと、切り替え手段５Ｂ（５Ｂａ，５Ｂｂ，５Ｂｃ，５Ｂｄ）と、色統計分類手段６Ｂ，６Ｃと、色テンプレート記憶手段７Ｂ，７Ｃと、色特定手段８Ｂと、背景補正演算式生成手段９と、対象色補正手段１０とを備えている。なお、二値画像生成手段２、対象領域切り出し手段３Ｂ及び背景領域切り出し手段４Ｂは、図７で説明した色識別装置１Ｂと同一の構成であるため、説明を省略する。
【０１１０】
切り替え手段５Ｂ（５Ｂａ，５Ｂｂ，５Ｂｃ，５Ｂｄ）は、外部から入力される対象登録／背景登録／識別切り替え信号に基づいて、色識別装置１Ｃの機能を、対象領域の色種別の登録、背景領域の色種別の登録、又は、登録した色種別に基づいた対象領域の色識別のいずれかに、切り替えるものである。この切り替え手段５Ｂは、対象領域の色種別の登録時と、背景領域の色種別の登録時と、対象領域の色の識別時とで、入力された信号の出力先を切り替える構成としている。
【０１１１】
切り替え手段５Ｂａは、色種別を特定するための識別子であるカテゴリ番号を入力し、対象登録／背景登録／識別切り替え信号が、「対象領域の色種別登録」を示す信号である場合（対象登録時）には、カテゴリ番号を色統計分類手段６Ｂに出力する。また、当該信号が、「背景領域の色種別登録」を示す信号、又は、「識別」を示す信号である場合（背景登録時又は識別時）には、出力を行わないこととする。
【０１１２】
切り替え手段５Ｂｂは、対象領域切り出し手段３Ｂで切り出された対象領域画像を入力し、対象登録／背景登録／識別切り替え信号が、「対象領域の色種別登録」を示す信号である場合（対象登録時）には、対象領域画像を色統計分類手段６Ｂに出力する。また、当該信号が、「識別」を示す信号である場合（識別時）には、対象領域画像を対象色補正手段１０に出力する。また、当該信号が、「背景領域の色種別登録」を示す信号である場合（背景登録時）には、出力を行わないこととする。
【０１１３】
切り替え手段５Ｂｃは、背景領域切り出し手段４Ｂで切り出された背景領域画像を入力し、対象登録／背景登録／識別切り替え信号が、「背景領域の色種別登録」を示す信号である場合（背景登録時）には、背景領域画像を色統計分類手段６Ｃに出力する。また、当該信号が、「識別」を示す信号である場合（識別時）には、背景領域画像を背景補正演算式生成手段９に出力する。また、当該信号が、「対象領域の色種別登録」を示す信号である場合（対象登録時）には、出力を行わないこととする。
【０１１４】
切り替え手段５Ｂｄは、背景領域の色種別を特定するための識別子である背景カテゴリ番号を入力し、対象登録／背景登録／識別切り替え信号が、「背景領域の色種別登録」を示す信号である場合（背景登録時）には、背景カテゴリ番号を色統計分類手段６Ｃに出力する。また、当該信号が、「対象領域の色種別登録」を示す信号、又は、「識別」を示す信号である場合（対象登録時又は識別時）には、出力を行わないこととする。
【０１１５】
色統計分類手段６Ｂは、対象領域の色種別の登録時において、対象領域切り出し手段３Ｂで切り出された対象領域画像に対して色の統計を行い、色の種別毎に分類するものである。この色統計分類手段６Ｂで統計された統計量（対象候補色特徴量）は、カテゴリ番号に対応付けて色テンプレート記憶手段７Ｂに記憶される。
【０１１６】
色統計分類手段６Ｃは、背景領域の色種別の登録時において、背景領域切り出し手段４Ｂで切り出された背景領域画像に対して色の統計を行い、色の種別毎に分類するものである。この色統計分類手段６Ｃで統計された統計量（背景候補色特徴量）は、背景カテゴリ番号に対応付けて色テンプレート記憶手段７Ｃに記憶される。
なお、色統計分類手段６Ｂ及び色統計分類手段６Ｃにおける、対象候補色特徴量ＣF及び背景候補色特徴量ＣBとしては、図１で説明した色統計分類手段６と同様の統計量を用いることができ、ここでは、説明を省略する。
【０１１７】
色テンプレート記憶手段（対象色テンプレート記憶手段）７Ｂは、色統計分類手段６Ｂで統計された対象候補色特徴量ＣFを、カテゴリ番号Ｋに対応付け、色のテンプレートとして記憶するもので、一般的なハードディスク等の記憶装置である。この色テンプレート記憶手段７Ｂには、照明や日照の強さが一定の状態で撮像された画像から、複数の対象領域の候補となる色の特徴量を記憶しておく。
なお、以下では、対象候補色特徴量ＣFを、カテゴリ番号Ｋに対応付けて表現する場合は、ＣF(K)と上付きの（Ｋ）を付加して表記し、対象テンプレートと呼ぶこととする。この色テンプレート記憶手段７Ｂには、対象候補色特徴量ＣFを、カテゴリ番号Ｋに対応付けて、表形式で記憶しておく。
【０１１８】
色テンプレート記憶手段（背景色テンプレート記憶手段）７Ｃは、色統計分類手段６Ｃで統計された背景候補色特徴量ＣBを、背景カテゴリ番号Ｌに対応付け、色のテンプレートとして記憶するもので、一般的なハードディスク等の記憶装置である。この色テンプレート記憶手段７Ｃには、照明や日照の変化よる複数種類の背景候補色特徴量ＣBを記憶しておく。例えば、照明の強度によって明るくなった箇所や暗くなった箇所、あるいは、日照による日向や日陰といった複数の背景領域の特徴量を記憶しておく。
【０１１９】
また、色テンプレート記憶手段７Ｃには、後記する対象色補正手段１０において色の補正を行うための基準となる色種別（背景カテゴリ）を、基準背景カテゴリとして分類しておく。ここでは、色テンプレート記憶手段７Ｂにおいて、対象候補色特徴量ＣFを登録したときの背景の色を基準となる色種別とし、背景カテゴリ番号Ｌが“１”の背景カテゴリを、基準背景カテゴリとする。
なお、以下では、背景候補色特徴量ＣBを、背景カテゴリ番号Ｌに対応付けて表現する場合は、ＣB(L)と上付きの（Ｌ）を付加して表記し、背景テンプレートと呼ぶこととする。この色テンプレート記憶手段７Ｃには、背景候補色特徴量ＣBを、背景カテゴリ番号Ｌに対応付けて、表形式で記憶しておく。
なお、色テンプレート記憶手段７Ｂ，７Ｃは、同一の記憶装置とし、記憶領域のみを変える構成としてもよい。
【０１２０】
色特定手段８Ｂは、後記する対象色補正手段１０で補正された補正済み対象領域画像と、色テンプレート記憶手段７Ｂに記憶されている対象テンプレート群｛カテゴリ番号Ｋ、対象テンプレートＣF(K)｝とを比較することで、補正済み対象領域画像がどのカテゴリ番号に属するかを判定するものである。ここで、判定されたカテゴリ番号が、色識別装置１Ｃの識別結果であるカテゴリ番号Ｋｏｕｔとして出力される。
【０１２１】
ここで、図１１を参照（適宜図１０参照）して、色特定手段８Ｂの詳細な構成について説明する。図１１は、色特定手段の構成を示すブロック図である。ここでは、色特定手段８Ｂは、クロック発生手段８０と、テンプレート選択手段８１Ｂと、分割手段８２Ｂと、色統計手段８３（８３ｂ）と、色種別選択手段８６とを備えている。
クロック発生手段８０、色統計手段８３（８３ｂ）及び色種別選択手段８６は、図３で説明した色特定手段８と同一の構成であるため、説明を省略する。
【０１２２】
テンプレート選択手段８１Ｂは、クロック発生手段８０で発生されたクロック信号をトリガとして、色テンプレート記憶手段７Ｂに記憶されている対象テンプレート群｛カテゴリ番号Ｋ、対象テンプレートＣF(K)｝の中から順次１つの対象テンプレートを選択するものである。このテンプレート選択手段８１Ｂで選択された対象テンプレートは、分割手段８２Ｂに出力される。
【０１２３】
分割手段８２Ｂは、テンプレート選択手段８１Ｂで選択された対象テンプレートに含まれるカテゴリ番号及び対象テンプレートを個々の情報に分割するものである。この分割手段８２Ｂで分割されたカテゴリ番号及び対象テンプレートは、色種別選択手段８６に出力される。
図１０に戻って、色識別装置１Ｃの構成について説明を続ける。
【０１２４】
背景補正演算式生成手段９は、対象領域の色の識別時において、背景領域切り出し手段４Ｂで切り出された背景領域画像の色の特徴量に最も近い背景カテゴリ番号を求め、当該背景カテゴリ番号に対応付けられた色補正演算式を出力するものである。ここでは、背景補正演算式生成手段９は、基準となる背景カテゴリ（基準背景カテゴリ〔Ｌ＝１〕）に対して、背景領域画像の色の特徴量がどれだけ変化しているのかを色補正演算式の形式で表し、この色補正演算式を対象色補正手段１０に出力する。
【０１２５】
ここで、図１２を参照（適宜図１０参照）して、背景補正演算式生成手段９の詳細な構成について説明する。図１２は、背景補正演算式生成手段の構成を示すブロック図である。ここでは、背景補正演算式生成手段９は、クロック発生手段８０と、テンプレート選択手段８１Ｃと、分割手段８２Ｃと、色統計手段８３（８３ａ）と、色補正演算式生成手段８４Ｂとを備えている。
クロック発生手段８０及び色統計手段８３（８３ａ）は、図３で説明したクロック発生手段８０及び色統計手段８３ａと同一のものであるので説明を省略する。
【０１２６】
テンプレート選択手段８１Ｃは、クロック発生手段８０で発生されたクロック信号をトリガとして、色テンプレート記憶手段７Ｃに記憶されている背景テンプレート群｛背景カテゴリ番号Ｌ、背景テンプレートＣB(L)｝の中から順次１つの背景テンプレートを選択するものである。このテンプレート選択手段８１Ｃで選択された背景テンプレートは、分割手段８２Ｃに出力される。
【０１２７】
分割手段８２Ｃは、テンプレート選択手段８１Ｃで選択された背景テンプレートに含まれる背景カテゴリ番号及び背景テンプレートを個々の情報に分割するものである。この分割手段８２Ｃで分割された背景カテゴリ番号及び背景テンプレートは、色補正演算式生成手段８４Ｂに出力される。
【０１２８】
色補正演算式生成手段８４Ｂは、分割手段８２Ｃで分割された背景テンプレートと、色統計手段８３ａで統計された背景色特徴量との色の特徴量の差異に基づいて、対象領域画像の色を補正するための色補正演算式を生成するものである。
この色補正演算式生成手段８４Ｂは、背景テンプレートＣB(L)と、背景色特徴量ＣB(IN)とが、最も類似する背景カテゴリ番号を探索し、その背景カテゴリ番号に対応する色から、背景基準カテゴリの色へ補正を行うための色補正演算式を、対象領域画像の色を補正するための色補正演算式として生成する。
ここで、色補正演算式生成手段８４Ｂは、背景色特徴量ＣB(IN)と、背景テンプレートＣB(L)との距離ｄ（ＣB(L)，ＣB(IN)）が最小となる場合に、最も色が類似すると判定し、以下の式（１８）に示すように、距離ｄ（ＣB(L)，ＣB(IN)）が最小となる背景カテゴリ番号をＬｏｕｔとする。
【０１２９】
【数１８】
2006201975.tif 000020
【０１３０】
なお、この距離ｄ（ＣB(L)，ＣB(IN)）には、前記した式（１１）〜式（１５）と同様のものを用いることができる。また、距離ｄ（ＣB(L)，ＣB(IN)）には、平均ベクトル、共分散行列又はヒストグラムに対して定義される距離測度であれば、任意のものを用いることができる。
また、色補正演算式生成手段８４Ｂは、背景登録時において、背景カテゴリ番号Ｌが“１（基準背景カテゴリ）”の背景テンプレートＣB(1)、及び、背景カテゴリ番号Ｌｏｕｔの背景テンプレートＣB(Lout)に、それぞれ平均ベクトルμB(1)及びμB(Lout)が含まれている場合は、以下の式（１９）により色補正演算式Ｆ（ｃ）を生成し、背景カテゴリ番号Ｌ毎に分類して記憶しておくものとする。
そして、色補正演算式生成手段８４Ｂは、距離ｄ（ＣB(L)，ＣB(IN)）が最小となる背景カテゴリ番号Ｌｏｕｔに対応する色補正演算式Ｆ（ｃ）を出力する。なお、ｃは、画像に含まれる画素の色ベクトルを示す。
【０１３１】
【数１９】
2006201975.tif 000021
【０１３２】
また、色補正演算式生成手段８４Ｂは、例えば、背景テンプレートＣB(1)、及び、背景テンプレートＣB(Lout)に、それぞれヒストグラムｈB(1)（ｃ）及びｈB(Lout)（ｃ）が含まれている場合は、以下の式（２０）にの「Ｌ」にそれぞれ「１」又は「Ｌｏｕｔ」を代入することで、平均ベクトルμB(1)及びμB(Lout)を求めた後に、前記式（１９）を適用することとしてもよい。
【０１３３】
【数２０】
2006201975.tif 000022
【０１３４】
なお、色補正演算式生成手段８４Ｂは、基準背景カテゴリ（ここでは、背景カテゴリ番号Ｌ＝１）の統計量である背景テンプレートＣB(1)を、常に参照可能であるものとする。例えば、最初のクロックでＬ＝１の背景テンプレートを取得し、図示を省略した記憶手段に背景テンプレートＣB(1)を記憶しておくこととする。
【０１３５】
対象色補正手段１０は、色補正演算式生成手段８４Ｂで生成された色補正演算式に基づいて、対象領域切り出し手段３Ｂで切り出された対象領域画像における全画素の色ベクトルの補正を行うものである。すなわち、図３で説明した色補正手段８５と同一の機能を有するものである。
この対象色補正手段１０は、前記式（１９）の色補正演算式Ｆ（ｃ）に基づいて、前記式（７）の演算を行うことで、対象領域画像ｃF（ｘ，ｙ）の全画素の色ベクトルを補正した補正済み対象領域画像ｃF(COR)（ｘ，ｙ）を生成する。この対象色補正手段１０で補正され、生成された補正済み対象領域画像ｃF(COR)（ｘ，ｙ）は、色特定手段８Ｂに出力される。
【０１３６】
そして、色特定手段８Ｂが、補正済み対象領域画像と、色テンプレート記憶手段７Ｂに記憶されている対象テンプレート群｛カテゴリ番号Ｋ、対象テンプレートＣF(K)｝とを比較することで、補正済み対象領域画像がどのカテゴリ番号に属するかを判定し、色識別装置１Ｃの識別結果（カテゴリ番号Ｋｏｕｔ）として出力する。
【０１３７】
以上説明したように、色識別装置１Ｃは、照明光の変動によって色が変化する場合であっても、背景領域の変化に対応して、対象領域の色を識別することができる。また、色識別装置１Ｃでは、背景領域の色の統計量（背景候補色特徴量ＣB）を、照明等の強さによって複数登録した時点で前記式（１９）による色補正演算式Ｆ（ｃ）を予め計算しておくことが可能であり、色識別装置１Ｂ（図７）に比べ、識別時の演算量を軽減することができる。
なお、色識別装置１Ｃは、一般的なコンピュータを、前記した各手段として機能させることで実現することができる。このプログラム（色識別プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１３８】
［色識別装置１Ｃの動作］
次に、第三の実施の形態に係る色識別装置の動作について説明する。なお、カテゴリ番号又は背景カテゴリ番号に対応付けてテンプレートを登録する登録動作（色登録動作）は、対象候補色特徴量（対象テンプレート）と背景候補色特徴量（背景テンプレート）をそれぞれ個別に登録する以外は、図５で説明した色識別装置１の動作と同様であるので、説明を省略する。
【０１３９】
以下、図１３を参照（構成については適宜図１０乃至図１２参照）して、色識別動作について説明する。図１３は、本発明における第三の実施の形態に係る色識別装置の色識別動作を示すフローチャートである。なお、色識別動作時には、色識別装置１Ｃに、予め対象登録／背景登録／識別切り替え信号として、「識別」を示す信号が入力され、切り替え手段５Ｂ（５Ｂａ，５Ｂｂ，５Ｂｃ，５Ｂｄ）が、各信号の出力先を「識別時」側に切り替えていることとする。
【０１４０】
まず、色識別装置１Ｃは、二値画像生成手段２によって、画像ｃ（ｘ，ｙ）から、対象領域と背景領域とを区分した二値画像を生成する（ステップＳ２１）。
そして、色識別装置１Ｃは、対象領域切り出し手段３Ｂによって、切り出し座標と、ステップＳ２１で生成された二値画像とに基づいて、入力された画像ｃ（ｘ，ｙ）から、対象領域画像ｃF（ｘ，ｙ）を切り出す（ステップＳ２２）。この対象領域画像ｃF（ｘ，ｙ）は、切り替え手段５Ｂｂを介して対象色補正手段１０に出力される。
【０１４１】
さらに、色識別装置１Ｃは、背景領域切り出し手段４Ｂによって、切り出し座標と、ステップＳ２１で生成された二値画像とに基づいて、入力された画像ｃ（ｘ，ｙ）から、背景領域画像ｃB（ｘ，ｙ）を切り出す（ステップＳ２３）。この背景領域画像ｃB（ｘ，ｙ）は、切り替え手段５Ｂｃを介して背景補正演算式生成手段９に出力される。
そして、色識別装置１Ｃは、背景補正演算式生成手段９の色統計手段８３ａによって、背景領域画像ｃB（ｘ，ｙ）において色を統計することで、背景色特徴量ＣB(IN)を算出する（ステップＳ２４）。
【０１４２】
また、色識別装置１Ｃは、テンプレート選択手段８１Ｃによって、クロック発生手段８０が発生するクロック信号をトリガとして、順次１つのテンプレート（背景カテゴリ番号Ｌ、背景テンプレートＣB(L)）を色テンプレート記憶手段７Ｃから読み出し、個々の情報に分割する（ステップＳ２５）。
さらに、色識別装置１Ｃは、色補正演算式生成手段８４Ｂによって、ステップＳ２４で統計された背景色特徴量ＣB(IN)と、ステップＳ２５で分割された背景テンプレートＣB(L)との差異に基づいて、対象領域画像ｃF（ｘ，ｙ）の色を補正するための色補正演算式Ｆ（ｃ）を出力する（ステップＳ２６）。
【０１４３】
そして、色識別装置１Ｃは、対象色補正手段１０によって、ステップＳ２６で生成された色補正演算式Ｆ（ｃ）を用いて、ステップＳ２２で切り出された対象領域画像ｃF（ｘ，ｙ）における全画素の色ベクトルの補正を行うことで、補正済み対象領域画像ｃF(COR)（ｘ，ｙ）を生成する（ステップＳ２７）。
また、色識別装置１Ｃは、色特定手段８Ｂの色統計手段８３ｂによって、ステップＳ２７で生成された補正済み対象領域画像ｃF(COR)（ｘ，ｙ）において色を統計することで、補正済み対象色特徴量ｃF(COR)を算出する（ステップＳ２８）。
【０１４４】
さらに、色識別装置１Ｃは、テンプレート選択手段８１Ｂによって、クロック発生手段８０が発生するクロック信号をトリガとして、順次１つのテンプレート（カテゴリ番号Ｋ、対象テンプレートＣF(K)）を色テンプレート記憶手段７Ｂから読み出し、個々の情報に分割する（ステップＳ２９）。
そして、色識別装置１Ｃは、色種別選択手段８６によって、ステップＳ２９で分割された対象テンプレートＣF(K)と、ステップＳ２８で統計された補正済み対象色特徴量との距離を算出し、図示しないメモリ等に記憶しておく（ステップＳ３０）。
【０１４５】
そして、色識別装置１Ｃは、色種別選択手段８６によって、全てのカテゴリ番号Ｋについて、対象テンプレートと補正済み対象色特徴量との距離が算出されたかどうかを判定し（ステップＳ３１）、まだ、全てのカテゴリ番号Ｋについて距離が算出されていない場合（ステップＳ３１でＮｏ）、ステップＳ２９に戻って、次のテンプレートの読み出しを行う。
一方、全てのカテゴリ番号Ｋについて距離が算出された場合（ステップＳ３１でＹｅｓ）、色識別装置１Ｃは、さらに、色種別選択手段８６によって、全ての背景カテゴリ番号Ｌについて、ステップＳ２６からステップＳ３１までの処理が完了したかどうかを判定する（ステップＳ３２）。
【０１４６】
そして、全ての背景カテゴリ番号Ｌについて処理が完了していない場合（ステップＳ３２でＮｏ）、色識別装置１Ｃは、ステップＳ２５に戻って、色テンプレート記憶手段７Ｃから次のテンプレートを読み出し、処理を続ける。
一方、全ての背景カテゴリ番号Ｌについて処理が完了した場合（ステップＳ３２でＹｅｓ）、色識別装置１Ｃは、色種別選択手段８６によって、その距離が最小となる対象テンプレートに対応するカテゴリ番号を、識別結果として出力する（ステップＳ３３）。
以上の動作によって、色識別装置１Ｃは、照明光の変動によって色が変化する場合であっても、背景領域の変化に対応して、複数の色種別（カテゴリ番号）の中から１つを、対象領域の色種別として選択することができる。
【図面の簡単な説明】
【０１４７】
【図１】第一の実施の形態に係る色識別装置の構成を示すブロック図である。
【図２】第一の実施の形態に係る色識別装置における色テンプレート記憶手段の記憶内容を模式的に示した図である。
【図３】第一の実施の形態に係る色識別装置における色特定手段の構成を示すブロック図である。
【図４】対象領域画像及び背景領域画像の一例を示す図である。
【図５】第一の実施の形態に係る色識別装置における色登録動作を示すフローチャートである。
【図６】第一の実施の形態に係る色識別装置における色識別動作を示すフローチャートである。
【図７】第二の実施の形態に係る色識別装置の構成を示すブロック図である。
【図８】第二の実施の形態に係る色識別装置の対象領域切り出し手段において、対象領域画像を切り出す手順を示す図である。
【図９】第二の実施の形態に係る色識別装置の背景領域切り出し手段において、背景領域画像を切り出す手順を示す図である。
【図１０】第三の実施の形態に係る色識別装置の構成を示すブロック図である。
【図１１】第三の実施の形態に係る色識別装置における色特定手段の構成を示すブロック図である。
【図１２】第三の実施の形態に係る色識別装置における背景補正演算式生成手段の構成を示すブロック図である。
【図１３】第三の実施の形態に係る色識別装置における色識別動作を示すフローチャートである。
【符号の説明】
【０１４８】
１、１Ｂ、１Ｃ  色識別装置
２      二値画像生成手段
３      対象領域切り出し手段
４      背景領域切り出し手段
５、５Ｂ  切り替え手段
６、６Ｂ、６Ｃ  色統計分類手段
７      色テンプレート記憶手段
７Ｂ    色テンプレート記憶手段（対象色テンプレート記憶手段）
７Ｃ    色テンプレート記憶手段（背景色テンプレート記憶手段）
８、８Ｂ  色特定手段
８０    クロック発生手段
８１、８１Ｂ、８１Ｃ  テンプレート選択手段
８２、８２Ｂ、８２Ｃ  分割手段
８３    色統計手段
８３ａ  色統計手段（背景色統計手段）
８３ｂ  色統計手段（補正済み対象色統計手段）
８４、８４Ｂ  色補正演算式生成手段
８５    色補正手段
８６    色種別選択手段
９      背景補正演算式生成手段
１０    対象色補正手段
【図１】
2006201975.tif 000023
【図２】
2006201975.tif 000024
【図３】
2006201975.tif 000025
【図４】
2006201975.tif 000026
【図５】
2006201975.tif 000027
【図６】
2006201975.tif 000028
【図７】
2006201975.tif 000029
【図８】
2006201975.tif 000030
【図９】
2006201975.tif 000031
【図１０】
2006201975.tif 000032
【図１１】
2006201975.tif 000033
【図１２】
2006201975.tif 000034
【図１３】
2006201975.tif 000035