(57)【特許請求の範囲】
【請求項１】
入力画像内の対象を検出する画像検出装置であって、
少なくとも１つの対象データを格納するデータベースであって、前記少なくとも１つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、
前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも１つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも１つの領域を代表色領域として抽出する代表色領域抽出手段と、
前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも１つの代表色領域から、前記対象が存在する可能性のある少なくとも１つの候補領域を求める候補領域抽出手段と、
前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出する照合手段と
を備えた、画像検出装置。
【請求項２】
前記少なくとも１つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から選択される１つとの積が、所定の閾値よりも大きい領域である、請求項１に記載の装置。
【請求項３】
前記代表色は、前記複数の使用色のうち彩度が最も高い使用色である、請求項１に記載の装置。
【請求項４】
前記複数の使用色にはそれぞれ色番号が割り当てられており、前記クラスタ画像は、複数の画素を有しており、前記複数の画素のそれぞれは色番号によって表される画素値を有している、請求項１に記載の装置。
【請求項５】
前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも１つの候補領域のうちの１つとの間の画像間距離に基づいて、前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出し、
前記画像間距離は、前記非無彩色の色数が第１の所定値よりも大きいか、または、前記非無彩色を有する領域数が第２の所定値よりも大きいかのいずれかである場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存することなく決定され、
前記画像間距離は、前記非無彩色の色数が前記第１の所定値以下であり、かつ、前記非無彩色を有する領域数が前記第２の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存して決定される、請求項１に記載の画像検出装置。
【請求項６】
前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも１つの候補領域のうちの１つとの間の画像間距離に基づいて、前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出し、
前記画像間距離は、前記非無彩色の色数が第１の所定値以下であり、かつ、前記非無彩色を有する領域数が第２の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離と、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離とによって決定され、
前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像における前記代表色を有する領域の平均輝度によって正規化された輝度と、前記候補領域における前記代表色領域の平均輝度によって正規化された輝度とに基づいて求められ、
前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像の画素の色相と前記候補領域の各画素の色相とに基づいて求められる、請求項１に記載の画像検出装置。
【請求項７】
前記候補領域抽出手段は、前記少なくとも１つの代表色領域のそれぞれについて、所定量だけ拡大または縮小の少なくともいずれか一方を行い、前記クラスタ画像における前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、拡大または縮小を行う前の代表色領域と前記拡大または縮小の少なくともいずれか一方を行った代表色領域のそれぞれから、前記対象が存在する可能性のある複数の候補領域を求め、
前記照合手段は、前記少なくとも１つの代表色領域のそれぞれから得られた前記複数の候補領域について、前記複数の候補領域のそれぞれと前記クラスタ画像とを照合し、前記複数の候補領域のそれぞれと前記クラスタ画像との間の画像間距離が最小であり、かつ、所定の閾値よりも小さい候補領域を前記対象が存在する領域として検出する、請求項１に記載の画像検出装置。
【請求項８】
前記照合手段によって検出された少なくとも２つの検出領域を時間と対応付けて格納する検出領域記憶手段と、
前記入力画像の処理領域を特定する処理領域特定手段と
をさらに備え、
前記処理領域特定手段は、前記検出領域記憶手段に格納された少なくとも２つの検出領域のうち少なくとも２つの検出領域間の位置関係が所定の条件を満たすかどうかを判定し、前記位置関係が所定の条件を満たす場合には、前記少なくとも２つの検出領域のうち最新の時間と対応付けられた検出領域を含む前記検出領域の近傍を前記入力画像の処理領域として特定し、前記位置関係が所定の条件を満たさない場合には、前記入力画像全体を処理領域として特定する、請求項１に記載の画像検出装置。
【請求項９】
前記データベースは、少なくとも１つの対象データ組を少なくとも１つの環境のそれぞれに対応付けて格納し、前記少なくとも１つの対象データ組のそれぞれが前記少なくとも１つの対象データを格納し、
前記画像検出装置は、前記画像検出装置が設置された環境を測定し、その測定結果に基づいて、前記少なくとも１つの環境のうち前記画像検出装置が設置された環境に対応付けて格納された対象データ組を前記少なくとも１つの対象データ組から選択する環境測定手段をさらに備え、
前記代表色抽出手段は、前記入力画像において検出すべき対象を特定する情報を受け取り、前記選択された対象データ組のうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定する、請求項１に記載の画像検出装置。
【請求項１０】
前記少なくとも１つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から、前記環境測定手段によって測定された環境に基づいて選択される１つとの積が、所定の閾値よりも大きい領域である、請求項９に記載の装置。
【請求項１１】
コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムであって、
前記画像検出装置は、
少なくとも１つの対象データを格納するデータベースであって、前記少なくとも１つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、
前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも１つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも１つの領域を代表色領域として抽出する代表色領域抽出手段と、
前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも１つの代表色領域から、前記対象が存在する可能性のある少なくとも１つの候補領域を求める候補領域抽出手段と、
前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出する照合手段と
を備えている、プログラム。
【請求項１２】
コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記画像検出装置は、
少なくとも１つの対象データを格納するデータベースであって、前記少なくとも１つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、
前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも１つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも１つの領域を代表色領域として抽出する代表色領域抽出手段と、
前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも１つの代表色領域から、前記対象が存在する可能性のある少なくとも１つの候補領域を求める候補領域抽出手段と、
前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出する照合手段と
を備えている、記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像検出装置に関し、より詳細には、移動体に搭載されたカメラ等で撮影されたカラー画像における看板・標識・信号機等の対象の位置を検出する画像検出装置、プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
従来、移動体に搭載されたカメラ等で撮影されたカラー画像における道路標識の位置を認識する装置として、特公平６−５２５５４号公報に記載されたものが知られている。
【０００３】
特公平６−５２５５４号公報に記載される画像認識装置は、移動体前方の風景を撮影するカラー撮影手段と、撮影したカラー画像から第１の色及び第２の色を有する画像を選択して２値データとして抽出する特徴抽出手段と、抽出された二値画像データを格納する画像メモリと、予め検出したい画像の第１の色を有する枠パターンと第２の色を有する文字形状パターンとを格納するリファレンス用メモリと、画像メモリに記憶された二値画像データとリファレンスメモリに格納された枠パターンとを比較して道路標識の枠の存在を認識する枠認識手段と、道路標識の枠内の文字形状パターンを認識する枠内パターン認識手段とを備える。
【０００４】
次に、上記の構成要素を備える従来の画像認識装置の動作を各工程について説明する。
【０００５】
図１９は、従来技術の画像認識装置による画像認識を行う手順を示す。
【０００６】
ステップ１９０１：カラー撮影手段を用いて移動体前方の画像が取り込まれ、デジタル画像データに変換される。デジタル画像データの各画素は、色の３原色（赤、緑、青）を表すデジタルデータ（Ｒ、Ｇ、Ｂ）を有する。
【０００７】
ステップ１９０２：特徴抽出手段が、変換されたデジタル画像データから第１の色（標識の枠となる赤色）および第２の色（標識の文字部分となる青色）が強調されたデジタル二値画像データを抽出する。ステップ１９０１で変換されたデジタル画像データの各画素について、
（Ｒ＞Ｇ）ａｎｄ（Ｒ＞Ｂ）ならば赤色の画素
（Ｂ＞Ｒ）ａｎｄ（Ｂ＞Ｇ）ならば青色の画素
の条件を満たす画素のみ（すなわち、赤色の画素および青色の画素）を抽出する。抽出された二値画像データは、画像メモリに格納される。
【０００８】
ステップ１９０３：枠認識手段が、リファレンス用メモリに予め記憶された標識の第１の色を有する枠パターンを表すリファレンスデータと、特徴抽出手段で得られ、画像メモリに格納された二値画像データとを走査線毎に比較する。
【０００９】
ステップ１９０４：抽出された二値画像データが、リファレンス用メモリに格納された枠パターンを表すリファレンスデータと一致するか否かを判定する。ステップ１９０４で、抽出された二値画像データがリファレンスデータと一致しないと判定された場合には、ステップ１９０１に戻り、次の画像の取り込みを行う。抽出された二値画像データがリファレンスデータと一致すると判定された場合には、ステップ１９０５に進む。
【００１０】
ステップ１９０５：枠内パターン認識手段が、抽出された二値画像データのうちステップ１９０４で検出された枠の内部にあたる部分をリファレンス用メモリに格納された文字形状パターンデータを用いて認識する。
【００１１】
ステップ１９０６：画像全体を表す二値画像データのうち枠内を表す二値画像データに一致する文字形状パターンデータがリファレンス用メモリ内に存在するか否かが判定される。ステップ１９０６で、枠内を表す二値画像データに一致する文字形状パターンがリファレンス用メモリ内に存在しないと判定された場合には、ステップ１９０１に戻り、次の画像の取り込みを行う。枠内を表す二値画像データに一致する文字形状パターンがリファレンス用メモリ内に存在すると判定された場合には、ステップ１９０７に進む。
【００１２】
ステップ１９０７：枠内を表す二値画像データに一致する文字形状パターンの内容を運転者に報知する。
【００１３】
【発明が解決しようとする課題】
しかしながら、従来技術では、次のような理由から道路標識以外の対象を検出することはできない。
【００１４】
（１）画素をＲ（赤）、Ｇ（緑）、Ｂ（青）の３値で表現し、その最大となる値の色を画素の色とするので、赤、緑、青以外の任意の色を有する対象を検出することは困難である。
【００１５】
（２）対象に枠が存在しない（または枠自体が「白」等の検出し難い色である）場合、枠認識手段は枠を認識することができず、第２の色を有する位置を特定することができない。
【００１６】
（３）第１の色および第２の色の２色を用いることに限定しており、ガソリンスタンドおよびコンビニエンスストア等、任意の色数を使用した看板の検出は考慮されていない。
【００１７】
また、従来技術では次のような理由から検出精度が向上しない可能性がある。
【００１８】
（１）枠認識手段は、リファレンス用メモリに格納された第１の色の枠パターンの大きさと異なる大きさの枠パターンを抽出することはできない。つまりスケールの変化に対応できない。
【００１９】
（２）枠と枠内の部分とを別々に認識しているため、両者の厳密な位置関係は考慮されておらず、認識性能のさらなる向上が期待される。
【００２０】
（３）地域等の環境変化を考慮していない。例えば、京都では景観を重視するために同じ店舗の看板であっても、その看板に使用されている色が他の地域の看板で使用されている色とは異なっているため、従来の画像認識装置を搭載した移動体が京都・大阪間を移動するような場合に、このような看板を検出できない。
【００２１】
さらに、従来技術では次のような理由から検出速度が向上しない可能性がある。
【００２２】
（１）枠認識手段は、第１の色に対応する枠パターンを検出する場合に、取り込んだ画像について走査線毎に全領域を逐次照合する必要があるため、多くの処理時間を要する。
【００２３】
（２）連続する入力画像から対象を検出する際、過去の入力画像の検出結果を考慮することなく、常に入力画像全体を処理する必要があるため、多くの処理時間を要する。
【００２４】
従って、本発明の目的は、任意の色および任意の形状を有する対象（例えば、道路標識以外にもコンビニエンスストアおよびガソリンスタンドの看板など）を検出することが可能な画像検出装置を提供することである。
【００２５】
本発明の別の目的は、検出する対象の撮影時の大きさおよび検出時の環境に対応した検出精度の向上した画像検出装置を提供することである。
【００２６】
本発明のさらに別の目的は、検出速度の向上した画像検出装置を提供することである。
【００２７】
【課題を解決するための手段】
本発明による入力画像内の対象を検出する画像検出装置は、少なくとも１つの対象データを格納するデータベースであって、前記少なくとも１つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも１つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも１つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも１つの代表色領域から、前記対象が存在する可能性のある少なくとも１つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【００２８】
前記少なくとも１つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から選択される１つとの積が、所定の閾値よりも大きい領域であってもよい。
【００２９】
前記代表色は、前記複数の使用色のうち彩度が最も高い使用色であってもよい。
【００３０】
前記複数の使用色にはそれぞれ色番号が割り当てられており、前記クラスタ画像は、複数の画素を有しており、前記複数の画素のそれぞれは色番号によって表される画素値を有していてもよい。
【００３１】
前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも１つの候補領域のうちの１つとの間の画像間距離に基づいて、前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第１の所定値よりも大きいか、または、前記非無彩色を有する領域数が第２の所定値よりも大きいかのいずれかである場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存することなく決定され、前記画像間距離は、前記非無彩色の色数が前記第１の所定値以下であり、かつ、前記非無彩色を有する領域数が前記第２の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存して決定されてもよい。
【００３２】
前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも１つの候補領域のうちの１つとの間の画像間距離に基づいて、前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第１の所定値以下であり、かつ、前記非無彩色を有する領域数が第２の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離と、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離とによって決定され、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像における前記代表色を有する領域の平均輝度によって正規化された輝度と、前記候補領域における前記代表色領域の平均輝度によって正規化された輝度とに基づいて求められ、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像の画素の色相と前記候補領域の各画素の色相とに基づいて求められてもよい。
【００３３】
前記候補領域抽出手段は、前記少なくとも１つの代表色領域のそれぞれについて、所定量だけ拡大または縮小の少なくともいずれか一方を行い、前記クラスタ画像における前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、拡大または縮小を行う前の代表色領域と前記拡大または縮小の少なくともいずれか一方を行った代表色領域のそれぞれから、前記対象が存在する可能性のある複数の候補領域を求め、前記照合手段は、前記少なくとも１つの代表色領域のそれぞれから得られた前記複数の候補領域について、前記複数の候補領域のそれぞれと前記クラスタ画像とを照合し、前記複数の候補領域のそれぞれと前記クラスタ画像との間の画像間距離が最小であり、かつ、所定の閾値よりも小さい候補領域を前記対象が存在する領域として検出してもよい。
【００３４】
前記画像検出装置は、前記照合手段によって検出された少なくとも２つの検出領域を時間と対応付けて格納する検出領域記憶手段と、前記入力画像の処理領域を特定する処理領域特定手段とをさらに備え、前記処理領域特定手段は、前記検出領域記憶手段に格納された少なくとも２つの検出領域のうち少なくとも２つの検出領域間の位置関係が所定の条件を満たすかどうかを判定し、前記位置関係が所定の条件を満たす場合には、前記少なくとも２つの検出領域のうち最新の時間と対応付けられた検出領域を含む前記検出領域の近傍を前記入力画像の処理領域として特定し、前記位置関係が所定の条件を満たさない場合には、前記入力画像全体を処理領域として特定してもよい。
【００３５】
前記データベースは、少なくとも１つの対象データ組を少なくとも１つの環境のそれぞれに対応付けて格納し、前記少なくとも１つの対象データ組のそれぞれが前記少なくとも１つの対象データを格納し、前記画像検出装置は、前記画像検出装置が設置された環境を測定し、その測定結果に基づいて、前記少なくとも１つの環境のうち前記画像検出装置が設置された環境に対応付けて格納された対象データ組を前記少なくとも１つの対象データ組から選択する環境測定手段をさらに備え、前記代表色抽出手段は、前記入力画像において検出すべき対象を特定する情報を受け取り、前記選択された対象データ組のうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定してもよい。
【００３６】
前記少なくとも１つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から、前記環境測定手段によって測定された環境に基づいて選択される１つとの積が、所定の閾値よりも大きい領域であってもよい。
【００３７】
本発明によるプログラムは、コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムであって、前記画像検出装置は、少なくとも１つの対象データを格納するデータベースであって、前記少なくとも１つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも１つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも１つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも１つの代表色領域から、前記対象が存在する可能性のある少なくとも１つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【００３８】
本発明による記録媒体は、コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記画像検出装置は、少なくとも１つの対象データを格納するデータベースであって、前記少なくとも１つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも１つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも１つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも１つの代表色領域から、前記対象が存在する可能性のある少なくとも１つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも１つの候補領域のうちの１つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【００３９】
以下、作用を説明する。
【００４０】
本発明による画像検出装置によれば、少なくとも１つの対象データを格納するデータベースが設けられている。少なくとも１つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベースに格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【００４１】
また、本発明による画像検出装置によれば、代表色領域抽出手段により、入力画像における代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置の処理速度を向上させることが可能になる。
【００４２】
さらに、本発明による画像検出装置によれば、照合手段により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置の検出精度を向上させることが可能になる。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１８及び図２０を用いて説明する。
【００４４】
（実施の形態１）
図１は、本発明による画像検出装置１０７を含む移動体１０１の構成の一例を示す。
【００４５】
移動体１０１は、画像検出装置１０７に加えて、画像入力装置１０２と、入力装置１０３と、スピーカー１０４と、表示装置１０５と、画像変換装置１０６と、検出結果処理装置１０８と、記憶装置１０９とを含む。ここで、移動体１０１とは、ユーザとともに他力または自力で移動することが可能な任意の物体をいう。移動体１０１は、例えば、自動車、バイクおよび自転車であり得る。また、ユーザ自身が画像検出装置等を持って移動する場合には、移動体はユーザであり得る。
【００４６】
画像入力装置１０２は、移動体１０１の前方を撮影するように配置されている。画像入力装置１０２は、例えば、車載カメラであるが、これに限定されない。画像入力装置１０２によって撮影された画像は、画像入力装置１０２から入力画像として出力される。入力画像は、ＲＧＢ形式のデジタルデータである（すなわち、入力画像の各画素は、赤（Ｒ）を表すデジタル値と、緑（Ｇ）を表すデジタル値と、青（Ｂ）を表すデジタル値とを有している）。入力画像は、記憶装置１０９に格納される。記憶装置１０９は、任意の種類のメモリ（例えば、ハードディスクドライブ）であり得る。
【００４７】
画像変換装置１０６は、記憶装置１０９に格納された入力画像を読み出し、入力画像のデータ形式を変換する。変換後の入力画像は、ＨＳＶ形式のデジタルデータである（すなわち、変換後の入力画像の各画素は、色相（Ｈ）を表すデジタル値（例えば、０度〜３６０度の範囲の値）と、彩度（Ｓ）を表すデジタル値（例えば、０〜１の範囲の値）と、輝度（Ｖ）を表すデジタル値（例えば、０〜２５５の範囲の値）とを有している）。変換後の入力画像は、記憶装置１０９に格納される。
【００４８】
入力装置１０３は、入力画像において検出すべき対象を指定するために使用される。検出すべき対象の例としては、コンビニエンスストア、ガソリンスタンド、道路交通標識、信号機などが挙げられる。入力装置１０３は、例えば、各対象がそれぞれ対応付けられたボタンを有していてもよいし、ユーザが検出すべき対象の名称をタイプすることを可能にするキーボードを有していてもよい。入力装置１０３は、ユーザによって発せられた音声（例えば、検出すべき対象の名称）に基づいてその対象を認識する音声認識手段を備えていてもよい。ここで、ユーザとは、移動体１０１を運転するドライバであってもよいし、移動体１０１の同乗者であってもよい。
【００４９】
入力装置１０３を用いて入力画像において検出すべき対象が指定されると、画像検出装置１０７は、記憶装置１０９に格納された入力画像（ＨＳＶ形式のデジタルデータ）を読み出し、その入力画像内の対象を検出する。その検出方法の詳細は、図５を参照して後述される。画像検出装置１０７による検出結果（例えば、入力画像内の対象の位置を示す座標）は、検出結果処理装置１０８に出力される。
【００５０】
検出結果処理装置１０８は、画像検出装置１０７から出力された検出結果を処理することにより、スピーカー１０４に出力するための音声データおよび／または表示装置１０５に出力するための表示データを生成する。検出結果処理装置１０８によって生成された音声データは、スピーカー１０４に出力される。その結果、例えば、「対象が左斜め上にあります」などの音声がスピーカー１０４から出力される。これにより、ユーザは入力画像内の対象の位置を音声により認識することが可能になる。また、検出結果処理装置１０８によって生成された表示データは、表示装置１０５に出力される。その結果、例えば、対象が存在する領域が目立つ色（例えば、黄色）で表示装置１０５に表示される。これにより、ユーザは入力画像内の対象の位置を画像により認識することが可能になる。
【００５１】
図２は、本発明による画像検出装置１０７の構成の一例を示す。
【００５２】
画像検出装置１０７は、代表色領域抽出手段２０１と、候補領域抽出手段２０２と、照合手段２０３と、データベース２０４とを含む。
【００５３】
データベース２０４には、少なくとも１つの対象データが格納されている。データベース２０４に格納されている少なくとも１つの対象データのそれぞれは、検出すべき対象を表す。対象データは、対象を特定する情報（例えば、対象の名称）と、対象に使用されている複数の使用色を表す使用色データと、その複数の使用色を代表する代表色を表す代表色データと、その複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。ここで、代表色は、複数の使用色から選択された１つの使用色である。
【００５４】
入力装置１０３を用いて入力画像において検出すべき対象が指定されると、その対象を特定する情報（例えば、対象の名称）が、代表色領域抽出手段２０１と、候補領域抽出手段２０２と、照合手段２０３とに入力される。
【００５５】
代表色領域抽出手段２０１は、代表色領域抽出手段２０１に入力された対象を特定する情報（例えば、対象の名称）をキーにしてデータベース２０４を検索し、データベース２０４に格納されている少なくとも１つの対象データのうち、代表色領域抽出手段２０１に入力された対象を特定する情報（例えば、対象の名称）に対応する情報を有する対象データを特定する。
【００５６】
さらに、代表色領域抽出手段２０１は、記憶装置１０９に格納された入力画像（ＨＳＶ形式のデジタルデータ）を読み出し、その特定された対象データに含まれる代表色データをデータベース２０４から読み出し、その入力画像から、その代表色データによって表される代表色に実質的に同じ色を有する少なくとも１つの領域を代表色領域として抽出する。代表色領域抽出手段２０１によって抽出された少なくとも１つの代表色領域を表す代表色領域データは、候補領域抽出手段２０２に出力される。代表色領域データは、例えば、入力画像における代表色領域の位置を示す座標データである。
【００５７】
候補領域抽出手段２０２は、記憶装置１０９に格納された入力画像を読み出し、代表色領域抽出手段２０１に入力された対象を特定する情報（例えば、対象の名称）をキーにしてデータベース２０４を検索し、データベース２０４に格納されている少なくとも１つの対象データのうち、代表色領域抽出手段２０１に入力された対象を特定する情報（例えば、対象の名称）に対応する情報（例えば、対象の名称）を有する対象データを特定する。
【００５８】
さらに、候補領域抽出手段２０２は、代表色領域抽出手段２０１から代表色領域データを受け取り、その特定された対象データに含まれるクラスタ画像をデータベース２０４から読み出し、そのクラスタ画像において代表色を有する領域とそのクラスタ画像の枠との間の相対的な位置関係を用いて、代表色領域抽出手段２０１によって抽出された少なくとも１つの代表色領域から、対象が存在する可能性のある少なくとも１つの候補領域を求める。候補領域抽出手段２０２によって求められた少なくとも１つの候補領域を表す候補領域データは、照合手段２０３に出力される。候補領域データは、例えば、入力画像における候補領域の位置を示す座標データである。
【００５９】
照合手段２０３は、記憶装置１０９に格納された入力画像を読み出し、代表色領域抽出手段２０１に入力された対象を特定する情報（例えば、対象の名称）をキーにしてデータベース２０４を検索し、データベース２０４に格納されている少なくとも１つの対象データのうち、代表色領域抽出手段２０１に入力された対象を特定する情報（例えば、対象の名称）に対応する情報（例えば、対象の名称）を有する対象データを特定する。
【００６０】
さらに、照合手段２０３は、候補領域抽出手段２０２から候補領域データを受け取り、その特定された対象データに含まれるクラスタ画像をデータベース２０４から読み出し、そのクラスタ画像と候補領域抽出手段２０２によって求められた少なくとも１つの候補領域のそれぞれとを照合し、その照合結果に基づいて、候補領域抽出手段２０２によって求められた少なくとも１つの候補領域のうちの１つを対象が存在する領域として検出する。照合手段２０３によって検出された領域を表す検出領域データ（検出結果）は、画像検出装置１０７の外部に出力される。検出結果は、例えば、入力画像において検出された領域の位置を示す座標データである。
【００６１】
このように、本発明による画像検出装置１０７によれば、少なくとも１つの対象データを格納するデータベース２０４が設けられている。少なくとも１つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベース２０４に格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【００６２】
また、本発明による画像検出装置１０７によれば、代表色領域抽出手段２０１により、入力画像において代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段２０２により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置１０７の処理速度を向上させることが可能になる。
【００６３】
さらに、本発明による画像検出装置１０７によれば、照合手段２０３により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置１０７の検出精度を向上させることが可能になる。
【００６４】
なお、図２に示される例では、代表色領域抽出手段２０１、候補領域抽出手段２０２および照合手段２０３のそれぞれがデータベース２０４を検索する構成としたが、画像検出装置１０７の構成はこれに限定されない。入力装置１０３を用いて入力画像において検出すべき対象が指定されると、その対象を特定する情報（例えば、対象の名称）をデータベース検索手段（図示せず）に入力するようにし、そのデータベース検索手段がデータベース２０４を検索してその検索結果を代表色領域抽出手段２０１、候補領域抽出手段２０２および照合手段２０３のそれぞれに提供する構成としてもよい。あるいは、代表色領域抽出手段２０１、候補領域抽出手段２０２および照合手段２０３のうちの１つが、データベース検索手段の機能を有するようにしてもよい。
【００６５】
また、図２に示される例では、データベース２０４は、記憶装置１０９（図１）とは別個に設けられているが、画像検出装置１０７の構成はこれに限定されない。データベース２０４が記憶装置１０９（図１）に含まれていてもよい。
【００６６】
図３は、対象画像３０１に基づいて対象データに含まれるクラスタ画像３０６を生成するプロセスを模式的に示す。対象画像３０１は、対象を撮影することによって得られる画像である。図３に示されるプロセスによって対象画像３０１に基づいてクラスタ画像３０６が生成される。生成されたクラスタ画像３０６は、対象データの一部としてデータベース２０４に格納される。
【００６７】
以下、図３を参照して、対象データに含まれる使用色データ、代表色データおよびクラスタ画像がどのように定義されるかを説明する。
▲１▼使用色データ
対象画像３０１に含まれる画素は、「無彩色」を有する画素と「非無彩色」を有する画素とに分類される。ここで、「無彩色」を有する画素とは、所定の閾値Ｔｓ（例えば、０．２５）より低い彩度を有する画素をいう。「非無彩色」を有する画素とは、「無彩色」を有する画素以外の画素をいう。
【００６８】
図３に示される例では、対象画像３０１は、３つの異なる前景色を有する領域（四角、丸、三角）と背景色（白）を有する領域とを含む。３つの異なる前景色を有する領域（四角、丸、三角）に含まれる画素は、「非無彩色」を有する画素の例である。背景色（白）を有する領域に含まれる画素は、「無彩色」を有する画素の例である。なお、この例では、対象に使用される色数は３であるが、これに限定されない。対象に使用される色数は任意の数であり得る。
【００６９】
対象画像３０１に含まれる画素のうち、「非無彩色」を有する画素は、各画素が有する色相（Ｈ）を表す値に基づいて、少なくとも１つのクラスタに分類される。このような分類（クラスタリング）は、所定のクラスタリング手法に従って行われる。所定のクラスタリング手法の一例として、色数（図３に示される例では、３）を指定したＫ−ｍｅａｎｓ法が挙げられる。クラスタとは画素の集合をいう。
【００７０】
図３に示される色相の分布３０２における”クラスタ０”、”クラスタ１”および”クラスタ２”は、対象画像３０１に含まれる「非無彩色」を有する画素を分類した結果を示す。各クラスタは、そのクラスタに属する画素が有する色相の分布によって得られる平均３０３と分散３０４とを有している。また、最大距離３０５は、クラスタの中心（平均３０３）とそのクラスタに属する画素が有する色相（Ｈ）を表す値との距離のうち最大のものとして定義される。その距離としては、例えば、マハラノビス距離（「画像解析ハンドブック」東京大学出版会、ｐ３２）が使用され得る。マハラノビス距離の代わりに、ユークリッド距離を使用してもよい。
【００７１】
対象画像３０１に含まれる画素のうち、「無彩色」を有する画素は、少なくとも１つのクラスタに分類される。そのクラスタは、そのクラスタに属する画素の正規化輝度分布の平均３０３、分散３０４および最大距離３０５を有する。「無彩色」である画素の正規化輝度とは、その画素の輝度値を代表色を有する領域の平均輝度で除算した値である。
【００７２】
図３に示される正規化輝度の分布３０７における”クラスタ４”は、対象画像３０１に含まれる「無彩色」を有する画素を分類した結果を示す。正規化輝度の分布３０７は、候補領域とクラスタ画像とを照合する際に、無彩色領域の特徴量として用いられる。
【００７３】
対象に使用される１つの使用色は、１つのクラスタの平均３０３、分散３０４および最大距離３０５によって定義される。図３に示される例では、前景色の１つが”クラスタ０”の平均３０３、分散３０４および最大距離３０５によって定義され、前景色の他の１つが”クラスタ１”の平均３０３、分散３０４および最大距離３０５によって定義され、前景色の残りの１つが”クラスタ２”の平均３０３、分散３０４および最大距離３０５によって定義される。また、背景色（白）が”クラスタ４”の平均３０３、分散３０４および最大距離３０５によって定義される。
【００７４】
使用色データは、対象に使用される複数の使用色を表す。従って、使用色データは、使用色の組（すなわち、（平均３０３、分散３０４、最大距離３０５）の組）によって定義される。
【００７５】
なお、図３に示される例では、色相の分布３０２に現れる３つのクラスタのうち平均３０３が最も小さいクラスタから順に、クラスタ番号（色番号）０、１、２が割り当てられている。また、正規化輝度の分布３０７に現れるクラスタにクラスタ番号４（＝非無彩色の色数＋１）が割り当てられている。しかし、クラスタ番号の割り当て方法が図３に示される例に限定されるわけではない。クラスタ番号の割り当て方法は任意である。
▲２▼代表色データ
各クラスタについて、クラスタに属する画素の彩度の平均を求める。代表色は、対象に使用される複数の使用色のうち、その彩度の平均が最大となるクラスタに対応する使用色として定義される。あるいは、ユーザが手動で複数の使用色のうちの１つを代表色と指定してもよい。代表色データは、代表色を表す。
▲３▼クラスタ画像
クラスタ画像３０６は、対象画像３０１の各画素に各クラスタのクラスタ番号を割り当てることにより得られる。すなわち、クラスタ画像３０６は、画素値としてクラスタ番号０を有する画素からなる領域と、画素値としてクラスタ番号１を有する画素からなる領域と、画素値としてクラスタ番号２を有する画素からなる領域と、画素値としてクラスタ番号４を有する画素からなる領域とを含む。
【００７６】
図４は、複数の対象データ４０１ａ、４０１ｂ、４０１ｃ・・・がデータベース２０４に格納されている様子を模式的に示す。図４に示される例では、対象データ４０１ａは、ガソリンスタンド（ＧＳ０）のモデルを表す。対象データ４０１ａは、例えば、対象画像３０１（図３）に基づいて得られる。
【００７７】
対象データ４０１ａは、対象の名称を表すデータとして”ＧＳ０”を含み、使用色を表すデータ（使用色データ）として”クラスタ０”、”クラスタ１”、”クラスタ２”、”クラスタ４”を含み、代表色を表すデータ（代表色データ）として”クラスタ２”を含み、使用色を有する領域の配置を表すデータとしてクラスタ画像を含む。
【００７８】
図５は、コンピュータを画像検出装置１０７として機能させるプログラムの手順を示す。このプログラムは、例えば、記録媒体に記録された形式でユーザに提供される。ユーザが所定の手順に従ってこのプログラムをコンピュータにインストールすることにより、このプログラムはコンピュータ内のメモリに格納される。コンピュータ内のプロセッサ（ＣＰＵ）がこのプログラムを実行することにより、コンピュータを画像検出装置１０７として機能させることが可能になる。
【００７９】
なお、代表色領域抽出手段２０１（図２）の機能は、図５に示されるステップ６０１〜６０６に対応し、候補領域抽出手段２０２（図２）の機能は、図５に示されるステップ６０７に対応し、照合手段２０３（図２）の機能は、図５に示されるステップ６０８に対応する。
【００８０】
ここで、入力画像において検出すべき対象を特定する情報（例えば、ガソリンスタンドの名称）が画像検出装置１０７に入力されており、画像検出装置１０７が入力画像内に検出すべき対象（例えば、ガソリンスタンドの看板）が存在するか否かを判定する場合を仮定する。
【００８１】
図６Ａは、画像検出装置１０７に入力される入力画像の一例として入力画像５０１を示す。入力画像５０１は、画像入力装置１０２によって撮影された画像（図１に示される移動体１０１の前方の画像）のデータ形式を画像変換装置１０６によって変換することによって得られる。画像入力装置１０２によって撮影された画像のデータ形式はＲＧＢ形式であり、入力画像５０１のデータ形式はＨＳＶ形式である。図６Ａに示されるように、入力画像５０１は、ガソリンスタンドの看板の画像５０２を含む。ここで、入力画像５０１において検出すべき対象は、そのガソリンスタンドの看板であるとする。
【００８２】
以下、図５を参照して、上述したプログラムの各ステップを説明する。
【００８３】
ステップ６０１：代表色領域抽出手段２０１は、ガソリンスタンドの名称（ＧＳ０）に一致する名称を有する対象データ４０１ａ（図４）をデータベース２０４から読み出し、入力画像５０１から、対象データ４０１ａに含まれる代表色データによって表される代表色に実質的に同じ色を有する代表色領域を抽出する際に必要とされるメモリ領域を記憶装置１０９内に確保する。そのメモリ領域は、後述するように、類似度画像、クラスタ画像および代表色画像を記憶装置１０９に格納するために使用される。
【００８４】
ステップ６０２：代表色領域抽出手段２０１は、入力画像５０１に基づいて類似度画像とクラスタ画像とを生成する。類似度画像は、入力画像５０１の各画素の色相が対象データ４０１ａに含まれる使用色データによって表される使用色にどのくらい類似しているかを表す。クラスタ画像は、入力画像５０１の各画素が対象データ４０１ａの無彩色を除くどの使用色に対応するかを示し、対応するクラスタの色番号によって表される画素値を有している。入力画像５０１に基づいて生成された類似度画像の各画素は、対象データ４０１ａの無彩色を除く使用色との類似度のみを表し、その類似度は、各画素がどの使用色と類似しているかは表さない。従って、クラスタ画像を用いて、類似度画像の各画素が対象データ４０１ａに含まれる使用色データによって表される使用色のどの色に属するかを対応付ける。
【００８５】
クラスタ画像は次のようにして求められる。３つの画素値（色相、彩度、輝度）のうち１つの画素値（色相）について、入力画像５０１の各画素と使用色データによって表される使用色のクラスタのうち、無彩色（実施の形態１ではクラスタ４）を除く各使用色のクラスタとの距離を求める。距離には上述したマハラノビス距離を用いる。入力画像５０１の各画素と使用色データによって表される各使用色のクラスタとの距離のうち、その距離が最小となるクラスタをその画素の属するクラスタとする。クラスタ画像の各画素には、入力画像５０１の対応する各画素が属するクラスタの色番号（０〜２のうちの何れか）が画素値として割り当てられる。
【００８６】
類似度画像は次のようにして求められる。類似度画像の各画素には、入力画像５０１の対応する各画素と各画素が属するクラスタとの距離と、各画素が属するクラスタの最大距離３０５（図３）とを用いて、次式で求まる類似度が、画素値として割り当てられる。
【００８７】
類似度＝（最大距離−距離）／最大距離
ここで、入力画像５０１の各画素について上式を用いて類似度を求めた場合に、その類似度が負となる画素がある場合には、その画素はどのクラスタにも属さないとして、クラスタ画像の対応する画素にはクラスタ番号３（非無彩色のクラスタの色番号は０〜２であるため、非無彩色の最大の色番号の次の値を用いる）が割り当てられ、類似度画像の対応する画素には類似度０が割り当てられる。入力画像５０１の対応する各画素について上式を用いて類似度を求め、各画素に得られた類似度（０〜１）を割り当てたデータを類似度画像としてステップ６０１で記憶装置１０９内に確保したメモリ領域に格納する。
【００８８】
図６Ｂは、代表色領域抽出手段２０１によって入力画像５０１から生成される無彩色を除く使用色についての類似度画像の一例として類似度画像５０３を示す。類似度画像５０３は、各画素と無彩色を除く使用色データによって表される３つの使用色（クラスタ番号０〜２）のいずれかとの類似度をハッチングパターンで表した画像である。例えば、ハッチングなし（白抜き）の領域５０４の各画素は、３つの使用色のいずれかとの類似度が非常に高いことを示し、ドットで示されている領域５０５の各画素は、３つの使用色のすべてとの類似度が低いことを示し、網掛けで示されている領域（背景）５０６の各画素は、３つの使用色のすべてとの類似度が負である（すなわち全く類似しない）ことを示す。
【００８９】
ステップ６０３：代表色領域抽出手段２０１は、ステップ６０２において生成された類似度画像５０３およびクラスタ画像と、入力画像５０１の彩度画像とに基づいて、代表色画像を生成する。代表色画像とは、入力画像５０１における代表色データによって表される代表色（実施の形態１ではクラスタ２）と実質的に同じ色を有する領域を含む領域とそれ以外の色を有する領域とを表す画像である。
【００９０】
代表色画像は次のようにして求められる。ステップ６０２で生成したクラスタ画像の画素値が代表色データによって表される代表色の色番号である画素について、ステップ６０２で生成した類似度画像５０３において対応する画素の画素値（類似度）に、入力画像５０１の彩度画像（入力画像５０１の各画素の３つの画素値のうち彩度のみを画像で表したもの）において対応する画素の画素値（彩度）を乗じる。
【００９１】
クラスタ画像の画素値が代表色データによって表される代表色の色番号以外（実施の形態１ではクラスタ０および１）、およびクラスタ番号３である画素に対応する代表色画像の画素には、画素値として０を割り当てる。
【００９２】
図７Ａは、代表色領域抽出手段２０１によって入力画像５０１から生成される代表色についての類似度画像の一例として類似度画像７０１を示す。代表色についての類似度画像７０１において、ハッチングなし（白抜き）の領域７０５の各画素は、代表色との類似度が高いことを示し、斜線で示される領域７０６の各画素は、代表色との類似度が低いことを示し、網掛けで示される（背景）領域７０７の各画素は、代表色以外の色を有することを示す。
【００９３】
図７Ｂは、入力画像５０１の各画素を彩度で表した彩度画像の一例として彩度画像７０２を示す。彩度画像７０２は、上述したように入力画像５０１の各画素の３つの画素値のうち彩度のみで表した画像である。彩度画像７０２は、各画素の色に関わらず鮮やかな部分（彩度の高い部分）７０８が高輝度（すなわち白）で表されている。類似度画像７０１と彩度画像７０２とを対応する画素毎に乗じることによって代表色画像（図示せず）が得られる。このようにして得られた代表色画像の各画素は、０〜１の間の値を有する。
【００９４】
類似度画像７０１に彩度画像７０２を乗じる理由は、一般に、彩度の小さい画素は色相が安定せず、偶然に色相の類似度が高くなるのを抑えるためである。類似度に彩度（０〜１の実数）を乗じることで、彩度が低ければ（０に近ければ）類似度を０に抑えることができ、逆に彩度が高ければ（１に近ければ）類似度の値を保持することができる。このようにして得られた代表色画像をステップ６０１で記憶装置１０９内に確保したメモリ領域に格納する。
【００９５】
ステップ６０４：代表色領域抽出手段２０１は、ステップ６０３において生成された代表色画像（各画素は０〜１の値を有する）を２値化することにより、代表色と実質的に同じ色を有する代表色領域を代表色画像から抽出し、得られた代表色領域を囲う外接矩形を代表色外接領域として取得する。
【００９６】
本明細書中において、代表色領域には、入力画像５０１の画素の色相と代表色のクラスタとの距離に基づいて定められる類似度と、その画素の彩度との積が、閾値以上になる画素が含まれる。代表色領域は、代表色と実質的に同じ色を有している領域（代表色と実質的に同じ色を有している画素からなる領域）であるということができる。この例では、「代表色と実質的に同じ色を有している画素」とは、（その画素の代表色のクラスタとの類似度）×（その画素の彩度）が閾値以上であることを意味する。
【００９７】
２値化するために、判別分析法（大津の方法、「画像解析ハンドブック」東京大学出版会、ｐ５０３）を用いた。２値化の閾値の決定には、ステップ６０３で生成された代表色画像のすべての画素を用いるのではなく、代表色データによって表される代表色のクラスタ番号（ここでは２）に対応する画素のみが用いられる。２値化によって得られた二値画像７０３（図７Ｃを参照して後述する）の代表色領域の輪郭線追跡（「画像解析ハンドブック」東京大学出版会、ｐ５７９）を行うことで代表色外接領域を求める。
【００９８】
図７Ｃは、代表色領域抽出手段２０１によって入力画像５０１から生成される二値画像の一例として二値画像７０３を示す。二値画像７０３は、代表色領域７０９を白抜きで表し、それ以外（背景）は網掛けで表されている。実施の形態１において、二値画像７０３から得られた代表色領域７０９は３つ存在し、代表色領域７０９のそれぞれを外接矩形で囲んだ代表色外接領域７０４は、実施の形態１では３つ存在する。各代表色外接領域７０４は、二値画像７０３の左上を原点（０、０）として、水平方向の軸をｘ軸、垂直方向の軸をｙ軸とした場合に、左上の座標（ｄｓｘ、ｄｓｙ）と右下の座標（ｄｅｘ、ｄｅｙ）とからなる矩形領域で表される。当然のことながら、代表色領域７０９の領域数は任意である。
【００９９】
ステップ６０１〜６０４では、対象データ４０１ａに含まれる使用色データによって表される使用色のうち非無彩色（実施の形態１ではクラスタ０〜２）についてのみ考慮しており、無彩色については考慮していないことに留意されたい。
【０１００】
ステップ６０５：代表色領域抽出手段２０１は、入力画像５０１の無彩色を有する領域の各画素にクラスタ番号を割り当てる。
【０１０１】
入力画像５０１の画素が有する３つの画素値（彩度、色相、輝度）のうち１つの画素値である彩度が、所定の閾値Ｔｓ（例えば、０．２５）よりも小さい画素について、クラスタ画像の対応する画素に画素値として４（＝非無彩色の色数＋１）が割り当てられる。この値４は、対象データ４０１ａに含まれる使用色データによって表される使用色のうち非無彩色のクラスタ番号４と同じである。このように低彩度（無彩色）の領域の画素に対象データ４０１ａのクラスタ番号と同じ番号を割り当てることによって、後述するステップ６０７においてクラスタ番号４の領域が「低彩度である」という特徴を用いて照合を行うことができる。
【０１０２】
図７Ｄは、代表色領域抽出手段２０１によって入力画像５０１から生成されるクラスタ画像の一例としてクラスタ画像７１１を示す。クラスタ画像７１１は、ステップ６０２で行った非無彩色を有する画素へのクラスタ値の割り当てとステップ６０５で行った無彩色を有する画素へのクラスタ値の割り当てとの結果得られた画像である。入力画像５０１の対応する各画素にクラスタ番号を割り当てたデータをクラスタ画像としてステップ６０１で記憶装置１０９内に確保したメモリ領域に格納する。
【０１０３】
ステップ６０６：代表色領域抽出手段２０１は、代表色外接領域の結合処理を行う。
【０１０４】
図８は、分断された代表色外接領域を結合処理によって１つの代表色外接領域を生成するプロセスを模式的に示す。結合処理を行うことによって、図８のようにもともと１つであった代表色外接領域が複数に分断された場合に、１つの代表色外接領域にまとめることができる。分断された複数の代表色外接領域８０１が重複部分を持てば、重複した複数の代表色外接領域８０１について輪郭線追跡を行って外接矩形領域を求めることで新たな代表色外接領域８０２を得る。
【０１０５】
結合処理を行う理由は２つある。第１は、ステップ６０４の２値化において、２値化の閾値が高めに設定された場合、同じ領域であるべきものが複数の領域に分割されてしまう問題を回避するためである。第２は、電柱および電線などの隠蔽（オクルージョン）により検出したい対象の代表色領域が複数に分断される問題を回避するためである。さらに、面積または長辺が予め定めた値より小さすぎるまたは大きすぎる代表色外接領域はノイズの可能性が高いので処理対象外とする。
【０１０６】
ステップ６０１〜６０６から得られた代表色領域が少なくとも１つあれば、得られた代表色領域を表す代表色領域データを候補領域抽出手段２０２へ出力し、ステップ６０７へ進む。
【０１０７】
ステップ６０７：候補領域抽出手段２０２は、ステップ６０１〜６０６において得られた代表色外接領域のそれぞれから候補領域を求める。候補領域とは、対象（実施の形態１ではガソリンスタンドの看板）が存在する可能性のある領域を指す。候補領域を求めるために、クラスタ画像３０６において代表色を有する代表色外接領域とクラスタ画像３０６の枠との間の相対的な位置関係を用いる。クラスタ画像３０６の代表色外接領域は、代表色領域を外接矩形で囲った領域である。
【０１０８】
次に、候補領域の求め方を詳しく説明する。
【０１０９】
図９は、代表色外接領域から候補領域を生成するプロセスを模式的に示す。図９に示すように、ステップ６０４と同様に、クラスタ画像３０６の代表色を有する領域を外接矩形で囲った代表色外接領域９０１を作成する。左上座標（０、０）および右下座標（ｍｅｘ、ｍｅｙ）は、クラスタ画像３０６の枠の座標を表している。クラスタ画像３０６の枠の水平方向の軸をｘ軸、垂直方向の軸をｙ軸とした場合に、代表色外接領域９０１は、左上の座標（ｍｄｓｘ、ｍｄｓｙ）と右下の座標（ｍｄｅｘ、ｍｄｅｙ）とからなる矩形領域で表される。クラスタ画像３０６に代表色外接領域が複数存在する場合には、例えば、その面積が最大の代表色外接領域を採用すればよい。しかしながら、この場合、複数の代表色外接領域のうちどれを採用するかは任意である。
【０１１０】
このようにして得られたクラスタ画像３０６の代表色外接領域９０１の左上座標（ｍｄｓｘ、ｍｄｓｙ）と右下座標（ｍｄｅｘ、ｍｄｅｙ）と、ステップ６０４で生成された入力画像５０１の代表色外接領域７０４それぞれの左上座標（ｄｓｘ、ｄｓｙ）と右下座標（ｄｅｘ、ｄｅｙ）とを用いて、候補領域の左上座標と右下座標とを決定する。候補領域の左上座標と右上座標とはそれぞれ
（ｄｓｘ−ｚｘ×ｍｄｓｘ、ｄｓｙ−ｚｙ×ｍｄｓｙ）および
（ｄｓｘ＋ｚｘ×（ｍｅｘ−ｍｄｓｘ）、ｄｓｙ＋ｚｙ×（ｍｅｙ−ｍｄｓｙ））
となる。但し、ｚｘ＝（ｄｅｘ−ｄｓｘ＋１）／（ｍｄｅｘ−ｍｄｓｘ＋１）および、ｚｙ＝（ｄｅｙ−ｄｓｙ＋１）／（ｍｄｅｙ−ｍｄｓｙ＋１）である。ｚｘは、クラスタ画像３０６の代表色外接領域９０１と入力画像の代表色外接領域７０４とのｘ軸方向の幅の比率である。一方ｚｙは、クラスタ画像３０６の代表色外接領域９０１と入力画像の代表色外接領域７０４とのｙ軸方向の高さの比率である。
【０１１１】
このように縦横別々の比率を用いるのは、２つの理由がある。第１の理由は、カメラで撮影された画像は使用するレンズの画角によって画像の周辺に歪みが発生し、撮影された画像の位置によっては縦（ｙ軸方向の高さ）と横（ｘ軸方向の幅）の伸縮の度合いが異なるからである。第２の理由は、看板がカメラに対して正面を向いていない場合、撮影した画像の高さと幅の比率がモデルと異なる可能性があるためである。縦および横の歪みの程度が同じ場合（すなわち、画像の中央から左右斜め上下）は、幅の比率、高さの比率が等しいと仮定でき、ｚｘまたはｚｙのいずれか一方の値を用いてｚｘ＝ｚｙとしてもよい。この場合、ｚｘまたはｚｙのいずれか一方を選ぶ方法として、入力画像５０１の代表色外接領域７０４のｙ軸方向の高さがｘ軸方向の幅よりも長ければｚｙを採用し、逆にｘ軸方向の幅がｙ軸方向の高さよりも長ければｚｘを採用する。これは、検出する対象が電柱などで隠蔽されているときに有効である。
【０１１２】
図１０は、代表色外接領域から候補領域を生成する別のプロセスを模式的に示す。図１０の入力画像１７０１は、検出したい対象のガソリンスタンドの看板５０２が電柱１７０２で隠蔽されている点以外は図６Ａの入力画像５０１と同じである。入力画像１７０１中の代表色領域の一部分が電柱１７０２によって隠蔽されているため、このような入力画像１７０１についてステップ６０１〜６０６を行うと、図１０に示されるように一部が欠けた状態の代表色外接領域１７０４が得られる。
【０１１３】
この場合、代表色外接領域１７０４のｘ軸方向の幅からは本来の看板の大きさを正しく計算できないが、ｙ軸方向の高さ（電柱１７０２によって分断されたｘ軸方向の幅よりも長い可能性が高い）を用いることで看板の大きさを正しく計算できる。図１０の場合、入力画像１７０１から得られた代表色外接領域１７０４は、ｙ軸方向の高さがｘ軸方向の幅よりも大きいので、ｚｙが採用される。
【０１１４】
ｚｙを選択した場合の代表色外接領域１７０４から生成される第１の候補領域１７０３および第２の候補領域１７０５の左上座標および右下座標は、それぞれ、
（ｄｓｘ−ｚｙ×ｍｄｓｘ、ｄｓｙ−ｚｙ×ｍｄｓｙ）および
（ｄｓｘ＋ｚｙ×（ｍｅｘ−ｍｄｓｘ）、ｄｓｙ＋ｚｙ×（ｍｅｙ−ｍｄｓｙ））および、
（ｄｅｘ−ｚｙ×ｍｄｅｘ、ｄｓｙ−ｚｙ×ｍｄｓｙ）および
（ｄｅｘ＋ｚｙ×（ｍｅｘ−ｍｄｅｘ）、ｄｓｙ＋ｚｙ×（ｍｅｙ−ｍｄｓｙ））
となる。図１０において第１の候補領域１７０３を実線で示し、第２の候補領域１７０５を点線で示す。逆に、看板の代表色外接領域が障害物によって横に分断された場合はｚｘが選ばれる。この場合の入力画像の代表色外接領域から生成される２つの候補領域（図示せず）の左上座標及び右下座標は、それぞれ
（ｄｓｘ−ｚｘ×ｍｄｓｘ、ｄｓｙ−ｚｘ×ｍｄｓｙ）および
（ｄｓｘ＋ｚｘ×（ｍｅｘ−ｍｄｓｘ）、ｄｓｙ＋ｚｘ×（ｍｅｙ−ｍｄｓｙ））、
および、
（ｄｓｘ−ｚｘ×ｍｄｓｘ、ｄｅｙ−ｚｘ×ｍｄｅｙ）および
（ｄｓｘ＋ｚｘ×（ｍｅｘ−ｍｄｓｘ）、ｄｅｙ＋ｚｘ×（ｍｅｙ−ｍｄｅｙ））
となる。
【０１１５】
１つの代表色外接領域１７０４から２つの候補領域を求める理由は、２つある。第１の理由は、入力画像の代表色外接領域となるべき領域のうちどの部分が隠蔽されているかわからないためである。従って、ｚｙを選択した場合は、隠蔽された入力画像１７０１から生成された代表色外接領域１７０４の左辺および右辺をそれぞれ基準として候補領域が求められる。一方、ｚｘを選択した場合は、隠蔽された入力画像１７０１から生成された代表色外接領域１７０４の上辺あるいは下辺を基準として候補領域が求められる。第２の理由は、代表色外接領域の基準にしているある１つの辺がノイズなどの影響で必ずしも真の代表色外接領域の辺に対応していない可能性があるので、代表色外接領域のもう一方の辺を基準とした候補領域を求めて、真の対象の領域が必ず含まれるようにすることを目的としているためである。
【０１１６】
候補領域抽出手段２０２は、このようにして得られた候補領域９０３（図９）を表す候補領域データを照合手段２０３へ出力し、ステップ６０８へ進む。
【０１１７】
以上のようにして、入力画像内の対象データの代表色を有する領域の形状に関わらず、代表色と実質的に同じ色を有する代表色領域が抽出される。また、クラスタ画像の代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、入力画像中の対象の大きさに関わらず、対象の存在する可能性のある候補領域を絞りこむことができる。
【０１１８】
ステップ６０８：照合手段２０３は、ステップ６０７において求められた候補領域９０３のそれぞれとクラスタ画像３０６とを照合する。
【０１１９】
ステップ６０１〜６０７では、対象データ４０１ａに含まれる代表色データによって表される代表色に着目して、入力画像５０１の対象の存在する可能性のある領域を候補領域として絞りこんできた。次に、対象データ４０１ａに含まれる使用色データ（実施の形態１ではクラスタ番号０〜２、４）とクラスタ画像３０６（図３）とを用いて、候補領域９０３が検出したい対象であるかどうかを決定する。
【０１２０】
照合手段２０３は、ステップ６０７で生成された候補領域９０３のそれぞれについて、各候補領域９０３に対応するクラスタ画像７１１（図７Ｄ）内の画像とクラスタ画像３０６（図３）との間の画像間距離Ｄを後述の方法で計算し、得られた画像間距離Ｄが予め定めた閾値Ｔｄよりも小さいものを対象が存在する領域として検出する。なお、閾値Ｔｄよりも小さい複数の画像間距離Ｄが存在する場合には、それら複数の画像間距離Ｄのうち、最小の画像間距離Ｄとなる候補領域を対象が存在する領域として検出してもよい。照合を行う際に、各候補領域９０３とクラスタ画像３０６との大きさは必ずしも等しくないので、候補領域９０３またはクラスタ画像３０６のいずれか一方を基準として、大きさを正規化する。候補領域９０３を基準として正規化した場合には、正規化されたクラスタ画像３０６の画素数が、候補領域９０３の画素数に一致する。この場合、正規化されたクラスタ画像３０６の画素値が、正規化する前のクラスタ画像３０６の画素値となるように補間されている。クラスタ画像３０６を基準として正規化した場合も同様である。以下の説明で使用される候補領域９０３は、クラスタ画像３０６を基準として正規化したものとする。従って、正規化された候補領域９０３の画素数は、クラスタ画像３０６の画素数に一致する。当然のことながら、候補領域とクラスタ画像との大きさが等しい場合には、この処理は省略される。
【０１２１】
図１１は、クラスタ画像３０６と候補領域９０３との間の画像間距離Ｄを求める処理の手順を示す。画像間距離Ｄは、次式に示されるように、対応する画素（図１１において、クラスタ画像３０６の画素をＡとし、画素Ａに対応する候補領域９０３の画素をＢとする）についての画素間距離ｄをクラスタ画像３０６のすべての画素について加算（Ｄ’＝Σｄ）し、比較した画素数（ｎ）で除算することによって得られる。画素間距離ｄについては、後述する。
【０１２２】
Ｄ＝Ｄ’／比較に用いた画素数ｎ    （式１）
ステップ１１１１：式１においてＤ’に０を代入し、ｎに０を代入する。
【０１２３】
ステップ１１１２：クラスタ画像３０６の画素Ａと、画素Ａに対応する候補領域９０３の画素Ｂとを抽出する。
【０１２４】
ステップ１１１３：クラスタ画像３０６中に照合する画素が残っているかどうかを判定する。クラスタ画像３０６中に照合すべき画素が残っていない場合には、ステップ１１２４に進む。クラスタ画像３０６中に照合すべき画素が残っている場合は、ステップ１１１４に進む。
【０１２５】
ステップ１１１４：クラスタ画像３０６の画素Ａは無彩色であるか否かを判定する。クラスタ画像３０６中の画素Ａが無彩色である場合には、ステップ１１１５に進む。クラスタ画像３０６中の画像Ａが非無彩色である場合には、ステップ１１１７に進む。
【０１２６】
ステップ１１１５：クラスタ画像３０６の非無彩色の色数が第１の所定値よりも大きいか、またはクラスタ画像３０６の非無彩色の領域数が第２の所定値よりも大きいかのいずれかであるか否かを判定する。クラスタ画像３０６の非無彩色の色数が第１の所定値よりも大きいか、またはクラスタ画像３０６の非無彩色の領域数が第２の所定値よりも大きい場合には、クラスタ画像３０６の無彩色の画素と候補領域９０３の対応する画素との間の画素間距離ｄを求めることなく、ステップ１１１２に戻る。クラスタ画像３０６の非無彩色の色数が第１の所定値以下であり、かつクラスタ画像３０６の非無彩色の領域数が第２の所定値以下である場合には、クラスタ画像３０６の無彩色の画素と候補領域９０３の対応する画素との間の画素間距離ｄを求めるために、ステップ１１１６に進む。
【０１２７】
ステップ１１１６：クラスタ画像３０６の画素Ａのクラスタ番号と候補領域９０３の対応する画素Ｂのクラスタ番号とが一致するか否かを判定する。候補領域９０３の画素Ｂのクラスタ番号は、図７Ｄのクラスタ画像７１１から得られる。画素Ａと画素Ｂとのクラスタ番号が一致する場合には、ステップ１１１８に進む。画素Ａと画素Ｂとのクラスタ番号が一致しない場合には、ステップ１１１９に進む。
【０１２８】
ステップ１１１８：Ｄ’をｄ０（Ａ，Ｂ）だけ増加させる。ここで、ｄ０（Ａ，Ｂ）は、クラスタ画像３０６の無彩色領域についての画素Ａと画素Ｂとの画素間距離である。
【０１２９】
ステップ１１１９：Ｄ’を１だけ増加させる。画素Ａと画素Ｂとの画素間距離ｄは、１である。
【０１３０】
ステップ１１２０：ｎを１だけ増加させる。
【０１３１】
ステップ１１２０まで終了すると、ステップ１１１２に戻ってループが繰り返される。
【０１３２】
ステップ１１１７：クラスタ画像３０６の画素Ａのクラスタ番号と候補領域９０３の対応する画素Ｂのクラスタ番号とが一致するか否かを判定する。ステップ１１１７は、ステップ１１１６と同様である。画素Ａと画素Ｂとのクラスタ番号が一致する場合には、ステップ１１２１に進む。画素Ａと画素Ｂとのクラスタ番号が一致しない場合には、ステップ１１２２に進む。
【０１３３】
ステップ１１２１：Ｄ’をｄ１（Ａ，Ｂ）だけ増加させる。ここで、ｄ１（Ａ，Ｂ）は、クラスタ画像３０６の非無彩色領域についての画素Ａと画素Ｂとの画素間距離である。
【０１３４】
ステップ１１２２：Ｄ’を１だけ増加させる。画素Ａと画素Ｂとの画素間距離ｄは、１である。
【０１３５】
ステップ１１２３：ｎを１だけ増加させる。ステップ１１２３はステップ１１２０と同様である。
【０１３６】
ステップ１１２３まで終了すると、ステップ１１１２に戻ってループが繰り返される。ステップ１１１３において、クラスタ画像３０６中に照合すべき画素が残っていない場合には、ステップ１１２４に進む。
【０１３７】
ステップ１１２４：式１に従って、画像間距離Ｄが求められる。
【０１３８】
以上のステップ１１１１〜１１２４を行うことによって、画像間距離Ｄが求められる。ステップ１１１５において、クラスタ画像３０６の非無彩色の色数が第１の所定値よりも大きいか、またはクラスタ画像３０６の非無彩色の領域数が第２の所定値よりも大きい場合には、図１１中点線で囲った領域１１２５のクラスタ画像３０６の無彩色の画素と候補領域９０３の対応する画素との間の画素間距離ｄを求めるステップを省略することができる。実施の形態１において、クラスタ画像の非無彩色の色数は、図４の対象データ４０１ａから３（クラスタ０〜２）であり、クラスタ画像３０６の非無彩色の領域数は、３である。第１の所定値および第２の所定値とは、例えばそれぞれ１等であり得る。第１の所定値および第２の所定値は異なっていてもよい。
【０１３９】
このように、クラスタ画像３０６の非無彩色の色数または非無彩色の領域数に基づいて、クラスタ画像３０６の無彩色の画素（無彩色領域）を考慮するか否かを制御することは有効である。クラスタ画像の無彩色の画素と候補領域の対応する画素との間の画素間距離ｄに依存することなく、クラスタ画像３０６と候補領域９０３との間の画像間距離Ｄを求めることは、真に無彩色な領域が、カメラの光学系および画像処理の影響等に起因した無彩色な領域の周りに存在する非無彩色のにじみによって、画像上では無彩色でなくなり、画像検出に悪影響をもたらすために有利である。一方、第１の所定値および第２の所定値がそれぞれ１の場合（例えば、対象画像が「日の丸」のような場合のクラスタ画像において、非無彩色（赤）の色数が１であり、非無彩色の領域数（赤色の領域）が１の場合）、無彩色領域を考慮することなく画像間距離Ｄを求めると、信号機の赤灯等の赤くて丸いもの全てが検出される可能性がある。このような場合には、無彩色領域の「低彩度である」という特徴を利用した照合を行うことによって、例えば日の丸等を正確に検出する。従って、画像検出装置１０７の検出精度を高めることができる。
【０１４０】
次に、式１で用いた画素間距離ｄについて説明する。ｄの定義としては、クラスタ画像３０６の注目する画素Ａが無彩色である場合と非無彩色である場合について、それぞれいくつか考えられる。画素Ａが無彩色である場合と非無彩色である場合とについてそれぞれ別個に説明する。
▲１▼画素Ａが無彩色である場合（実施の形態１では画素Ａがクラスタ番号４に割り当てられている場合）、画素Ａと画素Ｂとの間の画素間距離ｄ０（Ａ，Ｂ）は、２つの方法のいずれかによって求められる。
１．クラスタ画像３０６の画素Ａのクラスタ番号と候補領域９０３の対応する画素Ｂのクラスタ番号とが一致した場合には、０をｄ０（Ａ，Ｂ）に代入し、不一致である場合には、１をｄ０（Ａ，Ｂ）に代入する。
２．クラスタ画像３０６の画素Ａのクラスタ番号と候補領域９０３の対応する画素Ｂのクラスタ番号とが一致した場合、候補領域９０３の画素Ｂの正規化輝度と正規化輝度分布３０７（図３のクラスタ４）との間の距離（正規化輝度間距離）をｄ０（Ａ，Ｂ）に代入し、不一致であれば１をｄ０（Ａ，Ｂ）に代入する。候補領域９０３の画素Ｂの正規化輝度は、入力画像の対応する画素Ｂの輝度値を候補領域９０３における代表色領域の平均輝度で除算した値である。正規化輝度間の距離とは、画素Ｂの正規化輝度と正規化輝度分布３０７との間のマハラノビス距離を正規化輝度分布３０７の最大距離３０５で除算した値である。正規化輝度間距離が１を越える場合には、ｄ０（Ａ，Ｂ）に１を代入する。
【０１４１】
画像の輝度値は、その画像の撮影時の光源の条件の影響を受けやすい。光源の条件（例えば、光源の明るさ）が、対象画像の撮影時と入力画像の撮影時とで異なる場合には、対象画像中の代表色領域の平均輝度と、入力画像中の代表色領域の平均輝度とは、撮影時の条件の違いに応じた異なった値を示す。無彩色の画素の輝度値を代表色領域の平均輝度で正規化することによって、光源の条件の影響をキャンセルすることができる。
【０１４２】
２つの方法のうちいずれの方法を採用してもよいが、２．の正規化輝度間の距離を用いる方法を採用すれば上述の理由から高精度な検出を達成することができる。
▲２▼画素Ａが非無彩色である場合（実施の形態１では画素Ａがクラスタ番号０〜２に割り当てられている場合）、画素Ａと画素Ｂとの間の距離ｄ１（Ａ，Ｂ）は３つの方法のいずれかによって求められる。３つの方法のうちいずれを採用してもよい。
１．クラスタ画像３０６の画素Ａのクラスタ番号と候補領域９０３の対応する画素Ｂのクラスタ番号とが一致した場合には、０をｄ１（Ａ，Ｂ）に代入し、不一致である場合には、１をｄ１（Ａ，Ｂ）に代入する。
２．クラスタ画像３０６の画素Ａのクラスタ番号と候補領域９０３の対応する画素Ｂのクラスタ番号とが一致した場合、候補領域９０３の画素Ｂに対応する図６Ａの類似度画像５０３の対応する画素の画素値（類似度）を１から引いた値をｄ１（Ａ，Ｂ）に代入し、不一致であれば１をｄ１（Ａ，Ｂ）に代入する。
３．クラスタ画像３０６の画素Ａのクラスタ番号と候補領域９０３の対応する画素Ｂのクラスタ番号とが一致した場合、画素Ａと画素Ｂとの色相値の差の絶対値をπで割った値をｄ１（Ａ，Ｂ）に代入し、また不一致であれば１をｄ１（Ａ，Ｂ）に代入する。
【０１４３】
上記１．〜３．のいずれもクラスタ画像の各画素の色相と候補領域の各画素の色相に基づいて、各画素間距離が求められる。
【０１４４】
なお、本発明の画像検出装置によれば、任意の標識および看板だけでなく、信号機を検出することも可能である。信号機に使用される色は赤、青、黄であり、それぞれが決まった配置関係をもっており、その形状も円形と決まっている。信号機の使用色の非無彩色は赤、青および黄である。上述したように、信号機を検出する際には、色相および彩度のみを用い、輝度は用いない。従って、どの色が点灯しているかを決定することができない。しかしながら、赤、青、黄の各色に属する画素の輝度値の平均を求め、その平均値が最も高い色が点灯していると特定することによって、現在の信号機の点灯している色を知ることができる。このように赤、青、黄の３色を用いることによって、１色のみを用いた検出時に生じる車のテールランプの赤と信号機の赤との誤検出を防ぐことが可能である。なお、信号機の場合、赤、青、黄と３色ではなく、赤と黄をまとめたものを１色（すなわち、１つのクラスタ値）として考え、これに青を考慮した２色を用いて検出してもよい。
【０１４５】
なお、対象画像の対象データを求める際に、代表色は使用色のうち各使用色の平均彩度が最も高いもの１つとしたが、これに限るものではなく、複数でもよい。その場合は、例えば、平均彩度が高いものから順に選ぶものとする。また、対象データに含まれる使用色データの各色クラスタの最大距離３０５（図３）はクラスタとそのクラスタに属する画素値（色相）との距離の最大値としたが、これに限らずクラスタの分散３０４の平方根の２倍または３倍といった分散を基準とした値としてもよい。さらに、非無彩色の場合の最大距離３０５としてπを用いてもよい。
【０１４６】
また、対象画像の対象データを求める際に、無彩色領域に１つのクラスタ値を割り当てたが、これに限るものではなく、無彩色領域も正規化輝度分布をクラスタリングして複数のクラスタ値を割り当ててもよい。これにより、輝度の異なる無彩色領域でパターンが構成されている場合に効率よく検出を行うことができる。
【０１４７】
また、ステップ６０３で代表色画像を生成するために、類似度画像５０３の各画素値に彩度画像の対応する各画素値を乗じたが、夜間の画像等から発光する対象（ガソリンスタンドやコンビニエンスストア等の看板）を検出する場合には、類似度画像５０３の各画素値に輝度画像の対応する各画素値を乗じてもよいし、また類似度画像５０３の各画素値に輝度画像の対応する各画素値と彩度画像７０２の対応する各画素値とを乗じてもよい。輝度画像とは、入力画像５０１の各画素の３つの画素値のうち輝度のみで表された画像である。このように輝度を用いることで、夜間の画像のように類似度画像だけでは絞り込めない代表色領域を的確に絞り込むことができる。この場合にも、代表色領域は、代表色と実質的に同じ色を有している領域（代表色と実質的に同じ色を有している画素からなる領域）であるということができる。この例では、「代表色と実質的に同じ色を有している画素」とは、（その画素の代表色のクラスタとの類似度）×（その画素の輝度）または（その画素の代表色のクラスタとの類似度）×（その画素の彩度）×（その画素の輝度）が閾値以上であることを意味する。
【０１４８】
また、ステップ６０４で代表色画像を二値化した画像から代表色領域を得て、その代表色領域について輪郭線追跡を行うことにより代表色外接領域７０４を求めていたが、図７Ｄのクラスタ画像７１１において代表色を表すクラスタ値（実施の形態１ではクラスタ番号２）を有し、かつ彩度画像７０２において彩度が０．２５以上（非無彩色）である画素を有する領域を代表色領域として、その代表色領域について輪郭線追跡を行って代表色外接領域を求めてもよい。
【０１４９】
さらに、ステップ６０６の代表色外接領域の結合処理において、各代表色外接領域を一定画素数（例えば１〜３画素）だけ上下左右に拡大し、拡大した代表色外接領域全体について結合を行って、次いで結合された代表色外接領域を一定画素数だけ上下左右に縮小したものを新たな代表色外接領域としてもよい。また、ステップ６０６の代表色外接領域の結合処理は必ずしも必要な処理ではなく、省略可能である。
【０１５０】
また、道路標識のうちで行き先表示板などが、設置されている場所によってその形状がまちまちである場合には、代表色領域抽出手段２０１で得られた代表色外接領域７０４がそのまま行き先表示板の候補領域９０３となるため、代表色領域抽出手段２０１だけを用いて候補領域抽出手段２０２、照合手段２０３、およびデータベース２０４を使用しない使い方も有効である。
【０１５１】
（実施の形態２）
図１２は、コンピュータを画像検出装置１０７（図２）として機能させる別のプログラムの手順を示す。なお、候補領域抽出手段２０２（図２）の機能は、図１２に示されるステップ１００７に対応し、照合手段２０３（図２）の機能は、図１２に示されるステップ１００８に対応する。図２に示されるステップ６０１〜６０６は、図６に示されるステップ６０１〜６０６と同一である。従って、ここでは説明を省略する。
【０１５２】
以下、図１２を参照して、上述したプログラムの各ステップを説明する。
【０１５３】
ステップ１００７：候補領域抽出手段２０２は、ステップ６０１〜ステップ６０６において得られた代表色外接領域のそれぞれから複数の候補領域を求める。
【０１５４】
図１３は、１つの代表色外接領域から複数の候補領域を生成するプロセスを模式的に示す。候補領域抽出手段２０２は、ステップ６０１〜ステップ６０６によって生成された代表色領域データを受け取り、代表色領域データによって表される代表色外接領域のそれぞれについて、上下左右へ一定画素（例えば、１画素）だけ拡大および縮小を行う。これにより、ステップ６０１〜ステップ６０６によって得られた代表色外接領域のそれぞれについて３つの代表色外接領域が生成される。ステップ６０１〜ステップ６０６によって得られた１つの代表色外接領域１１０１と、代表色外接領域１１０１を上下左右へ一定画素だけ拡大した代表色外接領域１１０２と、代表色外接領域１１０１を上下左右へ一定画素だけ縮小した代表色外接領域１１０３とを図１３に示す。
【０１５５】
次に、図５のステップ６０７と同様の手順で、各代表色外接領域から候補領域を求める。代表色外接領域１１０１に対する候補領域１１０４と、拡大された代表色外接領域１１０２に対する候補領域１１０６と、縮小された代表色外接領域１１０３に対する候補領域１１０５とを図１３に示す。
【０１５６】
候補領域抽出手段２０２は、このようにして得られた候補領域１１０４〜１１０６を表す候補領域データを照合手段へ出力し、ステップ１００８に進む。
【０１５７】
ステップ１００８：照合手段２０３は、ステップ１００７において求められた候補領域１１０４〜１１０６のそれぞれとクラスタ画像３０６とを照合する。候補領域１１０４〜１１０６のクラスタ画像それぞれとクラスタ画像３０６との間の画像間距離を実施の形態１と同様にして求める。得られた３つの画像間距離のうち最小の画像間距離が、予め定めた閾値Ｔｄよりも小さい場合に、その最小の画像間距離を有する候補領域が対象の存在する領域として検出される。一方、３つの画像間距離のうち最小の画像間距離が閾値Ｔｄよりも大きい場合には、照合手段２０３は、３つの候補領域すべてに対象は存在しないと判定する。
【０１５８】
なお、ステップ１００７では、ステップ６０１〜６０６によって得られた代表色外接領域を上下左右へ一定画素だけ拡大および縮小したが、拡大または縮小のいずれか一方のみを行ってもよい。また、拡大および／または縮小する画素数は１画素に限定するものではなく任意である。例えば、拡大および／または縮小する画素数は、カメラの性能（特に色のにじみ具合）に合わせて、２〜３画素でもよい。拡大および／または縮小それぞれの回数は１回ずつに限定するものではなく、任意である。
【０１５９】
実施の形態２によれば、拡大および／または縮小した代表色外接領域から求めた候補領域も考慮することによって、カメラの光学系および画像処理等に起因した代表色外接領域の輪郭における色のにじみ、かすれ等によって真の候補領域の大きさが正しく求めることができない場合であっても、検出精度を低下させることなく対象を検出することができる。
【０１６０】
（実施の形態３）
図１４は、本発明による画像検出装置１２００の構成の一例を示す。
【０１６１】
画像検出装置１２００は、図２の画像検出装置１０７に含まれる代表色領域抽出手段２０１と、候補領域抽出手段２０２と、照合手段２０３と、データベース２０４とに加えて、処理領域特定手段１２０１と、検出領域記憶手段１２０２とをさらに備える。図１４において、図２に示される構成要素と同一の構成要素には同一の参照番号を付し、その説明を省略する。
【０１６２】
検出領域記憶手段１２０２は、照合手段２０３からの検出結果である検出領域を時間と対応付けた検出結果を格納する。検出領域記憶手段１２０２は、照合手段２０３の照合が終了すると、時間と対応付けた検出領域を自身に格納し、同時に自身に格納されている最も古い検出領域を消去する。検出領域を時間と対応付けるとは、入力画像を撮影した時間ｔと検出領域とを対応付けてもよいし、入力画像を入力し始めてからの入力画像の個数（フレーム数）と検出領域とを対応付けてもよい。検出領域記憶手段１２０２に格納される検出結果は、例えば、時間ｔに撮影された入力画像において検出された対象の存在する領域の位置を示す座標データである。
【０１６３】
なお、以下の説明では、検出領域記憶手段１２０２は、最新の時間ｔに撮影された入力画像の検出領域と、時間２ｔに撮影された入力画像の検出領域と、時間３ｔに撮影された入力画像の検出領域との３つの検出領域を格納するように設定されているが、２つ以上の任意の検出領域を格納するように設定することができる。また、以下の説明では、検出領域記憶手段１２０２は、撮影時間ｔ、２ｔ、３ｔのように一定時間毎に連続して撮影された入力画像の検出領域を格納するが、任意の時間に撮影された複数の入力画像の検出領域を格納することもできる。
【０１６４】
処理領域特定手段１２０１は、処理領域特定手段１２０１に画像入力装置１０２（図１）を介して入力画像が入力されると、検出領域記憶手段１２０２に格納されている検出結果を表す検出結果データを読み出し、その検出結果データすべてを用いて、検出結果データによって表される検出領域のうち少なくとも２つの検出領域間の位置関係が、所定の条件を満たすかどうかを判定する。少なくとも２つの検出領域間の位置関係が所定の条件を満たす場合には、処理領域特定手段１２０１は、少なくとも２つの検出領域のうち最新の時間に対応付けられた検出領域を含むその検出領域の近傍を入力画像の処理すべき領域（処理領域）として特定する。一方、少なくとも２つの検出領域間の位置関係が所定の条件を満たさない場合には、処理領域特定手段１２０１は、入力画像全体を処理領域として特定する。処理領域特定手段１２０１は、特定された処理領域を表す処理領域データを代表色領域抽出手段２０１に出力する。処理領域データは、例えば、入力画像における処理領域の位置を示す座標データである。
【０１６５】
入力装置１０３（図１）を用いて入力画像において検出すべき対象を特定する情報（例えば、対象の名称）が、代表色領域抽出手段２０１と、候補領域抽出手段２０２と、照合手段２０３とに入力され、処理領域特定手段１２０１が特定した入力画像における処理領域を表す処理領域データが代表色領域抽出手段２０１に入力された以降の処理は、実施の形態１で説明したのと同様に行われる。
【０１６６】
図１５は、コンピュータを画像検出装置１２００として機能させるプログラムの一部の手順を示す。
【０１６７】
図１６は、過去の検出結果に基づいて入力画像における処理領域を特定するプロセスを模式的に示す。図１５および図１６を参照して、処理領域特定手段１２０１の機能を説明する。
【０１６８】
ステップ１３０１：処理領域特定手段１２０１は、検出領域記憶手段１２０２に格納されている３つの過去の検出領域を読み出す。それぞれの検出領域は、図１６に示されるように、ｔ秒前に撮影された入力画像において看板が存在する看板領域１４０１と、２ｔ秒前に撮影された入力画像において看板が存在する看板領域１４０２と、３ｔ秒前に撮影された入力画像において看板が存在する看板領域１４０３とである。
【０１６９】
ステップ１３０２：処理領域特定手段１２０１は、読み出された過去の検出結果の看板領域１４０１〜１４０３のうち少なくとも２つが重複するかどうかを判定する。看板領域１４０１〜１４０３のうち少なくとも２つが重複すると判定されると、ステップ１３０３へ進む。看板領域１４０１〜１４０３のうちいずれも重複しないと判定されると、ステップ１３０５へ進む。図１６では、ｔ秒前の看板領域１４０１と３ｔ秒前の看板領域１４０３とが重複している。
【０１７０】
なお、ステップ１３０２では、３つの看板領域のうち少なくとも２つの看板領域が重複するかどうかを判定するが、３つの看板領域のうち少なくとも２つの看板領域が近接するかどうかを判定してもよい。ここで近接する条件は、例えば、看板領域の中心間の距離が予め定めた値（看板領域の一辺の長さ等）よりも小さい等である。このようにステップ１３０２では、処理領域特定手段１２０１は、看板領域の位置関係（例えば、重複する領域の存在、中心間距離等）が任意の条件を満たすか否かを判定する。
【０１７１】
以下の説明は、３つの看板領域のうち少なくとも２つの看板領域が重複するかどうかを判定した結果に基づいて行う。
【０１７２】
ステップ１３０３：処理領域特定手段１２０１は、重複した看板領域のうち最新の検出領域を選択する。図１６において、重複した看板領域１４０１と１４０３のうちｔ秒前に撮影された入力画像の看板領域１４０１を選択する。
【０１７３】
ステップ１３０４：処理領域特定手段１２０１は、選択された過去の看板領域１４０１に基づいて現在の入力画像における処理領域１４０４（図１６）を特定する。図１６において、特定された処理領域１４０４は、選択された看板領域１４０１と、その看板領域１４０１を上下左右、右斜め上下および左斜め上下に平行移動させた領域とを含む。なお、処理領域を特定する方法は、これに限定されない。例えば、ステップ１３０３で選択された看板領域１４０１を一定画素だけ拡大した領域を処理領域としてもよい。
【０１７４】
ステップ１３０５：処理領域特定手段１２０１は、ステップ１３０２で過去の検出結果の看板領域がいずれも重複しないと判定すると、現在の入力画像全体を処理領域とする。
【０１７５】
ステップ１３０４またはステップ１３０５以降は、実施の形態１で図５を参照して説明したのと同様にして対象の検出が行われる。
【０１７６】
実施の形態３によれば、検出領域記憶手段１２０２が、照合手段２０３による少なくとも２つの検出領域を時間と対応付けて格納し、処理領域特定手段１２０１が検出領域記憶手段１２０２に格納された検出領域に基づいて、現在の入力画像の処理領域を特定する。これにより、現在の入力画像から対象が存在する可能性のある領域を特定することができる。このようにして得られた処理領域を処理することによって、入力画像の全領域を処理する場合に比べて、処理時間の短縮化が図られ、処理速度を向上させることができる。
【０１７７】
（実施の形態４）
図１７は、本発明による画像検出装置１５００の構成の一例を示す。
【０１７８】
画像検出装置１５００は、図２の画像検出装置１０７に含まれる代表色領域抽出手段２０１と、候補領域抽出手段２０２と、照合手段２０３とに加えて、環境測定手段１５０１と、データベース１５０５とをさらに備える。図１７において、図２に示される構成要素と同一の構成要素には同一の参照符号を付し、その説明を省略する。
【０１７９】
データベース１５０５には、少なくとも１つの対象データ組を少なくとも１つの環境のそれぞれに対応付けて格納する。少なくとも１つの対象組のそれぞれが、少なくとも１つ対象データを格納する。対象データは、図４を参照して説明した４０１ａ、４０１ｂ、４０１ｃ、・・・等と同じである。環境とは、地域、季節、時間、方角および天候等の組み合わせである。地域は、例えば、京都、大都市（東京、大阪、名古屋等）、山中、都市近郊、海岸沿い、雪国等のようにＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）データ（経度および緯度）によって予め区分けされている。時間は、朝、昼、夕、夜のように時計によって予め区分けされている。季節は、春、夏、秋および冬のようにカレンダーによって予め区分けされている。方角は、東、西、南および北のように方位計によって予め区分けされている。天候は、曇天、晴天または夜間の日照量の値によって予め区分けされている。
【０１８０】
図１８Ａは、環境に対応付けられた対象データ組がデータベース１５０５に格納されている様子を模式的に示す。データベース１５０５において、行１８０１の環境は、地域が京都であり、季節が春、時間が朝、方角は北、天候は晴れである。行１８０１の環境に対応付けられた対象データには、対象データ組１８０５（看板Ａの対象データＡ１、看板Ｂの対象データＢ１、・・・等）が含まれる。対象データ組１８０５は、例えば、図４のデータベース２０４に含まれる対象データに対応し、対象データＡ１、対象データＢ１、・・・は、それぞれ対象データ４０１ａ、４０１ｂ、・・・である。行１８０２の環境は、地域が大阪である以外は行１８０１の環境と同じである。行１８０２の環境に対応付けられた対象データも、行１８０１の環境に対応付けられた対象データと同様に看板Ａの対象データＡ３、看板Ｂの対象データＢ３、・・・等が含まれる。これは、地域によって看板の色使いが微妙に異なっている場合があるためである。例えば、京都では、歴史的な重要な寺院が多く存在し、景観を損ねないために、京都の看板は、他の地域の看板とは微妙に色使いが異なっている。
【０１８１】
図１８Ｂは、京都と大阪とにおける看板の例を模式的に示す。看板１８０３は、行１８０１の対象データＡ１を有する看板を示す。看板１８０４は、行１８０２の対象データＡ３を有する看板を示す。看板１８０３は京都に存在する看板であり、看板１８０４は大阪に存在する看板である。看板１８０３と看板１８０４とは、同じ看板Ａであるが、看板に使用されている使用色が微妙に異なっているために、対象データは異なる。図１８Ｂでは、色使いが異なっていることが分かるように、各看板の使用色を異なるハッチングパターンで示している。
【０１８２】
環境測定手段１５０１は、画像検出装置１５００が設置された環境（例えば、地域、季節、時間、方角および天候）を測定し、データベース１５０５を検索し、データベース１５０５に格納されている少なくとも１つの環境のそれぞれに対応付けられた少なくとも１つの対象データ組のうち、測定された環境（例えば、地域、季節、時間、方角および天候）に対応付けられた１つの対象データ組を選択する。
【０１８３】
さらに、環境測定手段１５０１は、環境を測定するために、時計、カレンダー、ＧＰＳ、方位計および日照計等の環境測定ツールを備えている。環境測定手段１５０１は、これらの環境測定ツールを用いて、時間、季節、地域、方角および天候等を測定し、各測定値を上述の区分けの境界値と比較し、どの区分けされた環境に当てはまるかを求める。これらの区分けされた環境を用いて、データベース１５０５から少なくとも１つの対象データを選択する。
【０１８４】
環境測定手段１５０１は、例えば、ユーザが、図１の移動体１０１に画像検出装置１５００を搭載して、雪国の冬の晴天の日に、日中北向きに走行している場合、少なくとも１つの対象データ組から図１８Ａの行１８０３の環境に対応付けられてデータベース１５０５に格納された対象データ組１８０６を選択する。次いで、代表色領域抽出手段２０１が、代表色領域抽出手段２０１に入力された対象を特定する情報（例えば、看板の名称Ａ）をキーにして、選択された１つの対象データ組のうち代表色領域抽出手段２０１に入力された対象を特定する情報（例えば、看板の名称Ａ）に対応する情報を有する対象データＡ８を特定する。対象データが特定された以降の処理は、その読み出された対象データに基づいて、代表色領域抽出手段２０１と、候補領域抽出手段２０２と、照合手段２０３とによって対象の検出が行われる。対象データが読み出された以降の処理は、実施の形態１で説明したのと同様に行われる。
【０１８５】
実施の形態４によれば、データベース１５０５が少なくとも１つの環境のそれぞれに応じた少なくとも１つの対象データを格納しているので、環境（地域、季節、時間、方角および天候等）に応じた対象の検出が可能である。また、環境測定手段１５０１は、画像検出装置１５００が設置されている環境を測定し、その環境に応じた１つの対象データ組をデータベース１５０５から選択するので、環境に依存することなく正確な検出を可能とする。
【０１８６】
なお、環境として時間、季節、地域、方角、天候を用いたが、この一部のみを用いてもよい。
【０１８７】
また、代表色領域抽出手段２０１のステップ６０３（図５）の代わりに、以下のステップを用いてもよい。すなわち、代表色領域抽出手段２０１は、環境測定手段１５０１で測定された日照量を用いて、代表色画像の求め方を制御を制御する。日照量が予め定めた閾値よりも小さい場合（例えば夜など）には、各画素の色相の類似度に入力画像の対応する画素の輝度（あるいは輝度×彩度）を乗じた値を代表色画像の画素値とし、日照量が予め定めた閾値よりも大きい場合（朝や昼）には、ステップ６０３と同様に色相の類似度に彩度を乗じた値を代表色画像の各画素値とする。
【０１８８】
なお、図１７に示される例では、図２に示される例と同様に代表色領域抽出手段２０１、候補領域抽出手段２０２および照合手段２０３のそれぞれがデータベース１５０５を検索する構成としたが、画像検出装置１５００の構成はこれに限定されない。環境測定手段１５０１が、画像検出装置１５００の設置されている環境を測定し、データベース１５０５を検索し、データベース１５０５に格納されている環境に対応付けられた少なくとも１つの対象データ組のうち、測定された環境に対応付けられた１つの対象データ組を選択し、かつ、入力装置１０３を用いて指定された入力画像において検出すべき対象を受け取り、データベース１５０５から選択された１つの対象データ組のうちその対象を特定する情報を有する唯一の対象データを選択し、その選択された唯一の対象データを代表色領域抽出手段２０１、候補領域抽出手段２０２および照合手段２０３のそれぞれに提供する構成としてもよい。
【０１８９】
（実施の形態５）
実施の形態１〜４で示した画像検出装置の構成を実現するための画像検出のプログラムをフレキシブルディスク等のデータ記録媒体に記録するようにすることにより、実施の形態１〜４で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１９０】
図２０Ａは、記録媒体の一例を示す図である。図２０Ａは、記録媒体の一例としてフレキシブルディスクＦＤの物理フォーマットを示す。図２０ＡのフレキシブルディスクＦＤの表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成されている。各トラックＴｒは角度方向に１６のセクタＳｅに分割されている。画像検出プログラムは、フレキシブルディスクＦＤ上に割り当てられた各セクタＳｅに格納される。
【０１９１】
図２０Ｂは、フレキシブルディスクＦＤおよびフレキシブルディスク本体Ｆを示す。図２０Ｂでは、図２０ＡのフレキシブルディスクＦＤが、フレキシブルディスクのケースに収容されている様子を示している。
【０１９２】
図２０Ｃは、コンピュータシステムＣｓを用いて本発明を実現する構成を模式的に示す。コンピュータシステムＣｓは、図２０Ｂのフレキシブルディスク本体Ｆに画像検出プログラムを記録させ、フレキシブルディスク本体Ｆに記録された画像検出プログラムを再生する。画像検出プログラムをフレキシブルディスクＦＤに記録するためには、コンピュータシステムＣｓから画像検出プログラムをフレキシブルディスクドライブＦＤＤを介して読み出し、フレキシブルディスクＦＤに書き込む。また、フレキシブルディスクＦＤに記録された画像検出プログラムにより符号化または復号化装置をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦＤＤにより画像検出プログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓに転送する。
【０１９３】
なお、データ記録媒体は、フレキシブルディスクに限定されない。データ記録媒体は、光ディスク、ＩＣカード、ＲＯＭカセット、固体メモリ等プログラムを記録できる任意の記録媒体であり得る。
【０１９４】
なお、実施の形態１〜４では、画像入力装置を用いて入力された画像からオンラインで検出を行う例を示したが、ハードディスク等の記録媒体に記録された画像から検出を行ってもよい。この場合、実施の形態４では、記録媒体に画像を記録する際に、環境測定手段１５０１で測定した測定データを付加することにより、オフラインで画像検出が可能となる。
【０１９５】
【発明の効果】
本発明による画像検出装置によれば、少なくとも１つの対象データを格納するデータベースが設けられている。少なくとも１つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベースに格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【０１９６】
また、本発明による画像検出装置によれば、代表色領域抽出手段により、入力画像において代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置の処理速度を向上させることが可能になる。
【０１９７】
さらに、本発明による画像検出装置によれば、照合手段により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置の検出精度を向上させることが可能になる。
【図面の簡単な説明】
【図１】本発明による画像検出装置を含む移動体の構成の一例
【図２】本発明による画像検出装置の構成の一例
【図３】対象画像に基づいて対象データに含まれるクラスタ画像を生成するプロセスを模式的に示す図
【図４】複数の対象データがデータベースに格納されている様子を模式的に示す図
【図５】コンピュータを画像検出装置として機能させるプログラムの手順
【図６Ａ】画像検出装置に入力される入力画像の一例
【図６Ｂ】代表色領域抽出手段によって入力画像から生成される無彩色を除く代表色についての類似度画像の一例
【図７Ａ】代表色領域抽出手段によって入力画像から生成される代表色についての類似度画像の一例
【図７Ｂ】入力画像の各画素を彩度で表した彩度画像の一例
【図７Ｃ】代表色領域抽出手段によって入力画像から生成される二値画像の一例
【図７Ｄ】代表色領域抽出手段によって入力画像から生成されるクラスタ画像の一例
【図８】分断された代表色外接領域を結合処理によって１つの代表色外接領域を生成するプロセスを模式的に示す図
【図９】代表色外接領域から候補領域を生成するプロセスを模式的に示す図
【図１０】代表色外接領域から候補領域を生成する別のプロセスを模式的に示す図
【図１１】クラスタ画像と候補領域との間の画像間距離Ｄを求める処理の手順を示す図
【図１２】コンピュータを画像検出装置として機能させる別のプログラムの手順を示す図
【図１３】１つの代表色外接領域から複数の候補領域を生成するプロセスを模式的に示す図
【図１４】本発明による画像検出装置の構成の一例
【図１５】コンピュータを画像検出装置として機能させるプログラムの一部の手順を示す図
【図１６】過去の検出結果に基づいて入力画像における処理領域を特定するプロセスを模式的に示す図
【図１７】本発明による画像検出装置の構成の一例
【図１８Ａ】環境に対応付けられた対象データ組がデータベースに格納されている様子を模式的に示す図
【図１８Ｂ】京都と大阪とにおける看板の例を模式的に示す図。
【図１９】従来技術の画像認識装置による画像認識を行う手順を示す図
【図２０Ａ】記録媒体の一例を示す図
【図２０Ｂ】フレキシブルディスクおよびフレキシブルディスク本体
【図２０Ｃ】コンピュータシステムを用いて本発明を実現する構成を模式的に示す図
【符号の説明】
１０７  画像検出装置
２０１  代表色領域抽出手段
２０２  候補領域抽出手段
２０３  照合手段
２０４  データベース
【図１】
0003621065.tif 000002
【図２】
0003621065.tif 000003
【図３】
0003621065.tif 000004
【図４】
0003621065.tif 000005
【図５】
0003621065.tif 000006
【図６Ａ】
0003621065.tif 000007
【図６Ｂ】
0003621065.tif 000008
【図７Ａ】
0003621065.tif 000009
【図７Ｂ】
0003621065.tif 000010
【図７Ｃ】
0003621065.tif 000011
【図７Ｄ】
0003621065.tif 000012
【図８】
0003621065.tif 000013
【図９】
0003621065.tif 000014
【図１０】
0003621065.tif 000015
【図１１】
0003621065.tif 000016
【図１２】
0003621065.tif 000017
【図１３】
0003621065.tif 000018
【図１４】
0003621065.tif 000019
【図１５】
0003621065.tif 000020
【図１６】
0003621065.tif 000021
【図１７】
0003621065.tif 000022
【図１８Ａ】
0003621065.tif 000023
【図１８Ｂ】
0003621065.tif 000024
【図１９】
0003621065.tif 000025
【図２０Ａ】
0003621065.tif 000026
【図２０Ｂ】
0003621065.tif 000027
【図２０Ｃ】
0003621065.tif 000028