(57)【要約】【課題】照明光などの光源変化にロバストな色画像処理方法、色画像処理プログラム、物体認識方法及び装置を提供する。【解決手段】少なくとも１つのテンプレート画像を用いて、対象画像となるカラー画像に対してテンプレートマッチングを行う色画像処理方法であって、テンプレート画像が複数のブロックに分割された各ブロック領域における色ヒストグラムの類似度を用いてマッチングを行う。色ヒストグラムとして、ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルを用いる。【選択図】図１
2018101165.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのテンプレート画像を用いて、対象画像となるカラー画像に対してテンプレートマッチングを行う色画像処理方法であって、
前記テンプレート画像が複数のブロックに分割された各ブロック領域における色ヒストグラムの類似度を用いてマッチングを行うことを特徴とする色画像処理方法。
【請求項２】
前記マッチングにおいて、前記ブロック領域を、赤、緑および青の濃淡画像に分離して、各々の濃淡画像に基づいて、前記色ヒストグラムを比較することを特徴とする請求項２に記載の色画像処理方法。
【請求項３】
前記色ヒストグラムは、前記ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルであることを特徴とする請求項１に記載の色画像処理方法。
【請求項４】
前記色ヒストグラムの類似度は、前記テンプレート画像と前記対象画像のそれぞれの前記輝度順色ベクトルの差と、最小誤差と最大誤差の重み付けから得られる所定閾値とから算出することを特徴とする請求項３に記載の色画像処理方法。
【請求項５】
前記テンプレート画像は、撮像時の光源色が既知である画像であることを特徴とする請求項１〜４の何れかに記載の色画像処理方法。
【請求項６】
カメラにより撮像された対象物のカラー画像を取得するステップと、
予め設定されたサイズのウィンドウで目的対象物が写る画素領域を用いて、少なくとも１つのテンプレート画像を設定するステップと、
取得した前記カラー画像における前記ウィンドウと同サイズの画像と、前記テンプレート画像とを、それぞれ比較することによるテンプレートマッチングを行うステップと、
テンプレートマッチングの結果に基づいて、前記カラー画像における前記目的対象物の分布の位置を認識するステップ、
を備え、
前記テンプレートマッチングを行うステップは、
前記ウィンドウの画像を複数のブロック領域に分割し、請求項１〜５の何れかの色画像処理方法を用いて、前記ブロック領域の前記色ヒストグラムもしくは前記輝度順色ベクトルの類似度を比較することを特徴とする物体認識方法。
【請求項７】
前記テンプレート画像が複数枚の場合、取得した前記カラー画像に対し、各々の前記テンプレート画像を用いて、前記テンプレートマッチングを行うステップを行い、テンプレートマッチング結果の組合せで前記目的対象物の分布の位置を認識することを特徴とする請求項６に記載の物体認識方法。
【請求項８】
請求項１〜５の何れかの色画像処理方法、或は、請求項６又は７の物体認識方法を用いる制御方法であって、
制御対象の機械が、前記テンプレートマッチングにより前記目的対象物を検知し、動作を起こすことを特徴とする機械制御方法。
【請求項９】
請求項１〜５の何れかの色画像処理方法、或は、請求項６又は７の物体認識方法を用いる出力方法であって、
カメラ画像の中に存在する個々の物体を認識し、認識した物体の表示色を前記テンプレートマッチングにより判別して、色情報を出力することを特徴とする色情報出力方法。
【請求項１０】
請求項６又は７の物体認識方法における前記テンプレートマッチングを行うステップを、コンピュータに実行させるための色画像処理プログラム。
【請求項１１】
カメラにより撮像された対象物のカラー画像を取得する画像取得手段と、
予め設定されたサイズのウィンドウで目的対象物が写る画素領域を用いて、少なくとも１つのテンプレート画像を設定するテンプレート設定手段と、
取得した前記カラー画像における前記ウィンドウと同サイズの画像と、前記テンプレート画像とを、それぞれ比較することによるテンプレートマッチングを行うマッチング手段と、
テンプレートマッチングの結果に基づいて、前記カラー画像における前記目的対象物の分布の位置を認識する解析手段、
を備え、
前記マッチング手段は、
前記ウィンドウの画像を複数のブロック領域に分割し、それぞれのブロック領域の色ヒストグラムと、前記テンプレート画像の当該ブロック領域の色ヒストグラムとの類似度を比較することを特徴とする物体認識装置。
【請求項１２】
前記マッチング手段において、色ヒストグラムの類似度の比較は、前記ブロック領域を、赤、緑および青の濃淡画像に分離して、各々の濃淡画像の色ヒストグラムの類似度を比較することを特徴とする請求項１１に記載の物体認識装置。
【請求項１３】
前記色ヒストグラムは、前記ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルであることを特徴とする請求項１１に記載の物体認識装置。
【請求項１４】
前記色ヒストグラムの類似度は、前記テンプレート画像と前記対象画像のそれぞれの前記輝度順色ベクトルの差と、最小誤差と最大誤差の重み付けから得られる所定閾値とから算出することを特徴とする請求項１３に記載の物体認識装置。
【請求項１５】
前記テンプレート画像は、撮像時の光源色が既知である画像であることを特徴とする請求項１１〜１４の何れかに記載の物体認識装置。
【請求項１６】
前記テンプレート画像が複数枚の場合、
取得した前記カラー画像に対し、各々の前記テンプレート画像を用いて、
前記マッチング手段が前記テンプレートマッチングを行い、
前記解析手段がそれぞれの前記テンプレートマッチングの結果の組合せで前記目的対象物の分布の位置を認識することを特徴とする請求項１１〜１５の何れかに記載の物体認識装置。
【請求項１７】
請求項１１〜１５の何れかの物体認識装置が組み込まれ、或は、ネットワークで接続された制御システムであって、
制御対象の機械が、前記テンプレートマッチングにより前記目的対象物を検知し、動作を起こすことを特徴とする機械制御システム。
【請求項１８】
請求項１１〜１５の何れかの物体認識装置が組み込まれ、或は、ネットワークで接続された出力システムであって、
カメラ画像の中に存在する個々の物体を認識し、認識した物体の表示色を前記テンプレートマッチングにより判別して、色情報を出力することを特徴とする色情報出力システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照明光などの光源変化にロバストな色画像処理方法、色画像処理プログラム、物体認識方法及び装置に関するものである。
【背景技術】
【０００２】
近年、防犯カメラが市街地や屋内に数多く設置されており、色情報は人や物を照合するための一つの特徴として利用されている。色の特徴は、物体表面に固有であり、見えている部分の色情報に関しては不変であるため、物体の形状の一部が隠れたとしても特徴が保たれるため、同一物体の検出の有効な手がかりとなる。
【０００３】
また、昨今のロボット分野において、ヒト型ロボットのような移動ロボットではカメラを介して物体認識を行う要求があるが、物体の色の認識は困難である。その理由として、移動ロボットの場合、場所を移動して多様な照明光の元で活動するため、照明光の変化によって、物体表面の“色の見え”が変化してしまうからである。そのため、照明光に対してロバストな色画像処理が求められている。特に、ヒト型ロボットは頭部にカメラを持ち、ヒトと同じ様に情景を認識することが期待されている。
【０００４】
このように、色情報は人や物を認識する際の手がかりとなる反面、時々刻々と色が変化する屋外環境の場合や、主体的な移動などによって周りの照明の色が変わる屋内環境であったりすると、物体表面の“色の見え”が変化してしまうといった特徴がある。カメラで撮像した画像から抽出される色情報は、物体表面の“色の見え”の変化に対応して、撮像されたカメラ画像の画素値も変化してしまうため、実際にその場にいた人が知覚した色とカメラの捉えた画像では、色が大きくかけ離れてしまう可能性がある。
一方、人の目の場合、室内であっても屋外であっても、また昼光であっても日陰であっても、光源色の影響を取り除き同一色を同一色として認識できる性質（色恒常性）があり、光源の変化により変わる物体色から物体表面色を推定する色恒常性問題について、長年研究されている。
【０００５】
例えば、色恒常性に基づく色画像処理の理論としてRetinex理論が知られている。Retinex理論は、Retina（網膜）とCortex（大脳皮質）を合わせた造語であり、人の脳が色や光をどのようにとらえるのかをモデル化した理論である。Retinex理論では、カメラが画素ごとの物理的な光量によって輝度を決定するのに対して、人の視覚は、照明光などの光源光を除去して、領域毎の相対化された輝度比を知覚するというモデルである。Retinex理論によれば、人の目に入る光は、物体に照射された照明光の成分と、照明に依存しない物体表面の反射率との積によってモデル化される。
【０００６】
また一方で、照明光などの光源変化にロバストなテンプレートマッチングとして、正規化相関を用いたテンプレートマッチングや、探索すべき対象画像の一部が遮へいされている場合であっても、安定なテンプレートマッチングを実現する方法として、テンプレート画像をブロック領域に分割し、各ブロック単位に正規化相関によるマッチングを行う方法が知られている（非特許文献１を参照）。各ブロック単位に正規化相関によるマッチングを行う方法によれば、部分的な隠れに対してロバストである。
【０００７】
また、テンプレートマッチングを用いた物体追跡問題（指定した対象が画像上でどこにいるかを推定する問題）において、テンプレートのウィンドウ内の色ヒストグラムの特徴を用いて追跡（トラッキング）を行う方法（Mean−Shift法）が知られている。かかる方法は、ある関数の初期値付近の所定区間内における傾きを求めて、求めた傾きで関数値が大きくなる方向へ区間の中心を移動させ、初期値付近で極大となる位置を求める方法である。この方法の場合、画像の時間的連続性を仮定して追跡を行っている。
【０００８】
また、色情報の付与を画素単位ではなく、取得したカラー画像を予め設定された大きさで分割してなる画素ブロック単位に行い、その画素ブロックを積算した色ヒストグラムを用いて、領域分割（形状獲得）を行うことなく対象物の認識を行う環境認識装置が知られている（特許文献１を参照）。特許文献１の環境認識装置では、対応づけられた色情報と着目する色インデックスとが一致する画素ブロックの数をカラー画像上の一方向に沿って積算し、その積算値を一次元的に配列してなる色ヒストグラムを、色インデックス毎に生成している。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−６０２７３号公報
【非特許文献】
【００１０】
【非特許文献１】斉藤文彦，“ブロック照合投票処理を用いた遮へいに強い画像マッチング”,電子情報通信学会論文誌，Vol.J84−D2，No.10，pp.2270-2279，2001.10
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述の如く、カメラで撮像した画像から抽出される色情報は、物体表面の“色の見え”の変化に対応して、撮像されたカメラ画像の画素値も変化してしまうため、実際にその場にいた人が知覚した色とカメラの捉えた画像では、色が大きくかけ離れてしまうといった問題がある。
そのため、照明光などの光源の変化により変わる物体色から物体表面色を推定する色恒常性問題を解決する色画像処理や物体認識装置などが求められている。
【００１２】
かかる状況に鑑みて、本発明は、照明光などの光源変化にロバストな色画像処理方法、色画像処理プログラム、物体認識方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決すべく、本発明の色画像処理方法は、少なくとも１つのテンプレート画像を用いて、対象画像となるカラー画像に対してテンプレートマッチングを行う色画像処理方法であって、テンプレート画像が複数のブロックに分割された各ブロック領域における色ヒストグラムの類似度を用いてマッチングを行う。
【００１４】
本発明の色画像処理方法は、テンプレート画像を複数のブロックに分割し、個々のブロック領域に対して、対象画像となるカラー画像に対してテンプレートマッチングを行うことによって、小領域の光源変化をロバスト推定できる。また、各ブロック領域における色ヒストグラムの類似度を用いてテンプレートマッチングを行うことによって、多少の形状の違い、すなわち、多少の変形を許容できる。色ヒストグラムは、画像中に特定の色が何ピクセルあるかをカウントしたヒストグラムであり、色ヒストグラムの類似度は、このヒストグラムの形が相互に似ている度合いを数値化したものである。例えば、カラー画像が、赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）で構成されるとした場合、通常、ディジタルデータでは各色が８ビット（２５６通り）で表現され、表示できる色数は２５６×２５６×２５６＝１６７７万７２１６通りになる。この場合、ヒストグラムの棒グラフの本数は１６７７７２１６本、１６７７７２１６次元ベクトルとなる。ＲＧＢの各成分をｎ等分（例えば、１６等分）して、中央の代表値に置き換えることによって減色して本数や次元を減らすことも可能である。
ここで、色ヒストグラムの類似度を数値化する方法として、例えば、後述する輝度順色ベクトルを用いる方法や、度数分布を作成して、適切なビンのサイズを選んだ上で、カイ二乗距離やバタチャリヤ距離を用いる方法がある。
【００１５】
本発明の色画像処理方法によれば、物体表面の色のばらつき度合いと言ったテクスチャ感のみではなく、照明光などの光源分布を推定してテンプレートマッチングを行うので、照明光などの光源の変化による物体表面の“色の見え”の変化を吸収し、光源変化にロバストなマッチングを行える。
【００１６】
ブロック領域における色ヒストグラムは、ブロック領域の画像の画素値から決まるもので、ブロック領域の色分布を示すものである。ブロック領域の色分布は、ブロック領域の光源の分光分布と物体表面の分光反射特性の積で決まる。ブロック領域の２次元画素値から、ブロック領域の色分布が算出できる。テンプレート画像におけるブロック領域の色分布と、対象画像となるカラー画像におけるブロック領域の色分布とを比較する際、光源が異なることが想定される。テンプレート画像におけるブロック領域に映っている物体と、対象画像におけるブロック領域に映っている物体とが同一の物体であれば、物体表面の分光反射特性は同じになる。
【００１７】
そこで、光源が異なり、ブロック領域の光源の分光分布が異なるとしても、それを補正することで光源の分光分布を一致させる。光源が異なる場合は、例えば、光の強度が異なる場合もあるし、或は、光源の色特性が異なる場合もある。ブロック領域の色分布において、特定の色の分光分布で比較したり、スケーリングを行って強度を合せたりして補正し、光源の分光分布を一致させる。光源の分光分布を一致させて、ブロック領域の色分布を示す色ヒストグラムを比較する。すなわち、スケールを変化させてヒストグラムの類似度が最大になるようにスケーリングすることにより、光源の分光分布を推定して、ブロック領域の色分布の類似度を判別することにより、光源変化にロバストなマッチングを行うのである。
【００１８】
上述の通り、光源の分光分布を推定して、ブロック領域の色分布の類似度を判別してマッチングを行うが、具体的には、ブロック領域の色ヒストグラムを輝度値（画素値）に基づいてソーティングした色ヒストグラムを利用する。輝度値に基づいてソーティングすることにより、画素の位置情報が無くなり、物体の形状に関する特徴が失われることによって、ブロック領域内に含まれる画素値の大きさのみを利用することになる。照明光の変化に伴って各色の輝度値が変化する状況が考えられるが、輝度値順に並べ替えることによって、照明光の変化が輝度値の変化のみに現れることになる。
そして、照明光が変化して物体表面の“色の見え”が変化した場合の色特徴量の変化が、色ヒストグラムの分散に現れることになる。例えば、光源が強くなればその分だけ分布が幅広くなる。
【００１９】
本発明の色画像処理方法のマッチングにおいて、ブロック領域を、赤、緑および青の濃淡画像に分離して、各々の濃淡画像に基づいて、色ヒストグラムを比較することでもよい。処理を簡略化できるからである。
具体的には、テンプレートマッチングにおけるウィンドウ内の上記ブロック領域を一つのカラー画像として切り出した画像を、赤、緑および青の３つの濃淡画像に分離して、３つのベクトルに変形する。そして、３つのベクトルを各々輝度値順に並び替え、３本一組のベクトルをブロック領域の色特徴量として扱い、色ヒストグラムを比較する。これにより、光源変化に対して、さらにロバストになる。
【００２０】
本発明の色画像処理方法において、色ヒストグラムは、具体的には、ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルである。
そして、色ヒストグラムの類似度は、テンプレート画像と対象画像のそれぞれの輝度順色ベクトルの差と、最小誤差と最大誤差の重み付けから得られる所定閾値とから算出することが好ましい。
【００２１】
本発明の色画像処理方法におけるテンプレート画像は、撮像時の光源色が既知である画像であることが好ましい。
テンプレート画像の撮像時の光源色が既知であることで、テンプレート画像の物体に固有な物体表面の分光反射特性を知ることができるので、マッチングの精度を高めることができる。ここで、光源色とは、光源の色特性のことであり、これから光源の分光分布を算出できる。もちろん、光源の分光分布が既知であってもよい。
【００２２】
次に、本発明の物体認識方法について説明する。
本発明の物体認識方法は、下記１）〜４）のステップを備え、下記３）のテンプレートマッチングを行うステップは、ウィンドウの画像を複数のブロック領域に分割し、上述の本発明の色画像処理方法を用いて、ブロック領域の色ヒストグラムもしくは輝度順色ベクトルの類似度を比較する。
１）カメラにより撮像された対象物のカラー画像を取得するステップ
２）予め設定されたサイズのウィンドウで目的対象物が写る画素領域を用いて、少なくとも１つのテンプレート画像を設定するステップ
３）取得したカラー画像におけるウィンドウと同サイズの画像と、テンプレート画像とを、それぞれ比較することによるテンプレートマッチングを行うステップ
４）テンプレートマッチングの結果に基づいて、カラー画像における目的対象物の分布の位置を認識するステップ
【００２３】
テンプレート画像が複数枚の場合、取得したカラー画像に対し、各々のテンプレート画像を用いて、上記３）のテンプレートマッチングを行うステップを行い、テンプレートマッチング結果の組合せで目的対象物の分布の位置を認識することが好ましい。
複数枚のテンプレート画像を用いて、テンプレートマッチングを行い、マッチング結果の組合せ（例えば、合計など）で目的対象物の分布の位置を認識することにより、光源変化に対して、さらにロバストな物体認識を行うことができる。
【００２４】
次に、本発明の機械制御方法、色情報出力方法、色画像処理プログラムを説明する。
本発明の機械制御方法は、本発明の色画像処理方法、或は、本発明の物体認識方法を用いる制御方法であって、制御対象の機械が、テンプレートマッチングにより目的対象物を検知し、動作を起こすことを特徴とする。本発明の機械制御方法によれば、光源変化に対してロバストな機械制御を行うことができる。
ここで、制御対象の機械とは、ロボット、例えば果実採取ロボット、工場のラインの機械装置、自動車などであり、プログラムによる制御や自律制御や遠隔制御される機械が含まれる。
【００２５】
本発明の色情報出力方法は、本発明の色画像処理方法、或は、本発明の物体認識方法を用いる出力方法であって、カメラ画像の中に存在する個々の物体を認識し、認識した物体の表示色をテンプレートマッチングにより判別して、色情報を出力することを特徴とする。本発明の色情報出力方法によれば、光源変化に対してロバストな色情報出力を行うことができる。
ここで、色情報出力には、色情報をテキスト表示したり、音声表示したり、ウェアラブル端末に表示したり、ネットワーク通信データとして出力したりするものなどが含まれる。本発明の色情報出力方法は、例えば、色覚異常患者のサポートの一つの方法として有用である。
【００２６】
本発明の色画像処理プログラムは、本発明の物体認識方法におけるテンプレートマッチングを行うステップを、コンピュータに実行させるためのプログラムである。
すなわち、本発明の色画像処理プログラムは、取得したカラー画像におけるウィンドウと同サイズの画像と、テンプレート画像とを、それぞれ比較することによるステップをコンピュータに実行させる際に、ウィンドウの画像を複数のブロック領域に分割し、本発明の色画像処理方法を用いて、ブロック領域の色ヒストグラムを比較させる。
【００２７】
次に、本発明の物体認識装置について説明する。
本発明の物体認識装置は、カメラにより撮像された対象物のカラー画像を取得する画像取得手段と、予め設定されたサイズのウィンドウで目的対象物が写る画素領域を用いて、少なくとも１つのテンプレート画像を設定するテンプレート設定手段と、取得したカラー画像におけるウィンドウと同サイズの画像と、テンプレート画像とを、それぞれ比較することによるテンプレートマッチングを行うマッチング手段と、テンプレートマッチングの結果に基づいて、カラー画像における目的対象物の分布の位置を認識する解析手段を備える。
そして、上記のマッチング手段は、ウィンドウの画像を複数のブロック領域に分割し、それぞれのブロック領域の色ヒストグラムと、テンプレート画像の当該ブロック領域の色ヒストグラムとの類似度を比較する。
上記構成によれば、光源変化に対して、ロバストな物体認識を行うことができる。
【００２８】
本発明の物体認識装置のマッチング手段において、色ヒストグラムの類似度の比較は、ブロック領域を、赤、緑および青の濃淡画像に分離して、各々の濃淡画像に基づいて、色ヒストグラムの類似度を比較することでもよい。
また、本発明の物体認識装置において、色ヒストグラムは、具体的には、ブロック領域内の画素数をＮとした場合、Ｒ（赤），Ｇ（緑）及びＢ（青）の色毎にＮ個存在する色ベクトルを、画素値の大小順にソーティングした輝度順色ベクトルである。そして、色ヒストグラムの類似度は、テンプレート画像と対象画像のそれぞれの輝度順色ベクトルの差と、最小誤差と最大誤差の重み付けから得られる所定閾値とから算出することが好ましい。
【００２９】
また、本発明の物体認識装置のテンプレート画像は、撮像時の光源色が既知である画像であることが好ましい。
さらに、テンプレート画像が複数枚の場合、取得したカラー画像に対し、各々のテンプレート画像を用いて、マッチング手段がテンプレートマッチングを行い、解析手段がそれぞれのテンプレートマッチングの結果の組合せで目的対象物の分布の位置を認識することが好ましい。
これらによって、光源変化に対して、さらにロバストな物体認識を行えることになる。
【００３０】
本発明の機械制御システムは、本発明の物体認識装置が組み込まれ、或は、ネットワークで接続された制御システムであって、制御対象の機械が、テンプレートマッチングにより目的対象物を検知し、動作を起こすことを特徴とする。光源変化に対してロバストな機械制御を行うことができる。
【００３１】
本発明の色情報出力システムは、本発明の物体認識装置が組み込まれ、或は、ネットワークで接続された出力システムであって、カメラ画像の中に存在する個々の物体を認識し、認識した物体の表示色をテンプレートマッチングにより判別して、色情報を出力することを特徴とする。光源変化に対してロバストな色情報出力を行うことができる。
【発明の効果】
【００３２】
本発明によれば、物体表面の色のばらつき度合いと言ったテクスチャ感のみではなく、照明光などの光源分布を推定してテンプレートマッチングを行うので、照明光などの光源の変化による物体表面の“色の見え”の変化を吸収し、光源変化にロバストなマッチングを行え、それを用いて光源変化にロバストな物体認識を行えるといった効果がある。
【図面の簡単な説明】
【００３３】
【図１】実施例１の色画像処理方法の処理フロー図
【図２】実施例１のブロック領域の色特徴の特徴量化のフロー図
【図３】ブロック領域の色ヒストグラムの比較の説明図
【図４】色ヒストグラムのソーティング後のグラフの比較の説明図
【図５】赤緑青の３つの濃淡画像に分離した各色の色ヒストグラムの説明図
【図６】赤緑青の３つの濃淡画像の色ヒストグラムの例
【図７】物体表面の色の見えについての説明図
【図８】テンプレートマッチングの説明図（１）
【図９】テンプレートマッチングの説明図（２）
【図１０】テンプレートマッチングの説明図（３）
【図１１】複数のテンプレート画像を用いたテンプレートマッチングの概念図
【図１２】マッチングの実験結果の説明図（１）
【図１３】マッチングの実験結果の説明図（２）
【図１４】マッチングの実験結果の説明図（３）
【図１５】物体認識装置の機能ブロック図
【図１６】移動ロボット制御システムの機能ブロック図
【図１７】色覚異常患者サポートシステムの機能ブロック図
【図１８】色覚異常患者サポートシステムのテキスト提示の一例
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【００３５】
まず、テンプレート画像を用いて、対象画像となるカラー画像に対してテンプレートマッチングを行う色画像処理方法を説明し、後述の実施例で、テンプレート画像が複数のブロックに分割された各ブロック領域における色ヒストグラムの類似度を用いてマッチングを行う色画像処理方法について詳述する。
【００３６】
屋内環境の照明光と、屋外環境の太陽光とでは、物体表面の“色の見え”が変化してしまう。図７の光源１３は照明ランプ、光源１４は太陽であり、図７（１）（２）は、それぞれ室内環境と屋外環境の光源光による物体表面の色の見えを表現している。カメラで撮像した画像から抽出される色情報は、物体表面の“色の見え”の変化に対応して、撮像されたカメラ画像の画素値も変化してしまうが、人の目であれば、室内環境であっても屋外環境であっても、光源色の影響を受けず同一色を同一色として認識できる。
【００３７】
カメラで撮影されたカラー画像の持つ各ピクセルの画素値、光源色、物体表面色の関係は、従来からモデル化されており、特に、画像処理でよく用いられるのは２色性反射モデルである。２色性反射モデルでは、下記数式１に示されるように、物体表面色が物体表面の拡散反射成分と鏡面反射成分の足し合わせで表現される。ＳＳ（λ）は物体色の鏡面反射成分であり、ＳＤ（λ）は物体色の拡散反射成分に対する分光反射率であり、Ｅは光源の分光分布であり、λは波長である。この他、拡散反射成分をもつ物体のみ対象とする１色性反射モデルも用いられる（下記数式２を参照）。
後述の実施例では、下記数式２に示される１色性反射モデルを前提とし、拡散反射成分をもつ物体のみ扱うものとする。なお、本発明は、１色性反射モデルに限定されるものではなく、２色性反射モデルやその他のモデルにも適用可能である。
【００３８】
【数１】
2018101165.tif 000003
【００３９】
【数２】
2018101165.tif 000004
【００４０】
一方、物体をデジタルカメラ等で撮像する場合、光源から放射された光が物体表面で反射しカメラのカラーフィルタを通過して得られる画素値Ｉｃは下記数式３で表せる。
【００４１】
【数３】
2018101165.tif 000005
【００４２】
ここで、Ｉ（λ）は物体からの反射光であり、τは絞り，シャッタースピード，電気的な増幅によるカメラのゲインを表す。ｑ（Ａ）はセンサの応答特性、λはスペクトルの波長、ｇは露出に依存するパラメータを表す。ｃ＝｛Ｒ，Ｇ，Ｂ｝はフィルタのカラーチャンネルであり、積分領域Ωは光の可視光領域である。物体色が一定の場合には、画素のＲＧＢ値は、光源のＲＧＢ値に比例することになる。
【００４３】
人の刺激に対する非線形性と画像信号の表現能力から、通常、カメラに入射する光の強度と画素値には非線形な変換が施されており、通常のディスプレイに出力する際には、非線形な関係を元に戻すための補正が一般的に行われている。かかる補正は、ガンマ補正といい、撮像対象の輝度とディスプレイの明るさとが比例するように、対象輝度と映像信号強度との特性を補正する。対象の輝度（或は、それに比例するビデオカメラ結像面の照度）をＩ、ガンマ特性値をγ、映像信号強度をＥとすると、Ｅ∝Ｉγとなる。既に、ガンマ補正がかかっている画像を対象にして物体色を算出する場合、ガンマ補正を考慮に入れる。
【００４４】
次に、図８〜１１を参照して、本発明の色画像処理で用いるテンプレートマッチングについて説明する。テンプレートマッチングは、ある特定のパターンをあらかじめ用意しておき、入力画像中にそれと同じパターンがあるかどうかを調べて、その位置を特定する処理である。
テンプレートマッチングでは、画素の値をそのまま利用する場合、輝度値の変化や影に対して弱くなる。そこで、実環境における画像を対象とする場合、マッチングの対象となる画像の画素値が照明の変化によって変化し、事前に用意したテンプレート画像に比べて色がかけ離れてしまうことが問題である。そこで、本発明の色画像処理では、図８に示すように、１つのテンプレート画像２を碁盤の目状の小さなブロック領域４に分割し、テンプレート画像２全体でのマッチングではなく、局所的なブロック領域４でマッチングを行う。そして、そのマッチング結果を統合することによって、安定したマッチング位置を得る。
【００４５】
ここで、図８では、Ｗｓ×Ｗｓサイズの正方形のテンプレートを、Ｂｓ×Ｂｓサイズの正方形のブロックに分割する。但し、ＷｓはＢｓの整数倍になるように選択する。Ｂ（ｎ，ｍ）は、分割されたブロック領域のｎ行ｍ列のブロック領域を表す。テンプレート及び対象画像中のウィンドウをブロック領域に分割した例を図９に示す。符号２で示した正方形がウィンドウ画像であり、それを更に正方形に区切った一つ一つがブロック領域である。図９で示したように、細かいブロック領域４に分割された二つのウィンドウ２ができる。このブロック領域２内の画素値から特徴量を抽出して比較する。
【００４６】
対象画像におけるテンプレート画像のウィンドウの走査の方向は様々あるが、基本的には図１０に示すように走査する。すなわち、テンプレート画像をＷｓ×Ｗｓサイズとし、テンプレート画像の進む幅を“step”とする。左上端から右上端まで、テンプレート画像を平行移動させていく。ここで、進む幅は１ピクセルにしても構わないが、処理速度を高めるために、step （pixel）とする。
【００４７】
ウィンドウサイズＷｓ×Ｗｓのテンプレート画像とそのテンプレートのマッチング対象となる画像を用意する。テンプレート画像を複数枚とマッチング対象となる対象画像を複数枚用意し、図１１に示すように、用意した複数毎のテンプレート（ＴＰ１〜ＴＰｎ）を使用し一枚一枚テンプレートマッチングを行う。複数枚のテンプレートを一枚の画像に対してマッチングし、その組合せ（例えば、合計など）によってマッチング位置を得る。
後述する性能実験では、多様なぶどうのステクチャを含むテンプレート画像を用いて、同じぶどうであってもテンプレート画像が含まれない画像に対して、一枚で行うよりも頑健な結果が得られることを確認している。
【実施例１】
【００４８】
図１は、色画像処理方法の処理フローを示している。
色画像処理方法では、カメラにより撮像された対象物のカラー画像を取得し（ステップＳ０１）、取得したカラー画像を予め設定されたサイズのウィンドウサイズのウィンドウ画像に分割して切り出しておく（ステップＳ０２）。ウィンドウサイズＷｓ、対象画像サイズｌ×ｍ、移動幅stepとすると、切り出されるウィンドウの数は、下記数式４で表される。ここで、[ ] はガウス記号である。
【００４９】
【数４】
2018101165.tif 000006
【００５０】
ウィンドウのデータがＷＮ個あるので、各々をブロック領域に分割する（ステップＳ０３）。ブロック領域の大きさをＢＳとする．ウィンドウサイズＷＳがブロックサイズＢＳの整数倍になるようにあらかじめ決めておく。ブロック領域の個数は、どのウィンドウにも共通でＢＮ ＝ （Ｗｓ／Ｂｓ）２個となる。
ブロック領域に分割した後、ＢＮ個ある各ブロック領域から特徴量を抽出する。すなわち、各ブロック領域の色特徴を特徴量化する（ステップＳ０４）。
各ブロック領域の色特徴を特徴量化の処理フローについて、図２を参照して説明する。特徴量化の処理は、各ブロック領域を赤、青及び緑へ分解して（ステップＳ２１）、色毎にブロック領域の画素値から色ヒストグラムを生成する（ステップＳ２２）。具体的には、画像はカラー画像であるので、ＲＧＢ各色に分解し、Ｂｓ×Ｂｓ（pixel）の各色の輝度画像を一列のベクトル形状にし、３つのベクトルを特徴量とする。そして、３つのベクトルの特徴量を輝度値順にソーティングする（ステップＳ２３）ことにより、ブロック領域の色特徴を特徴量化する。この特徴量化する処理は、後述するように、テンプレートに対しても同様である。
【００５１】
再び、図１の処理フローに戻るが、各ブロック領域の色特徴を特徴量化（ステップＳ０４）した後、テンプレート画像を設定する（ステップＳ０５）。テンプレート画像は、目的対象物が写る画像に基づいて、予め設定されたサイズのウィンドウで目的対象物が写る画素領域に基づいてテンプレート画像を設定する。なお、テンプレート画像の設定は、図１の処理フローの最初に行っても構わない。そして、テンプレート画像についても、ブロック領域へ分割して（ステップＳ０６）、各ブロック領域の色特徴を特徴量化する（ステップＳ０７）。各ブロック領域の色特徴を特徴量化（ステップＳ０７）の処理フローについては、上述の図２の説明と同様である。
対象画像におけるウィンドウ内のブロック領域の特徴量と、テンプレート画像内のブロック領域の色特徴量を比較してマッチング処理を行う。色特徴量の比較は、ブロック領域の色ヒストグラムを用いて、光源光分をスケーリングして色特徴量を比較する（ステップＳ０８）。
【００５２】
色特徴量の類似度、すなわち、ブロック領域の色ヒストグラムの類似度が閾値範囲内であれば、テンプレート画像のブロック領域と一致すると判断し、そうでなければ不一致と判断する（ステップＳ０９）。それらの類似度の判断をそれぞれのブロック領域の色ヒストグラムについて行い、テンプレート画像の類似度を算出する。
ここで、ブロック領域の単位で色ヒストグラムの類似度から一致不一致を判断するのではなく、ブロック領域の色ヒストグラムの類似度の評価値の合計値で、マッチング領域全体の一致不一致を判断することでもよい。
なお、図１の処理フローには、図示しないが、テンプレート画像が複数枚あれば、他のテンプレート画像に切り替えて、すなわち、ステップＳ０５に戻り、処理を繰り返して、それぞれのテンプレート画像によるマッチング結果の合計で、総合的にテンプレート画像の類似度を算出する。
テンプレートマッチング結果の合計で目的対象物の分布の位置を認識することができるため、テンプレート画像の類似度マップを作成することができる。類似度マップは、目的対象物の分布の位置を示す地図であり、マッチング度合いを濃淡で示したものである。
【００５３】
ここで、図３および図４を参照して、色特徴量として用いるブロック領域の色ヒストグラムについて、色特徴量の比較方法とその比較に使う処理であるスケーリングについて詳細に説明する。上述の如く、本発明で用いるテンプレートマッチングでは、ブロック領域同士を比較する。ブロック領域内の画素値から色特徴量を抽出してそれを比較に用いる。ブロック領域内に含まれる色、すなわち、ＲＧＢの画素値を利用する。
本実施例では、ブロック領域の色特徴量を示す色ヒストグラムとして、輝度順色ベクトルを用いる。輝度順色ベクトルとは、ＲＧＢ画像の各色を輝度値順に並べ替えたものである。上述の如く、並べ替えることによって、画素の位置情報が無くなり、形状に関する特徴が失われるが、照明光の変化が輝度値の変化のみに現れるために処理しやすいといった利点がある。具体的には、ウィンドウ内のブロック領域を一つのカラー画像として切り出し、その画像をＲＧＢの３つの濃淡画像に分離し、各々を列ベクトルに変形する。３つのベクトルができ、それぞれを輝度順に並び替える。これらの３本一組のベクトルをブロック領域の色特徴量として扱う。
【００５４】
次に、色特徴量の比較について説明する。色特徴量の比較は、二つのブロック領域の物体色の類似度を計算することにより行う。ブロック領域内の１画素は、Ｒ，Ｇ，Ｂの３次元ベクトルで表現されている。ブロック領域内の画素数をＮとすると、Ｎ個のベクトルが存在し、これらＮ個のＲ，Ｇ，Ｂの３つのベクトルを各色独立に比較を行う。すなわち、ブロック領域内の物体色Ｓは、Ｎ個の要素を持つＲ，Ｇ，Ｂの３つのベクトルで表され、各色独立に比較を行うことになる。ｃ∈｛Ｒ，Ｇ，Ｂ｝とすると、テンプレートのブロック領域の物体色をＳＴｃ, 対象画像のウィンドウ内のブロック領域の物体色をＳＷｃとすると、その二つの差e は下記数式５で表される。また、テンプレート内のブロック領域の画素値ＩＴｃとすると、ＩＴｃγ ＝ ＳＴｃＥＴｃ、ＩＷｃγ ＝ ＳＷｃＥＷｃとなるので、下記数式５は、下記数式６で表される。
【００５５】
【数５】
2018101165.tif 000007
【００５６】
【数６】
2018101165.tif 000008
【００５７】
画素値と光源色は比例の関係であることは、上述した通りである。ガンマ補正を考慮に入れると、画素値のガンマ乗と光源色が比例の関係となっているので、スケール値sｃ を下記数式７のように定義する。対象画像がテンプレートと同じものを表していると仮定し、輝度順色ベクトルの差を最小にするようにスケール値sｃを決定する。そのうえで差ｅｃ の値を２つのベクトル間の距離とする。上記数式６は、スケール値sｃを用いて下記数式８で表される。
【００５８】
【数７】
2018101165.tif 000009
【００５９】
【数８】
2018101165.tif 000010
【００６０】
上記数式８における第一項と第二項の比較を行う。ＩＴｃ のｋ番目の要素をＩＴｃｋ、ＩＷｃ のｋ番目の要素をＩＷｃｋ，要素数をＮとすると、ｅｃは、下記数式９になる。ｅｃの最小値を考えるために、ｅｃ ＝ ｆ（ｓｃ）とする。ｆ（ｓｃ）の最小値を求めるため、ｆ（ｓｃ）を微分すると、ｆ（ｓｃ）´は下記数式１０で表される。
【００６１】
【数９】
2018101165.tif 000011
【００６２】
【数１０】
2018101165.tif 000012
【００６３】
上記数式１０から、下記数式１１の時に、ｆ（ｓｃ）´＝０となることがわかる。その時のｓｃは下記数式１１で表される。
【００６４】
【数１１】
2018101165.tif 000013
【００６５】
【数１２】
2018101165.tif 000014
【００６６】
従って、差異ｓｃは、２つの照明光によって上記数式７として表されたが、上記数式１２の通り、２つの画像の画素値のみによって表すことができたことがわかる。これにより、実際に照明光のＲＧＢが分からない場合でも、２つの物体色の類似度の計算ができる。
そして、色特徴量の比較を行った後、差が小さく閾値以下である領域を検出対象のある位置とする。領域の選択に用いる閾値は、下記数式１３で示す値にする。ここで、αは予め設定する任意の実数であり、実験の中で一つの定数として用いる。
【００６７】
【数１３】
2018101165.tif 000015
【００６８】
図５は、ブロック領域の色特徴を特徴量化するイメージを図示したものである。対象画像２の各ブロック領域４を赤（Ｒ）、青（Ｂ）及び緑（Ｇ）へ分解して、色毎にブロック領域の画素値から色ヒストグラムを生成する。色ヒストグラムは画素値を色毎に列ベクトルに変換したものである。赤（Ｒ）、青（Ｂ）及び緑（Ｇ）の３つのベクトルができるので、これらのベクトルを輝度値順にソーティングしたものを、ブロック領域の特徴量として扱う。
図６は、赤緑青の３つの濃淡画像の色ヒストグラムの一例を示している。横軸は画素数（Number of Pixel）であり、縦軸は画素値(Pixel Value)である。図６は、８×８（Pixel）のカラー画像から変換した６４個の要素を有する３つのベクトルをグラフ化したものであり、画素数の最大が６４になり、画素値の最大が２５６となっている。
【００６９】
（性能評価実験）
性能評価実験として、白ぶどうの認識を行った。白ぶどうと白ぶどう以外のぶどう（巨峰などの赤ぶどう）の画像を複数枚用意し、実施例１の色画像処理を用いた物体認識方法を実行し、白ぶどうとして認識された画像中の位置と、人の眼で認識された画像中の白ぶどうの位置を比較し、その適合率を算出することにより性能を評価した。テンプレート画像については、用意した画像中から白ぶどう部分を切り抜くことによって準備した。また、画像の大きさは、ぶどうの粒の大きさがほぼ同じくらいになるようにリサイズを施した。テンプレート画像も複数枚用意した。テンプレート画像を複数枚用意することによりロバスト性を上げた。
【００７０】
実験では１０枚の白ぶどう画像を用意したが、その内の１枚の画像を図１２（１）に示す。テンプレート画像は、全て白ぶどうの房部分を切り取り用意した。図１２（１）において、対象画像３の中に四角で囲んだ領域がテンプレート画像２である。テンプレート画像のサイズは、３２×３２（ｐｉｘｅｌ）である。テンプレート画像に対して、照明光のコントロールやホワイトバランス調整といった色に関する特別な処理は施していない。
【００７１】
本実施例の方法では、テンプレートマッチングの類似度を算出するのがウィンドウサイズである。また、ウィンドウの左右上下の移動は、上述の通りstep 毎である。そのため、白ぶどうの有り無しの判定は、四角形の連続となり、細かさは無くなっている。
図１２（２）は、物体認識における目的対象物の分布の位置を示す類似度マップであり、マッチング度合いを濃淡で示したものである。白に近い方はマッチング度合いが大きく、輝度値が小さくなるに従って、マッチング度合いは小さくなる。図１２（２）に示すように、図１２（１）におけるテンプレート画像２の枠の中心位置が最も白くなっている。
【００７２】
本実施例の方法で算出した結果が正しいかどうかを検証するために、比較用の正解画像が必要となるが、用意した実験画像一つ一つについて、人の目で確認して、白ぶどうの房の位置を示す正解画像を用意した。
【００７３】
本実施例の方法を実行した結果で得られる画像は、二値画像の領域画像であり、準備した正解画像と比較した。比較方法は、正解画像の白ぶどうの房の領域と、本実施例の方法によって得た処理画像の白ぶどうの房の領域の２つの重なりの割合を確認することにより、性能を評価する。
図１３（１）に正解画像、（２）に本実施例による処理画像を示す。それぞれの画像における白ぶどうの房の領域の画素数を表記する。正解画像（１１２９７ピクセル）と比べると、処理画像（１１９５３ピクセル）の方が、白ぶどうの房の領域が多く、その割合は約１．１６倍であった。まず、処理画像の方が白ぶどうの房の領域が多く算出された理由としては、白ぶどうの有り無しの判定は、四角形の連続となり粗いためである。正解画像と処理画像との２つの重なりの割合の誤差が２０％以内で、図１３の位置分布もほぼ同一であることから、本実施例の色画像処理方法の処理性能が高いことが確認できた。
【００７４】
図１４を参照して、本実施例の色画像処理方法の正答率について説明する。
図１４において、Ａ領域は本実施例の色画像処理方法で得られた領域であり、Ｂ領域は正解画像の領域である。また、正答率は下記数式１４で表される。図１４において、斜線部分で示されるＣ領域が正答率の計算に利用する範囲である。図１４における（１）２０４８ピクセルと（２）３９２ピクセルの位置が誤解答した部分である。
【００７５】
【数１４】
2018101165.tif 000016
【００７６】
次に、テンプレートのマッチング対象となる画像として、白ぶどう画像を３４枚、房が紫色である巨峰画像を２７枚用意して、評価実験を行った結果について説明する。用意した画像の大きさは全て同一サイズである。
下記表１は、白ぶどうと巨峰ぶどう（単にぶどうと表記）の画像と正解画像、２値画像の画像サイズ（画素数）および正答率を示している。正答率以外の数値の単位はpixelであり、括弧内はパッセンテージである。ここで、白ぶどうとぶどうの２つの種類としているのは、白ぶどう３４枚の足し合わせと、ぶどう２７枚の足し合わせの２つの結果だからである。画像サイズは白ぶどうの方が多い画像数なので、画像サイズも白ぶどうが上回っている。テンプレート画像は白ぶどうであるため、白ぶどうとぶどうを比べると白ぶどうの方が、正答率が高いことは予想されるが、実験結果も同様に、白ぶどうの方が高い結果となった。
【００７７】
【表１】
2018101165.tif 000017
【実施例２】
【００７８】
次に、物体認識装置について説明する。図１５は、物体認識装置の機能ブロック図を示している。
物体認識装置１００は、画像取得手段１０２とテンプレート設定手段１０４とマッチング手段１１０と解析手段１０６とから構成される。画像取得手段１０２は、カメラ１０１により撮像された対象物のカラー画像を取得する。テンプレート設定手段１０４は、テンプレート画像データベース（Ｄ／Ｂ）１０３から目的対象物が写る１つ或は複数のテンプレート画像を読み込む。そして、読み込んだテンプレート画像と取得したカラー画像を比較する。
テンプレート画像は、予め設定されたサイズのウィンドウで目的対象物が写る画素領域である。マッチング手段１１０は、取得したカラー画像におけるウィンドウと同サイズの画像と、テンプレート画像とをそれぞれ比較するテンプレートマッチングを行う際に、ウィンドウの画像を複数のブロック領域に分割し（ブロック領域分割１１１）、それぞれのブロック領域の色ヒストグラムと、テンプレート画像の当該ブロック領域の色ヒストグラムとの類似度を比較する（色ヒストグラムの類似度比較１１３）。
解析手段１０６は、マッチング手段１１０によるテンプレートマッチングの結果に基づいて、カラー画像における目的対象物の分布の位置を解析し認識する。
【実施例３】
【００７９】
次に、機械制御システムの一例として、移動ロボット制御システムについて説明する。図１６は、移動ロボット制御システムの機能ブロック図を示している。
移動ロボット制御システム１２０は、カメラ１０１と上述の実施例２で説明した物体認識装置１００と目的対象物の方向と距離の演算部１２２とロボット駆動ユニット１２４とから構成される。移動ロボット制御システム１２０では、カメラ１０１を用いてカラー画像を取得し、取得したカラー画像と予め取得した目的対象物のテンプレート画像を用いて、物体認識装置１０１が目的対象物の検出を行う。そして、目的対象物の方向と距離の演算部１２２は、公知の写真測量方法を用いて、カメラ１０１の３次元位置を基準として目的対象物の３次元位置をカメラ画像から計測し、カメラ位置を基準とした目的対象物の方向と距離を算出する。算出された方向と距離の情報をロボット駆動ユニットに伝達し、ロボットを駆動する。例えば、ロボットが果実採取ロボットの場合、適切な位置までロボットが移動し、採取するための採取機構が作動することになる。
【実施例４】
【００８０】
次に、色情報出力システムの一例として、色覚異常患者サポートシステムについて説明する。図１７は、色覚異常患者サポートシステムの機能ブロック図を示している。
色情報出力システム１３０は、図１７に示すように、カメラ１０１と物体認識装置１００とディスプレイ１３２とから構成される。物体認識装置１００は、カメラ１０１が取得したカラー画像から目的対象物の分布位置を特定し、目的対象物の色を特定する。例えば、目的対象物が果実の場合には、熟し度合いによって果実の色が変化する。そのため、果実の色変わりを想定し、複数の色合い（熟し度合い）のテンプレート画像を予め準備することにより、カラー画像から果実の位置のみならず、果実の色を特定する。ディスプレイ１３２における色表示は、カラー画像に写る目的対象物の近傍に、例えば、目的対象物の色を文字で表すことができる。なお、色情報出力システム１３０において、目的対象物の色を文字でディスプレイ１３２に表示する以外に、色を音声出力してもよい。
【００８１】
図１８は、色覚異常患者サポートシステムのテキスト表示の一例を示している。図１８は、道路を走行する車に搭載されたカメラから前方の交差点の様子の画像を模式図として表している。図１８の模式図では、交差点に２つの信号機（３１，３２）と２つの横断歩道（３５，３６）があり、１台の車３７（シルバーの車体色の車）が交差点に入っている。また、中央線３３と車道外側線３４が示されている。色覚異常患者サポートシステムでは、目的対象物として、信号機、横断歩道、車、中央線および車道外側線が登録されており、それらのテンプレート画像も予め用意されている。信号機の場合は、青色（或は緑色）、黄色、赤色の３通りの色のテンプレート画像が用意されている。横断歩道と車道外側線は白色のテンプレート画像が用意され、中央線はオレンジ色のテンプレート画像が用意されている。車は、様々な色のテンプレート画像が用意されている。そして、色覚異常患者サポートシステムでは、車載カメラから取得したカラー画像から、目的対象物として、信号機、横断歩道、車、中央線、車道外側線を認識し、それらの色を特定して、カラー画像をディスプレイに表示する際に、目的対象物の色をテキスト表示する（４１〜４７）。
【産業上の利用可能性】
【００８２】
本発明は、果実採取ロボットなどの移動ロボットの制御装置として有用である。
【符号の説明】
【００８３】
２    ウィンドウ画像
３    対象画像
４    ブロック領域
１１  物体表面
１２  ヒトの目
１３，１４  光源
ＴＰ１，ＴＰ２，・・・，ＴＰｎ  テンプレート画像
１００  物体認識装置
１０１  カメラ
１０２  テンプレート画像Ｄ／Ｂ
１０２  画像取得手段
１０４  テンプレート設定手段
１０５  解析手段
１１０  マッチング手段
１２０  移動ロボット制御システム
１２２  目的対象物の方向と距離の演算部
１２４  ロボット駆動ユニット
１３０  色覚異常患者サポートシステム
１３２  ディスプレイ
【図１】
2018101165.tif 000018
【図２】
2018101165.tif 000019
【図３】
2018101165.tif 000020
【図４】
2018101165.tif 000021
【図５】
2018101165.tif 000022
【図６】
2018101165.tif 000023
【図７】
2018101165.tif 000024
【図８】
2018101165.tif 000025
【図９】
2018101165.tif 000026
【図１０】
2018101165.tif 000027
【図１１】
2018101165.tif 000028
【図１２】
2018101165.tif 000029
【図１３】
2018101165.tif 000030
【図１４】
2018101165.tif 000031
【図１５】
2018101165.tif 000032
【図１６】
2018101165.tif 000033
【図１７】
2018101165.tif 000034
【図１８】
2018101165.tif 000035