(57)【要約】【課題】照明環境の変化や被写体に陰影があっても画像データの照度分布に大きな影響を及ぼさず、標的を正確に抽出する装置を提供することを目的とする。【解決手段】複数の色領域を有する標的部材を撮像する撮像手段と、前記撮像手段で撮影した画像データから前記標的部材の１又は複数の色領域の色画像データを抽出する画像処理手段とを備えたカラー標的用画像処理装置により、異なる露出時間で標的部材を撮像して得られた複数の画像データから、色度座標系に基づく領域識別で特定色の領域データを抽出すると、それらの論理和演算を行って標的部材の１又は複数の色領域を特定する構成により、照明環境の変化や陰影が画像データの照度分布に影響を及ぼしたとしても、標的部材の色領域を高精度に抽出する装置を提供することができる。【選択図】図１
2010191794.tif 000002
【特許請求の範囲】
【請求項１】
複数の色領域を有する標的部材を撮像する撮像手段と、
前記撮像手段で撮影した画像データから前記標的部材の１又は複数の色領域の色画像データを抽出する画像処理手段とを備えたカラー標的用画像処理装置であって、
前記画像処理手段は、
前記撮像手段を用い、異なる露出時間で撮像した複数の前記標的部材の画像データ毎に、色度座標系に基づく領域識別により特定色の領域データを抽出する機能と、
前記抽出した領域データの論理和演算を行うことにより、前記標的部材の１又は複数の色領域を特定する機能と、
を有することを特徴とするカラー標的用画像処理装置。
【請求項２】
前記画像処理手段は、所定条件下で前記標的部材を撮影したときの各色領域に関する色度座標系上の色分布を基準に、前記抽出した領域データの色領域の色ずれ傾向を算出して前記特定した色領域を補正することを特徴とする請求項１に記載のカラー標的用画像処理装置。
【請求項３】
前記画像処理手段は、前記抽出した領域データの色領域の色ずれ傾向から、前記撮像手段の露出時間を調整することを特徴とする請求項１又は２に記載のカラー標的用画像処理装置。
【請求項４】
カラー標的用画像処理装置により特定された標的部材の位置と前記対象物との相対的な位置及び姿勢の関係から、前記撮像装置と前記対象物の相対的な位置及び姿勢を演算し、これにより前記対象物を操作するマニピュレータの位置・姿勢を決定する計測手段を更に備えた請求項１〜３に記載のカラー標的用画像処理装置
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物とその対象物を作業するマニピュレータとの相互間の距離・姿勢を測定する技術に関連し、特に、月および火星などの惑星面・衛星面や宇宙空間の宇宙機上で作業する宇宙用ロボットや、月・惑星探査機や有人往還機などの宇宙機を誘導制御するために用いられる計測装置に用いて好適な技術に関する。
【背景技術】
【０００２】
従来、宇宙空間においてロボットや宇宙機をランデブ・ドッキングするには、ロボットなどの位置・姿勢を正確に検出することが必要であるが、その位置・姿勢の計測にあたり黒白の標的（目印）を撮像し、画像データにあらわれた濃淡レベルを画像処理することで当該指標を抽出し、これにより標的とロボット等の相互の位置・姿勢関係を求める手法が一般的であった。マニピュレータの位置・姿勢を計測する場合、色付けされたカラー標的を用いる装置もある（例えば、特許文献１など）。
【０００３】
【特許文献１】特開平１１−１３４５０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ロボットなどのマニピュレータに関する位置決め精度の向上には、標的の形状や位置を画像処理アルゴリズムによって適切に算出することが不可欠であり、画像データの濃淡の違いが画像処理の精度に大きな影響を与える。例えば、黒白の標的の場合、陰影などにより生じた擬似的な濃淡模様が標的形状の特徴に近いと、その濃淡の画像データから標的の特徴量を判別できずに標的抽出に誤りが生じ、その結果、マニピュレータの位置を正確に制御できなくなることが度々あった。したがって、照明条件の変化及びこれに伴う陰影の程度をどこまで許容し、その結果、画像処理アルゴリズムをどのように設計すべきかが実務上の考慮すべき事項として重要となってくる。
【０００５】
上述したように、標的を含む被写体の照度の変化が画像処理の信頼性を低下させてしまうので、撮影環境をできるだけ画像処理にとって好適にさせることが望ましい。したがって、黒白の標的・カラー標的のいずれにしても、主として照明状態の変化が比較的小さな室内での撮影というような限定された環境下で使用されることが殆どであった。太陽光の直射光が当たる環境では、陰影や反射などによる大きな照度の変化により標的の照度が大きく変化してしまうからである。
【０００６】
さらに、従来のカラー標的を用いた計測装置は、撮像装置の色ごとの感度特性の非線形性や一部の色の撮像素子の飽和などのために照度差によって色度座標上での色分布が変化してしまい、カラー標的の形状抽出を正しく行えないという課題があった。このため、実際には標的中の指定した同色部分を抽出しているに過ぎず、任意の複数の異なる色の指標に対応できるようになっていないという問題があった。
【０００７】
本発明は、上記の事情に鑑みてなされたものであり、照明環境の変化や被写体に陰影があっても画像データの照度分布に大きな影響を及ぼさず、標的を正確に抽出する装置を提供することを目的とする。特に、カラー標的にあっては、宇宙空間を含む任意の環境下で色領域を安定して抽出することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係るカラー標的用画像処理装置は、複数の色領域を有する標的部材を撮像する撮像手段と、前記撮像手段で撮影した画像データから前記標的部材の１又は複数の色領域の色画像データを抽出する画像処理手段とを備え、前記画像処理手段は、前記撮像手段を用い、異なる露出時間で撮像した複数の前記標的部材の画像データ毎に、色度座標系に基づく領域識別により特定色の領域データを抽出する機能と、前記抽出した領域データの論理和演算を行うことにより、前記標的部材の１又は複数の色領域を特定する機能と、を有することを特徴とする。
【０００９】
また、前記画像処理手段は、所定条件下で前記標的部材を撮影したときの各色領域に関する色度座標系上の色分布を基準に、前記抽出した領域データの色領域の色ずれ傾向を算出して前記特定した色領域を補正することを特徴とする。
【００１０】
また、前記画像処理手段は、前記抽出した領域データの色領域の色ずれ傾向から、前記撮像手段の露出時間を調整することを特徴とする。
【００１１】
また、本発明に係るカラー標的用画像処理装置は、カラー標的用画像処理装置により特定された標的部材の位置と前記対象物との相対的な位置及び姿勢の関係から、前記撮像装置と前記対象物の相対的な位置及び姿勢を演算し、これにより前記対象物を操作するマニピュレータの位置・姿勢を決定する計測手段を更に備えることを特徴とする。
【発明の効果】
【００１２】
異なる露出時間で標的部材を撮像して得られた複数の画像データから、色度座標系に基づく領域識別で特定色の領域データを抽出すると、それらの論理和演算を行って標的部材の１又は複数の色領域を特定する構成により、照明環境の変化や陰影が画像データの照度分布に影響を及ぼしたとしても、標的部材の色領域を高精度に抽出する装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の好適な実施形態について図面を参照しながら詳細に説明する。
本発明に係るカラー標的用画像処理装置の概念図を１に示す。本実施形態では、マニュピュレータなどの移動機構５に搭載された撮像装置１が、カラーで円形（又は円球）の標的部材４を撮像する例を挙げて説明する。本実施形態の標的部材４は、例えば、任意の対象物（不図示）の位置決めを行うための基準座標を決定するために使用されるものである。
【００１４】
撮像装置１はＣＣＤ素子やＣＭＯＳ素子を有するＴＶカメラを備えており、撮像した標的部材４の画像データを電気信号に変換する。標的部材４に近接して対象物が存在する場合、標的部材４の他に対象物も一緒に撮像されるので、対象物及び背景も含む画像データから標的部材４の形状を正確に抽出することが必要となる。
【００１５】
撮像装置１が標的部材４を撮像すると、画像情報が電気信号に変換されて有線ケーブルを介して或いは無線通信装置２を介して画像演算装置３に送信される。画像演算装置３は、詳細は後述する処理によって、受信した画像データから１又は複数の色領域の色画像データを判定する。即ち、特定色の色領域が抽出される。さらに、この色画像データは演算処理部（不図示）に出力され、演算処理部は色領域の面積及び面積中心を算出することによって対象物と撮像装置１との相対位置・姿勢を演算する。上記相対位置・姿勢のデータは、移動機構５の位置決め制御に用いられる。
【００１６】
次に、画像演算装置３が行う標的部材４の色領域の抽出方法について詳しく説明する。
撮像装置１によって撮像される画像データは、標的部材４の他に背景データや対象物データが含まれているので、色付けされた標的部材４の特定色を判定する処理を行う。まず、画像演算装置３は、画像データをデモザイック処理してＲＧＢ画像に再現する。単板式カラーＴＶカメラのＣＣＤ素子は、赤、青、緑が順番に格子模様に並んでおり（ベイヤー配列と称する）、人間の視感度を考慮して緑が多く、赤と青のピクセルは周囲に連続する同色はない。そこで、空いている箇所の各画素の値を、周辺の色の値から推定して補間処理する。このような空間画像処理をデモザイック処理と呼び、ＲＧＢ三色の画像データを生成する。三板式のカラーＴＶカメラでは、例えばＲＧＢの各色ごとにＣＣＤ素子を設けて光学的に同じ像を撮像し、ＲＧＢ各色の画像情報を得てフレーム上で同じ位置の素子の情報を色情報として関連づけ、カラー画像情報を得る。
【００１７】
さらに、画像演算装置３は、予め作成しておいた各カラーマークの色領域の情報をもつテーブル（以後、「カラーテーブル」と称する。）と、カラー画像データとを比較・照合することによって、ピクセル毎に表色系変換を行う。表色系とは数値や記号を使って色を系統的に表現したものであり、表色系変換を通じて色を正確に表すことが可能となる。ところで、標的部材４を撮像した画像データ上の各色の領域を選択し、そこに含まれるピクセルの色を色度座標上で表すと、ピクセルはー定の広がりを持つ領域内に分布する点として観察されることが知られている。画像演算装置３は、このような色度座標上で色ごとに分離・独立した領域内にピクセルが分布することを利用し、標的部材４の複数の色領域をそれぞれ識別する。
【００１８】
図２は、人間の目の感度に似た表色系として多用されているＬ*ａ*ｂ*表色系における色情報を表す。図２の楕円が示す３つの独立した領域は、a*−b*座標上（Ｌ*は明度指数を表し、ａ*とｂ*は、その値によって色相と彩度に相当する位置を示すことができる。）において、赤・橙・緑の３色が占める代表的な範囲を示している。標的部材４上の特定色に関し、図２のような領域をあらわすカラーテーブルを予め作成して記憶しておき、色抽出のための画像処理に用いる。
【００１９】
屋内で稼働する製造ラインの場合は照明環境を一定に保ち易いので、撮像装置は画像処理をするのに適切な露出（露光）を設定して対象物等を撮像することが容易である。この場合、色度座標上での色領域分布は上述した図２のようになり、色領域のそれぞれを容易且つ明確に分離することができる。
一方、屋外環境では屋内撮影に較べて照明環境を常時一定に整えることが困難である。その結果、撮像時の作業状況によって照明状態に変化をもたらし、標的部材４の色領域上に日陰が発生したり、周辺の他の部材からの照り返しを生じたりして、同一の標的部材であっても一部の照度が異なったりしてしまうことが頻繁に起きる。図３（ａ）は、照明環境を適切に調整して標的部材４を撮像してデモザイック処理を施した画像データの一例である。図３（ｂ）は、任意の照明環境で標的部材４を撮像して得られる図３（ａ）に相当する画像データである。
【００２０】
図３（ｂ）に示すように、実際に撮像された標的部材の画像データ３１内の照度に偏りがあり、部分的に露出（露光）過度または露出（露光）不足を生じた場合は、撮像素子の各色成分に対する感度の非線形性によりズレが生じ、標的部材４の色領域を正確に抽出できない。例えば、図３（ｃ）に示すように標的部材４の形状全体を抽出することが出来ずに一部分だけが抽出されたり、或いは全く抽出できないこともある。
【００２１】
そこで、本実施形態の画像演算装置３は、予め想定する適正露出に対して、露出（露光）時間に変化をつけて、例えば、適正露出を１倍とすると、１／２倍、２倍、４倍の計４種類の異なる露出時間で標的部材４を撮像する。図４は、それぞれの露出時間で撮像したときの画像データの例を示している。露出時間の相違が、抽出される領域に影響を与えることを理解できるであろう。
【００２２】
次に、各画像を色度座標系上の領域識別と比較照合し、標的部材４に色付けされた色領域を抽出した後、各画像から得られる抽出領域を各色ごとに論理和演算する。なお、画像演算装置３は、論理和演算後の色領域内の各画素が、どの露出時間の画像データのものであるかの情報を維持しておくものとする。
この論理和演算により、照明状態の変化や陰影の影響が可及的に最小され、画像演算装置３は標的部材４の色領域を安定的に且つ高精度に抽出することを可能にする。特に、標的部材４が立体形状の場合、照明条件による陰影の影響が生じ易いことから、この論理和演算方式は立体型標的部材において有効である。
【００２３】
なお、露出時間は上述した設定に限られず任意に設定することが可能であり、標的部材の形状・設置位置・カラー等に応じて標的部材ごとに適当な露出時間することが望ましい。特に、各露出時間による画像データは標的部材の一部のみしか抽出されないが、複数の画像データの論理和をとれば標的部材の全形状が抽出できるように露出時間を適切に設定することが望ましい。
【００２４】
さらに、画像演算装置３は、カラーテーブルとの照合で得られた特定色の領域には、ノイズが含まれていたり欠損があったりすることを考慮し、例えば、２値画像変換、クラスタリング処理、又は膨張・収縮処理を必要に応じて施して、標的部材４の内部の欠損データを充填/補充するようにすることもできる。そして、最終的に標的部材４は、２値画像内のクラスタとして抽出される。
【００２５】
上記演算処理部は、画像演算装置３により抽出された標的部材４の各色領域データを受信すると、色領域の一部又は全部の面積及び面積中心を算出することによって対象物と撮像装置１との相対位置・姿勢を演算する。移動機構５は、この相対位置・姿勢の関係を基に対象物との関係を特定し、例えば、作業マニピュレータの位置や宇宙機のランデブ・ドッキングにおける誘導位置を制御する。
【００２６】
次に、上述した画像演算装置３による色領域の抽出精度を向上させる追加の機能について説明する。本発明で使用される照明光は、特に限定されるものではない。一方、各照明光の光源色は一様ではなく、例えば涼しげな青っぽい光色、暖かみのある赤っぽい光色というような、照明光の色分布に応じて標的部材４の色みが変化する。したがって、光源色の違いが画像データの色ずれを生じされることになるので、画像演算装置３は、照明光の色度に起因する画像データの色ずれ傾向を算出する機能を備える。
【００２７】
上述したように、画像演算装置３は、論理和演算を通じて生成された色領域内の各画素が、１／２倍、１倍、２倍、４倍という４種類の異なる露出時間のうち、どの露出時間で撮像された画像データに起因して得られたものであるかを把握しているので、各色領域内の各画素が属する露出時間の画像を特定する。また、色度座標上における当該照明光の分布（図５の符号５１で示す領域）を求める。白色光下での標的部材４の色度分布（不図示）と、符号５１で示す撮像時に使用した照明光の分布とを比較することで、撮像時の照明光の照度傾向を求めることができる。さらに、色度座標上での上記照明光の分布の図心座標５２、及び平均値・分散値を、白色光下での色度分布の図心座標、及び平均値・分散値とそれぞれ比較すれば、色ずれの傾向を求めることができる。
そして、求めた色ずれ（座標ずれ）を補正するように、撮像に使用した照明光による色領域をシフトさせる。これにより、撮像に使用する照明光の色分布の違いに左右されることなく、どんな照明環境下であっても標的部材４の色領域抽出を高精度に実現することができる。
【００２８】
また、得られた色ずれ傾向を撮像時の露出（露光）時間にフィードバックするようにしてもよい。例えば、特定の照明光の色分布の影響により、１／２倍、１倍、２倍、４倍という４種類の露出時間では、標的部材４全体の色抽出を完全に生成することができず、欠損状態の抽出になってしまう状態もあり得る。そこで、色ずれ傾向、即ち、色度座標上の分布の図心座標、及び平均値・分散値のずれ量に応じて、撮像時の露出（露光）時間を適切に増減することにより、標的部材４全体の色抽出を完全に生成することが可能になる。
【００２９】
なお、本実施形態では、撮像装置１を移動機構５に搭載して、カラーの標的部材４を撮像する例を示したが、これに限定するものではない。例えば、撮像装置１は固定的に設定されたり、或いは標的部材４がモノクロ（白黒）色であっても本発明を実施することができる。さらに、標的部材４の形状は、円形又は円球（球体）に限らず、任意の形状に適用することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明に係るカラー標的用画像処理装置の概念図である。
【図２】Ｌ*ａ*ｂ*表色系における色情報を表した図である。
【図３】標的部材を撮像してデモザイック処理を施した画像データの一例を示した図である。
【図４】露出時間を変えて標的部材を撮像したときの画像データの一例を示した図である。
【図５】抽出された色領域が色度分布上でずれを生じることを示した図である。
【符号の説明】
【００３１】
１    撮像装置
２    通信装置
３    画像演算装置
４    カラー標的部材
５    移動機構
【図１】
2010191794.tif 000003
【図２】
2010191794.tif 000004
【図３】
2010191794.tif 000005
【図４】
2010191794.tif 000006
【図５】
2010191794.tif 000007