(57)【特許請求の範囲】
【請求項１】
それぞれが複数の原色画像で構成された一対のカラー画像を用いて、ステレオマッチングを行う画像処理装置において、
同一色の原色画像対を用いてステレオマッチングを行うことにより、それぞれの原色画像に関する原色視差と、当該原色視差に関するシティブロック距離とを、視差の算出単位となる画像領域毎に算出するステレオ演算手段と、
それぞれの原色視差に基づいて、前記画像領域毎の統一視差を算出するとともに、前記原色視差および前記シティブロック距離の少なくとも一方の信頼性のレベルを示す信頼度情報を前記統一視差に対応付けて出力する融合処理手段とを有し、
前記融合処理手段は、前記レベルに応じた厳しさの異なる複数の評価基準に基づいて前記信頼度情報を算出することを特徴とする画像処理装置。
【請求項２】
前記融合処理手段は、一の画像領域に関する前記信頼性が高いと判断した場合には、当該画像領域に関する前記統一視差を出力し、前記信頼性が高くないと判断した場合には、当該画像領域に関する前記統一視差を出力しないことを特徴とする請求項１に記載された画像処理装置。
【請求項３】
前記融合処理手段は、前記原色視差および前記シティブロック距離の少なくとも一方の信頼性を、所定の評価基準によって評価することを特徴とする請求項１または２に記載された画像処理装置。
【請求項４】
前記評価基準は、前記原色視差のそれぞれの値が一致するか否かを判断する第１の個別条件を少なくとも含むことを特徴とする請求項３に記載された画像処理装置。
【請求項５】
前記評価基準は、前記シティブロック距離のそれぞれが所定の判定しきい値よりも小さいか否かを判断する第２の個別条件を少なくとも含むことを特徴とする請求項３または４に記載された画像処理装置。
【請求項６】
前記評価基準は、前記シティブロック距離の総和が、所定の判定しきい値よりも小さいか否かを判断する第３の個別条件を少なくとも含むことを特徴とする請求項３から５のいずれかに記載された画像処理装置。
【請求項７】
前記融合処理手段は、検出すべき対象物の色に応じて、予め用意された複数の評価基準の中からいずれかの評価基準を選択して適用することを特徴とする請求項３から６のいずれかに記載された画像処理装置。
【請求項８】
それぞれの原色画像において、位置的に対応する実画素の位置ずれの影響を排除した基準画素の輝度値を算出するために、前記基準画素と重なっている前記実画素の輝度値の加重平均によって、前記基準画素の輝度値を算出する補正手段をさらに有することを特徴とする請求項１から７のいずれかに記載された画像処理装置。
【請求項９】
それぞれが複数の原色画像で構成された一対のカラー画像を用いて、ステレオマッチングを行う画像処理方法において、
同一色の原色画像対を用いてステレオマッチングを行うことにより、それぞれの原色画像に関する原色視差と、当該原色視差に関するシティブロック距離とを、視差の算出単位となる画像領域毎に算出する第１のステップと、
それぞれの原色視差に基づいて、前記画像領域毎の統一視差を算出するとともに、前記原色視差および前記シティブロック距離の少なくとも一方の信頼性のレベルを示す信頼度情報を前記統一視差に対応付けて出力する第２のステップとを有し、
前記第２のステップは、前記レベルに応じた厳しさの異なる複数の評価基準に基づいて前記信頼度情報を算出することを特徴とする画像処理方法。
【請求項１０】
前記第２のステップにおいて、一の画像領域に関する前記信頼性が高いと判断した場合には、当該画像領域に関する前記統一視差を出力し、前記信頼性が高くないと判断した場合には、当該画像領域に関する前記統一視差を出力しないことを特徴とする請求項９に記載された画像処理方法。
【請求項１１】
前記上記第２のステップにおいて、前記原色視差および前記シティブロック距離の少なくとも一方の信頼性を、所定の評価基準によって評価することを特徴とする請求項９または１０に記載された画像処理方法。
【請求項１２】
前記評価基準は、前記原色視差のそれぞれの値が一致するか否かを判断する第１の個別条件を少なくとも含むことを特徴とする請求項１１に記載された画像処理方法。
【請求項１３】
前記評価基準は、前記シティブロック距離のそれぞれが所定の判定しきい値よりも小さいか否かを判断する第２の個別条件を少なくとも含むことを特徴とする請求項１１または１２に記載された画像処理方法。
【請求項１４】
前記評価基準は、前記シティブロック距離の総和が、所定の判定しきい値よりも小さいか否かを判断する第３の個別条件を少なくとも含むことを特徴とする請求項１１から１３のいずれかに記載された画像処理方法。
【請求項１５】
前記第２のステップは、検出すべき対象物の色に応じて、予め用意された複数の評価基準の中からいずれかの評価基準を選択して適用するステップを含むことを特徴とする請求項１１から１４のいずれかに記載された画像処理方法。
【請求項１６】
それぞれの原色画像において、位置的に対応する実画素の位置ずれの影響を排除した基準画素の輝度値を算出するために、前記基準画素と重なっている前記実画素の輝度値の加重平均によって、前記基準画素の輝度値を算出する第３のステップをさらに有することを特徴とする請求項９から１５のいずれかに記載された画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一対のカラー画像を用いてステレオ画像処理を行う画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
ステレオカメラを用いたステレオ式車外監視システムが知られている。このシステムでは、一対のカメラ（ステレオカメラ）から得られる一対の撮像画像を用いて、ステレオマッチングによって、輝度特性の相関を有する小領域同士を特定し、両者の相対的なずれ量より距離データを得る。従来のステレオ式車外監視システムでは、白黒のイメージセンサ（ＣＣＤやＣＭＯＳセンサ等）が採用されており、モノクロ画像における輝度情報を主体に車外の状況を認識していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、モノクロ画像ではなくカラー画像を入力情報とし、輝度情報のみならず色情報も用いたステレオ画像処理を行えば、距離データの信頼性の向上が期待できる。それとともに、走行状況の認識精度およびより複雑な状況認識も可能になる。しかしながら、従来、カラー画像を用いてステレオ画像処理を行う際、カラー画像を構成する複数の原色画像をどのように処理し、どのような情報を抽出するのかについて、十分な検討が行われていなかった。
【０００４】
また、近年、画像処理関連の技術の発達に伴い、画像を扱う様々な分野でカラー化が進んでおり、カラーイメージセンサのコストもますます安価になっている。そのため、ステレオ式車外監視システムにおいても、コスト的な観点からも、カラーイメージセンサの採用が望まれている。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、一対のカラー画像を用いてステレオ画像処理を行うことで、距離データの信頼性の向上を図ることである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、それぞれが複数の原色画像で構成された一対のカラー画像を用いて、ステレオマッチングを行う画像処理装置を提供する。この画像処理装置は、ステレオ演算手段と融合処理手段とを有する。ステレオ演算手段は、同一色の原色画像対を用いてステレオマッチングを行うことにより、それぞれの原色画像に関する原色視差と、これらの原色視差に関するシティブロック距離とを算出する。これらの原色視差およびシティブロック距離は、視差の算出単位となる画像領域毎に算出される。融合処理手段は、それぞれの原色視差に基づいて、画像領域毎の統一視差を算出する。それとともに、融合処理手段は、原色視差およびシティブロック距離の少なくとも一方の信頼性を示す信頼度情報を統一視差に対応付けて出力する。
【０００７】
ここで、第１の発明において、上記融合処理手段は、一の画像領域に関する信頼性が高いと判断した場合には、この画像領域に関する統一視差を出力するとともに、一の画像領域に関する信頼性が高くないと判断した場合には、演算量の低減を図るために、この画像領域に関する統一視差を出力しないことが好ましい。
【０００８】
また、第１の発明において、上記融合処理手段は、原色視差およびシティブロック距離の少なくとも一方の信頼性を、所定の評価基準によって評価することが好ましい。この評価基準は、原色視差のそれぞれの値が一致するか否かを判断する第１の個別条件を少なくとも含むことが好ましい。また、この評価基準は、シティブロック距離のそれぞれが所定の判定しきい値よりも小さいか否かを判断する第２の個別条件を少なくとも含むことが好ましい。さらに、この評価基準は、シティブロック距離の総和が、所定の判定しきい値よりも小さいか否かを判断する第３の個別条件を少なくとも含むことが好ましい。
【０００９】
また、第１の発明において、上記融合処理手段は、検出すべき対象物の色に応じて、予め用意された複数の評価基準の中からいずれかの評価基準を選択して適用することが望ましい。
【００１０】
さらに、第１の発明において、それぞれの原色画像において、位置的に対応する実画素の位置ずれの影響を排除した基準画素の輝度値を算出するために、基準画素と重なっている実画素の輝度値の加重平均によって、基準画素の輝度値を算出する補正手段をさらに設けてもよい。
【００１１】
第２の発明は、それぞれが複数の原色画像で構成された一対のカラー画像を用いて、ステレオマッチングを行う画像処理装置を提供する。この画像処理装置は、補正手段とステレオ演算手段とを有する。補正手段は、それぞれの原色画像において、位置的に対応する実画素の位置ずれの影響を排除した基準画素の輝度値を算出するために、基準画素と重なっている実画素の輝度値の加重平均によって、基準画素の輝度値を算出する。また、ステレオ演算手段は、補正手段によって補正された同一色の原色画像対を用いてステレオマッチングを行うことにより、それぞれの原色画像に関する原色視差を、視差の算出単位となる画像領域毎に算出する。
【００１２】
第３の発明は、それぞれが複数の原色画像で構成された一対のカラー画像を用いて、ステレオマッチングを行う画像処理方法を提供する。この画像処理方法は、同一色の原色画像対を用いてステレオマッチングを行うことにより、それぞれの原色画像に関する原色視差と、これらの原色視差に関するシティブロック距離とを視差の算出単位となる画像領域毎に算出する第１のステップと、それぞれの原色視差に基づいて、画像領域毎の統一視差を算出するとともに、原色視差およびシティブロック距離の少なくとも一方の信頼性を示す信頼度情報を統一視差に対応付けて出力する第２のステップとを有する。
【００１３】
ここで、上記第２のステップにおいて、一の画像領域に関する信頼性が高いと判断した場合には、この画像領域に関する統一視差を出力し、信頼性が高くないと判断した場合には、この画像領域に関する統一視差を出力しないことが好ましい。
【００１４】
また、上記第２のステップにおいて、原色視差およびシティブロック距離の少なくとも一方の信頼性を、所定の評価基準によって評価することが望ましい。この評価基準は、原色視差のそれぞれの値が一致するか否かを判断する第１の個別条件を少なくとも含むことが好ましい。また、この評価基準は、シティブロック距離のそれぞれが所定の判定しきい値よりも小さいか否かを判断する第２の個別条件を少なくとも含むことが好ましい。さらに、この評価基準は、シティブロック距離の総和が、所定の判定しきい値よりも小さいか否かを判断する第３の個別条件を少なくとも含むことが好ましい。
【００１５】
また、上記第２のステップは、検出すべき対象物の色に応じて、予め用意された複数の評価基準の中からいずれかの評価基準を選択して適用するステップを含んでいてもよい。
【００１６】
さらに、第３の発明において、それぞれの原色画像において、位置的に対応する実画素の位置ずれの影響を排除した基準画素の輝度値を算出するために、基準画素と重なっている実画素の輝度値の加重平均によって、基準画素の輝度値を算出する第３のステップをさらに設けてもよい。
【００１７】
第４の発明は、それぞれが複数の原色画像で構成された一対のカラー画像を用いて、ステレオマッチングを行う画像処理方法を提供する。この画像処理方法は、それぞれの原色画像において、位置的に対応する実画素の位置ずれの影響を排除した基準画素の輝度値を算出するために、基準画素と重なっている実画素の輝度値の加重平均によって、基準画素の輝度値を算出する第１のステップと、補正された同一色の原色画像対を用いてステレオマッチングを行うことにより、それぞれの原色画像に関する原色視差を、視差の算出単位となる画像領域毎に算出する第２のステップとを有する。
【００１８】
【発明の実施の形態】
（第１の実施形態）
図１は、自動車等の車両に搭載されるステレオ画像処理装置の概略的なブロック図である。この画像処理装置は、カラー画像を構成する複数の原色画像（赤画像、緑画像および青画像）のそれぞれをステレオマッチングの対象とし、原色画像毎に独立して視差を算出し、その上で、（１）視差の信頼性を評価し、（２）視差を融合する。このような視差の評価・融合は、撮像画像に写し出された対象物の色を考慮した上で行われる。以下、赤画像を「Ｒ画像」、緑画像を「Ｇ画像」、青画像を「Ｂ画像」という。
【００１９】
車両前方を撮像するステレオカメラは、ルームミラーの近傍に取り付けられており、ＣＣＤやＣＭＯＳセンサ等のイメージセンサを内蔵した一対のカメラ１，２で構成されている。それぞれのカメラ１，２は、車幅方向において所定の間隔（カメラ基線長）で取り付けられている。基準画像を出力するメインカメラ１は、車輌の進行方向に向かって右側に取り付けられている。一方、比較画像を出力するサブカメラ２は、進行方向に向かって左側に取り付けられている。
【００２０】
それぞれのカメラ１，２は、赤緑青（ＲＧＢ）のそれぞれに別個のイメージセンサを内蔵している（例えば、３板式カラーＣＣＤ）。メインカメラ１から出力される基準画像は、実際には、Ｒ画像、Ｇ画像およびＢ画像の３つの原色画像によって構成される。同様に、サブカメラ２から出力される比較画像も、Ｒ画像、Ｇ画像およびＢ画像の３つの原色画像によって構成される。したがって、一対のカメラ１，２が１回の撮影タイミングで出力する画像は合計６枚になる。以下、基準画像を構成するＲ画像を基準画像（Ｒ）と記す場合がある。同様に、基準画像を構成するＧ画像を基準画像（Ｇ）、Ｂ画像を基準画像（Ｂ）と記すことがある。比較画像についても、Ｒ，Ｇ，Ｂ画像を、それぞれ、比較画像（Ｒ）、比較画像（Ｇ）、比較画像（Ｂ）と記すことがある。
【００２１】
一対のカメラ１，２の同期が取れている状態において、それぞれのカメラ１，２から出力されたアナログ画像は、後段の回路の入力レンジに合致するように、アナログインターフェース３において調整される。アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）３ａは、対になるアナログ画像信号の明るさバランスを調整する。この調整は、互いに同じ色（Ｒ，Ｇ，Ｂ）の画像同士で行う。アナログインターフェース３において調整されたアナログ画像対は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００２２】
補正回路５は、デジタル化された画像対を構成する６つの原色画像のそれぞれについて、輝度の補正および画像の幾何学的な変換等を行う。通常、一対のカメラ１，２の取付位置は、程度の差こそあれ誤差があるため、それに起因したずれが左右の画像に存在している。そこで、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換を行う。これにより、ステレオマッチングを行う際の前提となる、画像対における水平線（エピポーラライン）の一致が保証される。このような画像処理を経て、メインカメラ１の出力信号から、一例として、水平方向（ｉ座標方向）が５１２画素（ピクセル）、垂直方向（ｊ座標方向）が２００画素（ピクセル）の基準画像データが生成される。また、サブカメラ２の出力信号から、基準画像データと垂直方向長が同じで、基準画像データよりも大きな水平方向長の比較画像データが生成される（一例として、水平方向が６４０画素（ピクセル）、垂直方向が２００画素（ピクセル））。補正回路５において補正された１フレーム相当の基準画像データと比較画像データとは、ステレオ演算回路６に出力される一方、画像データメモリ７に格納される。
【００２３】
ステレオ演算回路６は、基準画像データと比較画像データとに基づいて、ステレオマッチングを行い、視差の算出単位となる画像領域（画素ブロック）毎に視差を算出する。このステレオマッチングは、同一色の原色画像対に関して別個に行われる。すなわち、Ｒ画像（基準画像（Ｒ）と比較画像（Ｒ））、Ｇ画像（（基準画像（Ｇ）と比較画像（Ｇ））、Ｂ画像（基準画像（Ｂ）と比較画像（Ｂ））のそれぞれについて独立して行われる。
【００２４】
本実施形態では、一例として４×４画素の画素ブロックを視差の算出単位としている。したがって、１フレーム相当の画像全体では、基準画像に含まれる画素ブロックの個数分、すなわち１２８×５０個の視差が算出され得る。基準画像中の一画素ブロックをステレオマッチングの対象とした場合、この対象画素ブロックの輝度特性と相関を有する領域を比較画像を探索することによって特定する。周知のとおり、ステレオ画像に写し出された対象物（例えば先行車や車線等）までの距離は、基準画像と比較画像との間における対象物の水平方向のずれ量（視差）より一義的に特定される。したがって、比較画像の探索を行う場合、対象画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索範囲とすればよい。ステレオ演算回路６は、このエピポーラライン上を一画素ずつシフトしながら、比較画像側の画素ブロック毎に、対象画素ブロックとの輝度特性の相関を評価する。
【００２５】
画素ブロック間における輝度特性の相関は、例えば、シティブロック距離を算出することで評価でき、基本的には、その値が最小となるものが相関を有する画素ブロックである。そして、互いに相関を有する（換言すれば、シティブロック距離が最小となる）画素ブロック間の水平方向のずれ量が視差として出力される。なお、シティブロック距離を算出するためのハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。
【００２６】
ステレオ演算回路６は、同一色の原色画像同士（例えば、基準画像（Ｒ）と比較画像（Ｒ））でステレオマッチングを行い、視差とシティブロック距離とを後段の融合処理部８に出力する。これにより、基準画像を構成する一つの画素ブロックに関して、３つの視差（原色視差）と３つのシティブロック距離とが算出される。以下、Ｒ画像より算出された原色視差をＮｒ、この原色視差Ｎｒに関するシティブロック距離（探索範囲内におけるシティブロック距離の最小値）をＭｒと記す。同様に、Ｇ画像に関して算出された原色視差およびこの原色視差に関するシティブロック距離をＮｇ，Ｍｇとそれぞれ記し、Ｂ画像より算出された原色視差およびこの原色視差に関するシティブロック距離をＮｂ，Ｍｇとそれぞれ記す。なお、ステレオマッチング処理は、モノクロ画像を用いる場合に比べて処理量が増大するため、ステレオ演算回路６には十分な処理速度の演算回路を採用する。
【００２７】
融合処理部８は、ある画素ブロックに関して、３つの原色視差Ｎｒ，Ｎｇ，Ｎｂとシティブロック距離Ｍｒ，Ｍｇ，Ｍｂとを用いて信頼性を評価した上で融合し、その画素ブロックに関する統一的な視差Ｎｉ（以下、「統一視差Ｎｉ」という）を算出する。このようにして求められた統一視差Ｎｉの１フレーム分の集合は、画像平面上の位置（ｉ，ｊ）と対応付けた上で、距離データ（ｉ，ｊ，Ｎｉ）として距離データメモリ１４に格納される。後述するように、それぞれの統一視差Ｎｉには、原色視差Ｎｒ，Ｎｇ，Ｎｂおよびシティブロック距離Ｍｒ，Ｍｇ，Ｍｂの信頼性を示す信頼度情報が付されるため、統一視差Ｎｉは信頼度情報と対応付けられた形態で距離データメモリ１４に格納される。
【００２８】
マイクロコンピュータ１５（機能的に捉えた場合、その機能的ブロックである認識部１６）は、道路形状（直線やカーブ曲率）や車輌前方の立体物（例えば先行車）を認識する。この認識は、画像データメモリ７に格納された画像データと距離データメモリ１４に格納された距離データとに基づいて行われる。また、図示していない車速センサや舵角センサからのセンサ情報、或いはナビゲーション情報等も必要に応じて参照される。なお、道路形状の認識や立体物の認識に関する具体的な手法については、特開平５−２６５５４７号公報に開示されているので必要ならば参照されたい。これらの認識結果に基づいて、警報が必要と判定された場合、モニターやスピーカー等の警報装置１７を作動させてドライバーに注意を促す。また、必要に応じて制御装置１８を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車輌制御が適宜実行される。
【００２９】
つぎに、それぞれの原色視差Ｎｒ，Ｎｇ，Ｎｂを評価・融合して統一視差Ｎｉを算出する処理について詳述する。融合処理部８は、原色視差Ｎｒ，Ｎｇ，Ｎｂ相互の一致性を判定し、一致する場合には、これらの原色視差Ｎｒ，Ｎｇ，Ｎｂに基づいて統一視差Ｎｉを算出する。その際、統一視差Ｎｉの算出に用いられる原色視差Ｎｒ，Ｎｇ，Ｎｂは、後述する評価基準に従い、検出すべき対象物の色を考慮して決定される。例えば、検出対象物が青を含まない赤緑系の場合、赤の原色視差Ｎｒと緑の原色視差Ｎｇとの一致性だけを判定する。
【００３０】
また、融合処理部８は、上記の融合に際して、融合の対象となる入力データの信頼性を評価する。具体的には、この評価は、ステレオ演算回路６によって出力された原色視差Ｎｒ，Ｎｇ，Ｎｂと、これらの視差Ｎｒ，Ｎｇ，Ｎｂを与えるシティブロック距離Ｍｒ，Ｍｇ，Ｍｂとが、検出対象物毎に予め設定された評価基準を具備しているか否かに基づいて行われる。なお、この評価基準は、後述するように、図２に示すような評価基準テーブル１００に記述されている評価基準の内のいずれかが適用される。
【００３１】
このような融合・評価処理を行うべく、融合処理部８は、予め設定されたプログラムを実行することにより検出対象物を選定するプロセッサ９と、プログラムおよび各種データが格納されたメモリ１０とを有する。メモリ１０は、プログラムおよびデータが固定的に格納されたＲＯＭと、プロセッサ９のワーク領域等として使用されるＲＡＭとを含む。このメモリ１０に格納されている情報としては、例えば、評価基準テーブル１００が挙げられる。
【００３２】
図２は、評価基準テーブル１００の一例を示す図である。この評価基準テーブル１００には、識別子１０１と、レベル１０２と、評価基準１０３とが対応付けて記述されている。ここで、評価基準１０３は、評価処理に際して用いられる基準であり、原色視差Ｎｒ，Ｎｇ，Ｎｂまたはシティブロック距離Ｍｒ，Ｍｇ，Ｍｂに関する少なくとも一つの具体的な条件（以下、「個別条件」という）を含む。本実施形態では、それぞれの評価基準は、同図中に▲１▼〜▲３▼で記した３種類の個別条件を含んでいる。ただし、検出対象物の色を考慮した場合、すべての個別条件を適用するのが適切でないこともあるので、検出対象物によっては個別条件が１つまたは２つのものもある。また、検出対象物の色の相違に対応するために、評価基準１０３は、検出対象物の色に含まれる原色のパラメータ（原色視差Ｎｒ，Ｎｇ，Ｎｂ、シティブロック距離Ｍｒ，Ｍｇ，Ｍｂ）のみで構成されている。換言すれば、検出対象物の色に含まれない原色に関するパラメータは、その検出対象物の評価基準１０３には含まれない。ある評価基準１０３において規定されているすべての個別条件を具備するならば、その評価基準を具備すると判断する。
【００３３】
第１の個別条件（同図の▲１▼）は、原色視差Ｎｒ，Ｎｇ，Ｎｂの値の一致性に関する。具体的には、原色視差Ｎｒ，Ｎｇ，Ｎｂの値を比較し、これらの差が所定の範囲内であれば、値が一致するものと判断する。ただし、検出対象物によっては、三原色（ＲＧＢ）をすべて含むとは限らないので、このような検出対象物に関しては、色成分に含まれない原色の原色視差は除外し、残り２つの原色視差の一致性のみを規定している。例えば、追い越し禁止センターラインの色は、典型的にはオレンジ色であり、青色成分を含んでいない。そのため、識別子Ｂに関する第１の個別条件から分かるように、赤の原色視差Ｎｒと緑の原色視差Ｎｇとの一致性（Ｎｒ＝Ｎｇ）だけで判断する。また、単一の原色しか含まない検出対象物（例えば、赤信号）に関しては、評価基準として、第１の個別条件を規定しない。
【００３４】
第２の個別条件（同図の▲２▼）では、原色毎に算出されたシティブロック距離Ｍｒ，Ｍｇ，Ｍｂ（最小シティブロック距離）に基づいて、輝度特性の相関に関する信頼性を原色毎に個別に判断する。具体的には、シティブロック距離Ｍｒ，Ｍｇ，Ｍｂが所定の判定しきい値Ｓｒ，Ｓｇ，Ｓｂよりも小さいことを原色毎に判定し、すべての原色について肯定判定された場合に第２の個別条件を具備するものと判断する。なお、これらの判定しきい値Ｓｒ，Ｓｇ，Ｓｂは、レベル１０２に応じて異なる値が設定されており、評価基準１０３が厳しくなるほど、小さな値に設定されている（それゆえ、画素ブロック間における輝度特性の相関性判定がより厳しくなる）。なお、第１の個別条件と同様に、第２の個別条件についても、検出対象物の色成分中に存在しない原色のシティブロック距離Ｍｒ，Ｍｇ，Ｍｂは考慮しない。
【００３５】
第３の個別条件（同図の▲３▼）では、原色毎に算出されたシティブロック距離Ｍｒ，Ｍｇ，Ｍｂに基づいて、輝度特性の相関に関する信頼性を、すべての原色を総合的にみて判断する。具体的には、各原色画像に関するシティブロック距離Ｍｒ，Ｍｇ，Ｍｂの総和（Ｍｒ＋Ｍｇ＋Ｍｂ）が所定の判定しきい値Ｓｉよりも小さい場合に第３の個別条件を具備するものと判断する。なお、この判定しきい値Ｓｉは、レベル１０２に応じて異なる値が設定されており、評価基準１０３が厳しくなるほど、小さな値に設定されている（それゆえ、画素ブロック間における輝度特性の相関性判定がより厳しくなる）。なお、第１の個別条件と同様に、第２の個別条件についても、検出対象物の色成分中に存在しない原色のシティブロック距離Ｍｒ，Ｍｇ，Ｍｂは考慮されておらず、また、単一の原色しか含まない検出対象物に関しては、第３の個別条件は規定されていない。
【００３６】
識別子１０１は、評価基準１０３を特定するために用いられ、評価基準１０３毎に個別に付与された記号・符号等である。評価基準テーブル１００には、各種の検出対象物に対応すべく、様々な評価基準１０３が記述されている。ただし、識別子１０１によって特定される評価基準１０３は必ずしも１つではなく、レベル１０２が異なる複数の評価基準１０３が記述されている。どのレベル１０２の評価基準１０３を適用するかは、検出対象選定部１１によって指定される。
【００３７】
レベル１０２は、このレベル１０２に対応する評価基準１０３を具備する場合に認定される信頼度の高さである。本実施形態では、それぞれの検出対象物に対して、評価の厳しさが異なる複数のレベルＨ，Ｍが用意されており、信頼性がより高いレベルＨの方が、それよりも信頼性が低いレベルＭよりも評価が厳しくなっている。例えば、識別子ＡにおけるレベルＨの評価基準１０３では、第１の個別条件（同図▲１▼）として、３つ原色視差Ｎｒ＝Ｎｇ＝Ｎｂであることが要求されている。これに対して、識別子ＡにおけるレベルＭの評価条件１０３では、第１の個別条件（同図▲１▼）として、原色視差Ｎｒ，Ｎｇ，Ｎｂの内の２つが一致することが要求されており、レベルＨよりも条件が緩和されている。
【００３８】
図２に示した例の内、識別子Ａの評価基準１０３（レベルＨ，レベルＬの双方を含む）は、検出対象物として特定のものが指定されていないデフォルト時に適用され、ＲＧＢ各色がほぼ均等に含まれていることを想定している。識別子Ｂの評価基準１０３は、例えば、黄色（或いは、オレンジ色）の追い越し禁止センターラインを検出する際に適用される。また、識別子Ｃの評価基準１０３は、例えば、赤信号を検出する際に適用される。
【００３９】
検出対象選定部１１は、現時点で検出すべき対象物を選定するとともに、選定された検出対象物に適したいずれかの評価基準を選定する。検出対象物は、車両走行時に出現し得るものであり、複数の対象物（例えば、追い越し禁止センターラインや先行車のリアランプ等）が予め設定されている。検出対象選定部１１は、図示しない車両の速度センサや操舵角センサ等より特定される走行状況に応じて、いずれかの対象物を検出対象物として選定する。一方、検出対象物が選択されると、評価基準テーブル１００に記述されているいずれかの評価基準１０３が、後述するインデックステーブル１３０の内容に基づいて選定される。
【００４０】
検出対象選定部１１は、予め設定されたプログラムを実行することで検出対象物を選定するマイクロコンピュータ１２と、プログラムおよび各種データが格納されたメモリ１３とを有する。メモリ１３は、プログラムおよびデータが固定的に格納されたＲＯＭと、マイクロコンピュータ１２のワーク領域等として使用されるＲＡＭとを含む。このメモリ１３に格納されている情報としては、例えば、インデックステーブル１３０、評価基準指定情報等が挙げられる。
【００４１】
図３は、インデックステーブル１３０の一例を示す図である。このインデックステーブル１３０には、検出対象物１３１と、それに最適な評価基準の識別子１３２とが対応付けて記述されている。この識別子１３２は、図２に示した評価基準テーブル１００と同一の符号が用いられ、共通化されている。したがって、インデックステーブル１３０側でいずれかの識別子１３２が特定されると、評価基準テーブル１００に記述された評価基準も一義的に特定される。
【００４２】
評価基準指定情報は、上述した演算処理によって選択された検出対象物に最適な評価基準を示す。この評価基準指定情報は、メモリ１３（ＲＡＭ）における所定のアドレス領域（以下、「評価基準指定領域」という）に格納・保持されている。そして、適用すべき評価基準が更新されると、この評価基準指定領域に書き込まれている情報も速やかに更新される。融合処理部８は、評価基準指定領域にアクセスすることで、現時点で適用すべき評価基準を獲得する。
【００４３】
図４は、統一視差Ｎｉの算出手順を示すフローチャートである。まず、ステップ１０１において、ステレオ演算回路６は、画像データメモリ７に格納されている基準画像データと比較画像データとを読み出し、ステレオマッチングを行う。上述したように、ステレオマッチングは、Ｒ画像，Ｇ画像，Ｂ画像のそれぞれについて互いに独立的に行われ、原色視差Ｎｒ，Ｎｇ，Ｎｂが別個に算出される。それぞれの原色画像に対して行われるステレオマッチング自体は、モノクロ画像に対して行われるステレオマッチングと同様である。
【００４４】
つぎに、融合処理部８は、メモリ１３の評価基準指定領域より評価基準指定情報を読み込むとともに（ステップ１０２）、評価基準テーブル１００を参照して、読み込んだ評価基準指定情報に対応する評価基準を取得する（ステップ１０３）。例えば、評価基準指定情報として識別子Ａが指定されている場合には、図２のテーブルにおける識別子Ａに関する評価基準ＡH，ＡMの双方が読み込まれる。ここで、”ＡH”は、識別子ＡでレベルＨの評価基準を指し、ＡMは、識別子ＡでレベルＭの評価基準を指す。
【００４５】
つぎに、融合処理部８は、先のステップ１０３において指定された評価基準ＡH，ＡMに基づいて、ステレオマッチングの結果を評価し、一例として３段階の評価結果（”Ｈ”，”Ｍ”，”Ｌ”）を出力する（ステップ１０４）。ここで出力された評価結果は、ある画素ブロックに関する原色視差Ｎｒ，Ｎｇ，Ｎｂとそれに関するシティブロック距離Ｍｒ，Ｍｇ，Ｍｂとの信頼性の度合いを示す信頼度情報として用いられる。ステップ１０４での評価処理は、レベルの高い評価基準が順番に行う。例えば、評価基準情報として識別子Ａが指定されている場合、まず、高レベルの評価基準ＡHについて判定する。この評価基準ＡHを具備する場合、すなわち評価基準ＡHを構成する３つの個別条件をすべて具備する場合には、評価結果（信頼度）として”Ｈ”（信頼性が最も高いことを意味する）を確定し、評価基準ＡMに関する判定は行わない。一方、評価基準ＡHを具備しない場合には、それよりもレベルの低い評価基準ＡMの判定に進む。そして、この評価基準ＡMを具備する場合、すなわち、評価基準ＡMを構成する３つの個別条件をすべて具備する場合には、評価結果として”Ｍ”（信頼性が中位であることを意味する）を確定する。また、評価基準ＡMを具備しない場合には、評価結果として”Ｌ”（信頼性が最も低いことを意味する）を確定する。
【００４６】
つぎに、融合処理部８は、原色視差Ｎｒ，Ｎｇ，Ｎｂに基づいて、これらを融合することにより統一視差Ｎｉを算出する（ステップ１０５）。この融合手法としては、例えば、原色視差Ｎｒ，Ｎｇ，Ｎｂの値を比較して、これらの値が一致している場合にはその値を統一視差Ｎｉとして決定・出力する。また、別の例として、原色視差Ｎｒ，Ｎｇ，Ｎｂの積和演算（加重平均や算術平均等を含む）によって、統一視差Ｎｉを算出してもよい。なお、演算量の低減を図るために、融合処理部８は、ある画素ブロックに関する原色視差Ｎｒ，Ｎｇ，Ｎｂとシティブロック距離Ｍｒ，Ｍｇ，Ｍｂの信頼性の度合いを示す信頼度情報より、これらの信頼性が高いと判断した場合のみ、その画素ブロックに関する統一視差Ｎｉを出力することが好ましい。換言すれば、これらの信頼性が高くないと判断した場合には、その画素ブロックに関する統一視差Ｎｉは出力されず、その代わりに無効データが出力される。
【００４７】
なお、ステップ１０５において、上述したように原色視差Ｎｒ，Ｎｇ，Ｎｂのすべてを比較するとは限らず、図２の評価基準１０３における第２の個別条件と同様に、検出対象物の色に含まれる原色に関する原色視差Ｎｒ，Ｎｇ，Ｎｂのみを比較対象とすることが好ましい。また、先のステップ１０４で得られた評価結果が高い場合だけ（例えば、”Ｈ”または”Ｍ”の場合）、原色視差Ｎｒ，Ｎｇ，Ｎｂの融合処理を行うようにしてもよい。
【００４８】
そして、ステップ１０６において、融合処理部８は、距離データとしての統一視差Ｎｉと、信頼度情報としての評価結果（”Ｈ”，”Ｍ”，”Ｌ”のいずれか）とを対応付けて出力する。互いに対応付けられた統一視差Ｎｉおよび評価結果は、距離データメモリ１４に格納される。
【００４９】
ステレオ演算回路６および融合処理部８は、処理対象を次の画素ブロックに変更したうえで同様の処理を繰り返す。１フレーム分の統一視差Ｎｉと評価結果とを求めることで、距離データメモリ１４には１フレーム分の距離データ（ｉ，ｊ，Ｎｉ）が信頼度情報付で格納される。
【００５０】
図５は、評価基準の指定手順を示すフローチャートである。まず、ステップ２０１において、検出対象選定部１１は、図示していない各種センサの検出結果等に基づいて、車速、加減速の様子、舵角、方向指示器（あるいは、方向指示器操作レバー）等の走行状況を検出する。
【００５１】
ステップ２０２において、検出対象選定部１１は、検出された走行状態に基づいて、現時点で検出すべき対象物を選定する。例えば、右の方向指示器が点灯（点滅）している場面としては、（１）追い越し、（２）右折、といった場面が考えられる。追い越しと右折との区別は、車速、加速状況等を考慮することで可能である。検出対象選定部１１は、追い越しのために右の方向指示器が点灯（厳密には点滅）していると判断した場合には、検出対象物として追い越し禁止のセンターラインを選定する。このようなセンターラインを検出対象物にする理由は、追い越し禁止の区域を走行時に、ドライバによる追い越し操作に対する警告を与えるためである。なお、方向指示器自体についてはランプ切れといった事態も考えられるため、方向指示器の点灯状態ではなく、方向指示器操作レバーの状態を検出してもよい。また、検出対象選定部１１は、車速、車間距離等を考慮することで前方車両への追突を警戒する必要がある状況では、検出対象物として車両のストップランプを選定する。ストップランプの点灯状態を検出することで前方車両の減速が予測でき、ドライバに警告を与えることが可能となる。
【００５２】
つぎに、ステップ２０３において、検出対象選定部１１は、インデックステーブル１３０を参照して、ステップ２０２において選定された検出対象物に対応付けられている識別子を獲得する。なお、特定の検出対象物が選定されていない状態では、デフォルト値として識別子Ａ（最も汎用性の高い評価基準を指定）が設定される。獲得された識別子は、新たな評価基準指定情報としてメモリ１３（ＲＡＭ）の評価基準指定領域に書き込まれ、従前の評価基準指定情報が更新される（ステップ２０４）。
【００５３】
検出対象選定部１１は、以上のような手順を繰り返し実行することによって、走行状況に応じた検出対象を適宜選定するとともに、検出対象物に応じて評価基準を逐次更新・設定する。
【００５４】
このように、本実施形態によれば、個々の原色画像に関して原色視差Ｎｒ，Ｎｇ，Ｎｂを算出し、これらに基づいて統一視差Ｎｉを算出するため、信頼性の高い距離データを算出することができる。従来のモノクロ画像をベースとしたステレオ画像処理では、入力情報に色情報は存在せず、それぞれの原色の輝度の総和が輝度情報として得られるにすぎない。このため、ある画像領域において各原色の輝度が急激に変化していたとしても、輝度総和が一定である限りは、変動量が互いに相殺し合うため、原色ベースでの輝度エッジとしては認識されない。これに対し、本実施形態のように、カラー画像をベースとしたステレオ画像処理では、カラー画像を構成する原色毎に撮像画像が得られるため、輝度エッジも原色毎に認識でき、原色毎の輝度エッジに起因した原色視差Ｎｒ，Ｎｇ，Ｎｂを別個に算出できる。その際、ある画素ブロックに関して算出される３つの原色視差Ｎｒ，Ｎｇ，Ｎｂは、必ずしも同じ値になるとは限らない。このような原色視差の不一致は、画素ブロックに対象物以外の背景部分が含まれてしまうこと、或いは、その背景部分での色成分値が各原色によって異なることに起因している。例えば、対象物が赤色であり、背景部分が緑色である場合について考えると、Ｒ画像についてのステレオ画像認識の結果は、対象物までの距離を反映した値となり、背景部分には赤色の成分は含まれていないため、背景部分の存在がＲ画像についての認識結果に影響を与えることはない。しかしながら、背景部分には緑色の成分が多く含まれているため、Ｇ画像についての認識結果は、この背景までの距離を反映した値となってしまう。その結果、緑の原色視差Ｎｇは赤の原色視差Ｎｒと一致しなくなる。本実施形態は、このような原色視差Ｎｒ，Ｎｇ，Ｎｂの不一致が生じ得る点に鑑みなされたものであり、原色視差Ｎｒ，Ｎｇ，Ｎｂに基づいて、信頼度情報付の統一視差Ｎｉを算出する。この信頼度情報は、視差の融合処理における入力データ（原色視差Ｎｒ，Ｎｇ，Ｎｂおよびシティブロック距離Ｍｒ，Ｍｇ，Ｍｂ）の信頼性を示しているため、統一視差Ｎｉを利用する認識部１６において、統一視差Ｎｉの信頼性に応じた利用を図ることができる。
【００５５】
また、本実施形態では、検出しようとする対象物の色を考慮した評価基準を設定し、検出対象物の色が考慮された信頼度情報を生成・出力する。統一視差Ｎｉの算出する際に、検出対象物の色も考慮することによって、より信頼性の高い距離データを算出することができる。これは、対象物の色が特徴的なものである場合、例えば、周囲と比べて著しく異なった色である場合において特に有効である。
【００５６】
さらに、近年急速に価格が下がったカラーＣＣＤを使用できるため、画像処理装置の一層のコスト低減を図ることができる。特に、イメージセンサのカラー化が進んだ今日、白黒のイメージセンサを採用することはコスト的に却って高くつくという状況も生じつつあるが、本実施形態によればかかる不都合を回避することができる。
【００５７】
なお、本実施形態は、４色の補色フィルタ（シアン、マゼンダ、イエロー、グリーン）を用いたカラーカメラを用いた場合でも適用可能である。この補色フィルタを用いたカラーカメラでは、光の利用効率が高いため、高解像度化、暗い状況への対応という点で有利である。ただし、上述した各種回路をそのまま使用するためには、このような補色フィルタを採用したカメラであっても、出力される画像データをＲＧＢのカラー画像データに変換する必要がある。
【００５８】
また、上述した実施形態では、融合処理部８および検出対象選定部１１が、他の構成部分とを別個に設けている。しかしながら、融合処理部８および検出対象選定部１１は、ハードウエア構成上、必ずしも独立的に存在している必要はなく、例えば、マイクロコンピュータ１５に所定のプログラムを実行させることでこれらを実現してもよい。
【００５９】
また、本発明は、評価基準を構成する個別条件の個数および具体的な内容は、本実施形態に限定されるものではなく、より多くのレベルに分けて評価基準を用意してもよい。特に、評価基準は、原色視差Ｎｒ，Ｎｇ，Ｎｂおよびシティブロック距離Ｍｒ，Ｍｇ，Ｍｂの双方について規定している必要は必ずしもなく、いずれか一方であってもよい。さらに、インデックステーブル１３０は、検出対象物１３１と評価基準を特定する識別子１３２とを対応付けて記述しているが、色と評価基準とを直接対応付けてもよい。
【００６０】
また、上述した実施形態では、信頼度のレベル毎に評価基準を別個に用意しているが、単一の評価基準を一律に適用してもよい。この場合、この評価基準をどの程度満たすかによって、信頼度を決定することが好ましい。
【００６１】
また、検出すべき対象物は、撮像画像中の領域に応じて切り替えてもよい。例えば、画像の上側領域についてステレオマッチングを行っている間は信号の赤あるいは標識を検出対象物として設定しておく。そして、ステレオマッチングを行う領域が画像の下側部分に達した場合には、検出対象物をセンターラインに変更する。これにより、１フレーム相当の撮像画像において、種類の異なる検出対象物を同時に検出できる。これにより、複数の検出対象物に関する距離データを、効率的かつ高精度で算出できる。この場合、検出対象選定部１１は、検出対象物に応じた評価基準を、これを適用する画像領域を示す”領域指定情報”と対応付けて保持する。融合処理部８は、融合対象となる原色視差Ｎｒ，Ｎｇ，Ｎｂが、撮像画像のいずれの部分に関するものであるかを認識した上で、評価基準を検出対象選定部１１から読み出す。ただし、上記”領域指定情報”は、必ずしもデータとしての形態をとっている必要はない。すなわち、メモリ１３への格納順（あるいは、格納領域）、融合処理部８による読み出し順、演算処理順などを適当に取り決めておくことで、結果的に領域毎に重み係数が使い分けられるようにしても構わない。この場合には、この取り決め自体が、”領域指定情報”に相当する。
【００６２】
（第２の実施形態）
上述した第１の実施形態は、３板式カラーＣＣＤを構成する３枚の原色画像上において、位置的に対応する画素（ピクセル）同士が完全に同一位置に存在することを前提としている。このような前提が成立する限り、個々のＣＣＤには、同一の画像が投影されており、ある画素Ｐ(i,J)を構成する赤画素Ｃｒ(i,j)、緑画素Ｃｇ(i,j)および青画素Ｃｂ(i,j)は、投影画像上において完全に同一位置に存在する。ところが、ビデオカメラ等に使用される民生用３板式カラーＣＣＤでは、各原色画素Ｃｒ(i,j)，Ｃｇ(i,j)，Ｃｂ(i,j)の位置を意図的にずらしていることが多い。各原色画素Ｃｒ(i,j)，Ｃｇ(i,j)，Ｃｂ(i,j)が完全に一致していると、画素間の境界が視覚上目立ってしまい好ましくないからである。そこで、本実施形態は、このような特性を有するイメージセンサを内蔵したカメラ１，２を採用した場合、意図的に設定された画素ずれの影響を排除することにより、ステレオマッチングに適した撮像画像対を生成するものである。なお、第１の実施形態と同一の構成については、同一の符号を付して個々での説明を省略する。
【００６３】
本実施形態に係るステレオ画像処理装置は、基本的に、図１に示したブロック図と同一の構成を有する。ただし、カメラ１，２は、３板式カラーＣＣＤを内蔵したものが採用され、各原色画像における画素位置は互いにずれている。また、補正回路５は、第１の実施形態で述べた補正機能の他に、ＣＣＤ側で意図的に設定された画素ずれを原色画像（Ｒ画像，Ｇ画像，Ｂ画像）毎に補正する機能を備えている。
【００６４】
図６は、画素の位置ずれ補正の説明図である。基準画素（補正後の画素）をＣｓ(i,j)とし、補正の対象となる実画素（補正前の画素）をＣｔ(i,j)とした場合、基準画素Ｃｓ(i,j)と重なっている少なくとも一つの実画素Ｃｔ(i,j)の輝度値を入力とした加重平均によって、基準画素Ｃｓ(i,j)の輝度値を算出する。例えば、基準画素Ｃｓ(1,1)の補正後の輝度値は、この基準画素Ｃｓ(1,1)に含まれる４つの実画素Ｃｔ(1,1)，Ｃｔ(1,2)，Ｃｔ(2,1)，Ｃｔ(2,2)に基づいて算出する。
【００６５】
画素ずれ補正は、数式１の加重平均演算で基準画素Ｃsの輝度値Ｉsを算出することにより行われる。なお、同数式において、Ｉｓ(i,j)は基準画素Ｃｓ(i,j)の輝度値であり、Ｉｔ(i,j)は実画素Ｃｔ(i,j)の輝度値である。また、ａ1〜ａ4は、基準画素Ｃｓ(i,j)と実画素Ｃｔ(i,j)との間のずれ量に応じて決定される重み係数である。なお、このずれ量は、３板式カラーＣＣＤの仕様より既知であるから、重み係数ａ1〜ａ4も一義的かつ固定的に適用される。
【数１】
Ｉｓ(i,j)＝ａ1×Ｉｔ(i,j)＋ａ2×Ｉｔ(i,j+1)＋ａ3×Ｉｔ(i+1,j)＋ａ4×Ｉｔ(i+1,j+1)）
【００６６】
例えば、図６に示すように、実画素Ｃｔ(i,j)および基準画素Ｃｓ(i,j)が垂直・水平方向共に1/2画素ずれている場合、数式２の算術平均によって、基準画素Ｃｓ(i,j)の輝度値が一義的に算出される。
【数２】
Ｉｓ(i,j)＝1/4（Ｉｔ(i,j)＋Ｉｔ(i,j+1)＋Ｉｔ(i+1,j)＋Ｉｔ(i+1,j+1)）
【００６７】
このような画素の位置ずれ補正、換言すれば、実画素Ｃｔ(i,j)の位置を基準画素Ｃｓ(i,j)の位置に見かけ上シフトしたことに伴う輝度値補正を、一枚の原色画像を構成するすべての画素に対して実行する。これにより、３板式カラーＣＣＤの仕様として意図的に設定されている画素の位置ずれが解消され、ステレオマッチングに適した基準画像および比較が象が得られる。その結果、より信頼性の高い距離データを算出することができる。それとともに、入手が容易で安価な民生品を用いることで、ステレオ画像処理装置を安価に実現できる。
【００６８】
【発明の効果】
本発明では、一対のカラー画像を用いてステレオ画像処理を行う際、カラー画像を構成する同一色の原色画像毎に原色視差を算出する。そして、それぞれの原色視差を融合することによって、信頼度情報付で統一視差を算出する。この信頼度情報は、視差の融合処理における入力データの信頼性を示しているため、統一視差を利用する後段の認識部において、統一視差の信頼性に応じた利用を図ることができる。
【図面の簡単な説明】
【図１】ステレオ画像処理装置の概略的なブロック図
【図２】評価基準テーブルの一例を示す図
【図３】インデックステーブルの一例を示す図
【図４】統一視差の算出手順を示すフローチャート
【図５】評価基準の指定手順を示すフローチャート
【図６】画素の位置ずれ補正の説明図
【符号の説明】
１，２  カメラ
３  アナログインターフェース
４  Ａ／Ｄコンバータ
５  補正回路
６  ステレオ演算回路
７  画像データメモリ
８  融合処理部
９  プロセッサ
１０  メモリ
１１  検出対象選定部
１２  マイクロコンピュータ
１３  メモリ
１４  距離データメモリ
１５  マイクロコンピュータ
１６  認識部
１７  警報装置
１８  制御装置
【図１】
0004053280.tif 000002
【図２】
0004053280.tif 000003
【図３】
0004053280.tif 000004
【図４】
0004053280.tif 000005
【図５】
0004053280.tif 000006
【図６】
0004053280.tif 000007