(57)【要約】【課題】機械的構造が本質的に頑強なステレオアダプタを利用したステレオ計測に基づく三次元距離計測を行い、その情報をもとに車両の安全走行を提供できるようにすること。【解決手段】車両に装着し、距離計測を行うステレオアダプタ撮像システムを、撮像光学系を有する撮像装置１０２と、上記撮像装置１０２で視差画像を撮影するために、複数視点から見た像を１つの上記撮影光学系に導くステレオアダプタ１０１と、上記撮像装置１０２で撮影した視差画像より三次元再構成を含む処理を行い、三次元距離情報を提供する処理装置１０３と、上記撮像装置１０２及び処理装置１０３を制御する制御装置１０４とから構成する。【選択図】    図１
2004257837.tif 000002
【特許請求の範囲】
【請求項１】
車両に装着し、距離計測を行うステレオアダプタ撮像システムにおいて、
撮像光学系を有する撮像装置と、
上記撮像装置でステレオ画像を撮影するために、複数視点から見た像を１つの上記撮影光学系に導くステレオアダプタと、
上記撮像装置で撮影したステレオ画像より三次元再構成を含む処理を行い、三次元距離情報を提供する処理装置と、
上記撮像装置及び処理装置を制御する制御装置と、
を具備することを特徴とするステレオアダプタ撮像システム。
【請求項２】
上記制御装置は、上記処理装置から得られた処理結果を画面に表示する表示装置を有することを特徴とする請求項１に記載のステレオアダプタ撮像システム。
【請求項３】
上記制御装置は、運転者に警告を発する警告装置を更に有することを特徴とする請求項１に記載のステレオアダプタ撮像システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオアダプタを装着した車載カメラを用いて距離計測を行うステレオアダプタ撮像システムに関する。
【０００２】
【従来の技術】
車載カメラに関しては種々の技術が提案されている（例えば、特許文献１乃至３参照）。
【０００３】
上記特許文献１には、２眼のステレオカメラを構成するのに、特殊で頑強なカメラシャーシの両端にカメラを固定し、シャーシを車体にフロントガラスと隙間を設けて固定する技術が開示されている。この技術によれば、直射日光防止、温度によるねじれ防止になる。
【０００４】
また、上記特許文献２には、カメラから得られた画像をカメラパラメータに基づき三次元空間の空間モデルにマッピングする技術が開示されている。この技術により、簡便に三次元画像を提供することができる。
【０００５】
また、上記特許文献３には、移動体に基線長だけ隔たってそれぞれ配置された障害物探査用投・受光部を有し、投光部から互いに交差するように光ビームを放射して障害物からの反射光を受光部で受光し、移動体と障害物との距離及び両者の相対速度を検出する距離・速度検出手段と、該距離・速度検出手段の検出出力から前期相対速度の基線に垂直な成分を算出する算出手段とを具備する距離・速度予知装置が開示されている。
【０００６】
【特許文献１】
特許３１４８７４９号公報
【０００７】
【特許文献２】
特許３２８６３０６号公報
【０００８】
【特許文献３】
特許３２１４９３２号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した特許文献３に開示された技術では、車両に光ビームなどの特殊なセンサを搭載する必要があり、コストがかかるという問題があった。また、従来の車載カメラでは、２眼式のステレオカメラを利用したものが多く、以下のような問題があった。
【００１０】
（１）ステレオカメラ同期問題：２台のカメラの同期をとるために複雑な回路構成や特殊なカメラを利用する必要があった。
【００１１】
（２）撮像素子感度ばらつき問題：２台のカメラ、特にＣＣＤ，ＣＭＯＳ等の撮像素子の感度などにばらつきがあるために、ステレオカメラが撮影した左右の画像間で、同一被写体の明るさや色の違い等が現れるため、正確でロバストなステレオマッチングを実現することが困難であった。
【００１２】
（３）機械的強度問題：２台のステレオカメラをベースライン分の間隔をおいて配置するため、車載環境においては、高温、高湿などの悪環境下で２台のステレオカメラの位置ずれやたわみなどのずれが発生し易いという問題があり、ただ単に２台のカメラを配置するだけでは機械的強度が弱いという問題があった。従来技術でこれを解決するためには、カメラを高温多湿でも確実に固定するための頑強で特殊な取り付け治具を必要とした。
【００１３】
（４）キャリブレーション問題：２台のステレオカメラを利用するために、カメラキャリブレーションが複雑になるという問題があった。
【００１４】
本発明は、上記の点に鑑みてなされたもので、機械的構造が本質的に頑強なステレオアダプタを利用したステレオ計測に基づく三次元距離計測を行い、その情報をもとに車両の安全走行を提供できるステレオアダプタ撮像システムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に記載の発明によるステレオアダプタ撮像システムは、車両に装着し、距離計測を行うステレオアダプタ撮像システムにおいて、
撮像光学系を有する撮像装置と、
上記撮像装置でステレオ画像を撮影するために、複数視点から見た像を１つの上記撮影光学系に導くステレオアダプタと、
上記撮像装置で撮影したステレオ画像より三次元再構成を含む処理を行い、三次元距離情報を提供する処理装置と、
上記撮像装置及び処理装置を制御する制御装置と、
を具備することを特徴とする。
【００１６】
また、請求項２に記載の発明によるステレオアダプタ撮像システムは、請求項１に記載の発明によるステレオアダプタ撮像システムにおいて、上記制御装置は、上記処理装置から得られた処理結果を画面に表示する表示装置を有することを特徴とする。
【００１７】
また、請求項３に記載の発明によるステレオアダプタ撮像システムは、請求項１に記載の発明によるステレオアダプタ撮像システムにおいて、上記制御装置は、運転者に警告を発する警告装置を更に有することを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００１９】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係るステレオアダプタ撮像システムの構成を示す図であり、本ステレオアダプタ撮像システムは、ステレオアダプタ１０１、撮像装置１０２、処理装置１０３、制御装置１０４、入力装置１０５、警告装置１０６、運転装置１０７、表示装置１０８、車速センサ１０９、測距レーダ１１０、照度センサ１１１、外部カメラ１１２、ＧＰＳ１１３、ＶＩＣＳ１１４、及び外部通信装置１１５からなる。
【００２０】
ここで、上記ステレオアダプタ１０１は、図２に示すように、カメラ等の撮像装置１０２内部にある撮像光学系１０２Ａの前方に取り付けられ、撮像素子１０２Ｂに視差画像２０１を形成するために用いられるものであり、同一被写体１からの光を所定距離離間した２つの受光部位（ミラー１０１Ａ−１，１０１Ａ−２）で受光し、この受光した各々の光を撮像装置１０２の撮像光学系１０２Ａに導く光学系（ミラー１０１Ｂ−１，１０１Ｂ−２）が設けられている。
【００２１】
なお、ステレオアダプタ１０１の構成としては、このような構造に限定されるものではなく、当然、各種の変形、変更が可能である。例えば、ミラー１０１Ｂ−１，１０１Ｂ−２は上下反転しても良く、その際、撮像装置１０２は被写体１の向きに位置することになる。
【００２２】
このようなステレオアダプタ１０１を利用することにより、ステレオ画像撮影用でない一般の撮像装置を用いて、簡便にステレオ画像を撮影することができる。また、ステレオアダプタ１０１は、２台の撮像装置を用いてステレオ画像を撮影する方式と比べて機械的強度があるため、左右の画像が常に安定して取得できる。さらに、１つのＣＣＤ，ＣＭＯＳなどの撮像素子で撮像することにより、２台の撮像装置間に起因する感度ばらつきを抑えることが可能となり、２台の撮像装置設置に伴う、キャリブレーションの手間や、位置合わせ等の煩雑さを軽減できる。
【００２３】
そして、本実施の形態では、このようなステレオアダプタ１０１と撮像装置１０２（あるいはそれらに加えて処理装置１０３）によって、ステレオアダプタカメラ１１６を構成している。このステレオアダプタカメラ１１６は、図３に示すように、車両３００の車内および車外の任意の位置（ハッチングして示す位置）に装着することが可能である。車両３００の車外に装着する際は、車両のボンネット、ピラー、ヘッドライト等に装着可能であり、車外のさまざまな方向から撮影が可能である。その際、ステレオアダプタカメラ１１６に防滴、防汚、熱線等の処理を施すことにより、耐久性が向上する。また、車両３００の車内に装着する際は、ダッシュボート上、ルームミラー等に装着可能であり、汚れ等に強いという特徴を持つ装着箇所となる。
【００２４】
本実施の形態によると、車両３００の車外を様々な方向から撮影することが可能となり、運転者の死角を無くす効果がある。また、本ステレオアダプタ撮像システムにより、詳細は後述するように、三次元距離情報が取得でき、対象物との距離によって、運転者に危険を警告し、安全走行を促すことができる。
【００２５】
なお、この発明の実施の形態は、当然、各種の変形、変更が可能である。
【００２６】
例えば、ステレオアダプタカメラ１１６は、図３にハッチングして示した装着箇所以外にも装着可能であり、また、ステレオアダプタカメラ１１６の個数を増やしたり減らしても良く、さらには一個のステレオアダプタカメラ１１６であっても良い。また、図４で示されるように、車外で使用するためには、ミラー前にガラスカバーやプラスチックカバーなどのカバー１１６Ａを付けることにより、塵、雨、結露等の汚れ対策ができる。さらに、これらのカバー１１６Ａは開閉機構付きや、ワイパー、エアーダクト等の装置が付いていても良い。
【００２７】
一方、処理装置１０３は、上記ステレオアダプタ１０１を通して撮像装置１０２から撮影された画像から三次元再構成等の処理を行い、三次元距離画像等の作成を行う。制御装置１０４は、画像情報と車両情報を統括する役割を持っており、例えば、処理装置１０３で処理された結果を表示装置１０８に表示したり、処理装置１０３で得られた距離情報と車速センサ１０９等の情報とを分析して、警告装置１０６に警告を発生させたり、運転装置１０７を制御して運転者に安全運転を促すことができるようになっている。また、入力装置１０５は、例えば、リモコン等の入力機器を用いて制御装置１０４に指示を与え、モード等の切り換えを行うことができる。
【００２８】
さらに、警告装置１０６は、音声装置１０６Ａ，振動装置１０６Ｂなどから成り、例えば、音声装置１０６Ａはスピーカ等からの音声、振動装置１０６Ｂは運転席シートの振動により運転者に警告を発するものである。
【００２９】
本実施の形態によると、ステレオアダプタ１０１から得られた画像情報と車両情報を統合することができ、表示装置１０８による画像情報の表示、警告装置１０６による警告、運転装置１０７の制御等により、運転者に安全走行を促すことができる。
【００３０】
本実施の形態では、ステレオアダプタ１０１と撮像装置１０２と処理装置１０３などは別々の装置部として構成されているものとして説明してきたが、勿論、こうした装置構成としてはいろいろな変形例を考えることができる。
【００３１】
例えば、ステレオアダプタ１０１と撮像装置１０２と処理装置１０３などは、ユニットとして一体化し、画像撮影後に物体データなどを出力する部分を担当とし、制御装置１０４との通信には、有線ばかりでなく無線でも通信できることが可能である。無線通信としては、一般的な通信プロトコルばかりではなく、ローカル通信を可能とするＢｌｕｅ  Ｔｏｏｔｈ、ＩＲ通信でも良い。
【００３２】
図５は、上記処理装置１０３の構成を表したものである。本実施の形態では、処理装置１０３は、フレームメモリ１０３Ａ、レクティフィケーション処理部１０３Ｂ、三次元再構成部１０３Ｃ、物体認識部１０３Ｄ、キャリブレーション部１０３Ｅから構成される。
【００３３】
即ち、上記ステレオアダプタ１０１を介して撮像装置１０２が撮像した画像は、該処理装置１０３内のフレームメモリ１０３Ａに一時的に格納される。この際、撮像装置１０２がアナログ信号を送出する場合には、フレームメモリ１０３Ａ内でデジタル信号に変換される。撮像装置１０２がデジタル信号を送出する場合には、そのままデジタル信号として格納される。そして、格納されたデジタル信号の画像であるデジタル画像２０２は、レクティフィケーション処理部１０３Ｂに送出される。レクティフィケーション処理部１０３Ｂでは、供給されたデジタル画像２０２を、ステレオ対応が容易になるような画像変換を行うと共に、その結果を左画像２０３及び右画像２０４として、三次元再構成部１０３Ｃに送出する。三次元再構成部１０３Ｃでは、それら左画像２０３と右画像２０４の各画素に関する対応点探索を行い、その対応関係を用いて、視差画像あるいは三次元距離画像２０５を作成する。そして、物体認識部１０３Ｄは、その視差画像あるいは三次元距離画像２０５を利用して、その中にある物体あるいは物体領域を認識し、その結果である物体データ２０６を出力する。
【００３４】
一方、キャリブレーション部１０３Ｅは、レクティフィケーション処理部１０３Ｂあるいは三次元再構成部１０３Ｃあるいは物体認識部１０３Ｄで必要となる上記撮像装置１０２の特性パラメータやステレオアダプタ１０１の特性パラメータなどを算出する。そして、レクティフィケーション処理部１０３Ｂへは、レクティフィケーションに必要となる撮像装置１０２の特性パラメータやステレオアダプタ１０１の特性パラメータ（レクティフィケーションパラメータ２０７）を受け渡し、三次元再構成部１０３Ｃへは、距離計測に必要となるステレオアダプタ１０１の特性パラメータ（三次元再構成用パラメータ２０８）などを受け渡す。一方、物体認識部１０３Ｄへは、視差画像や距離画像を規定するパラメータ（物体認識用パラメータ２０９）を受け渡す。
【００３５】
（１）  数学的準備
以下、このような処理装置１０３を構成する各部の詳細を説明するものであるが、これらの各部を説明を開始する前に、ステレオアダプタ１０１を利用した場合の、三次元再構成に基本となる数学的な説明を行う。
【００３６】
まず、ステレオアダプタ１０１を利用して撮像装置１０２で画像を撮影すると、その画像は、撮像装置１０２内の撮像素子１０２Ｂ（例えばＣＣＤやＣＭＯＳなどの半導体素子）で画像として結像されると共に画像信号となる。この画像信号はアナログあるいはデジタル信号であるが、処理装置１０３内では、デジタル画像データとなる。デジタルデータは二次元配列として表現できるが、勿論、六方細密充填のようなハニカム構造の二次元配列でも良いことは当然である。また、インターレース方式の画像では、一つのフレームの中に偶数，奇数フィールド間のずれが発生する可能性があるが、このずれが処理に影響を与える場合には、垂直方向に画像を半分にしたり、偶数，奇数フィールドを別々に処理することによって、距離分解能を落とさずに、ずれの影響を解決することができる。さらに、時系列方向に画像の差分を算出し、動体検出等を行い、移動体の領域のみを処理したりすることによって高速化することも考えられる。ここでは簡単のために、処理装置１０３内のフレームメモリ１０３Ａで規定される画像について、その画素は正方あるいは長方格子状に定義できると仮定する。
【００３７】
いま、画像の座標系を（ｕ，ｖ）と定義する。このとき、ステレオアダプタ１０１と撮像装置１０２を規定するために、ワールド座標系を定義する。例えば、このワールド座標系は、車体や車両３００が規定する基準座標系であると考えても良い（この基準座標系に関しては、詳しく後述する）。このワールド座標系をＷとする。また、ワールド座標系で定義される点Ｐ（ｘ，ｙ，ｚ）を、ステレオアダプタ１０１を介して撮影した際のフレームメモリ１０３Ａ内の画像位置を（ｕ，ｖ）とするとき、実際には、図６の（Ａ）に示すようにステレオアダプタ１０１で撮影される画像は、図６の（Ｂ）に示すように、あたかも２台の撮像装置（カメラ）で２台のフレームメモリが存在するかのごとく通常のステレオカメラに展開することができる。例えば、ステレオアダプタ１０１と撮像装置１０２とフレームメモリ１０３Ａの光学的特性をピンホールカメラでモデル化することを考える。
【００３８】
即ち、左画像２０３に関連するピンホールカメラモデルの座標系を左カメラ座標系Ｌとし、右画像２０４に関連するピンホールカメラモデルの座標系を右カメラ座標系Ｒとする。また、左カメラ座標系Ｌ内の点を（ｘＬ，ｙＬ，ｚＬ）、その画像対応点を（ｕＬ，ｖＬ）、右カメラ座標系Ｒ内の点を（ｘＲ，ｙＲ，ｚＲ）、その画像対応点を（ｕＲ，ｖＲ）とすると、ｕＬ，ｖＬ，ｕＲ，ｖＲは、図６の（Ａ）及び（Ｂ）におけるカメラ位置ＣＬ，ＣＲを考慮しながら、
【数１】
2004257837.tif 000003
（２）  レクティフィケーション処理部１０３Ｂ
ワールド座標系で定義される点Ｐ（ｘ，ｙ，ｚ）の左画像内での位置を（ｕＬ，ｖＬ）、右画像内での位置を（ｕＲ，ｖＲ）とし、左画像で想定される撮像装置１０２とフレームメモリ１０３Ａに対応する左カメラＬのワールド座標系における位置ＣＬ（左カメラ座標系の原点）と、右画像で想定される撮像装置１０２とフレームメモリ１０３Ａに対応する右カメラＲのワールド座標系における位置ＣＲ（右カメラ座標系の原点）を考えることができる。このとき、ワールド座標系Ｗの点Ｐ（ｘ，ｙ，ｚ）から左（ｕＬ，ｖＬ）へ射影される変換式と、同一の点から右（ｕＲ，ｖＲ）へ射影される変換式は、以下のように書くことができる。
【００３９】
【数２】
2004257837.tif 000004
【００４０】
一方、撮像装置１０２の撮像光学系１０２Ａの光学レンズなどのレンズディストーションが三次元計測の要求精度に対して無視できない場合には、レンズディストーションを含めた光学系を考える必要がある。この場合には、上記式（３）及び式（４）は、以下に示すような式（５）及び式（６）で表現することができる。これらの式では、レンズディストーションを表現するのにラディアルディストーション（Ｒａｄｉａｌ  Ｄｉｓｔｏｒｔｉｏｎ）とタンジェンシャルディストーション（Ｔａｎｇｅｎｔｉａｌ  Ｄｉｓｔｏｒｔｉｏｎ）を表したものであるが、勿論これら以外のディストーション表現であっても良い。
【００４１】
【数３】
2004257837.tif 000005
【００４２】
【数４】
2004257837.tif 000006
【００４３】
以降、説明を簡単にするために、式（１）で表されるピンホールカメラモデルを中心に説明する。
【００４４】
上記のように、左カメラＬと右カメラＲに基づいてワールド座標系Ｗ内の点Ｐ（ｘ，ｙ，ｚ）とその左画像と右画像への射影点（ｕＬ，ｖＬ）と（ｕＲ，ｖＲ）を考えるが、一般的なステレオカメラシステムと同様に、これらの対応する点同士が、必ずしも同一の縦方向の座標値ｖを有するとは限らない。即ち、ｖＬ＝ｖＲであるとは限らないわけである。この条件が成立しないと、後述する三次元再構成部１０３Ｃでのステレオマッチング（対応点探索）に膨大な計算量を有することになる。従って、例えば文献Ｅ．  Ｔｒｕｃｃｏ  ａｎｄ  Ａ．  Ｖｅｒｒｉ，  Ｉｎｔｒｏｄｕｃｔｏｒｙ  Ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  ３−Ｄ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ，  １９９８に述べられているように、レクティフィケーションの処理を行うのが一般的である。具体的には、図７に示されるように、ステレオアダプタ１０１で得られる１枚の画像中の左画像領域と右画像領域で、左画像領域にある各画素（ｕＬ，ｖＬ）の右画像領域における対応点が、同一の縦画像座標となるように、左画像領域と右画像領域の両方を座標変換する。例えばその方法は、以下のように書くことができる。
【００４５】
【数５】
2004257837.tif 000007
【００４６】
【数６】
2004257837.tif 000008
【００４７】
【数７】
2004257837.tif 000009
【００４８】
【数８】
2004257837.tif 000010
【００４９】
【数９】
2004257837.tif 000011
【００５０】
【数１０】
2004257837.tif 000012
【００５１】
このように、回転変換を考えることにより、レクティフィケーションを実現することができる。
【００５２】
【数１１】
2004257837.tif 000013
【００５３】
［レクティフィケーション処理ステップ］
具体的なステップは、以下の通りである。
【００５４】
【数１２】
2004257837.tif 000014
【００５５】
【数１３】
2004257837.tif 000015
【００５６】
ここではレクティフィケーション処理の一手法を説明したが、勿論この方法には各種の手法がある。その変形に関しては文献Ｅ．  Ｔｒｕｃｃｏ  ａｎｄ  Ａ．  Ｖｅｒｒｉ，  Ｉｎｔｒｏｄｕｃｔｏｒｙ  Ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒ  ３−Ｄ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ，  １９９８に示されているので、ここでは詳しく述べない。また本説明では、レンズのディストーションが小さいとしてレクティフィケーション処理を説明してきたが、式（５）や式（６）で示されるようなレンズディストーションがある場合には、それらを予め除去してレクティフィケーション処理をすることができることは明白である。例えば、レンズディストーション除去を含めた処理を考えると、具体的なステップは以下の通りである。
【００５７】
［ディストーション除去を含むレクティフィケーションステップ］
【数１４】
2004257837.tif 000016
【００５８】
【数１５】
2004257837.tif 000017
【００５９】
以上、レクティフィケーション処理の数学的基本を説明してきたが、図５におけるレクティフィケーション処理部１０３Ｂでは、このような数学的手法に基づいて、ステレオアダプタ１０１と撮像装置１０２で撮影された画像を左右の画像である左画像２０３と右画像２０４を生成する機能を有する。
【００６０】
（３）  三次元再構成部１０３Ｃ
三次元再構成部１０３Ｃでは、上記レクティフィケーション処理部１０３Ｂが生成した左画像２０３および右画像２０４を利用して、左画像２０３の各画素点に対応する右画像２０４の対応点を探索し、その対応点間の関係に基づいて、三次元距離画像２０５を生成する機能を有する。
【００６１】
ここでは、その方法を説明する。先に説明したように、レクティフィケーション処理部１０３Ｂからの出力である画像では、左画像２０３の各ラインと右画像２０４の同一ラインを扱うとき、左画像２０３のそのライン上の画素に対応する点は、右画像２０４の同一ライン上になければならないという必要条件を与えるものである。この必要条件は、一般的に、エピポーラライン拘束条件と呼ばれる。この三次元再構成部１０３Ｃでは、この条件を利用しながら左画像２０３の各画素点に対応する右画像２０４内の画素点を探索することをまず行う。
【００６２】
これらの手法に関しては、参考文献：松山他編、コンピュータビジョン：技術評論と将来展望、新技術コミュニケーションズ、１９９８，  ｐｐ．  １２３−１３７に表されるように、いわゆるステレオマッチングの手法では、ａｒｅａ−ｂａｓｅｄ  ｍａｔｃｈｉｎｇの手法とｆｅａｔｕｒｅ−ｂａｓｅｄ  ｍａｔｃｈｉｎｇの両方の手法が考えられる。本三次元再構成部１０３Ｃでは、この何れを利用しても良い。ここでは、簡単のために、ａｒｅａ−ｂａｓｅｄ  ｍａｔｃｈｉｎｇの手法を採用して三次元再構成を行う方法について解説する。
【００６３】
【数１６】
2004257837.tif 000018
【００６４】
類似度（あるいは非類似度）の定義としては、１）局所領域（ウィンドウ）内の各画素間の差の絶対値の和（ＳＡＤ）、２）局所領域内の各画素間の差の２乗和（ＳＳＤ）、３）局所領域内の各画素間の正規化相関（ＮＣＣ）などがあり、ＳＡＤあるいはＳＳＤの場合には、その値を最小とするもの、ＮＣＣの場合には正規化相関を最大とするものによって、最適な対応点とするわけである。
【００６５】
【数１７】
2004257837.tif 000019
【００６６】
【数１８】
2004257837.tif 000020
【００６７】
というようにすることも可能である。このように信頼度を考慮する場合には、勿論、未対応点を有する画素が左画像２０３あるいは右画像２０４に存在することもあり得る。
【００６８】
【数１９】
2004257837.tif 000021
【００６９】
【数２０】
2004257837.tif 000022
【００７０】
このようにして三次元再構成部１０３Ｃでは、左画像２０３の画素に対応する三次元座標値（ｘ，ｙ，ｚ）を計算することができる。ここで、（ｘ，ｙ，ｚ）は、レクティフィケーション処理で利用したレクティフィケーション座標系Ｒｅｃｔを基準とした三次元座標値である。
【００７１】
今までの説明では、左画像２０３の各画素を標準として対応点探索と三次元再構成を行ってきたが、勿論、右画像２０４を標準として対応点探索と三次元再構成を行うことも容易である。また、車両３００の振動等により画像のぶれが生じる影響が大のときには、手ぶれ防止機能を付加して、画像のぶれ補正を行った後に、三次元再構成を行うことが考えられる。このために、振動を検知するジャイロセンサや加速度センサを付加する。この場合には、手ぶれ補正機能により、キャリブレーション時の光学中心情報が変動することが想定される。しかし、そのずれ量は、上記ジャイロセンサや加速度センサの手ぶれ補正情報から算出できる量であるので、そのずれ量分をレクティフィケーション処理部１０３Ｂで補正をかけることが可能である。または、ステレオアダプタ１０１装着時の画像フレームの変動量等を検知することにより、ジャイロセンサ、加速度センサ等の補正量に相当する情報を取得することも可能である。
【００７２】
図１０の（Ａ）及び（Ｂ）は、このようにして算出された距離画像を示したものである。即ち、図１０の（Ａ）は撮影された画像であり、図１０の（Ｂ）はその画像から距離を算出した結果を示す図であって、輝度が高いほど距離が近いことを示す。
【００７３】
このようにして、三次元再構成部１０３Ｃは、三次元座標値（ｘ，ｙ，ｚ）から構成される三次元距離画像２０５を生成する。この三次元距離画像２０５は、次に物体認識部１０３Ｄに送出される。また、物体認識部１０３Ｄが、視差画像を直接利用する場合には、三次元距離画像２０５の代わりに視差画像を送出しても良い。
【００７４】
（４）  物体認識部１０３Ｄ
三次元距離画像２０５が、三次元再構成部１０３Ｃで生成された後、物体認識部１０３Ｄは、その三次元距離画像２０５内に含まれる各種物体を検出あるいは認識する。図１１は、前方車載カメラに対する物体認識部１０３Ｄの構成例を表したものである。
【００７５】
この物体認識部１０３Ｄは、例えば車が道路上を走行している場合に、車前方にある道路領域２１０と非道路領域２１１を抽出する道路抽出部１０３Ｄ１、道路領域２１０内から道路面にある二次元物体を抽出する道路面内物体抽出部１０３Ｄ２、及び、三次元距離画像２０５内から抽出された道路領域２１０と非道路領域２１１とを利用して、道路面にない障害物物体を認識する障害物認識部１０３Ｄ３から構成され、そして、道路面内物体抽出部１０３Ｄ２から物体データ２０６Ａを出力し、障害物認識部１０３Ｄ３から物体データ２０６Ｂを出力するものである。
【００７６】
いま、三次元再構成部１０３Ｃが出力した三次元点の集合をＡａｌｌとする。このとき、道路抽出部１０３Ｄ１では、まず車前方にある領域の一部を抽出し、その中から滑らかな平面あるいは曲面を抽出する。この方法としては、例えば三次元距離画像２０５の各三次元座標値ｐｉ＝（ｘｉ，ｙｉ，ｚｉ）について、その近傍の値を求めて法線ベクトルｎｉを推定する。そして、その法線ベクトルｎｉのヒストグラムを作成し、そのヒストグラム中のピークとなる主法線ベクトルｎを求める。このようにして求めた主法線ベクトルｎが道路面の主法線ベクトルであると仮定する。このように主法線ベクトルｎが求まったところで、ｎを法線とするような三次元座標点ｐｉ＝（ｘｉ，ｙｉ，ｚｉ）を三次元距離画像２０５を構成する全データの集合Ａａｌｌから選択する。即ち、各三次元座標ｐｉ＝（ｘｉ，ｙｉ，ｚｉ）に対して、
ｎｔｐｉ＝ｄ                                          …（２７）
で平面を近似し、その中の未知パラメータｄを異常値を除去しながら推定する方法を採用する。このようにしてｎとｄを推定した後、各点ｐｉ＝（ｘｉ，ｙｉ，ｚｉ）がこの道路を記述する平面内にあるかどうかを判定することになる。その判定方法としては、フィッティング誤差であるεが
ε＝｜ｎｔｐｉ−ｄ｜＜ｔｈｒｅｓｈｏｌｄ                      …（２８）
なる閾値ｔｈｒｅｓｈｏｌｄの範囲にあるものは、道路面内にあると判定する。このようにして得られた三次元点の集合をＡｒｏａｄとする。またＡｒｏａｄの集合にノイズ成分が含まれている場合には、適切なノイズフィルタを適用してノイズ除去した道路面内の点の集合をＡｒｏａｄと再定義する。
【００７７】
道路面内物体抽出部１０３Ｄ２では、道路面内の点集合Ａｒｏａｄの中から、道路の特徴として重要となるランドマークなどを抽出する。これらランドマークとしては、白線などのレーン情報、レーン内にある各種文字コードなどである。これらを認識するために、まず道路面内物体抽出部１０３Ｄ２では、点集合Ａｒｏａｄに対応するレクティフィケーションが施された左画像２０３あるいは右画像２０４からレーンや文字コードに対応する画像特徴を抽出する。この方法については、例えば塙他、自動車用ステレオ画像認識装置の実用化、第３回動画像処理実利用化ワークショップ，  ２００２，  ｐｐ．１０６−１１０、または、大塚他、エッジ方向成分を用いたレーンマーク認識、第３回動画像処理実利用化ワークショップ，  ２００２，  ｐｐ．９６−１０１などに紹介されているので、その方法の詳細についてはここでは詳しく述べない。ただし、本方式では、最初に道路面が三次元構造として抽出されているので、道路面以外にあるレーンに似た画像特徴や文字コードなどを誤って抽出する確率が少なくなっていることが特徴である。そして、このように画像から抽出された道路特徴（白線や文字コードなど）は、その特徴とともに三次元データとして表現できるというメリットがあるわけである。このことについては後述する。
【００７８】
次にＡｒｏａｄの補集合として、非道路領域の点の集合を
【数２１】
2004257837.tif 000023
として定義する。この非道路領域Ａｎｏｎ−ｒｏａｄに対して処理を施して、障害物などの物体認識をするのが障害物認識部１０３Ｄ３である。障害物認識部１０３Ｄ３では、非道路領域２１１以外の障害物を三次元点群データにより解析する。具体的には、Ａｎｏｎ−ｒｏａｄ内の三次元データをクラスタ分析することにより解析することになる。この方法には、以下のような方法がある。
【００７９】
まず、非道路領域２１１内の点集合Ａｎｏｎ−ｒｏａｄを細かく分割して、小領域の部分集合群｛Ｂｉ｝
【数２２】
2004257837.tif 000024
を構成する。これは、例えば画像処理で良く用いられるｂｌｏｂの形で構成されるわけである。例えば、図１２の（Ａ）に示されるように、画像処理で良く用いられるｂｌｏｂ群で構成される。図１２の（Ａ）において、距離に基づいて抽出された領域であるＢｉが、領域ｂｌｏｂ群２１２として表現され、同一の濃淡レベルは距離を表すとすると、本来は同一物体内の領域が、図に示す通り、分割される可能性があるわけである。
【００８０】
そこで、この部分集合Ｂｉの属性情報を算出する。この属性情報としては、例えば、位置、色、グレー階調などである。これらの属性パラメータをベクトルの形ｑｉで表現する（ここでｉは領域に関するインデックスであり、ｑｉはｍ次元ベクトルである。）そしてこの属性に関しては、その平均値と分布の広がりを表す共分散行列も付与することにする。例えば、Ｂｉの属性の中の位置に関する平均値は重心となり、その共分散行列は位置に関する２次モーメント（ｍｏｍｅｎｔ  ｏｆ  ｉｎｅｒｔｉａ）となるわけである。このとき、これら小領域Ｂｉと小領域Ｂｊが統合できるかを、
【数２３】
2004257837.tif 000025
このようにして、いったん小領域の分割した後、領域の統合処理や膨張処理を行うことで、道路面内に無い物体を領域として分離しかつ分類することができるわけである。こうして得られた領域は、その領域の属性が物体データとして送出される。図１２の（Ａ）で統合された領域を、図１２の（Ｂ）に示す。この図１２の（Ｂ）において、参照番号２１３は、統合された領域ｂｌｏｂ群で物体を構成した場合を示している。
【００８１】
（５）  キャリブレーション部１０３Ｅ
キャリブレーション部１０３Ｅは、レクティフィケーション処理部１０３Ｂ、三次元再構成部１０３Ｃ、物体認識部１０３Ｄで必要となる各種パラメータを主にオフラインで推定する処理部である。即ち、ステレオアダプタ１０１を車両３００などに最初に設置したり、その設置位置を変更した際にのみ行う処理を担当する。
【００８２】
【数２４】
2004257837.tif 000026
【００８３】
一方、三次元再構成部１０３Ｃで使用される式（２４），式（２５），式（２６）で使用される各種固定パラメータも、本キャリブレーション部１０３Ｅで算出される。
【００８４】
また、物体認識部１０３Ｄで使用されるパラメータとしては、車体とステレオアダプタ１０１との位置関係に関するパラメータがある。即ち、物体認識部１０３Ｄで、撮像装置座標系に基づいて計測あるいは認識された物体や障害物の位置は、以下に述べる位置関係に関するキャリブレーション結果に基づいて、車両３００からの距離や相対的な位置として算出することができるようになる。つまり、レクティフィケーション処理部１０３Ｂで説明したワールド座標系と車両３００が規定する座標系を同一なものにするように、撮像装置１０２と車両３００間の位置関係を規定するものである。こうしたパラメータの算出は、以下のような方法を採用すれば良い。即ち、ステレオアダプタ１０１を介して撮像装置１０２で撮影された画像を処理するわけである。つまり、車体あるいは車体外にある車体に対して相対的な場所が既知な特徴点を撮像装置１０２で撮影することにより、撮像装置１０２と車体との相対的な位置関係を推定するものである。
【００８５】
ステレオアダプタ１０１などのステレオ撮影装置を利用して、車体（車両３００）に相対する障害物や物体を認識および位置姿勢推定を正確に行うためには、ステレオ撮影装置の車体（車両３００）に対する相対的な位置姿勢を正確に行う必要がある。
【００８６】
これを行う方法としては、車両３００と撮像装置１０２の取り付け設計値に基づく方法が最も容易であることは明白である。即ち、車両３００の基準座標系と撮像装置１０２が規定する座標系間の座標変換パラメータが設計値で与えられれば良い。この理想的な場合に、例えば、車両３００の最前方のバンパ中央を車両３００の基準座標系として、この座標系をＭ（ｘＭ，ｙＭ，ｚＭ）で表し、撮像装置１０２の座標系（ステレオ撮影装置の場合には、レクティフィケーションで基準となる座標系）をＳ（ｘＳ，ｙＳ，ｚＳ）で表すとすれば、撮像装置座標系Ｓから車両基準座標系Ｍへの座標変換を式：
【数２５】
2004257837.tif 000027
で表すことが可能となる。ここで（ＭＲＳ，ＭＴＳ）は３×３の回転行列と三次元並進ベクトルを表す。このような座標変換が求まれば、撮像装置１０２の座標系Ｓで計測されたデータは、車両３００が基準とする座標系Ｍでの表現が可能となるので、例えば、撮像装置１０２を基準として計測した障害物までの距離情報に関しても、同様に車両３００が基準とする座標系の原点から障害物までの距離として表現することができるわけである。即ち、障害物が撮像装置１０２の座標系で（ｘＳ，ｙＳ，ｚＳ）と表されれば、式（３２）を利用することで車両座標系での位置（ｘＭ，ｙＭ，ｚＭ）にすることが可能となり、例えば車両座標系Ｍの原点から障害物までの距離は、
【数２６】
2004257837.tif 000028
と表現できるわけで、これらを利用すれば、処理装置１０３内で先に説明されたような各種の距離表現や警告に利用することができるわけである。
【００８７】
しかしながら、撮像装置１０２を車両３００に正確に取り付ける設計値が得られている場合には、上記のような方法を採用することができるが、車両３００に任意に取り付ける場合や、設計値が必ずしも正確ではない場合には、正確なキャリブレーション処理を施す必要がある。このように、撮像装置１０２の取り付けの設計値が正確に与えられない場合のキャリブレーション処理について、これから説明する。
【００８８】
具体的には、これらを求める方法としては、図１３の（Ａ）に参照番号２１４，２１５，２１６で示すように、（１）車両３００に関するＣＡＤモデルを利用する方法、（２）特別なキャリブレーション治具を車両３００に簡易的に取り付ける方法、（３）車両３００を正確な位置に駐車して路上に配置されたキャリブレーションマーカを利用する方法が考えられる。
【００８９】
例えば、車両３００のＣＡＤモデルを利用する場合について、図１３の（Ａ）を参照して解説する。
【００９０】
図１３の（Ａ）において、特徴抽出部１０３Ｅ１において、ステレオアダプタカメラ１１６で撮影された後レクティフィケーション処理を行ったステレオ画像２１７を画像処理して、キャリブレーションに必要な特徴データを抽出および算出する。その後、位置姿勢推定部１０３Ｅ２により、この特徴抽出部１０３Ｅ１が出力する特徴データ２１８と車両ＣＡＤモデル２１４とを用いて、撮像装置１０２と車両３００間の相対的位置姿勢を推定する。そして、この位置姿勢推定部１０３Ｅ２は、その推定した撮像装置１０２と車両３００間の相対的位置姿勢情報を、式（３２）で表現されるような座標変換パラメータ２１９として算出することになる。
【００９１】
本形態では、車両ＣＡＤモデル２１４を利用する方法を説明するが、ここでは簡単のために、撮像装置１０２は車両３００の前方を観察するカメラであるとして、これからその方法を説明する。これは、図１３の（Ｂ）にあるように、車両ボンネットなど前部にある特徴点あるいはマーク点などを画像処理方法によって抽出および認識するわけである。この特徴点としては、曲面構成で曲率が急に変化する点、ヘッドランプ上部のエッジ部、あるいは曲線や直線成分であっても良い。これらは、車両ＣＡＤモデル２１４から車両座標系で規定された正確な位置座標が予めわかっているわけである。いま、これらｎ個の特徴点の車両座標系Ｍでの座標値を
【数２７】
2004257837.tif 000029
また、直線や曲線などの場合には、例えば文献Ａ．  Ｋｏｓａｋａ  ａｎｄ  Ａ．  Ｃ．  Ｋａｋ，  Ｓｔｅｒｅｏ  ｖｉｓｉｏｎ  ｆｏｒ  ｉｎｄｕｓｔｒｉａｌ  ａｐｐｌｉｃａｔｉｏｎｓ，  Ｈａｎｄｂｏｏｋ  ｏｆ  Ｉｎｄｕｓｔｒｉａｌ  Ｒｏｂｏｔｉｃｓ，  Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ，  ｅｄｉｔｅｄ  ｂｙ  Ｓ．  Ｎｏｆ，  Ｃｈａｐｔｅｒ  １４，  Ｊｏｈｎ  Ｗｉｌｅｙ，  １９９９のような方法で画像内からそれらを抽出して、線分あるいは曲線分として表現できる形で抽出する。こうして、左画像２０３あるいは右画像２０４から得られた特徴点は、その画像内位置座標が特徴データ２１８として表現されることになる。
【００９２】
【数２８】
2004257837.tif 000030
【００９３】
例えば文献：Ａ．  Ｋｏｓａｋａ  ａｎｄ  Ａ．  Ｃ．  Ｋａｋ，  Ｓｔｅｒｅｏ  ｖｉｓｉｏｎ  ｆｏｒ  ｉｎｄｕｓｔｒｉａｌ  ａｐｐｌｉｃａｔｉｏｎｓ，  Ｈａｎｄｂｏｏｋ  ｏｆ  Ｉｎｄｕｓｔｒｉａｌ  Ｒｏｂｏｔｉｃｓ，  Ｓｅｃｏｎｄ  Ｅｄｉｔｉｏｎ，  ｅｄｉｔｅｄ  ｂｙ  Ｓ．  Ｎｏｆ，  Ｃｈａｐｔｅｒ  １４，  Ｊｏｈｎ  Ｗｉｌｅｙ，  １９９９、あるいは文献：Ｒ．  Ｈａｒａｌｉｃｋ  ａｎｄ  Ｌ．  Ｓｈａｐｉｒｏ．  ”Ｃｏｍｐｕｔｅｒ  ａｎｄ  Ｒｏｂｏｔ  Ｖｉｓｉｏｎ  ”，  Ａｄｄｉｓｏｎ  Ｗｅｓｌｅｙ，  Ｖｏｌ  ２，  １９９２の方法で、撮像装置１０２の座標系Ｓと車両座標系Ｍの間の座標変換パラメータ（ＭＲＳ，ＭＴＳ）を求めることができる。この作業は、位置姿勢推定部１０３Ｅ２が担当する。その方法に関しては、上記の文献に詳しく説明されているので、ここでは詳細には述べない。
【００９４】
一方、ステレオ画像２１７を撮影する撮像装置１０２の左画像２０３あるいは右画像２０４に車両３００の前方が撮影できないような場合には、車両３００にキャリブレーション治具を取り付けることで、同様に撮像装置１０２と車両３００間の座標変換パラメータ（ＭＲＳ，ＭＴＳ）を算出することができる。即ち、図１４に示すように、例えば車両３００の前方にキャリブレーション治具１１７を装着し、そのキャリブレーション治具１１７を、撮像装置１０２で撮影することで座標変換パラメータ（ＭＲＳ，ＭＴＳ）を算出するわけである。この際、キャリブレーション治具１１７には、キャリブレーション用のマーカ１１８が設置されており、その座標値は車両座標系Ｍで既知となるように設計されている。
【００９５】
【数２９】
2004257837.tif 000031
【００９６】
【数３０】
2004257837.tif 000032
【００９７】
以上、説明してきたように、キャリブレーション部１０３Ｅは、撮像装置１０２に関わるキャリブレーションや、レクティフィケーションで必要となるパラメータの算出や、撮像装置１０２の座標系と車両３００が規定する座標系間のキャリブレーションなどを行う。
【００９８】
次に、図１における表示装置１０８の表示例について説明する。
即ち、表示装置１０８は、処理装置１０３により、撮影された画像に対して前述した三次元再構成等の処理を行って抽出した道路の平面あるいは曲面形状を、図１８に示すように、その表示部１０８Ａ上に表示するものであり、更にこのとき、車両３００から等間隔離れた道路面上の点群を直線あるいは曲線Ｌ１，Ｌ２，Ｌ３でスーパーインポーズ表示する。さらに、処理装置１０３によってその道路上の前方を走る車両Ｔ１，Ｔ２等を認識することで、該表示装置１０８は、その前方車両を外包する楕円を表示すると共に、前方車両Ｔ１，Ｔ２等までの距離を表示する。
【００９９】
また、処理装置１０３が信号や標識等を認識し、図１９に示すように表示部１０８Ａの一部に設けた拡大表示エリア１０８Ａ１にそれを拡大表示したり、処理装置１０３がレーンを認識し、図２０に示すようにフロントガラスに矢印等のマーク１０８Ｂ１，１０８Ｂ２を投影表示して、運転者が見落とし易い情報を視覚的に提供するようにしても良い。
【０１００】
このような表示形態によると、運転者に視覚的な情報を提供できるため、安全走行を促すことができる。また、客観的な距離情報を表示するため、運転者の錯覚等のあやまりを低減でき、危険を早い段階で回避することができる。
【０１０１】
なお、この発明の実施の形態は、当然、各種の変形、変更が可能である。
【０１０２】
例えば、図１８に示したような直線あるいは曲線Ｌ１等の数は何本でも良く、車両Ｔ１等は障害物や人間等でも良い。また、外包する楕円は長方形であっても良く、距離表示は数字の他に色等の表現でも良い。外包する楕円または長方形は必ずしも必要ではなく、Ｌ１等の表現のみでも良い。さらに、図２１に示すように、認識した道路上にグリッドを表示する形態も考えられる。また、図２２に示すように車両３００（前方を走る車両Ｔ１，Ｔ２等及び自車Ａ１）を上方から表示する形態や、図２３に示すように横から表示する形態が考えられる。また、本実施の形態では、二次元の表示であるが、当然、俯瞰図のような三次元表示も可能である。
【０１０３】
さらに、表示装置１０８の表示部としては、図２０に参照番号１０８Ｃで示すように、カーナビゲーション装置の画面を用いることなどが考えられるが、当然、ヘッドアップディスプレイや、ヘッドマウンドディスプレイ等の専用のディスプレイを用いる方法も考えられる。また、ルームミラーの一部や、図２０に参照番号１０８Ｄで示すように、メーター類の脇に表示部を組み込むという手段も考えられる。
【０１０４】
また、図２４に示すように、様々な情報を組み合わせた表示の形態も考えられる。即ち、地図情報１０８Ａ２や、信号や標識等の認識結果を表示する部分１０８Ａ３を、車外を撮影した画像１０８Ａ４と組み合わせて提示する方法も考えられる。また、警告メッセージ等を表示する部分１０８Ａ５、モード等を切り換えることのできる部分１０８Ａ６が備わっていても良い。
【０１０５】
また、図２１，図２２，図２３の他に三次元空間内において、代表距離位置平面に車両Ｔ１，Ｔ２等の二次元画像を表示するようにしても良い。これにより、奥行き情報がより明確になり、物体の認識がし易くなる。
【０１０６】
［第２の実施の形態］
次に、本発明の第２の実施形態を説明する。上記第１の実施の形態では、ステレオ再構成された距離画線を用いて、物体認識する方法に関して説明したが、本第２の実施の形態では、さらにステレオ画像であることを有効に利用した物体認識部の方法について説明する。即ち、物体認識部１０３Ｄの別の実施形態について解説する。
【０１０７】
図２５は、本実施の形態における物体認識部１０３Ｄの構成を表したものである。即ち、本実施の形態においては、三次元再構成部１０３Ｃが出力した三次元距離画像２０５と同時に、ステレオアダプタ１０１あるいはステレオカメラが撮影した後にレクティフィケーションされた左画像２０３あるいは右画像２０４も物体認識部１０３Ｄに入力する。この本物体認識部１０３Ｄ内部には、レクティフィケーションされた左画像２０３あるいは右画像２０４の少なくとも一つを入力し、その画像の領域を分割する画像領域分割部１０３Ｄ４と、この画像領域分割部１０３Ｄ４が生成した領域データ２２０と上記入力された三次元距離画像２０５とを処理して、物体領域を抽出する物体抽出部１０３Ｄ５とが構成され、この物体抽出部１０３Ｄ５は、障害物や物体のデータである物体データ２０６を出力するものである。
【０１０８】
上記画像領域を分割する方法は、例えばＳｐｌｉｔ−ａｎｄ−Ｍｅｒｇｅ法、Ｓｐｅｄｇｅ−ａｎｄ−Ｍｅｄｇｅ法など、数多く知られている。本実施の形態では、このうちの何れの方法であってもかまわない。
【０１０９】
特に車載カメラでの応用では、前方の障害物検知が重要となるので、障害物の境界線を極めて正確に求める必要がない場合が多い。そのような場合には、例えば、図２６の（Ａ）に示されるような縦方向の直線あるいは曲線に感度のあるエッジ抽出フィルタをかけたものと、図２６の（Ｂ）に示されるような横方向の直線あるいは曲線に感度のあるエッジ抽出フィルタをかけたものと、の両者から得られるエッジを統合して、領域の境界線を構成し、それらの境界線で囲まれる領域に分割する方法で、領域分割することでも良い。例えば、図２７の（Ａ）のような原画像に、縦方向エッジ抽出フィルタをかけた結果を図２７の（Ｂ）に、横方向エッジ抽出フィルタをかけた結果を図２７の（Ｃ）に、エッジを統合した結果を図２７の（Ｄ）に、そして領域抽出した結果を図２７の（Ｅ）に示す。なお、図２７の（Ｂ）及び（Ｃ）で、抽出されたエッジは、正の強度を持つエッジと負の強度を持つエッジとで色を変えて表現してある。また、図２７の（Ｅ）で示される分割された領域は、異なる色でその領域を表現している。
【０１１０】
このようにして得られた領域抽出された領域データ２２０と上記三次元再構成部１０３Ｃが算出した三次元距離画像２０５とに基づいて、物体抽出部１０３Ｄ５は、三次元距離画像２０５に含まれる物体データ２０６を算出することを行う。この方法は、領域抽出された各領域Ｒｉ（ｉ＝１，２，…，ｎ）について、その領域内に含まれる三次元距離画像２０５の測距点を集める方法である。いま、これらの点をｐｊ（ｉ＝１，２，…，ｍ）とする。このとき、ｐｊの中にある異常値を取り除いた後、領域Ｒｉに関する平面あるいは曲面のフィッティングを行う。こうしてフィッティングされた平面あるいは曲面をもって、領域が固有する表面形状を近似するわけである。このようにして得られた三次元表面形状をさらに統合しながら、三次元距離画像２０５を物体あるいは障害物レベルで統合する処理を行い、物体あるいは障害物の検知および認識を行うことになる。このようにすれば、予め三次元距離画像２０５を簡単な方法で、分割やグルーピングすることができるので、高速に物体認識を行うことができるようになる。
【０１１１】
また、以上の方法では、路面の認識や標識やレーンマーカなどの認識について詳細には説明しなかったが、その方法は前述した第１の実施の形態で説明した方法と同様である。
【０１１２】
さらにここでは、路面上のレーンや白線検知の方法に関しても説明する。本実施の形態では、その方法について画像からレーンで抽出する方法と、ステレオ画像を利用した方法について説明する。
【０１１３】
図２８は、その構成を示したものである。即ち、この場合の物体認識部１０３Ｄは、左画像２０３あるいは右画像２０４の二次元画像を入力して画像変換する画像変換部１０３Ｄ６、この画像変換部１０３Ｄ６によって変換された画像にエッジフィルタを適用して、路面上の白線候補を抽出するエッジ抽出部１０３Ｄ７、このエッジ抽出部１０３Ｄ７によって抽出されたエッジが、路面上のレーンであるかを判定する白線判定部１０３Ｄ８、この白線判定部１０３Ｄ８によって判定されて白線として認定された白線成分を、元の画像座標に変換する逆画像変換部１０３Ｄ９から構成される。
【０１１４】
ここで、左画像２０３あるいは右画像２０４の二次元画像を入力して視点に基づいた画像変換する画像変換部１０３Ｄ６では、路面上の白線が、画像内でほぼ垂直方向に並ぶような変換を施すものである。具体的な例は、原画像の横軸をｃ、縦軸をｒとする。このとき具体的な画像変換としては、極座標変換がある。例えば、図２９の（Ａ）及び（Ｂ）に示されるような画像領域〔ｃｍｉｎ，ｃｍａｃ］×［ｒｍｉｎ，ｒｍａｘ］とし、極座標の原点を（ｃ０，ｒ０）として、その原点からの距離ｄと角度ｔ＝ｔｈｅｔａとする。このとき、（ｄ，ｔ）を座標変換された極座標の横軸と縦軸にとると、車前方にある白線は、ほぼ垂直方向に配列される。
【０１１５】
例えば、図２７の（Ａ）に示される原画像の下部である白線が存在する部分を切り出し、その部分（図３０の（Ａ））を上記のような極座標変換を行うと、図３０の（Ｂ）に示すような極座標表現画像が生成できる。
【０１１６】
次に、エッジ抽出部１０３Ｄ７では、この極座標表現画像に縦方向のエッジに敏感なエッジフィルタを施すことによりエッジ成分の抽出を行う。例えば、図３０の（Ｂ）に示される画像にこのようなエッジ抽出フィルタをかけると、図３１の（Ａ）に示されるエッジが抽出される。こうして、ある方向にのみ敏感なエッジ抽出フィルタをかけることで、路面上の影の影響やノイズなどに強いエッジ抽出フィルタを構成することができる。
【０１１７】
こうして抽出されたエッジ画像について、白線であると判定できるエッジを判定するのは白線判定部１０３Ｄ８である。例えば、この白線判定部１０３Ｄ８では、エッジ強度が正負反転しているほぼ平行であるようなエッジ部分を抽出し、それらの部分群が白線としてある長さ以上存在し、角度方向が存在し得るかなどの、エッジの属性を判断することにより、白線であるかどうかの判定をするわけである。このように白線判定された部分を、図３１の（Ｂ）内の太線で示す。
【０１１８】
こうして白線判定部１０３Ｄ８で認定された白線は、元の画像の座標系への逆変換され、白線データ２０６Ｃが得られる。この逆変換は、逆画像変換部１０３Ｄ９が担当する。こうして変換されたものを図３２に示す。この図３２においては、判定された白線が、白線画像１０８Ａ７として原画像に重畳表示されている。
【０１１９】
このように、極座標変換のような画像変換を用いることで、白線に対応するようなエッジ成分を効率的に抽出することができ、かつその判定も容易になるという効果がある。
【０１２０】
以上説明してきた方法は、左あるいは右画像２０３，２０４から白線を算出する方法である。勿論この方法は、左画像２０３と右画像２０４の両方に適用すると、同一の白線が左画像２０３と右画像２０４内から抽出されることになる。即ち、それらの対応をとることにより、上記第１の実施の形態で説明したように白線部分の三次元再構成を行うことが可能となり、そうして三次元再構成されたデータに基づき、路面の三次元情報を計測することができる。またさらに、左画像２０３あるいは右画像２０４で誤って認識された白線部分の誤認識判定にも利用することができるので、車両誘導の有効な効果を得ることができる。
【０１２１】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１２２】
例えば、上記ステレオアダプタ１０１の取り付け方法は、その取り付け箇所によって縦置き、横置き等様々な形態が考えられ、例えば、ピラー等に装着するときは、上記ステレオアダプタ１０１を縦に付けても良い。これにより、車両の形状に適した取り付け方法となり、また、縦置きにすることによって横方向の画角が広がることや、基線長を縦にすることによって縦方向に特徴分布を有した対象物体の認識が容易になる、車両の縦構造物を有効に利用して省スペースな設置が可能、などの効果がある。
【０１２３】
また、上記撮像装置１０２は、夜間にヘッドライトを点灯させることによって、その感度を変化させるように構成することが考えられる。あるいは、この処理は、照度センサ等のセンサ類での検出結果に基づいて行っても良い。また、ヘッドライトをハイビームにすることによって、撮像装置１０２の撮像距離を変化させても良い。
【０１２４】
車載応用の場合には、車速に応じて観測する画像範囲を変更することが必要になる。例えば高速では、画角を狭くして遠方の障害物を詳細に観察することにより、障害物までのより正確な距離を算出することが重要となる。低速では、逆に画角を広くして画像を処理して、広角に存在する障害物を検知することが重要となる。このように、車速の変化に応じた画角の変化に対応しながらも、処理する画像領域内の解像度を出来るだけ変更しない方法としては（すなわち処理する範囲内の画素数をほぼ一定にするには）、撮影装置内に含まれる撮像素子数（画素数）を増加させておき、その読み出す画素のサンプリングを変化させる、いわゆる電子ズームの方法が有効である。このような電子ズームのズーム値あるいは画像内処理範囲、すなわち実際的には撮影される画角を、車速に応じて変化させて距離計測を行うことを、本ステレオアダプタ撮影装置に適用することも可能である。こうした車速による制御を行うことで、障害物検知をよりロバストあるいは正確に行うことができるようになる。
【０１２５】
また、ステレオアダプタ撮影装置では、本来は左右２台分の画像を一枚の画像として撮像することになるため、撮影画角によっては、画像の上下部分で、三次元再構成に不要となる画像領域が存在することがある。こうした不必要な処理領域は、もちろん撮影装置で入力する必要がないわけである。例えば撮像素子としてＣＣＤあるいはＣＭＯＳなどを利用する場合に、その有効範囲だけを走査しながら素子の電気出力を、フレームメモリなどに転送する場合には、こうした不要処理領域を除いた矩形領域のみをフレームメモリなどに転送することも可能である。こうした転送を行うことで、車載応用のステレオアダプタ撮影装置では、転送量を減少させることが可能となり、処理速度を向上させることができる。
【０１２６】
また、上記表示装置１０８については、運転操作等によって表示形式が変化しても良い。例えば、シフトレバーをバックギアに入れたときには、表示部１０８Ａは車両後方の映像を流し、ハンドルを左に切ったときには、車両左前方向の映像を流す等が考えられる。
【０１２７】
なお、キャリブレーション部１０３Ｅにおいて、キャリブレーション結果を保存するようなメモリ等の記憶部材を具備しても良い。
【０１２８】
また、上記ステレオアダプタ１０１に用いられるレンズ、ミラー、フィルタの表面は、酸化チタン等の超親水処理コートを施しても良く、また、ステレオアダプタ１０１ならびに撮像装置１０２の撮影レンズを気密処理し、乾燥窒素などを封入しても良い。
【０１２９】
さらに、ステレオアダプタ１０１の各光学素子にヒータを設けたり、車載の曇止めデフロスタの気流を導くダクトや、独自に温風ヒータを一体化させるなどして、結露を防止したりしても良い。
【０１３０】
これにより、防露、防曇、水滴による結像性能の劣化を防ぐよう構成しても良い。
【０１３１】
また、冷却用のファンを設けたり、ステレオアダプタ１０１の筐体自体をヒートシンクとして用い、熱歪みや電子回路の誤動作を防ぐように構成しても良い。
【０１３２】
また、ステレオアダプタ１０１の光路に相当する部分は反射防止塗装を施すが、それ以外の部分は耐環境性を考慮して、赤外を反射するような塗装にしても良く、また、車種により問題となるフロントガラスなどへの映り込みを防ぐために、黒色塗装を施すようにしても良い。
【０１３３】
なお、以上の実施の形態で説明した各種処理や表示形態は、ステレオアダプタ１０１だけではなく、複数のカメラを用いたシステムにも同様に適用でき、同様の効果が得られることは言うまでもない。
【０１３４】
（付記）
前記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【０１３５】
（１）  車両に装着し、距離計測を行うステレオアダプタ撮像システムにおいて、
撮像光学系を有する撮像装置と、
上記撮像装置で視差画像を撮影するために、複数視点から見た像を１つの上記撮影光学系に導くステレオアダプタと、
上記撮像装置で撮影した視差画像より三次元再構成を含む処理を行い、三次元距離情報を提供する処理装置と、
上記撮像装置及び処理装置を制御する制御装置と、
を具備することを特徴とするステレオアダプタ撮像システム。
【０１３６】
（作用効果）
この（１）に記載のステレオアダプタ撮像システムによれば、機械的構造が本質的に頑強なステレオアダプタを利用したステレオ計測に基づく三次元距離計測を行い、その情報をもとに車両の安全走行を提供できる。また、悪環境下でも利用可能な車載の三次元計測装置を実現することができる。
【０１３７】
（２）  上記ステレオアダプタは、車外に装着されていることを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１３８】
（作用効果）
この（２）に記載のステレオアダプタ撮像システムによれば、ステレオアダプタを車外に装着することによって、フロントガラス等の写りこみをなくし、安定した画像の取得が行える。
【０１３９】
（３）  上記ステレオアダプタは、車内に装着されていることを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４０】
（作用効果）
この（３）に記載のステレオアダプタ撮像システムによれば、ステレオアダプタを車内に装着することによって、安定した環境で画像の取得が行える。
【０１４１】
（４）  上記処理装置は、
上記撮像装置から得られた情報から距離を算出する距離算出部と、
この距離算出部による距離算出結果から三次元再構成を行う三次元再構成部と、
を有することを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４２】
（作用効果）
この（４）に記載のステレオアダプタ撮像システムによれば、撮像装置から得られたステレオ画像に対して距離算出の処理を行い、その結果を基に三次元再構成等の処理を行う。
【０１４３】
（５）  上記制御装置は、上記処理装置から得られた処理結果を画面に表示する表示装置を有することを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４４】
（作用効果）
この（５）に記載のステレオアダプタ撮像システムによれば、処理装置から得られた処理結果、例えば、三次元距離画像等の結果を画面に表示することができる。
【０１４５】
（６）  上記制御装置は、車載センサの情報を受け取ることを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４６】
（作用効果）
この（６）に記載のステレオアダプタ撮像システムによれば、車両情報を提供する車載センサの情報を受け取り、状況に応じてシステムを制御することができる。
【０１４７】
（７）  上記制御装置は、外部通信装置の情報を受け取ることを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１４８】
（作用効果）
この（７）に記載のステレオアダプタ撮像システムによれば、外部通信装置の情報を受け取り、システムを制御することができる。
【０１４９】
（８）  上記制御装置は、運転者に警告を発する警告装置を更に有することを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１５０】
（作用効果）
この（８）に記載のステレオアダプタ撮像システムによれば、安全走行を促すため、運転者に警告を発することができる。
【０１５１】
（９）  上記表示装置は、車外の道路環境を表示する表示部を有することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１５２】
（作用効果）
この（９）に記載のステレオアダプタ撮像システムによれば、運転者の死角となるような箇所も含めた車外の道路環境を表示することができる。
【０１５３】
（１０）  上記表示装置は、車両前方の道路環境を表示する表示部を有することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１５４】
（作用効果）
この（１０）に記載のステレオアダプタ撮像システムによれば、車外前方の道路環境を運転者に知らせることができる。
【０１５５】
（１１）  上記表示装置は、車両後方の道路環境を表示する表示部を有することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１５６】
（作用効果）
この（１１）に記載のステレオアダプタ撮像システムによれば、車外後方の道路環境を運転者に知らせることができる。
【０１５７】
（１２）  上記表示装置は、車両側方の道路環境を表示する表示部を有することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１５８】
（作用効果）
この（１２）に記載のステレオアダプタ撮像システムによれば、車両側方の道路環境を運転者に知らせることができる。
【０１５９】
（１３）  上記表示装置は、距離情報を撮影画像に重畳することを特徴とする（５）に記載のステレオアダプタ撮像システム。
【０１６０】
（作用効果）
この（１３）に記載のステレオアダプタ撮像システムによれば、三次元距離画像等の結果を撮影した画面に重畳することによって、運転者に視覚的な情報を提供することができる。
【０１６１】
（１４）  上記車載センサは、車速センサであることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１６２】
（作用効果）
この（１４）に記載のステレオアダプタ撮像システムによれば、車両の状況を検出し、それに応じた情報を運転者に提供できる。
【０１６３】
（１５）  上記車載センサは、測距レーダであることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１６４】
（作用効果）
この（１５）に記載のステレオアダプタ撮像システムによれば、前車などとの距離を検出し、それに応じた情報を運転者に提供できる。
【０１６５】
（１６）  上記車載センサは、照度センサであることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１６６】
（作用効果）
この（１６）に記載のステレオアダプタ撮像システムによれば、車両の状況を検出し、それに応じた情報を運転者に提供できる。
【０１６７】
（１７）  上記車載センサは、外部カメラであることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１６８】
（作用効果）
この（１７）に記載のステレオアダプタ撮像システムによれば、車両の状況を検出し、それに応じた情報を運転者に提供できる。
【０１６９】
（１８）  上記車載センサは、グローバル・ポジショニング・システム  （ＧＰＳ）であることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１７０】
（作用効果）
この（１８）に記載のステレオアダプタ撮像システムによれば、車両の位置を検出し、それに応じた情報を運転者に提供できる。
【０１７１】
（１９）  上記車載センサは、Ｖｅｈｉｃｌｅ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ  （ＶＩＣＳ）であることを特徴とする（６）に記載のステレオアダプタ撮像システム。
【０１７２】
（作用効果）
この（１９）に記載のステレオアダプタ撮像システムによれば、交通情報を検出し、それに応じた情報を運転者に提供できる。
【０１７３】
（２０）  上記警告装置は、距離計測結果に基づいて警告を発生することを特徴とする（８）に記載のステレオアダプタ撮像システム。
【０１７４】
（作用効果）
この（２０）に記載のステレオアダプタ撮像システムによれば、処理装置から得られた障害物との距離計測結果に基づき運転者に警告を発生する。
【０１７５】
（２１）  上記警告装置は、表示部を用いて警告を発生する警告発生表示部を有することを特徴とする（８）に記載のステレオアダプタ撮像システム。
【０１７６】
（作用効果）
この（２１）に記載のステレオアダプタ撮像システムによれば、表示部を用いて警告を表示し、運転者に安全運転を促すことができる。
【０１７７】
（２２）  上記警告装置は、音声を用いて警告を発生する音声発生装置を有することを特徴とする（８）に記載のステレオアダプタ撮像システム。
【０１７８】
（作用効果）
この（２２）に記載のステレオアダプタ撮像システムによれば、音声を用いて運転者に警告を発することができる。
【０１７９】
（２３）  上記警告装置は、振動を用いて警告を発生する振動発生装置を有することを特徴とする（８）に記載のステレオアダプタ撮像システム。
【０１８０】
（作用効果）
この（２３）に記載のステレオアダプタ撮像システムによれば、振動を用いて運転者に警告を発することができる。
【０１８１】
（２４）  上記音声発生装置は、スピーカを用いて警告を発生することを特徴とする（２２）に記載のステレオアダプタ撮像システム。
【０１８２】
（作用効果）
この（２４）に記載のステレオアダプタ撮像システムによれば、車両あるいは、システムに搭載されたスピーカを用いて音声を発生する。
【０１８３】
（２５）  上記振動発生装置は、運転席のシートを振動させることを特徴とする（２３）に記載のステレオアダプタ撮像システム。
【０１８４】
（作用効果）
この（２５）に記載のステレオアダプタ撮像システムによれば、運転席のシートを振動させることで運転者に警告を発する。
【０１８５】
（２６）  上記撮像装置は、車速に応じて画角を調整することを特徴とする（１）に記載のステレオアダプタ撮像システム。
【０１８６】
（作用効果）
この（２６）に記載のステレオアダプタ撮像システムによれば、車速に応じて画角を調節することで、処理すべき画像範囲の大きさを一定にしながら、三次元再構成や物体認識を行うことができるので、よりロバストで正確な物体認識を実現することができる。特に車両の速度が大きいときには、遠方の物体についても詳細な三次元距離画像を生成することができるので、ロバストな物体認識を実現することができる。
【０１８７】
【発明の効果】
以上詳述したように、本発明によれば、機械的構造が本質的に頑強なステレオアダプタを利用したステレオ計測に基づく三次元距離計測を行い、その情報をもとに車両の安全走行を提供できるステレオアダプタ撮像システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るステレオアダプタ撮像システムの構成を示す図である。
【図２】ステレオアダプタの構成を説明するための図である。
【図３】ステレオアダプタカメラの車両への取り付け位置を示す図である。
【図４】ステレオアダプタの前面にカバーを取り付けた構成を示す図である。
【図５】処理装置の構成を示す図である。
【図６】（Ａ）はステレオアダプタの視野を示す図であり、（Ｂ）はその展開図である。
【図７】レクティフィケーション処理を説明するための図である。
【図８】レクティフィケーション処理における座標変換方法を説明するための図である。
【図９】ａｒｅａ−ｂａｓｅｄ  ｍａｔｃｈｉｎｇの手法を説明するための図である。
【図１０】（Ａ）は撮影された画像を示す図であり、（Ｂ）はその画像から距離を算出した結果を示す図である。
【図１１】物体認識部の構成を示す図である。
【図１２】（Ａ）は距離に基づく領域ｂｌｏｂ群を説明するための図であり、（Ｂ）はｂｌｏｂ統合化によって抽出された物体を説明するための図である。
【図１３】（Ａ）はキャリブレーション部の構成を示す図であり、（Ｂ）は車両ボンネットなど前部にある特徴点を説明するための図である。
【図１４】車両へのキャリブレーション治具の装着状態を示す図である。
【図１５】キャリブレーション治具を撮影した場合の特徴点を説明するための図である。
【図１６】路面にキャリブレーションマーカを配置した場合のキャリブレーションマーカと車両の位置関係を示す図である。
【図１７】路面に配置したキャリブレーションマーカを撮影した場合の特徴点を説明するための図である。
【図１８】表示装置の表示例を示す図である。
【図１９】表示装置の別の表示例を示す図である。
【図２０】表示装置の他の表示例を示す図である。
【図２１】表示装置の更に別の表示例を示す図である。
【図２２】表示装置の他の表示例を示す図である。
【図２３】表示装置の別の表示例を示す図である。
【図２４】表示装置の更に別の表示例を示す図である。
【図２５】本発明の第２の実施の形態に係るステレオアダプタ撮像システムにおける物体認識部の構成を示す図である。
【図２６】（Ａ）は縦方向エッジ抽出フィルタを示す図であり、（Ｂ）は横方向エッジ抽出フィルタを示す図である。
【図２７】（Ａ）は原画像を、（Ｂ）は縦方向エッジ抽出フィルタをかけた結果を、（Ｃ）は横方向エッジ抽出フィルタをかけた結果を、（Ｄ）はエッジを統合した結果を、（Ｅ）は領域抽出した結果をそれぞれ示す図である。
【図２８】路面上の白線検知を行う場合の物体認識部の構成を示す図である。
【図２９】極座標変換を説明するための図である。
【図３０】（Ａ）は図２７の（Ａ）の原画像の下部を切り出した図であり、（Ｂ）は（Ａ）を極座標変換した極座標表現画像を示す図である。
【図３１】（Ａ）は図３０の（Ｂ）に示される画像にエッジ抽出フィルタをかけた結果を示す図であり、（Ｂ）は白線と判定結果を示す図である。
【図３２】認定された白線を元の画像の座標系へ逆変換した結果を示す図である。
【符号の説明】
１０１…ステレオアダプタ、１０１Ａ−１，１０１Ａ−２，１０１Ｂ−１，１０１Ｂ−２…ミラー、１０２…撮像装置、１０２Ａ…撮像光学系、１０２Ｂ…撮像素子、１０３…処理装置、１０３Ａ…フレームメモリ、１０３Ｂ…レクティフィケーション処理部、１０３Ｃ…三次元再構成部、１０３Ｄ…物体認識部、１０３Ｄ１…道路抽出部、１０３Ｄ２…道路面内物体抽出部、１０３Ｄ３…障害物認識部、１０３Ｄ４…画像領域分割部、１０３Ｄ５…物体抽出部、１０３Ｄ６…画像変換部、１０３Ｄ７…エッジ抽出部、１０３Ｄ８…白線判定部、１０３Ｄ９…逆画像変換部、１０３Ｅ…キャリブレーション部、１０３Ｅ１…特徴抽出部、１０３Ｅ２…位置姿勢推定部、１０４…制御装置、１０６…警告装置、１０６Ａ…音声装置、１０６Ｂ…振動装置、１０８…表示装置、１０８Ａ…表示部、１０８Ａ１…拡大表示エリア、１０８Ｂ１，１０８Ｂ２…マーク、１０８Ａ２…地図情報、１０８Ａ３…信号や標識等の認識結果を表示する部分、１０８Ａ４…車外を撮影した画像、１０８Ａ５…警告メッセージ等を表示する部分、１０８Ａ６…モード等を切り換えることのできる部分、１０８Ａ７…白線画像、１１６…ステレオアダプタカメラ、１１６Ａ…カバー、３００…車両。
【図１】
2004257837.tif 000033
【図２】
2004257837.tif 000034
【図３】
2004257837.tif 000035
【図４】
2004257837.tif 000036
【図５】
2004257837.tif 000037
【図６】
2004257837.tif 000038
【図７】
2004257837.tif 000039
【図８】
2004257837.tif 000040
【図９】
2004257837.tif 000041
【図１０】
2004257837.tif 000042
【図１１】
2004257837.tif 000043
【図１２】
2004257837.tif 000044
【図１３】
2004257837.tif 000045
【図１４】
2004257837.tif 000046
【図１５】
2004257837.tif 000047
【図１６】
2004257837.tif 000048
【図１７】
2004257837.tif 000049
【図１８】
2004257837.tif 000050
【図１９】
2004257837.tif 000051
【図２０】
2004257837.tif 000052
【図２１】
2004257837.tif 000053
【図２２】
2004257837.tif 000054
【図２３】
2004257837.tif 000055
【図２４】
2004257837.tif 000056
【図２５】
2004257837.tif 000057
【図２６】
2004257837.tif 000058
【図２７】
2004257837.tif 000059
【図２８】
2004257837.tif 000060
【図２９】
2004257837.tif 000061
【図３０】
2004257837.tif 000062
【図３１】
2004257837.tif 000063
【図３２】
2004257837.tif 000064