(57)【要約】【課題】校正環境整備の簡便化及び校正精度の向上を図る。【解決手段】車両に前カメラ、右カメラ、左カメラ及び後カメラを設置し、前−右カメラ間、前−左カメラ間、後−右カメラ間、後−左カメラ間の夫々の共通撮影領域（３FR、３FL、３BR及び３BL）内に、形状既知の校正パターン（Ａ１〜Ａ４）を配置する。カメラ校正装置は、各カメラの撮影画像を地面上に投影して合成するための変換パラメータ（ホモグラフィ行列）を導出する。各カメラの撮影画像を平面射影変換又は透視投影変換によって地面上に投影した後、各校正パターンを利用して各画像の位置合わせを行うことにより、暫定的に変換パラメータを算出する。その後、校正パターンの形状に関する既知情報に基づきつつ、各校正パターンの投影誤差が最小化されるように暫定的な変換パラメータを調整する。【選択図】図６
2008187566.tif 000002
【特許請求の範囲】
【請求項１】
Ｎ台のカメラ（Ｎは３以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、
前記Ｎ台のカメラは、第１、第２、・・・及び第Ｎのカメラから成り、
第ｉのカメラは、それ以外の（Ｎ−１）台のカメラの何れかと共通撮影領域を有し（ｉは１以上且つＮ以下の整数の夫々をとる）、
前記パラメータ導出手段は、各共通撮影領域内に配置された校正パターンの、各カメラによる撮影結果に基づいて前記パラメータを求め、
各校正パターンは、互いに独立に配置される
ことを特徴とするカメラ校正装置。
【請求項２】
前記共通撮影領域は、少なくとも、前記第１のカメラと前記第２のカメラとの間、前記第２のカメラと第３のカメラとの間、・・・、及び、第（Ｎ−１）のカメラと前記Ｎのカメラとの間、の夫々に存在する
ことを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記パラメータ導出手段は、各撮影画像が投影され且つ合成される座標をグローバル座標として定義し、
前記第（Ｎ−１）のカメラと前記第Ｎのカメラとの間の共通撮影領域内に配置される校正パターンを、着目校正パターンと呼んだ場合、
前記パラメータ導出手段は、
前記第１〜前記第（Ｎ−１）のカメラによる各校正パターンの撮影結果を用いて、前記第１〜前記第（Ｎ−１）のカメラの各撮影画像を前記グローバル座標上に座標変換するための第１パラメータを求める第１パラメータ導出手段と、
前記第（Ｎ−１）のカメラによって撮影された前記着目校正パターンを前記第１パラメータを用いて前記グローバル座標上に座標変換することにより得られる前記着目校正パターンの座標情報と、前記第Ｎのカメラによって撮影された前記着目校正パターンの座標情報と、に基づいて、前記第Ｎのカメラの撮影画像を前記グローバル座標上に座標変換するための第２パラメータを求める第２パラメータ導出手段と、
を備えて、前記第１パラメータと前記第２パラメータから前記パラメータを求める
ことを特徴とする請求項２に記載のカメラ校正装置。
【請求項４】
前記パラメータ導出手段は、各撮影画像が投影され且つ合成される座標をグローバル座標として定義し、
前記パラメータ導出手段にとって各校正パターンの形状は既知であって該形状は既知情報として予め認識され、
前記パラメータ導出手段は、
各カメラによる各校正パターンの撮影結果を用いて、暫定的に前記パラメータを求めた後、
各カメラによって撮影された各校正パターンを暫定的な前記パラメータを用いて前記グローバル座標上に座標変換し、この座標変換後の各校正パターンの形状と前記既知情報とに基づいて暫定的な前記パラメータを調整し、この調整を経て最終的に前記パラメータを求める
ことを特徴とする請求項１または請求項２に記載のカメラ校正装置。
【請求項５】
Ｎ台のカメラ及び画像処理装置が設置された車両において、
前記画像処理装置は、請求項１〜請求項４の何れかに記載のカメラ校正装置を含む
ことを特徴とする車両。
【請求項６】
Ｎ台のカメラ（Ｎは３以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるカメラ校正方法において、
前記Ｎ台のカメラは、第１、第２、・・・及び第Ｎのカメラから成り、
第ｉのカメラは、それ以外の（Ｎ−１）台のカメラの何れかと共通撮影領域を有し（ｉは１以上且つＮ以下の整数の夫々をとる）、
当該カメラ校正方法は、各共通撮影領域内に配置された校正パターンの、各カメラによる撮影結果に基づいて前記パラメータを求め、
各校正パターンは、互いに独立に配置される
ことを特徴とするカメラ校正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの撮影画像を所定面上に投影及び合成するために必要となる校正処理を実現するカメラ校正装置及びカメラ校正方法に関し、また、それらを利用した車両に関する。
【背景技術】
【０００２】
近年の安全意識の高まりに伴って、自動車などの車両にカメラ（車載カメラ）が搭載されることが多くなっている。また、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換することにより、地面の上方から眺めたような鳥瞰図画像を生成して表示するものがある。この鳥瞰図画像を表示することによって、運転者は車両周辺の状況を把握し易くなる。
【０００３】
更に、複数のカメラから得た撮影画像を幾何変換によって全周鳥瞰図画像に変換し、これを表示装置に表示させる視界支援システムが開発されている（例えば、下記特許文献１〜３参照）。この視界支援システムでは、車両全周の状況を上空から見た映像として運転者に提示することができるため、車両の周辺を３６０度死角なくカバーできるという長所がある。
【０００４】
図２５に、この種の視界支援システムが適用された車両の平面図を示し、図２６に、この車両を左斜め前方から見た図を示す。車両の前後左右に、前カメラとしてのカメラ１Ｆ、後カメラとしてのカメラ１Ｂ、左カメラとしてのカメラ１Ｌ及び右カメラとしてのカメラ１Ｒが設置される。図２６では、カメラ１Ｆと１Ｌの各撮影領域が斜線領域として表記されている。この視界支援システムでは、座標変換を用いて各カメラの撮影画像を地面に投影して合成することにより、合成画像としての全周鳥瞰図画像を生成及び表示する。図２７に、表示される全周鳥瞰図画像９００の模式図を示す。全周鳥瞰図画像９００において、車両の前側、右側、左側及び後側には、夫々、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影画像に基づく鳥瞰図画像が描画される。
【０００５】
カメラの撮影画像面を地面に投影する手法として、透視投影変換に基づく手法と平面射影変換に基づく手法とがある。
【０００６】
図２８に、透視投影変換の概念図を示す。透視投影変換によって、撮影画像の各点の座標（ｘ、ｙ）が鳥瞰図画像の座標（Ｘ，Ｙ）に変換される。鳥瞰図画像は地面上の画像であるため、高さ方向の座標（Ｚ）は０とされる。
【０００７】
透視投影変換では、カメラの取り付け角度及びカメラの設置高さなどのカメラ外部情報とカメラの焦点距離（或いは画角）などのカメラ内部情報とに基づいて、撮影画像を設定平面（路面など）上に投影するための変換パラメータを算出する。このため、精度よく座標変換を行うためにはカメラ外部情報を正確に把握することが必要となる。カメラの取り付け角度やカメラの設置高さなどは、事前に設計されていることが多いが、それらの設計値と実際に車両に設置したときのそれらとの間には誤差が含まれるため、座標変換の精度が劣化する。この結果、合成画像の接合部分において各鳥瞰図画像を滑らかに接合できないという問題がある。
【０００８】
一方、平面射影変換では、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて、撮影画像の座標（２次元カメラ座標）と鳥瞰図画像の座標（２次元世界座標）との対応関係を示す変換行列を求める、という校正作業を行う。この変換行列は、一般的に、ホモグラフィ行列と呼ばれる。図２９に、平面射影変換の概念図を示す。平面射影変換によって、撮影画像の各点の座標（ｘ、ｙ）が鳥瞰図画像の座標（ｘ'， ｙ'）に変換される。平面射影変換によれば、カメラ外部情報やカメラ内部情報を必要とせず、また、実際に撮影された校正パターンに基づいて撮影画像と鳥瞰図画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けない（或いは受けにくい）。
【０００９】
各カメラの撮影画像を地面に射影するためのホモグラフィ行列は、座標値が既知の４以上の特徴点に基づき算出可能であるが、複数のカメラの撮影画像を共通の合成画像に射影するためには、各カメラで用いる特徴点を共通の２次元座標上に設けておく必要がある。即ち、図３０に示すような、全てのカメラに対して共通の２次元座標系を定義し、この２次元座標系上において４個以上の特徴点の座標値をカメラ毎に指定してやる必要がある。
【００１０】
従って、トラックなどの車両に複数のカメラを設置して、全周鳥瞰図画像を得るべく各カメラの校正を行う場合、各カメラの撮影領域の全てを覆うような非常に大きな校正パターンを用意する必要がある。図３０に示す例では、各カメラの撮影領域の全てを覆う碁盤目状の校正パターンを車両周辺に設置し、碁盤目の交点を特徴点として利用する。このような校正パターンのサイズは、例えば、車両の縦横サイズの２倍の大きさを有するため、校正作業時に大きな場所を占有してしまうと共に校正環境の整備に手間がかかって、校正作業全体の負担が大きくなる。校正作業の効率を向上させるために、より簡便な校正方法が求められている。
【００１１】
尚、下記特許文献４には、複数の位置で撮影した画像を用いて、平面射影変換に基づく変換パラメータを調整する手法が開示されている（特に段落６９など参照）。しかしながら、この手法においても、複数の画像間で共通の座標（２次元世界座標）系を設定しておく必要があるため、校正環境の整備に手間がかかるという問題は何ら解決されない。
【００１２】
【特許文献１】特許第３３７２９４４号公報
【特許文献２】特開２００４−２３５９８６号公報
【特許文献３】特開２００６−２８７８９２号公報
【特許文献４】特開２００４−３４２０６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
そこで本発明は、校正環境の整備の簡便化に寄与するカメラ校正装置及びカメラ校正方法を提供することを目的とする。また、本発明は、それらを利用した車両を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために本発明に係るカメラ校正装置は、Ｎ台のカメラ（Ｎは３以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、前記Ｎ台のカメラは、第１、第２、・・・及び第Ｎのカメラから成り、第ｉのカメラは、それ以外の（Ｎ−１）台のカメラの何れかと共通撮影領域を有し（ｉは１以上且つＮ以下の整数の夫々をとる）、前記パラメータ導出手段は、各共通撮影領域内に配置された校正パターンの、各カメラによる撮影結果に基づいて前記パラメータを求め、各校正パターンは、互いに独立に配置されることを特徴とする。
【００１５】
各共通撮影領域内に配置された校正パターンの撮影結果を利用することにより、共通撮影領域を共有する複数のカメラ間で画像の位置合わせが可能となり、前記パラメータを導出可能となる。そして、各校正パターンは、互いに独立に配置されるため、校正環境の整備の簡便化が期待される。また、実際の撮影結果を利用して前記パラメータを求めるため、カメラの設置誤差の影響を受けにくくなる。
【００１６】
具体的には例えば、前記共通撮影領域は、少なくとも、前記第１のカメラと前記第２のカメラとの間、前記第２のカメラと第３のカメラとの間、・・・、及び、第（Ｎ−１）のカメラと前記Ｎのカメラとの間、の夫々に存在する。
【００１７】
そして例えば、前記パラメータ導出手段は、各撮影画像が投影され且つ合成される座標をグローバル座標として定義し、前記第（Ｎ−１）のカメラと前記第Ｎのカメラとの間の共通撮影領域内に配置される校正パターンを、着目校正パターンと呼んだ場合、前記パラメータ導出手段は、前記第１〜前記第（Ｎ−１）のカメラによる各校正パターンの撮影結果を用いて、前記第１〜前記第（Ｎ−１）のカメラの各撮影画像を前記グローバル座標上に座標変換するための第１パラメータを求める第１パラメータ導出手段と、前記第（Ｎ−１）のカメラによって撮影された前記着目校正パターンを前記第１パラメータを用いて前記グローバル座標上に座標変換することにより得られる前記着目校正パターンの座標情報と、前記第Ｎのカメラによって撮影された前記着目校正パターンの座標情報と、に基づいて、前記第Ｎのカメラの撮影画像を前記グローバル座標上に座標変換するための第２パラメータを求める第２パラメータ導出手段と、を備えて、前記第１パラメータと前記第２パラメータから前記パラメータを求める。
【００１８】
これにより、校正精度の向上が期待される。
【００１９】
また例えば、前記パラメータ導出手段は、各撮影画像が投影され且つ合成される座標をグローバル座標として定義し、前記パラメータ導出手段にとって各校正パターンの形状は既知であって該形状は既知情報として予め認識され、前記パラメータ導出手段は、各カメラによる各校正パターンの撮影結果を用いて、暫定的に前記パラメータを求めた後、各カメラによって撮影された各校正パターンを暫定的な前記パラメータを用いて前記グローバル座標上に座標変換し、この座標変換後の各校正パターンの形状と前記既知情報とに基づいて暫定的な前記パラメータを調整し、この調整を経て最終的に前記パラメータを求める。
【００２０】
これによっても、校正精度の向上が期待される。
【００２１】
上記目的を達成するために本発明に係る車両は、Ｎ台のカメラ及び画像処理装置が設置された車両において、前記画像処理装置は、上記の何れかに記載のカメラ校正装置を含む。
【００２２】
上記目的を達成するために本発明に係るカメラ校正方法は、Ｎ台のカメラ（Ｎは３以上の整数）からの各撮影画像を所定面上に投影して合成するためのパラメータを求めるカメラ校正方法において、前記Ｎ台のカメラは、第１、第２、・・・及び第Ｎのカメラから成り、第ｉのカメラは、それ以外の（Ｎ−１）台のカメラの何れかと共通撮影領域を有し（ｉは１以上且つＮ以下の整数の夫々をとる）、当該カメラ校正方法は、各共通撮影領域内に配置された校正パターンの、各カメラによる撮影結果に基づいて前記パラメータを求め、各校正パターンは、互いに独立に配置されることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、校正環境の整備の簡便化に寄与するカメラ校正装置及びカメラ校正方法を提供することができる。
【００２４】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第４実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００２６】
図１は、本実施形態に係る視界支援システムが適用される車両１００を上方から見た平面図であり、その車両１００へのカメラの設置状態を表している。図２は、車両１００を左斜め前方から見た図である。図１及び図２には、車両１００としてトラックが示されているが、車両１００はトラック以外の車両（普通乗用車など）であってもよい。また、車両１００は地面（例えば路面）上に配置されている。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。
【００２７】
図１に示す如く、車両１００の前部、右側部、左側部及び後部に、夫々、カメラ（撮像装置）１Ｆ、１Ｒ、１Ｌ及び１Ｂが取り付けられている。また、本実施形態において、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂを区別せずに、それらを、単にカメラ或いは各カメラと呼ぶ場合もある。
【００２８】
また、図２に示す如く、カメラ１Ｆは、例えば車両１００のフロントミラー上部に設置され、カメラ１Ｌは、例えば車両１００の左側面の最上部に設置される。図２には示されていないが、カメラ１Ｂは、例えば車両１００の後部の最上部に設置され、カメラ１Ｒは、例えば車両１００の右側面の最上部に設置される。
【００２９】
カメラ１Ｆの光軸が車両１００の前方斜め下向きになるように、且つ、カメラ１Ｂの光軸が車両１００の後方斜め下向きになるように、且つ、カメラ１Ｌの光軸が車両１００の左方斜め下向きになるように、且つ、カメラ１Ｒの光軸が車両１００の右方斜め下向きになるように、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂは車両１００に設置される。
【００３０】
図２には、各カメラの視野、即ち、各カメラの撮影領域が示されている。カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影領域を、夫々、２Ｆ、２Ｒ、２Ｌ及び２Ｂにて表す。尚、撮影領域２Ｒ及び２Ｂに関しては、図２において一部しか示されていない。図３（ａ）〜（ｄ）に、上方から見た撮影領域２Ｆ、２Ｌ、２Ｂ及び２Ｒ、即ち、地面上の撮影領域２Ｆ、２Ｌ、２Ｂ及び２Ｒを表す。また、図４に、図３（ａ）〜（ｄ）に示される各撮影領域を１つにまとめた図を示す（斜線領域については後述）。
【００３１】
カメラ１Ｆは、車両１００前方の所定領域内に位置する被写体（路面を含む）を撮影する。カメラ１Ｒは、車両１００右側の所定領域内に位置する被写体を撮影する。カメラ１Ｌは、車両１００左側の所定領域内に位置する被写体を撮影する。カメラ１Ｂは、車両１００後方の所定領域内に位置する被写体を撮影する。
【００３２】
カメラ１Ｆと１Ｌは、車両１００の左斜め前方の所定領域を共通して撮影する。つまり、車両１００の左斜め前方の所定領域にて撮影領域２Ｆ及び２Ｌは重なり合う。２つのカメラの撮影領域が重なり合う部分を共通撮影領域（共通撮影空間）と呼び、カメラ１Ｆと１Ｌの撮影領域が重なり合う部分（即ち、カメラ１Ｆと１Ｌとの間の共通撮影領域）を３FLにて表す。図４では、共通撮影領域が斜線領域として表されている。
【００３３】
同様に、図４に示す如く、車両１００の右斜め前方の所定領域にて撮影領域２Ｆと２Ｒは重なり合ってそれらの共通撮影領域３FRが形成され、車両１００の左斜め後方の所定領域にて撮影領域２Ｂと２Ｌは重なり合ってそれらの共通撮影領域３BLが形成され、車両１００の右斜め後方の所定領域にて撮影領域２Ｂと２Ｒは重なり合ってそれらの共通撮影領域３BRが形成される。
【００３４】
図５に、本発明の実施形態に係る視界支援システムの構成ブロック図を示す。各カメラ（１Ｆ、１Ｒ、１Ｌ及び１Ｂ）は、撮影を行い、撮影によって得られた画像（以下、撮影画像とも言う）を表す信号を画像処理装置１０に送る。画像処理装置１０は、各撮影画像を視点変換によって鳥瞰図画像に変換し、各鳥瞰図画像を合成することにより１枚の全周鳥瞰図画像を生成する。表示装置１１は、この全周鳥瞰図画像を映像として表示する。
【００３５】
但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正などの画像処理を施し、その画像処理後の撮影画像を鳥瞰図画像に変換するものとする。また、実際には、後述する変換パラメータに基づき各撮影画像上の各点が全周鳥瞰図画像上の各点へと一気に変換されるため、個々の鳥瞰図画像は生成されない（但し、各鳥瞰図画像への変換を介して全周鳥瞰図画像の生成を行うようにしても良い）。全周鳥瞰図画像を画像合成によって生成する際、共通撮影領域に対応する画像は、合成する画像間の画素値を平均化することによって生成される、或いは、定義した合成境界線を境に合成する画像を貼り合わせることによって生成される。何れにせよ、各鳥瞰図画像が接合部分において滑らかに接合されるように画像合成がなされる。
【００３６】
鳥瞰図画像は、実際のカメラ（例えばカメラ１Ｆ）の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラの撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。このような鳥瞰図画像の合成画像に相当する全周鳥瞰図画像を表示することによって、運転者の視界が支援され、車両周辺の安全確認が容易となる。
【００３７】
カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂとして、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置１０は、例えば集積回路から形成される。表示装置１１は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援システムにおける表示装置１１として流用しても良い。また、画像処理装置１０は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置１０及び表示装置１１は、例えば、車両１００の運転席付近に設置される。
【００３８】
広視野の安全確認を支援するべく、各カメラの画角は広角となっている。このため、各カメラの撮影領域は、地面上において、例えば５ｍ×１０ｍ（メートル）程度の大きさを有する。
【００３９】
全周鳥瞰図画像を生成するためには、各撮影画像から全周鳥瞰図画像を生成するための変換パラメータが必要となる。画像処理装置１０は、実稼動に先立って行われる校正処理において、変換パラメータを校正する。実稼動時には、校正後の変換パラメータを用いて上述の如く各撮影画像から全周鳥瞰図画像を生成する。本実施形態は、この校正処理に特徴を有しており、以下、（主として）この校正処理について説明する。
【００４０】
校正処理の際、各カメラの撮影領域の大きさよりも小さい校正パターンを各共通撮影領域内に配置する。図６は、各校正パターンが配置される様子を示した車両１００周辺の上面視平面図である。
【００４１】
図６に示す如く、共通撮影領域３FR、３FL、３BR及び３BL内に、夫々、平面状の（２次元の）校正パターンＡ１、Ａ２、Ａ３及びＡ４が配置される。校正パターンＡ１〜Ａ４は、地面上に配置される。
【００４２】
校正パターンＡ１〜Ａ４の夫々は、正方形形状を有し、その正方形の一辺の長さは、１ｍ〜１．５ｍ程度とされる。校正パターンＡ１〜Ａ４を全て同じ形状とする必要は必ずしもないが、説明の便宜上、それらの形状が全て同じであるものとする。ここにおける形状は、大きさをも含む概念である。従って、校正パターンＡ１〜Ａ４は、全く同じものである。鳥瞰図画像上において、各校正パターンの形状は、理想的には正方形となるべきである。
【００４３】
各校正パターンは、正方形形状であるため、４つの特徴点を有する。今の例の場合、４つの特徴点は、正方形を形成する４つの頂点に相当する。画像処理装置１０は、各校正パターンの形状を既知情報として予め認識している。この既知情報によって、全周鳥瞰図画像上（後述するグローバル座標上）及び鳥瞰図画像上における、理想的な校正パターン（Ａ１、Ａ２、Ａ３又はＡ４）の４つの特徴点間の相対的な位置関係は特定される。
【００４４】
校正パターンの形状とは、その校正パターンに含まれる特徴点を結ぶことによって形成される図形の形状を意味する。例えば、正方形形状を有する４つの校正プレートそのものを４つの校正パターンＡ１〜Ａ４とし、各校正プレートの４つの角を、各校正パターンの４つの特徴点として取り扱う。或いは例えば、校正パターンＡ１が描かれた校正プレート、校正パターンＡ２が描かれた校正プレート、校正パターンＡ３が描かれた校正プレート及び校正パターンＡ４が描かれた校正プレートを用意する。この場合、校正プレート自体の外形は、校正パターンの外形と一致しない。例として、図７に、校正パターンＡ１が描かれた正方形状の校正プレート１５０の平面図を示す。校正パターン１５０は白地となっており、校正プレート１５０の４隅の夫々には、１頂点にて互いに連結された黒塗りの正方形が２つずつ描かれている。そして、校正プレート１５０の４隅における、２つの黒塗りの正方形の連結部分１５１〜１５４が校正パターンＡ１の特徴点に相当する。
【００４５】
校正プレート自体の色や校正プレートに描かれる模様の色を適切に選ぶことによって、各カメラ（及び画像処理装置１０）が、校正パターンの各特徴点を路面等と明確に区別して認識できるようになっている。但し、本実施形態では、以下、図示及び説明の便宜上、校正プレートの存在を無視し、校正パターンにのみ着目する。
【００４６】
各校正パターンは、各共通撮影領域内に収まるように配置されるが、各校正パターンの共通撮影領域内での配置位置は自由である。即ち例えば、校正パターンＡ１が共通撮影領域３FR内に収まる限り校正パターンＡ１の配置位置は任意であり、共通撮影領域３FR内における校正パターンＡ１の配置位置を校正パターンＡ２〜Ａ４の配置位置と関係なく独立に決めることができる。校正パターンＡ２〜Ａ４についても同様である。このため、校正処理を行う際、作業者は、配置位置に特段の配慮を加えることなく適当に各校正パターンを各共通撮影領域内に配置すれば足る。
【００４７】
［校正処理手法の基本原理］
次に、本実施形態に係る校正処理手法の基本原理について説明する。この中で、撮影画像上の各点と鳥瞰図画像上の各点と全周鳥瞰図画像上の各点との対応関係について説明する。
【００４８】
カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影画像上における各点の座標を、夫々、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）及び（ｘ4，ｙ4）にて表す。図８に各カメラの撮影画像に対応する鳥瞰図画像を示す。カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの撮影画像に対応する鳥瞰図画像を、夫々、５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂにて表す。図８に示す各鳥瞰図画像には、各鳥瞰図画像上における校正パターン（Ａ１〜Ａ４）が示されている。
【００４９】
鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂ上における各点の座標を、夫々、（Ｘ1，Ｙ1）、（Ｘ2，Ｙ2）、（Ｘ3，Ｙ3）及び（Ｘ4，Ｙ4）にて表す。撮影画像上の座標（ｘn，ｙn）と鳥瞰図画像上の座標（Ｘn，Ｙn）との関係は、ホモグラフィ行列Ｈnを用いて下記式（１）のように表される。ここで、ｎは、１、２、３または４であり、カメラの番号を表す。ホモグラフィ行列Ｈnは、平面射影変換または透視投影変換を用いて求めることが可能である。ホモグラフィ行列Ｈnは、３行３列の行列であり、ホモグラフィ行列Ｈnの各要素をｈn1〜ｈn9で表す。更に、ｈn9＝１であるとする（ｈn9＝１、となるように行列を正規化する）。また、式（１）より、座標（ｘn，ｙn）と座標（Ｘn，Ｙn）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。
【００５０】
【数１】
2008187566.tif 000003
【数２】
2008187566.tif 000004
【００５１】
校正処理は、初期校正段階と調整段階に分類される。初期校正段階において、全周鳥瞰図画像上における対応する校正パターンの座標が概ね一致するように各鳥瞰図画像を剛体変換により座標変換する。即ち例えば、鳥瞰図画像５０Ｆ上の校正パターンＡ１と鳥瞰図画像５０Ｒ上の校正パターンＡ１が重なるように鳥瞰図画像５０Ｆと５０Ｒを剛体変換によって位置合わせする（図８参照）。剛体変換は、平行移動と回転とによって実現される。
【００５２】
図８において、曲線２０１、２０２、２０３及び２０４は、校正パターンの鳥瞰図画像間の対応関係を表していると共に各剛体変換のイメージを表している。画像処理装置１０は、異なるカメラにて捉えられる校正パターン及び特徴点の対応関係を予め認識している。即ち例えば、カメラ１Ｆの撮影画像に含まれる各校正パターン及び各特徴点が、カメラ１Ｒ（又は１Ｌ）の撮影画像に含まれる何れの校正パターン及び特徴点に対応するものかを予め認識している。他のカメラ間についても同様である。従って、上述のような剛体変換が可能である。
【００５３】
鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂに対する平行移動を表す平行移動行列を、夫々Ｔ1、Ｔ2、Ｔ3及びＴ4にて表し、鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂに対する回転を表す回転行列を、夫々Ｒ1、Ｒ2、Ｒ3及びＲ4にて表す。
【００５４】
そうすると、全周鳥瞰図画像上の各点の座標を（Ｘ'，Ｙ'）で表した場合、撮影画像上の各点の座標（ｘn，ｙn）は、ホモグラフィ行列Ｈn'を用い、下記式（３ａ）及び（３ｂ）に従って全周鳥瞰図画像上の座標（Ｘ'，Ｙ'）に座標変換される。また、平行移動行列Ｔn及び回転行列Ｒnは、下記式（４ａ）及び（４ｂ）によって表される。また、ホモグラフィ行列Ｈn'の各要素は、下記式（５）のように表される。
【００５５】
【数３】
2008187566.tif 000005
【数４】
2008187566.tif 000006
【数５】
2008187566.tif 000007
【００５６】
また、全周鳥瞰図画像における座標（座標系）をグローバル座標（グローバル座標系）と呼ぶ。グローバル座標は、撮影画像や鳥瞰図画像における座標と異なり、各カメラに対して共通に定義される座標である。
【００５７】
初期校正段階において各ホモグラフィ行列Ｈn'が求められるが、撮影画像を地面に投影して鳥瞰図画像を生成する過程において、様々な誤差要因に由来する投影誤差（理想的な投影位置からの位置誤差）が生じる。そこで、初期校正によって各ホモグラフィ行列Ｈn'を求めた後、調整段階において、Ｈ1'〜 Ｈ4'についての各要素（８×４個の要素）を最適化する。最適化は、例えば、各校正パターンにおける特徴点の投影誤差を最小化することによって実現される。このように、各ホモグラフィ行列を最適化することで、接合部で滑らかに合成された精度の高い全周鳥瞰図画像を得ることができる。図９に、生成された全周鳥瞰図画像の例を示す。図９に示す如く、得られた全周鳥瞰図画像に車両１００の映像を嵌め込んだ画像を、図５の表示装置１１に表示する。
【００５８】
以下、上述の校正処理を具体的に説明する実施例として、第１〜第４実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。
【００５９】
＜＜第１実施例＞＞
第１実施例について説明する。図１０は、第１実施例に係る校正処理の手順を表すフローチャートである。第１実施例に係る校正処理はステップＳ１１〜Ｓ１４の各処理から成り、ステップＳ１１は各カメラと画像処理装置１０によって、ステップＳ１２〜Ｓ１４は画像処理装置１０によって実行される。
【００６０】
まず、ステップＳ１１にて、上述したように（図６参照）各校正パターンを各共通撮影領域内に配置した状態で各カメラに撮影を行わせ、画像処理装置１０は、各カメラから撮影画像を得る。ここで得られる撮影画像を、以下、特に校正用撮影画像と呼ぶ。図１１に、得られた各校正用撮影画像の例を示す。図１１において、符号３０１、３０２、３０３及び３０４は、夫々、カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの校正用撮影画像を表す。
【００６１】
次にステップＳ１２において、平面射影変換を用い、各校正用撮影画像に対して鳥瞰図変換を行う。ここで、鳥瞰図変換とは、撮影画像（校正用撮影画像を含む）を鳥瞰図画像に変換する処理を意味する。例として、図１２に、校正用撮影画像３０３を鳥瞰図変換することにより得られる鳥瞰図画像３１３を示す。上述したように、鳥瞰図画像の基となる撮影画像（校正用撮影画像を含む）に対してレンズ歪み補正などの画像処理を施し、その画像処理後の撮影画像を鳥瞰図画像に変換するものとする。
【００６２】
ステップＳ１２では、校正用撮影画像を鳥瞰図変換するためのホモグラフィ行列Ｈnが求められる。ホモグラフィ行列Ｈ1を求める手法について説明する。
【００６３】
画像処理装置１０は、カメラ１Ｆの校正用撮影画像に対してエッジ検出処理などを施すことにより、カメラ１Ｆの校正用撮影画像上における校正パターンＡ１の４つの特徴点の座標値を特定する。特定された４つの座標値を（ｘA1a，ｙA1a）、（ｘA1b，ｙA1b）、（ｘA1c，ｙA1c）及び（ｘA1d，ｙA1d）とする。また、予め認識している既知情報に従い、カメラ１Ｆに対応する鳥瞰図画像上における校正パターンＡ１の４つの特徴点の座標値を定める。定められた４つの座標値を（ＸA1a，ＹA1a）、（ＸA1b，ＹA1b）、（ＸA1c，ＹA1c）及び（ＸA1d，ＹA1d）とする。校正パターンＡ１の形状は正方形であるから、座標値（ＸA1a，ＹA1a）、（ＸA1b，ＹA1b）、（ＸA1c，ＹA1c）及び（ＸA1d，ＹA1d）を、例えば、（０，０）、（１，０）、（０，１）及び（１，１）と定義することができる。
【００６４】
校正用撮影画像と鳥瞰図画像との間で４点の座標値対応関係が分かれば、ホモグラフィ行列Ｈ1を求めることが可能である。この４点の座標値対応関係に基づいてホモグラフィ行列（射影変換行列）を求める手法は公知であるため、詳細な説明を割愛する。例えば、上記特許文献４に記載の手法（特に、特許文献４の段落［００５９］〜［００６９］に記載の手法を参照）を用いればよい。
【００６５】
校正パターンＡ１の４特徴点の座標（座標値）からホモグラフィ行列Ｈ1を求める例を説明したが、校正パターンＡ２の４特徴点の座標（座標値）からホモグラフィ行列Ｈ1を求めることも可能である。説明の便宜上、校正パターンＡ１及びＡ２の何れか一方の４特徴点に基づきホモグラフィ行列Ｈ1を求める手法を先に説明したが、望ましくは、校正パターンＡ１及びＡ２についての合計８つの特徴点の座標（座標値）からホモグラフィ行列Ｈ1を求めるようにするとよい。
【００６６】
校正パターンＡ１（又はＡ２）の４特徴点のみに基づくホモグラフィ行列Ｈ1により変換される鳥瞰図画像上では、校正パターンＡ１（又はＡ２）の形状が正確に既知の正方形となるが、通常、校正パターンＡ２（又はＡ１）の形状は正方形とならない。これは、校正用撮影画像において特定される特徴点の座標誤差等に由来する。校正パターンＡ１とＡ２の８特徴点に基づくホモグラフィ行列Ｈ1により変換される鳥瞰図画像上では、投影誤差が校正パターンＡ１とＡ２の双方に拡散されるようになる。校正パターンＡ１とＡ２の８特徴点の座標を用いる場合、各特徴点の投影誤差の総和が最小化されるようにホモグラフィ行列Ｈ1を求めればよい。
【００６７】
Ｈ1に着目してホモグラフィ行列の算出手法を説明したが、他のホモグラフィ行列Ｈ2〜Ｈ4についても同様に算出される。一旦、ホモグラフィ行列Ｈnが求まれば、上記式（２ａ）及び（２ｂ）に従って校正用撮影画像上の任意の点を鳥瞰図画像上の点に変換することが可能である。
【００６８】
ステップＳ１２に続くステップＳ１３では、対応する校正パターンの座標が一致するように、ステップＳ１２で得られた各鳥瞰図画像を剛体変換（平行移動及び回転）により位置合わせする。カメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂの校正用撮影画像を鳥瞰図変換することで得られる鳥瞰図画像が、夫々、図８に示す鳥瞰図画像５０Ｆ、５０Ｒ、５０Ｌ及び５０Ｂであるものとする。
【００６９】
具体的には、鳥瞰図画像５０Ｆを基準として、鳥瞰図画像５０Ｆ上の校正パターンＡ１と鳥瞰図画像５０Ｒ上の校正パターンＡ１とが重なるように鳥瞰図画像５０Ｒを剛体変換すると共に鳥瞰図画像５０Ｆ上の校正パターンＡ２と鳥瞰図画像５０Ｌ上の校正パターンＡ２とが重なるように鳥瞰図画像５０Ｌを剛体変換する。更にその後、鳥瞰図画像５０Ｂ上の校正パターンＡ３及びＡ４と剛体変換後の鳥瞰図画像５０Ｒ及び５０Ｌ上の校正パターンＡ３及びＡ４とが重なるように鳥瞰図画像５０Ｂを剛体変換する。そして、各剛体変換で用いた移動平行行列Ｔn及び回転行列Ｒnからホモグラフィ行列Ｈn’を算出する（上記式（３ｂ）などを参照）。ここで算出されるホモグラフィ行列Ｈn’は、最終的に求められるべきホモグラフィ行列Ｈn’の初期値と考えることができ、次のステップＳ１４にて最適化される。即ち、ステップＳ１３では、ホモグラフィ行列の初期校正が行われる。
【００７０】
剛体変換によって重ねられるべき校正パターンの形状が既知の正方形と異なっていて互いに一致しないことも多い。この場合は、対応する特徴点間における位置誤差の総和（後述の図１５の例では、（ｄ１＋ｄ２＋ｄ３＋ｄ４））が最小となるように剛体変換がなされる。また、上述の例の如く、鳥瞰図画像５０Ｆを基準として他の鳥瞰図画像を剛体変換する場合、鳥瞰図画像５０Ｆに対するホモグラフィ行列Ｈ1とホモグラフィ行列Ｈ1’は同じとなる。
【００７１】
図１３（ａ）に、ステップＳ１３の剛体変換によって合成された画像、即ち、初期校正直後の全周鳥瞰図画像を示す。図１３（ａ）（及び後述する図１３（ｂ））において、紙面上方は鳥瞰図画像５０Ｆに対応し、紙面下方は鳥瞰図画像５０Ｂに対応する。符号３１３及び３１４が付された部分に見られるように、校正パターンＡ３とＡ４の部分が二重になって表れている。上述のような剛体変換手法を用いれば、最後に合成する鳥瞰図画像５０Ｂに対して誤差が蓄積するからである。
【００７２】
そこで、ステップＳ１４において、カメラ１Ｂに対応するホモグラフィ行列Ｈ4’のみを最適化する。具体的には、剛体変換後の鳥瞰図画像５０Ｒ及び５０Ｌ上における校正パターンＡ３及びＡ４の座標位置には誤差が含まれていないと仮定し、図１４に示す如く、カメラ１Ｂの校正用撮影画像上における校正パターンＡ３及びＡ４の各特徴点の座標が剛体変換後の鳥瞰図画像５０Ｒ及び５０Ｌ上における校正パターンＡ３及びＡ４の各特徴点の座標に変換されるようなホモグラフィ行列を求める。そして、ここで求めたホモグラフィ行列を、最終的なホモグラフィ行列Ｈ4’として取り扱うようにする。
【００７３】
尚、説明の便宜上、ステップＳ１３にて鳥瞰図画像５０Ｂを剛体変換してホモグラフィ行列Ｈ4’の初期値を求めるとしたが、ステップＳ１４の処理内容から理解されるように、第１実施例では、ステップＳ１３の段階にてホモグラフィ行列Ｈ4’を計算する必要はない。
【００７４】
図１３（ｂ）に、ステップＳ１４の最適化処理後のホモグラフィ行列Ｈn’を用いて生成した全周鳥瞰図画像を示す。図１３（ｂ）では、図１３（ａ）の全周鳥瞰図画像にて観測された二重描画などが改善されていることが分かる。
ステップＳ１４の処理内容の説明を補足する。鳥瞰図変換及び剛体変換によって、各校正用撮影画像の各点はグローバル座標上の各点に投影される。
カメラ１Ｒの校正用撮影画像上における校正パターンＡ３の各特徴点がホモグラフィ行列Ｈ2’によってグローバル座標上に投影され、グローバル座標上において、カメラ１Ｒに対応する校正パターンＡ３が図１５に示す四角形３４０を描いたとする。
カメラ１Ｂの校正用撮影画像上における校正パターンＡ３の各特徴点がホモグラフィ行列Ｈ4’によってグローバル座標上に投影され、グローバル座標上において、カメラ１Ｂに対応する校正パターンＡ３が図１５に示す四角形３５０を描いたとする。
四角形３４０は、４つの特徴点のグローバル座標上への投影点に相当する４つの頂点３４１〜３４４から形成され、四角形３５０は、４つの特徴点のグローバル座標上への投影点に相当する４つの頂点３５１〜３５４から形成される。そして、頂点３４１、３４２、３４３及び３４４が夫々頂点３５１、３５２、３５３及び３５４に対応しているものとする。
【００７５】
グローバル座標上において、頂点３４１と頂点３５１の間の位置誤差、頂点３４２と頂点３５２の間の位置誤差、頂点３４３と頂点３５３の間の位置誤差及び頂点３４４と頂点３５４の間の位置誤差を、夫々、ｄ１、ｄ２、ｄ３及びｄ４とする。位置誤差は、対比する頂点間の距離とされる。例えば、位置誤差ｄ１は、頂点３４１と頂点３５１の距離とされる。位置誤差ｄ２〜ｄ４も同様である。このような位置誤差は、カメラ１Ｌとカメラ１Ｂとの間に関する、校正パターンＡ４についても同様に発生する。従って、
ホモグラフィ行列Ｈ4’を最適化するに当たり、校正パターンＡ３に関する４つの位置誤差と校正パターンＡ４に関する４つの位置誤差を参照する。この合計８つの位置誤差の総和を誤差評価値ＤAとする。位置誤差は、対比する頂点間の距離であるので、常に０又は正の値をとる。誤差評価値ＤAの算出式を式（６）に示す。式（６）の右辺において、（ｄ１＋ｄ２＋ｄ３＋ｄ４）に対するΣは、参照する校正パターンの個数分の総和をとる
ことを意味する。
【００７６】
【数６】
2008187566.tif 000008
【００７７】
ステップＳ１４では、この誤差評価値ＤAが最小化されるようなホモグラフィ行列Ｈ4’を求める。より具体的には例えば、誤差評価値ＤAが所定の閾値以下になるまで繰り返し演算によってホモグラフィ行列Ｈ4’を調整する。
【００７８】
図１０のステップＳ１３にて算出されたホモグラフィ行列Ｈ1’〜Ｈ3’とステップＳ１４にて最終的に算出されたホモグラフィ行列Ｈ4’は、撮影画像から全周鳥瞰図画像を生成するための校正済み変換パラメータとして取り扱われる。この後、図１０の校正処理を終了する。
【００７９】
実際には、例えば、校正済み変換パラメータに従って、撮影画像上の各座標（ｘn，ｙn）と全周鳥瞰図画像上の各座標（Ｘ'，Ｙ'）との対応関係を示すテーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。このテーブルデータを用いれば、各カメラの撮影画像から全周鳥瞰図画像を生成することができ、この全周鳥瞰図画像に含まれる投影誤差は十分に小さくなる。この場合、上記テーブルデータを校正済み変換パラメータと捉えることもできる。
【００８０】
尚、各画像から特徴点を検出する手法として、上述の如く画像処理を用いた自動検出手法を採用するようにしてもよいが、操作部（不図示）への手動操作に基づく手動検出手法を採用するようにしてもよい。また、誤差評価値ＤAを最小化するための手法として、公知の手法を用いることができる。例えば、多次元の滑降シンプレックス法（downhill simplex method）や、パウエル（Powell）法などを用いればよい（例えば、“William H. Press, 「ニューメリカルレシピ・イン・シー  Ｃ言語による数値計算のレシピ」，技術評論社，１９９３年発行”を参照）。それらの手法は、周知であるため、ここでの説明を割愛する。
【００８１】
図１０の校正処理後、図５の画像処理装置１０は、各カメラにて次々と得られる各撮影画像を校正済み変換パラメータを用いて次々と全周鳥瞰図画像に変換する。画像処理装置１０は、各全周鳥瞰図画像を表す映像信号を表示装置１１に供給する。表示装置１１は、各全周鳥瞰図画像を動画像として表示する。
【００８２】
このように、第１実施例では、まず、カメラ１Ｆ、１Ｒ及び１Ｌの各撮影画像を平面射影変換にて投影し、共通の校正パターンが重なるように各鳥瞰図画像を位置合わせすることにより、カメラ１Ｆ、１Ｒ及び１Ｌの各撮影画像をグローバル座標上に座標変換するためのホモグラフィ行列Ｈ1’〜Ｈ3’を求める。次に、カメラ１Ｒ及び１Ｌによって撮影された校正パターンＡ３及びＡ４を、ホモグラフィ行列Ｈ2’及びＨ3’を用いてグローバル座標上に座標変換する。そして、この座標変換によって得られた、グローバル座標上の校正パターンＡ３及びＡ４の座標情報と、カメラ１Ｂによって撮影された校正パターンＡ３及びＡ４の座標情報（校正用撮影画像上の座標情報）と、に基づき、共通する校正パターンの配置がグローバル座標上で概ね一致するようにホモグラフィ行列Ｈ4’を求める（図１４参照）。第１に求められたホモグラフィ行列Ｈ1’〜Ｈ3’と第２に求められたホモグラフィ行列Ｈ4’とを併せたものが校正済み変換パラメータとして取り扱われる。この場合、画像処理装置１０は、第１パラメータとしてのホモグラフィ行列Ｈ1’〜Ｈ3’を求める第１パラメータ導出手段と、第２パラメータとしてのホモグラフィ行列Ｈ4’を求める第２パラメータ導出手段と、を含む。
【００８３】
本実施例によれば、校正処理時において、作業者は、配置位置に特段の配慮を加えることなく適当に各校正パターンを各共通撮影領域内に配置すれば足る。そして、各校正パターンの大きさを、全カメラによる全体撮影領域或いは各カメラの撮影領域よりも、随分小さくすることが可能となる。このため、校正環境の整備が容易となる。また、カメラの取り付け角度及びカメラの設置高さなどのカメラ外部情報やカメラの焦点距離などのカメラ内部情報が不要であり、これも校正作業の簡便化に寄与する。また、ステップＳ１４のような調整処理を行うことにより、複数の画像の接合部分において滑らかな画像合成が可能となる。
【００８４】
＜＜第２実施例＞＞
次に、第２実施例について説明する。図１６は、第２実施例に係る校正処理の手順を表すフローチャートである。第２実施例に係る校正処理はステップＳ１１〜Ｓ１３の各処理とステップＳ２４の処理から成る。ステップＳ１１〜Ｓ１３の各処理は、第１実施例（図１０）におけるそれらと同様である。
【００８５】
ステップＳ１３では、対応する校正パターンの座標が一致するように、ステップＳ１２で得られた各鳥瞰図画像を剛体変換により位置合わせして合成するわけであるが、第１実施例でも説明したように（図１５等参照）、誤差要因に由来して、通常、特徴点の合成画像（全周鳥瞰図画像）上への投影点は２つのカメラ間で完全に一致しない。第１実施例では、この投影点の不一致をステップＳ１４にて低減しているが、第２実施例では、この投影点の不一致をステップＳ２４にて低減する。図１７は、ステップＳ２４の処理に特に着目した、図１６の校正処理の流れを示す模式図である。
【００８６】
第２実施例では、ステップＳ１２にて鳥瞰図変換を行った後、ステップＳ１３にて各鳥瞰図画像を剛体変換して４つの鳥瞰図画像の位置合わせを行い、その後、ステップＳ２４に移行する。鳥瞰図変換及び剛体変換によって、各校正用撮影画像の各点はグローバル座標上の各点に投影される。図１７（ａ）に、ステップＳ１３の位置合わせ直後における（初期校正直後における）、グローバル座標上の各校正パターンの様子を示す。更に、ステップＳ１３の位置合わせ直後における、グローバル座標上への校正パターンＡ１の投影画像を図１８（ａ）に示す。
【００８７】
カメラ１Ｆの校正用撮影画像上における校正パターンＡ１の各特徴点がステップＳ１３で算出されたホモグラフィ行列Ｈ1’によってグローバル座標上に投影され、グローバル座標上において、カメラ１Ｆに対応する校正パターンＡ１が四角形３７０を描いたとする。
【００８８】
カメラ１Ｒの校正用撮影画像上における校正パターンＡ１の各特徴点がステップＳ１３で算出されたホモグラフィ行列Ｈ2’によってグローバル座標上に投影され、グローバル座標上において、カメラ１Ｒに対応する校正パターンＡ１が四角形３８０を描いたとする。
【００８９】
四角形３７０は、４つの特徴点のグローバル座標上への投影点に相当する４つの頂点３７１〜３７４から形成され、四角形３８０は、４つの特徴点のグローバル座標上への投影点に相当する４つの頂点３８１〜３８４から形成される。そして、頂点３７１、３７２、３７３及び３７４が夫々頂点３８１、３８２、３８３及び３８４に対応しているものとする。
【００９０】
画像処理装置１０は、グローバル座標上において、頂点３７１と３８１の中点３９１、頂点３７２と３８２の中点３９２、頂点３７３と３８３の中点３９３及び頂点３７４と３８４の中点３９４を求め、中点３９１〜３９４を４つの頂点とする四角形３９０を求める。図１８（ｂ）に、四角形３９０を示す。四角形３９０は、四角形３７０と３８０の平均四角形に相当する。平均四角形が算出された段階の模式図を図１７（ｂ）に示す。四角形３７０、３８０及び３９０は、誤差要因に由来して、正確には既知の正方形とならないことが多い。
【００９１】
上述したように、画像処理装置１０は、グローバル座標上における校正パターンの理想的な形状を認識している。画像処理装置１０は、図１８（ｂ）に示す如く、この理想的な形状を有する正方形４００を四角形３９０に重ね合わせて考え、四角形３９０と正方形４００との間における各頂点の位置誤差の総和が最小となるような正方形４００の位置を求める。位置誤差の総和は、図１５の四角形３４０と四角形３５０との間における（ｄ１＋ｄ２＋ｄ３＋ｄ４）と同様にして算出される。グローバル座標上において、四角形３９０と正方形４００の重心を一致させた上で正方形４００を重心回りに回転させ、上記の総和の最小値を探索する。そして、この総和に最小値を与える正方形４００の４頂点を、校正パターンＡ１が投影されるべき投影目標点として定める。
【００９２】
同様にして、校正パターンＡ２〜Ａ４が投影されるべき投影目標点を求める。図１９に、求められた各校正パターンの各特徴点の投影目標点（合計１６点）を示す。このように、投影目標点から形成される図形形状が正方形になるように補正する。図１７（ｃ）に、この補正が行われた段階の模式図を示す。
【００９３】
この後、ステップＳ２４では、カメラ１Ｆの校正用撮影画像上における校正パターンＡ１の４つの特徴点が校正パターンＡ１についての４つの投影目標点に投影され、且つ、カメラ１Ｆの校正用撮影画像上における校正パターンＡ２の４つの特徴点が校正パターンＡ２についての４つの投影目標点に投影されるように、ホモグラフィ行列Ｈ1’を再計算する。実際には、これを完全に満たすホモグラフィ行列Ｈ1’は一意に求まらないことが多いため、上述の誤差評価値ＤAの算出を介したホモグラフィ行列の最適化手法と同様、実際に投影される点と投影目標点との位置誤差（合計８つの位置誤差が発生）の総和が最小化されるようにホモグラフィ行列Ｈ1’を求めればよい。
【００９４】
同様にして、ホモグラフィ行列Ｈ2’〜Ｈ4’も再計算される。例えば、カメラ１Ｒの校正用撮影画像上における校正パターンＡ１の４つの特徴点が校正パターンＡ１についての４つの投影目標点に投影され、且つ、カメラ１Ｒの校正用撮影画像上における校正パターンＡ３の４つの特徴点が校正パターンＡ３についての４つの投影目標点に投影されるように、ホモグラフィ行列Ｈ2’を再計算する。図１７（ｄ）に、各ホモグラフィ行列が再計算された後に得られる全周鳥瞰図画像を示す。
【００９５】
ステップＳ２４の再計算によって最終的に得られたホモグラフィ行列Ｈ1’〜Ｈ4’は、撮影画像から全周鳥瞰図画像を生成するための校正済み変換パラメータとして取り扱われる。この後、図１６の校正処理を終了する。実際には、例えば、校正済み変換パラメータに従って、第１実施例で説明したのと同様のテーブルデータを作成する。この場合、このテーブルデータを校正済み変換パラメータと捉えることもできる。
【００９６】
図１６の校正処理後、図５の画像処理装置１０は、各カメラにて次々と得られる各撮影画像を校正済み変換パラメータを用いて次々と全周鳥瞰図画像に変換する。画像処理装置１０は、各全周鳥瞰図画像を表す映像信号を表示装置１１に供給する。表示装置１１は、各全周鳥瞰図画像を動画像として表示する。
【００９７】
このように、第２実施例では、まず、共通の校正パターンを撮影するカメラ間（即ち、カメラ１Ｆ−１Ｒ間、カメラ１Ｆ−１Ｌ間、カメラ１Ｂ−１Ｌ間及びカメラ１Ｂ−１Ｒ間）で、個別に、共通の校正パターンの位置がグローバル座標上で概ね一致するように剛体変換を行い、暫定的にホモグラフィ行列Ｈ1’〜Ｈ4’求める。次に、各校正パターンを暫定的なホモグラフィ行列Ｈ1’〜Ｈ4’を用いてグローバル座標上に座標変換する。そして、この座標変換によって得られた、グローバル座標上における各校正パターンの形状の補正を介してホモグラフィ行列Ｈ1’〜Ｈ4’を最適化する。
【００９８】
第２実施例によっても、第１実施例と同様の効果が得られる。第２実施例に係る校正処理は、特に、初期校正の精度が高くない場合に有効である。
【００９９】
＜＜第３実施例＞＞
次に、ホモグラフィ行列Ｈ1’〜Ｈ4’に対する他の最適化手法を説明する実施例として第３実施例を説明する。第３実施例は、第２実施例の変形例に相当する。第３実施例に係る校正処理の手順を表すフローチャートは、第２実施例に係るそれ（図１６）と同様であり、第３実施例に係る校正処理は、ステップＳ１１〜Ｓ１３及びＳ２４から成る。但し、第３実施例では、ステップＳ２４におけるホモグラフィ行列Ｈ1’〜Ｈ4’の最適化手法が第２実施例と異なる。従って、以下、第２実施例との相違点である、この最適化手法について説明する。
【０１００】
第３実施例を含む本実施形態では、校正パターンの形状を正方形としている。正方形は、１自由度を有する回転と２自由度を有する平行移動に対して不変である。従って、一般的な平面射影変換行列が８自由度であるのに対し、本実施例で扱うホモグラフィ行列（Ｈn又はＨn’）の自由度は５以下となる。更に、本実施例では、グローバル座標上における校正パターンＡ１の一辺を固定する。グローバル座標上における校正パターンＡ１の一辺を固定し、更に校正パターンＡ２及びＡ３の各特徴点の座標情報を用いれば、全周鳥瞰図画像上における各鳥瞰図画像の配置位置を一意に定めることができる。グローバル座標上における校正パターンＡ１の一辺を固定すれば、ホモグラフィ行列Ｈ1’及び Ｈ2’の夫々の自由度は４に拘束され、ホモグラフィ行列Ｈ3’及び Ｈ4’の夫々の自由度は５に拘束されることになる。これを考慮し、ホモグラフィ行列Ｈ1’〜 Ｈ4’を形成する要素の内、合計１８個の要素ｈ11’〜 ｈ14’、ｈ21’〜 ｈ24’、ｈ31’〜 ｈ35’及びｈ41’〜 ｈ45’のみを調整対象要素として取り扱い（上記式（５）参照）、これらの調整対象要素を最適化することによってホモグラフィ行列Ｈ1’〜Ｈ4’の最適化を行う。これらの調整対象要素の値が定まれば、それ以外の要素（ｈ15’等）は一意に定まる。
【０１０１】
より具体的に説明する。グローバル座標上で各鳥瞰図画像を位置合わせする際、鳥瞰図画像５０Ｆ上の校正パターンＡ１の一辺と、その一辺に対応する鳥瞰図画像５０Ｒ上の校正パターンＡ１の一辺とが完全に重なるようにすると共に、グローバル座標上におけるその一辺の両端座標位置を一意に定める。つまり、そうなるように、ホモグラフィ行列Ｈ1'及びＨ2'を調整する。次に、グローバル座標上において、鳥瞰図画像５０Ｆの校正パターンＡ２と鳥瞰図画像５０Ｌの校正パターンＡ２とが重なる（概ね重なる）ように且つ鳥瞰図画像５０Ｒの校正パターンＡ３と鳥瞰図画像５０Ｂの校正パターンＡ３とが重なる（概ね重なる）ように、鳥瞰図画像５０Ｌと５０Ｂの剛体変換を介して位置合わせを行い、一旦、ホモグラフィ行列Ｈ3'及びＨ4'を求める。
【０１０２】
これにより、図２０に示す如く、グローバル座標上における（換言すれば、全周鳥瞰図画像上における）各鳥瞰図画像の配置位置が一意に決まる。図２０において、符号４５０が付された実線辺が、グローバル座標上において両端座標位置が一意に定められた辺を表し、この辺４５０の長さは、既知情報に基づく既知の正方形の一辺の長さに等しい。
【０１０３】
上述のような位置合わせによって求められたホモグラフィ行列Ｈn'を初期値として、以下のような調整処理を行う。
【０１０４】
図２１に、カメラ１Ｆの校正用撮影画像をホモグラフィ行列Ｈ1'の初期値を用いてグローバル座標上に投影した画像（即ち、上述の位置合わせ後の鳥瞰図画像５０Ｆ）を表す。図２１において、四角形４６０及び４８０は、夫々、実際の校正パターンＡ１及びＡ２の投影図形を表す。符合４５０が付された辺は、図２０におけるそれと同じものである。校正パターンＡ１に対応する四角形４６０の一辺は辺４５０と完全に一致することになる。
【０１０５】
既知情報に基づく既知の正方形４７０及び４９０を、夫々、四角形４６０及び４８０と概ね重なるように配置して考える。この際、図２１に示す如く、正方形４７０の一辺と辺４５０を一致させると共に正方形４９０の１頂点を四角形４８０の１頂点とを一致させ且つ一致させた１頂点を端点とする１辺を正方形４９０と四角形４８０間で重ね合わせる、という拘束条件を適用する。
【０１０６】
この時、四角形４６０と正方形４７０との間において、２つの頂点は一致するが、他の２つの頂点は一致しない（但し、一致することもある）。この他の２つの頂点に関し、対応する頂点間の位置誤差をΔ1及びΔ2とする。他方、四角形４８０と正方形４９０との間において、１つの頂点は一致するが、他の３つの頂点は一致しない（但し、一致することもある）。この他の３つの頂点に関し、対応する頂点間の位置誤差をΔ3、Δ4及びΔ5とする。
【０１０７】
このような位置誤差は、カメラ１Ｒの校正用撮影画像をホモグラフィ行列Ｈ2'の初期値を用いてグローバル座標上に投影した画像においても同様に発生する。カメラ１Ｌの校正用撮影画像をホモグラフィ行列Ｈ3'の初期値を用いてグローバル座標上に投影した画像においては、校正パターンＡ２の１頂点と既知の正方形の１頂点とを一致させ且つ一致させた１頂点を端点とする１辺を校正パターンＡ２と既知の正方形間で重ね合わせるという拘束条件と、校正パターンＡ４の１頂点と既知の正方形の１頂点とを一致させ且つ一致させた１頂点を端点とする１辺を校正パターンＡ４と既知の正方形間で重ね合わせるという拘束条件と、を適用する。カメラ１Ｂについても、カメラ１Ｌの場合と同様である。これにより、自由度４のホモグラフィ行列Ｈ1'及びＨ2'については夫々５つの位置誤差が生じ、自由度５のホモグラフィ行列Ｈ3'及びＨ4'については夫々６つの位置誤差が生じる。従って、生じる位置誤差の総数は、５×２＋６×２＝２２より、２２となる。
【０１０８】
第３実施例では、この合計２２個の位置誤差の総和を誤差評価値ＤBとし、誤差評価値ＤBが最小化されるように各ホモグラフィ行列Ｈn’を最適化する。誤差評価値ＤBを最小化する手法は、第１実施例に係る誤差評価値ＤAを最小化する手法と同様である。
【０１０９】
最適化されたホモグラフィ行列Ｈ1’〜Ｈ4’は、撮影画像から全周鳥瞰図画像を生成するための校正済み変換パラメータとして取り扱われる。この後、第３実施例に係る校正処理を終了する。実際には、例えば、校正済み変換パラメータに従って、第１実施例で説明したのと同様のテーブルデータを作成する。この場合、このテーブルデータを校正済み変換パラメータと捉えることもできる。
【０１１０】
校正処理後、図５の画像処理装置１０は、各カメラにて次々と得られる各撮影画像を校正済み変換パラメータを用いて次々と全周鳥瞰図画像に変換する。画像処理装置１０は、各全周鳥瞰図画像を表す映像信号を表示装置１１に供給する。表示装置１１は、各全周鳥瞰図画像を動画像として表示する。
【０１１１】
＜＜第４実施例＞＞
上述の第１〜第３実施例では、初期校正の際に平面射影変換を用いるようにしている。即ち、平面射影変換を用いて鳥瞰図変換を行い、その後、剛体変換を介してホモグラフィ行列Ｈn’の初期値を求めている。しかしながら、初期校正の際に、平面射影変換に代えて透視投影変換を用いるようにしてもよい。透視投影変換を用いる場合を第４実施例として説明する。
【０１１２】
透視投影変換については公知である（例えば、下記特許文献３参照）。１台のカメラの撮影画像を透視投影変換によって鳥瞰図画像に変換する手法を簡単に説明する。撮影画像上における各点の座標を（ｘbu、ｙbu）で表し、この撮影画像を透視投影変換にて変換した鳥瞰図画像上における各点の座標を（ｘau、ｙau）で表すと、座標（ｘbu、ｙbu）を座標（ｘau、ｙau）に変換するための式は、下記式（７）によって表される。
【０１１３】
【数７】
2008187566.tif 000009
【０１１４】
ここで、θaは、図２２に示す如く、地面とカメラの光軸との成す角度である（但し、９０°＜θa＜１８０°）。尚、図２２では、カメラの例として、カメラ１Ｂを示している。ｈは、カメラの高さに基づく量（カメラ座標系と世界座標系の、高さ方向の平行移動量）である。ｆは、カメラの焦点距離である。上述したように、鳥瞰図画像は、実際のカメラの撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものであり、Ｈaは、この仮想カメラの高さを表す。θa、ｈ及びＨaは、カメラ外部情報（カメラの外部パラメータ）と捉えることができ、ｆは、カメラ内部情報（カメラの内部パラメータ）と捉えることができる。これらの情報に基づく式（７）を用いて、カメラの撮影画像における各点を座標変換すれば、鳥瞰図画像を生成することができる。
【０１１５】
画像処理装置１０は、透視投影変換に必要な、各カメラについてのθa、ｈ、ｆ及びＨaを予め認識しており、各カメラの校正用撮影画像における各点を式（７）に基づき座標変換することにより、各鳥瞰図画像を生成する。その後、第１〜第３実施例の何れかと同様の手法にて各鳥瞰図画像を剛体変換することにより、各鳥瞰図画像を位置合わせする。そして、この位置合わせ後の各鳥瞰図画像における校正パターンの各特徴点の座標（グローバル座標上の座標値）と、各校正用撮影画像における校正パターンの各特徴点の座標（校正用撮影画像上の座標値）と、の対応関係から、各ホモグラフィ行列Ｈn’の初期値を求める。
【０１１６】
各ホモグラフィ行列Ｈn’の初期値が求まった後の、各ホモグラフィ行列Ｈn’の最適化処理は、第１〜第３実施例の何れかと同様である。
【０１１７】
本実施例に第１実施例を適用する場合は、以下のように処理される。即ち、透視投影変換にて各鳥瞰図画像を得た後、カメラ１Ｆ、１Ｒ及び１Ｌに対応する鳥瞰図画像のみを剛体変換により位置合わせし、この位置合わせ後の各鳥瞰図画像における校正パターンの各特徴点の座標（グローバル座標上の座標値）と、各校正用撮影画像における校正パターンの各特徴点の座標（校正用撮影画像上の座標値）と、の対応関係から、各ホモグラフィ行列Ｈ1’〜Ｈ3’を求める。そして、第１実施例で述べたように、誤差評価値ＤAを最小化してホモグラフィ行列Ｈ4’を求めるようにする。
【０１１８】
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１１９】
［注釈１］
平面射影変換を行う際には変換前画像と変換後画像との間に４つの特徴点が必要となる。これを考慮し、上述の実施形態では、４つの特徴点を有する正方形を校正パターンの形状例として採用している。しかし、校正パターンの形状を正方形とする必要は必ずしもない。
【０１２０】
特に、鳥瞰図画像に変換された後の処理を行うに当たっては、各校正パターンに含まれる特徴点の総数は２以上であれば足る。即ち例えば、図２３に示す如く、共通撮影領域３FR、３FL、３BR及び３BL内に、それぞれ、線分の形状を有する校正パターンａ１、ａ２、ａ３及びａ４を配置することによっても、各鳥瞰図画像に対する剛体変換を介したホモグラフィ行列Ｈn’の調整は可能である。図２４に、校正パターンａ１〜ａ４を用いた時の剛体変換の様子を示す。各校正パターンａ１〜ａ４は線分の両端を特徴点として含み、グローバル座標上における線分の長さは既知である。各共通撮影領域内に配置される各校正パターンが２以上の特徴点を含めば、グローバル座標上で理想的には一致すべき投影点間の位置誤差を参照することにより、ホモグラフィ行列Ｈn’をよりよいものへと調整可能である。
【０１２１】
［注釈２］
上述の鳥瞰図画像は、各カメラの撮影画像を地面上に投影した画像に相当する。つまり、上述の実施形態では、各カメラの撮影画像を地面上に投影して合成することにより全周鳥瞰図画像を生成するようにしているが、撮影画像が投影されるべき面を、地面以外の任意の所定面（例えば所定平面）とすることも可能である。
【０１２２】
［注釈３］
車載カメラとしてのカメラ１Ｆ、１Ｒ、１Ｌ及び１Ｂを用いた視界支援システムを例に挙げて本発明の実施形態を説明したが、画像処理装置１０に接続されるべき各カメラを車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、複数のカメラからの各撮影画像が所定面上に投影されて合成され、合成画像が表示装置に表示される。
【０１２３】
［注釈４］
図５の画像処理装置１０の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置１０にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０１２４】
［注釈５］
校正処理時において変換パラメータの調整を行って校正済み変換パラメータを導出するパラメータ導出手段は、画像処理装置１０に内在しており、このパラメータ導出手段を備えてカメラの校正処理を行うカメラ校正装置も、画像処理装置１０に内在している。また、パラメータ導出手段は、暫定的に変換パラメータ（ホモグラフィ行列Ｈn'）を求める暫定パラメータ導出手段と、暫定的な変換パラメータを調整するパラメータ調整手段と、を含む。校正処理後、画像処理装置１０は、撮影画像を所定面上に投影して合成することにより合成画像（上述の実施形態においては、全周鳥瞰図画像）を生成する合成画像生成手段として機能する。
【図面の簡単な説明】
【０１２５】
【図１】本発明の実施形態に係る視界支援システムが適用される車両を上方から見た平面図であり、その車両への各カメラの設置状態を表す図である。
【図２】図１の車両を左斜め前方から見た図である。
【図３】図１の車両に設置された各カメラの撮影領域を表す図である。
【図４】図１の車両に設置された各カメラの撮影領域をまとめて示した図である。
【図５】本発明の実施形態に係る視界支援システムの構成ブロック図である。
【図６】各校正パターンが配置される様子を示した、図１の車両周辺の上面視平面図である。
【図７】校正パターンが描かれた校正プレートを上方から見た図である。
【図８】図１の各カメラの撮影画像に対応する鳥瞰図画像を表す図である。
【図９】図５の画像処理装置にて生成される全周鳥瞰図画像を表す図である。
【図１０】本発明の第１実施例に係る校正処理の手順を表すフローチャートである。
【図１１】本発明の第１実施例に係り、校正処理時に得られた各校正用撮影画像例を示す図である。
【図１２】本発明の第１実施例に係り、校正用撮影画像と鳥瞰図画像との変換例を示す図である。
【図１３】本発明の第１実施例に係り、ホモグラフィ行列の最適化前の全周鳥瞰図画像（ａ）と、最適化後の全周鳥瞰図画像（ｂ）を表す図である。
【図１４】本発明の第１実施例に係り、ホモグラフィ行列の最適化手法を説明するための図である。
【図１５】本発明の第１実施例に係り、異なるカメラ間で共通の校正パターンの投影図形が相違する状態を表す図である。
【図１６】本発明の第２実施例に係る校正処理の手順を表すフローチャートである。
【図１７】本発明の第２実施例に係るホモグラフィ行列の最適化手法の流れを示す図である。
【図１８】本発明の第２実施例に係るホモグラフィ行列の最適化手法を説明するための図である。
【図１９】本発明の第２実施例に係るホモグラフィ行列の最適化手法を説明するための図である。
【図２０】本発明の第３実施例に係り、グローバル座標上で固定された辺を示す図である。
【図２１】本発明の第３実施例に係るホモグラフィ行列の最適化手法を説明するための図である。
【図２２】本発明の第４実施例に係り、カメラの設置状態を表す図である。
【図２３】本発明に適用される校正パターンの変形例を示す図である。
【図２４】図２３の校正パターンを用いた時の、各鳥瞰図画像の剛体変換の様子を示す図である。
【図２５】従来技術に係り、視界支援システムが適用された車両の平面図である。
【図２６】図２５の車両を左斜め前方から見た図である。
【図２７】従来技術に係り、視界支援システムによって表示される全周鳥瞰図画像の様子を示す図である。
【図２８】透視投影変換の概念図である。
【図２９】平面射影変換の概念図である。
【図３０】従来の平面射影変換に対応する校正処理を説明するための図であり、複数のカメラ間で共通に定義される座標系（或いは校正パターン）を示す図である。
【符号の説明】
【０１２６】
１０  画像処理装置
１１  表示装置
１００  車両
Ａ１〜Ａ４  校正パターン
１Ｆ、１Ｒ、１Ｌ、１Ｂ  カメラ
２Ｆ、２Ｒ、２Ｌ、２Ｂ  撮影領域
３FR、３FL、３BR、３BL  共通撮影領域
５０Ｆ、５０Ｒ、５０Ｌ、５０Ｂ  鳥瞰図画像
【図１】
2008187566.tif 000010
【図２】
2008187566.tif 000011
【図３】
2008187566.tif 000012
【図４】
2008187566.tif 000013
【図５】
2008187566.tif 000014
【図６】
2008187566.tif 000015
【図７】
2008187566.tif 000016
【図８】
2008187566.tif 000017
【図９】
2008187566.tif 000018
【図１０】
2008187566.tif 000019
【図１４】
2008187566.tif 000020
【図１５】
2008187566.tif 000021
【図１６】
2008187566.tif 000022
【図１７】
2008187566.tif 000023
【図１８】
2008187566.tif 000024
【図１９】
2008187566.tif 000025
【図２０】
2008187566.tif 000026
【図２１】
2008187566.tif 000027
【図２２】
2008187566.tif 000028
【図２３】
2008187566.tif 000029
【図２４】
2008187566.tif 000030
【図２５】
2008187566.tif 000031
【図２６】
2008187566.tif 000032
【図２７】
2008187566.tif 000033
【図２８】
2008187566.tif 000034
【図２９】
2008187566.tif 000035
【図３０】
2008187566.tif 000036
【図１１】
2008187566.tif 000037
【図１２】
2008187566.tif 000038
【図１３】
2008187566.tif 000039