(57)【特許請求の範囲】
【請求項１】
複数の撮像装置により撮像された画像に対して所定の画像処理を施す画像処理装置において、
前記撮像装置により撮像された画像のうち少なくとも１つを基準画像とし、前記基準画像の輝度の変化を算出する基準画像輝度変化算出手段と、
前記基準画像を撮像した撮像装置とは異なる撮像装置により撮像された画像のうち、少なくとも１つを参照画像とし、前記参照画像の輝度の変化を算出する参照画像輝度変化算出手段と、
前記基準画像輝度変化算出手段により算出された値と、前記参照画像輝度変化算出手段により算出された値とから、輝度の評価値を導出する輝度評価値導出手段と、
前記輝度評価値導出手段により導出された評価値を設定されたしきい値と比較し、輝度変化が小さいと判断された場合、過去に求めた対応点の位置を利用して、エピポーラライン上の対応点の探索範囲を決定する決定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記輝度評価値導出手段により導出された評価値と設定されたしきい値を比較する比較手段をさらに備え、
前記決定手段は、前記比較手段により得られた結果、輝度変化が小さいと判断された場合、対応点の探索範囲を過去に求めた対応点の周辺に決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度評価値導出手段により導出された評価値と設定されたしきい値を比較する比較手段をさらに備え、
前記決定手段は、前記比較手段により得られた結果、輝度変化が小さいと判断された場合、過去に求めた対応点により導出された距離情報を用いる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記決定手段は、前記輝度評価値導出手段により導出された評価値が、設定されたしきい値よりも小さいか否かを判断し、
前記評価値が前記しきい値よりも小さいと判断された場合、対応点の探索範囲を過去に求めた対応点の周辺に決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記決定手段は、前記輝度評価値導出手段により導出された評価値が、設定された第１のしきい値よりも小さいか否かを判断する第１の判断手段と、
前記輝度評価値導出手段により導出された評価値が、前記第１のしきい値よりも大きな値として設定された第２のしきい値よりも小さいか否かを判断する第２の判断手段とを備え、
前記第１の判断手段により前記評価値が前記第１のしきい値よりも小さいと判断された場合、過去に求めた対応点により導出された距離情報を用い、
前記第２の判断手段により前記評価値が前記第２のしきい値よりも小さいと判断された場合、対応点の探索範囲を過去に求めた対応点の周辺のみに決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
複数の撮像装置により撮像された画像に対して所定の画像処理を施す画像処理装置の画像処理方法において、
前記撮像装置で撮像された画像のうち少なくとも１つを基準画像とし、前記基準画像の輝度の変化を算出する基準画像輝度変化算出ステップと、
前記基準画像を撮像した撮像装置とは異なる撮像装置で撮像された画像のうち、少なくとも１つを参照画像とし、前記参照画像の輝度の変化を算出する参照画像輝度変化算出ステップと、
前記基準画像輝度変化算出ステップで算出された値と、前記参照画像輝度変化算出ステップで算出された値とから、輝度の評価値を導出する輝度評価値導出ステップと、
前記輝度評価値導出ステップで導出された評価値を設定されたしきい値と比較し、輝度変化が小さいと判断された場合、過去に求めた対応点の位置を利用して、エピポーラライン上の対応点の探索範囲を決定する決定ステップと
を含むことを特徴とする画像処理方法。
【請求項７】
複数の撮像装置により撮像された画像に対して所定の画像処理を施す画像処理装置に、
前記撮像装置で撮像された画像のうち少なくとも１つを基準画像とし、前記基準画像の輝度の変化を算出する基準画像輝度変化算出ステップと、
前記基準画像を撮像した撮像装置とは異なる撮像装置で撮像された画像のうち、少なくとも１つを参照画像とし、前記参照画像の輝度の変化を算出する参照画像輝度変化算出ステップと、
前記基準画像輝度変化算出ステップで算出された値と、前記参照画像輝度変化算出ステップで算出された値とから、輝度の評価値を導出する輝度評価値導出ステップと、
前記輝度評価値導出ステップで導出された評価値を設定されたしきい値と比較し、輝度変化が小さいと判断された場合、過去に求めた対応点の位置を利用して、エピポーラライン上の対応点の探索範囲を決定する決定ステップと
を含む処理を実行させるコンピュータが読み取り可能なプログラムを記録することを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、距離画像を生成する際に求められる対応点の探索を、過去に得られた基準画像および参照画像を用いて、距離の変化が小さいと判断された画素に対しては、その対応点の探索範囲を限定、または全く探索を行わないようにすることにより、距離画像の生成処理の高速化を可能にする画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
測定対象物の表面の３次元座標、すなわち３次元形状を計測するために、視点の異なる複数のカメラで、同一シーンを、同時に撮像した画像を用いて、その画像間での各画素の対応点を求め、その視差により物体までの距離情報を得る距離計測装置が知られている。このようにして、距離を計測する方法は一般に、ステレオ法と呼ばれている。
【０００３】
図１４は、ステレオ法の概略を説明する図である。この図が示すように、ステレオ法では、基準カメラ１と参照カメラ２の２台のカメラにより、３次元のシーンを観測し、測定しようとする対象の３次元空間における位置（基準点からの距離）が求められる。
【０００４】
すなわち、図１４に示す例では、３次元シーン中の対象点Ｐが基準カメラ１により観察される観察点ｎbと、参照カメラ２により観察される観察点ｎrとが求められる。そして、これらの観測点ｎb，ｎrから、対象点Ｐの３次元空間内の位置を求めることができる。
【０００５】
観察点ｎbに対応する観察点ｎrを検出する方法としては、エピポーララインを用いた方法がある。すなわち、図１４に示すように、参照カメラ２の観察点ｎrは、両カメラの光学中心（光軸）と基準カメラ１の観察点ｎbによって決められる平面と、参照カメラ２の画像面が交わる直線上に存在する。この直線が、エピポーララインと呼ばれる。基準カメラ１と参照カメラ２の位置関係が概知であれば、基準カメラ１の各観測点毎に参照カメラ２の画面上のエピポーラライン上での対応点検索を行うことにより、所望の対応点を検出することができる。
【０００６】
ここで、図１５（Ａ）に示した基準画面上の点ｎbの対応点を、参照画面上で検出する場合を説明する。図１５（Ａ）のように、ｎb周辺の小領域Ｗをテンプレートとし、検出画像上のエピポーラライン上の複数点（図１５（Ｂ）の場合、ｎd1乃至ｎd6の６点）で相関値が求められる。このエピポーラライン上の点ｎd1乃至ｎd6の添字の数字は、それぞれ基準カメラ１からの実際の距離１ｍ乃至６ｍに対応して付けられているとする。
【０００７】
この相関値の求め方としては、例えば次式に示すようにＳＡＤ(Sum of Abusolute Difference）が用いられる。
ｄ（ｂ，ｄ）＝Σ ｜Ｉ（ｘi）−Ｉ’（ｘ’i）｜
この式において、Ｉ（ｘi）は基準画像の輝度値、Ｉ’（ｘ’i）は参照画像の輝度を表し、ｉは小領域Ｗ内の画素の番号を表す値である。
【０００８】
上式により求められた相関値をグラフにしたのが、図１６である。このグラフにおいて、最も相関の低いところであるｎd3が対応点となる。この場合、距離は、ｎd3が存在する３ｍとなる。または、最も相関の低いｎb3周辺の値から、サンプリングしたデータを補間して、最小点を求め、その点を対応点としても良い（図１６の場合、ｎdm）。
【０００９】
なお、エピポーラライン上の位置と物体の距離の関係は、予めキャリブレーションによって求められている。そして、このようにして、各基準画像上の画素の対応点、およびその距離が求められることにより、距離画像が生成される。
【００１０】
【発明が解決しようとする課題】
ところで、図１５の例では、エピポーラライン上の探索点は６点であったが、通常３２乃至６４個の探索点により、対応点は探索される。さらにこの探索は、基準画像上の各画素、全てに対して行われる。従って、この対応点探索は、非常に重い処理であるために、その処理には、時間を要するといった課題があった。
【００１１】
また、放送局などでは、画質を重視するため、画像を構成する画素の数が多い。従って、画像全体について、上述した対応点探索および距離の算出を行うには時間を要し、リアルタイムの処理が困難になる。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、過去に得られた基準画像と参照画像を利用し、距離の変化が小さいと判断された画素に対しては、過去に求められた距離画像の画素を用いる、または、エピポーラライン上の探索点の探索範囲を限定して探索するようにすることにより、距離画像の生成処理を高速化できるようにするものである。
【００１３】
【課題を解決するための手段】
本発明の画像処理装置は、撮像装置により撮像された画像のうち少なくとも１つを基準画像とし、基準画像の輝度の変化を算出する基準画像輝度変化算出手段と、基準画像を撮像した撮像装置とは異なる撮像装置により撮像された画像のうち、少なくとも１つを参照画像とし、参照画像の輝度の変化を算出する参照画像輝度変化算出手段と、基準画像輝度変化算出手段により算出された値と、参照画像輝度変化算出手段により算出された値とから、輝度の評価値を導出する輝度評価値導出手段と、輝度評価値導出手段により導出された評価値を設定されたしきい値と比較し、輝度変化が小さいと判断された場合、過去に求めた対応点の位置を利用して、エピポーラライン上の対応点の探索範囲を決定する決定手段とを備えることを特徴とする。
【００１４】
本発明の画像処理方法は、撮像装置で撮像された画像のうち少なくとも１つを基準画像とし、基準画像の輝度の変化を算出する基準画像輝度変化算出ステップと、基準画像を撮像した撮像装置とは異なる撮像装置で撮像された画像のうち、少なくとも１つを参照画像とし、参照画像の輝度の変化を算出する参照画像輝度変化算出ステップと、基準画像輝度変化算出ステップで算出された値と、参照画像輝度変化算出ステップで算出された値とから、輝度の評価値を導出する輝度評価値導出ステップと、輝度評価値導出ステップで導出された評価値を設定されたしきい値と比較し、輝度変化が小さいと判断された場合、過去に求めた対応点の位置を利用して、エピポーラライン上の対応点の探索範囲を決定する決定ステップとを含むことを特徴とする。
【００１５】
本発明の記録媒体は、撮像装置で撮像された画像のうち少なくとも１つを基準画像とし、基準画像の輝度の変化を算出する基準画像輝度変化算出ステップと、基準画像を撮像した撮像装置とは異なる撮像装置で撮像された画像のうち、少なくとも１つを参照画像とし、参照画像の輝度の変化を算出する参照画像輝度変化算出ステップと、基準画像輝度変化算出ステップで算出された値と、参照画像輝度変化算出ステップで算出された値とから、輝度の評価値を導出する輝度評価値導出ステップと、輝度評価値導出ステップで導出された評価値を設定されたしきい値と比較し、輝度変化が小さいと判断された場合、過去に求めた対応点の位置を利用して、エピポーラライン上の対応点の探索範囲を決定する決定ステップとを含む処理を実行させるコンピュータが読み取り可能なプログラムを記録することを特徴とする。
【００１６】
本発明の画像処理装置、画像処理方法、および記録媒体においては、基準画像と参照画像の輝度の変化が、それぞれ算出され、その算出された値から、輝度の評価値が導出され、その導出された評価値が設定されたしきい値と比較され、輝度変化が小さいと判断された場合、過去に求められた対応点の位置が利用されて、エピポーラライン上の対応点の探索範囲が決定される。
【００１７】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００１８】
請求項１に記載の画像処理装置は、撮像装置により撮像された画像のうち少なくとも１つを基準画像とし、基準画像の輝度の変化を算出する基準画像輝度変化算出手段（例えば、図４のステップＳ２）と、基準画像を撮像した撮像装置（例えば、図１の基準カメラ１）とは異なる撮像装置（例えば、図１の参照カメラ２）により撮像された画像のうち、少なくとも１つを参照画像とし、参照画像の輝度の変化を算出する参照画像輝度変化算出手段（例えば、図４のステップＳ３）と、基準画像輝度変化算出手段から算出された値と、参照画像輝度変化算出手段から算出された値とから、輝度の評価値を導出する輝度評価値導出手段（例えば、図４のステップＳ４）と、輝度評価値導出手段により導出された評価値を設定されたしきい値と比較し、輝度変化が小さいと判断された場合、過去に求めた対応点の位置を利用して、エピポーラライン上の対応点の探索範囲を決定する決定手段（例えば、図４のステップＳ５，Ｓ６，Ｓ７）とを備えることを特徴とする。
【００１９】
請求項４に記載の画像処理装置の決定手段は、輝度評価値導出手段により導出された評価値が、設定されたしきい値よりも小さいか否かを判断し、評価値がしきい値よりも小さいと判断された場合、対応点の探索範囲を過去に求めた対応点の周辺のみに決定する（例えば、図４のステップＳ６）ことを特徴とする。
【００２０】
請求項５に記載の画像処理装置の決定手段は、輝度評価値導出手段により導出された評価値が、設定された第１のしきい値よりも小さいか否かを判断する第１の判断手段（例えば、図１３のステップＳ３５）と、輝度評価値導出手段により導出された評価値が、第１のしきい値よりも大きな値として設定された第２のしきい値よりも小さいか否かを判断する第２の判断手段（例えば、１３のステップＳ３７）とを備え、第１の判断手段により評価値が第１のしきい値よりも小さいと判断された場合、過去に求めた対応点により導出された距離情報を用い（例えば、図１３のステップＳ３６）、第２の判断手段により評価値が第２のしきい値よりも小さいと判断された場合、対応点の探索範囲を過去に求めた対応点の周辺のみに決定する（例えば、図１３のステップＳ３８）ことを特徴とする。
【００２１】
図１は、本発明の画像処理装置２０の構成例を示している。基準カメラ１で撮像された被写体１７の画像データは、フレームメモリ６に、参照カメラ２で撮像された被写体１７の画像データは、フレームメモリ５に、それぞれデジタル化されて出力され、記憶される。フレームメモリ５に記憶された画像データは、距離画像生成部３とフレームメモリ８に出力される。距離画像生成部３に出力された画像データは、他のデータとともに、後述する距離画像およびテンプレートの生成に用いられ、フレームメモリ８に出力された画像データは、記憶される。
【００２２】
同様にフレームメモリ６に記憶された画像データは、距離画像生成部３と、フレームメモリ９に出力される。そして、距離画像生成部３に出力された画像データは、他のデータとともに、後述する距離画像およびテンプレートの生成に用いられ、フレームメモリ９に出力された画像データは、記憶される。
【００２３】
フレームメモリ８とフレームメモリ９に、それぞれ記憶された画像データは、距離画像生成部３に出力される。距離画像生成部３は、入力された各画像データを基に、距離画像とテーブルを生成し、出力する。ここで、距離画像とは、各画素の輝度が基準点（基準カメラ１）からの距離に対応する値になっている画像を意味する。距離画像生成部３には、テーブルメモリ１１とフレームメモリ１３とからの出力も入力される。このテーブルメモリ１１に入力され、記憶されるデータは、距離画像生成部３において、１フレーム前に出力されたテーブルであり、フレームメモリ１３に入力され、記憶されるデータは、距離画像生成部３において、１フレーム前に出力された距離画像である。
【００２４】
フレームメモリ８，９，１３、テーブルメモリ１１は、それぞれ２枚のメモリから構成されるようにしても良い。そして、それぞれのメモリに書き込みと読み出しを交互に行うようにすることにより、各メモリが行っている処理に影響を与えないようにすること、具体的には、参照している画素のデータが書き換えられないようにすることができる。
【００２５】
図２は、図１に示した画像処理装置２０を時間軸に沿って説明するための図であり、基準となる時刻（ｔ）、その１フレーム前の時刻（ｔ−１）、その１フレーム後の時刻（ｔ＋１）の、各時刻における画像処理装置２０のデータの流れを示している。
【００２６】
時刻（ｔ−１）における、画像処理装置２０の基準カメラ１からの画像データは、デジタル化され、フレームメモリ６に入力され、記憶される。その記憶されたデータをＩＢ（ｔ−１）とする（以後ＩＢは、基準カメラ１で撮像された画像データを示し、括弧内は、そのデータが得られた時刻を示すものとする）。同様に、参照カメラ２から画像データは、デジタル化され、フレームメモリ５に入力され、記憶される。その記憶されたデータをＩＤ（ｔ−１）とする（以後ＩＤは、参照カメラ２で撮像された画像データを示し、括弧内は、そのデータの得られた時刻を示すものとする）。
【００２７】
フレームメモリ８には、時刻（ｔ−１）の１フレーム前の画像データ（時刻（ｔ−２）で、参照カメラ２から出力された画像データ）であるＩＤ（ｔ−２）が記憶されており、その記憶されているデータが距離画像生成部３に出力される。同様に、フレームメモリ９には、時刻（ｔ−１）の１フレーム前の画像データ（時刻（ｔ−２）で、基準カメラ１が出力した画像データ）であるＩＢ（ｔ−２）が記憶されており、その記憶されているデータが距離画像生成部３に出力される。
【００２８】
テーブルメモリ１１には、時刻（ｔ−１）の１フレーム前のテーブル（時刻（ｔ−２）で、距離画像生成部３が出力したテーブル）であるＰＴ（ｔ−２）が記憶されており（以後ＰＴは、距離画像生成部３が出力したテーブルを示し、括弧内は、そのテーブルの得られた時刻を示すものとする）、その記憶されているテーブルが、距離画像生成部３に出力される。このテーブルは、ステレオ法を用いて、基準カメラ１の画像上の各画素に対応する参照カメラ２の画像上の対応点の位置（座標）を、テーブル化したものである。
【００２９】
フレームメモリ１３には、時刻（ｔ−１）の１フレーム前の距離画像（時刻（ｔ−２）で、距離画像生成部３が出力した距離画像）であるＲ（ｔ−２）が記憶されており（以後Ｒは、距離画像生成部３が生成した距離画像を示し、括弧内は、その距離画像が得られた時刻を示すものとする）、その記憶されている距離画像を、距離画像生成部３に出力する。
【００３０】
距離画像生成部３は、入力されたデータを基に、距離画像とテーブルを生成し、出力する。この生成については、後述する。
【００３１】
時刻（ｔ）において、フレームメモリ５には、参照カメラ２からの画像データＩＤ（ｔ）が入力され、記憶される。同様に、フレームメモリ６には、基準カメラ１からの画像データＩＢ（ｔ）が入力され、記憶される。それぞれのフレームメモリ５，６に記憶された画像データＩＤ（ｔ），ＩＢ（ｔ）は、距離画像生成部３に入力される。
【００３２】
フレームメモリ８には、時刻（ｔ−１）の時にフレームメモリ５から出力された画像データＩＤ（ｔ−１）が入力され、記憶され、そして、距離画像生成部３に出力される。同様に、フレームメモリ９には、時刻（ｔ−１）の時にフレームメモリ６から出力された画像データＩＢ（ｔ−１）が入力され、記憶され、そして距離画像生成部３に出力される。
【００３３】
テーブルメモリ１１には、時刻（ｔ−１）の時に距離画像生成部３から出力されたテーブルＰＴ（ｔ−１）が入力され、記憶され、そして、距離画像生成部３に出力される。また、フレームメモリ１３には、時刻（ｔ−１）の時に距離画像生成部３から出力された距離画像Ｒ（ｔ−１）が入力され、記憶され、そして、距離画像生成部３に出力される。
【００３４】
距離画像生成部３では、入力された各データとテーブルを基に、時刻（ｔ）におけるテーブルＰＴ（ｔ）と距離画像Ｒ（ｔ）を出力する。
【００３５】
時刻（ｔ＋１）において、フレームメモリ５には、参照カメラ２からの画像データＩＤ（ｔ＋１）が入力され、記憶される。同様に、フレームメモリ６には、基準カメラ１からの画像データＩＢ（ｔ＋１）が入力され、記憶される。それぞれのフレームメモリ５，６に記憶された画像データＩＤ（ｔ＋１），ＩＢ（ｔ＋１）は、距離画像生成部３に入力される。
【００３６】
フレームメモリ８には、時刻（ｔ）の時にフレームメモリ５から出力された画像データＩＤ（ｔ）が入力され、記憶され、そして、距離画像生成部３に出力される。同様に、フレームメモリ９には、時刻（ｔ）の時にフレームメモリ６から出力された画像データＩＢ（ｔ）が入力され、記憶され、そして距離画像生成部３に出力される。
【００３７】
テーブルメモリ１１には、時刻（ｔ）の時に距離画像生成部３から出力されたテーブルＰＴ（ｔ）が入力され、記憶され、そして、距離画像生成部３に出力される。また、フレームメモリ１３には、時刻（ｔ）の時に距離画像生成部３から出力された距離画像Ｒ（ｔ）が入力され、記憶され、そして、距離画像生成部３に出力される。
【００３８】
距離画像生成部３では、入力された各データとテーブルを基に、時刻（ｔ＋１）におけるテーブルＰＴ（ｔ＋１）と距離画像Ｒ（ｔ＋１）を出力する。
【００３９】
このようにして、フレームメモリ５，６には、その時刻による画像データが記憶され、フレームメモリ８，９には、１フレーム前の時刻に得られた画像データが記憶され、１フレーム前に得られたテーブルがテーブルメモリ１１に、距離画像がフレームメモリ１３に、それぞれ記憶される。
【００４０】
距離画像生成部３は、図３に示したように、輝度変化検出部２１、探索範囲決定部２２、およびステレオ処理部２３から構成されている。以下時刻（ｔ）の時を例にあげて、説明する。時刻（ｔ）において、輝度変化検出部２１には、基準カメラ１からの画像データＩＢ（ｔ）、参照カメラ２からの画像データＩＤ（ｔ）、時刻（ｔ−１）における基準カメラ１からの画像データＩＢ（ｔ−１）、同じく時刻（ｔ−１）における参照カメラ２からの画像データＩＤ（ｔ−１）、および時刻（ｔ−１）における距離画像生成部３の生成結果であるテーブルＰＴ（ｔ−１）が入力される。
【００４１】
輝度変化検出部２１は、入力された各データとテーブルを基に、輝度値の変化評価値ＳＤiを演算し出力する。この評価値ＳＤiと時刻（ｔ−１）において距離画像生成部３（ステレオ処理部２３）から出力された距離画像Ｒ（ｔ−１）が、探索範囲決定部２２に入力される。探索範囲決定部２２は、入力されたデータを基に、エピポーラライン上の対応点の探索範囲を決定する。その決定された探索範囲と、ＩＢ（ｔ），ＩＤ（ｔ）に従って、ステレオ処理部２３は、距離画像Ｒ（ｔ）とテーブルＰＴ（ｔ）を求める。
【００４２】
次に、図４のフローチャートを参照して、距離画像生成部３の動作について説明する。ここで、ＩＢi，ＩＤi，Ｒi，ＰＴi，ＳＤbi，ＳＤdiはそれぞれ、第ｉ番目の画素における、基準カメラ１からの画像の輝度、参照カメラ２からの画像の輝度、距離画像の値（距離）、当該画素のステレオ法の処理によって求められた参照カメラ２上の対応点の位置（座標）、基準カメラ１の輝度の変化値、および参照カメラ２の輝度の変化値を表し、その後に付加される括弧内は、時刻を表すものとする。
【００４３】
距離画像生成部３は、ステップＳ１において、画素の番号を表すｉを０に初期設定する。輝度変化検出部２１は、ステップＳ２において、次式に示すように、入力されたＩＢ（ｔ）の第ｉ番目の画素のデータＩＢi（ｔ）と、ＩＤ（ｔ−１）の第ｉ番目の画素のデータＩＢi（ｔ−１）との差を演算し、基準画像の輝度の変化値ＳＤbiを求める。
ＳＤbi  ＝｜ＩＢi（ｔ）−ＩＢi（ｔ−１）｜
【００４４】
ステップＳ３において、参照画像の輝度の変化値ＳＤdiが求められる。まず時刻（ｔ−１）において距離画像生成部３で生成され、出力されたテーブルＰＴ（ｔ−１）の第ｉ番目の画素のデータＰＴi（ｔ−１）が示す参照カメラ２の画像データＩＤ（ｔ−１）をＩＤj（ｔ−１）とおく。このＩＤj（ｔ−１）と、時刻（ｔ）における参照カメラ２の出力データＩＤ（ｔ）の第ｉ番目に対応する画素のデータＩＤi（ｔ）の差を次式に従って演算し、参照画像の輝度の変化値ＳＤdiを求める。
ＳＤdi＝｜ＩＤi（ｔ）−ＩＤj（ｔ−１）｜
【００４５】
この輝度の変化値ＳＤbiとＳＤdiの算出の仕方としては、それぞれの画素の輝度値の差分の絶対値を取る変わりに、それぞれの画素の周辺の小領域の相関値を取るようにしても良い。
【００４６】
ステップＳ４において、ステップＳ２とステップＳ３において求めた輝度の変化値ＳＤbiとＳＤdiを用いて、輝度変化評価値ＳＤｉが導出される。この輝度変化評価値ＳＤｉは、次式にしめすようにＳＤbiとＳＤdiの平均値を取ることにより導出される。
ＳＤｉ＝（ＳＤbi＋ＳＤdi）／２
【００４７】
または、ＳＤbiとＳＤdiのうち、大きい方の値を、輝度変化評価値ＳＤｉとして採用するようにしても良い。このようにして求められた輝度変化評価値ＳＤｉは、探索範囲決定部２２に出力される。なお、ＳＤbiとＳＤdiは、並列処理により同時に求めるようにしても良い。
【００４８】
検索範囲決定部２２は、ステップＳ５において、入力された輝度変化評価値ＳＤiが予め設定されているしきい値ＳＤtよりも小さいか否かを判断する。輝度変化評価値ＳＤiがしきい値ＳＤtよりも小さいと判断された場合、ステップＳ６に進む。輝度変化評価値ＳＤiがしきい値ＳＤtより小さいと言うことは、第ｉ番目の画素での距離の変化（その画素の時刻（ｔ−１）における距離と時刻（ｔ）における距離の差）は小さいであろうと判断され、エピポーラライン上の対応点の探索範囲が、過去に求めた距離画像Ｒ（ｔ−１）の位置ｉに対応する距離情報Ｒi（ｔ−１）を中心にして、その周辺（ＰＴi（ｔ−１）の周辺）に設定される。
【００４９】
一方、ステップＳ５において、輝度変化評価値ＳＤiがしきい値ＳＤtよりも大きいと判断された場合、換言すれば、第ｉ番目の画素での距離変化は大きいであろうと判断された場合、ステップＳ７に進む。ステップＳ７においては、エピポーラライン上の対応点の探索範囲が計測レンジ全体に設定される。
【００５０】
ステップＳ６またはステップＳ７において、設定されたエピポーラライン上の探索範囲の結果は、探索範囲決定部２２からステレオ処理部２３に出力される。ステレオ処理部２３は、ステップＳ８において、入力された探索範囲に基づいて、参照カメラ２の画像データＩＤ（ｔ）のエピポーラライン上の対応点探索および距離の算出の処理を実行する。次に、ステップＳ８の処理の詳細について、図５のフローチャートを参照して説明するが、その前に、図６以降を用いて、射影変換を用いた場合の距離の算出の仕方について説明する。
【００５１】
図６に示すように、３次元空間に置かれた平面を基準カメラ１と参照カメラ２の２台のカメラ（ステレオカメラ）で観察した場合、対応点のカメラ座標は、射影変換により相互に変換可能である。つまり、３次元空間に置かれた平面上の点Ｐが、基準カメラ１の画像（以下、基準画像と適宜略記する）でｎbに観察され、参照カメラ２の画像（以下、参照画像と適宜略記する）でｎrに観察された場合、ｎbからｎrへの変換を３×３の射影変換行列をＨとすると、次式が成立する。
ｎr＝Ｈ・ｎb    （１）
【００５２】
式（１）の射影変換行列Ｈは、ｍ0乃至ｍ8の合計９個のパラメータにより構成されている。しかしながら、スケール因子に自由度が残るので、自由度は８となる。また、射影変換行列Ｈは、カメラの内部パラメータ、外部パラメータ、および平面の方程式を暗黙的に含んだ行列である。
【００５３】
図７は、射影変換を施す対象となるテキスチャとカメラとの関係を示す図である。この図においては、基準点（所定の位置に選んで良い）からある距離Ｚ0だけ離れた位置に設置された１枚の平面を相互に位置関係が固定された２台のカメラにより撮像されるようになされている。なお、平面のカメラ側の面には、所定のテキスチャが形成されている。
【００５４】
参照カメラ２の画像と、基準カメラ１の画像とを組み合わせてステレオペアを形成する。この時、基準カメラ１の画像（基準画像）と、参照カメラ２の画像（参照画像）は、図８（Ａ）に示すようになる。
【００５５】
このとき、参照画像に対して所定の射影変換を施し、これらの画像間の輝度の誤差が最小となるような射影変換行列Ｈを算出する。このような射影変換行列Ｈを求めることにより、基準画像の任意の点に対応する対応点を参照画像から検索することが可能となる。
【００５６】
変換後の参照画像と、基準画像が一致する射影変換行列Ｈの求め方（画像合わせ込みの方法）としては、Levenberg-Marquardt最小化法が用いられる。そして、このように求められた射影変換行列Ｈを用いて、エピポーララインが求められる。
【００５７】
図９は、エピポーララインの求め方を説明するための図である。射影変換行列Ｈが求められると、距離Ｚ0における基準画像上の点ｎbに対応する参照画像上の点ｎr0が決定される。点ｎbは任意であるので、その結果、基準画像上の全ての点に対応する対応点を算出することができる。同様にして、観察する平面を距離Ｚ1の位置に、距離Ｚ0の位置に置かれていた平面と平行になるようにおかれた場合の射影変換行列Ｈ1を求める。
【００５８】
基準画像上の観察点ｎbは、対象点が距離Ｚ0またはＺ1にある場合には、求められた射影変換行列Ｈ0，Ｈ1により、参照画像上のｎr0，ｎr1にそれぞれ射影されることがわかる。従って、参照画像上の２点ｎr0，ｎr1を結んだ線分がエピポーララインとなる。
【００５９】
ところで、実際の対象物の距離を測定する場合には、基準画像上の所定の点に対応する点（対応点）を、参照画像のエピポーラライン上で探索し、探索された対応点の位置（視差）を、３次元空間における実際の距離に変換する必要がある。しかし、例えば射影変換を用いた場合、視差と実際の距離とは正比例しない。従って、この視差を距離に変換する変換式を求めるために、距離Ｚ0，Ｚ1とは異なる距離Ｚ2に、前述の平面を再度設置して、ｎr2を求め、これらｎr0，ｎr1，ｎr2から複比を用いて視差の距離へ変換を行う。
【００６０】
図１０は、複比を説明するための図である。この図に示すように、３次元空間内の線分Ｌが画像画面上に線分Ｌ’として投影されているものとする。このとき、線分Ｌ上の４点Ａ，Ｂ，Ｃ，Ｄは、それぞれ、線分Ｌ’上の点Ａ’，Ｂ’，Ｃ’，Ｄ’に投影されているものとする。また、これらの線分Ｌ，Ｌ’を観察する視点Ｏと、線分Ｌ，Ｌ’とは同一平面上に配置されている。換言すると、点Ａ，Ｂ，Ｃ，Ｄ，Ａ’，Ｂ’，Ｃ’，Ｄ’と視点Ｏとは、同一の平面上に配置されている。これらの平面上における位置関係を書き直すと、図１１に示すようになる。
【００６１】
この図において、ＯＡ＝ａ，ＯＢ＝ｂ，ＯＣ＝ｃ，ＯＤ＝ｄとおき、さらに、ＡＯＣ＝α，ＢＯＣ＝β，ＡＯＤ＝γ，ＢＯＤ＝δとおくと、これらの間の関係は、以下の式により表すことができる。
ＡＣ／ＢＣ＝△ＯＡＣ／△ＯＢＣ    （２）
△ＯＡＣ＝（１／２）ａｃsinα     （３）
△ＯＢＣ＝（１／２）ｂｃsinβ     （４）
【００６２】
式（２）乃至（４）により、以下の関係式が得られる。
ＡＣ／ＢＣ＝ａsinα／ｂsinβ      （５）
【００６３】
同様の計算をＡＤとＢＤに対して施すと、以下の式が得られる。
ＡＤ／ＢＤ＝ａsinγ／ｂsinδ      （６）
【００６４】
式（５）を式（６）により除算することにより、以下の式（７）が得られる。
（ＡＣ／ＢＣ）／（ＡＤ／ＢＤ）
＝（sinα／sinβ）／（sinγ／sinδ）    （７）
【００６５】
以上の式（２）乃至（７）の計算と同様の計算を、Ａ’Ｃ’，Ｂ’Ｃ’，Ａ’Ｄ’，Ｂ’Ｄ’に対して行うことにより、以下の式（８）が得られる。
（Ａ’Ｃ’／Ｂ’Ｃ’）／（Ａ’Ｄ’／Ｂ’Ｄ’）
＝（sinα／sinβ）／（sinγ／sinδ）      （８）
【００６６】
これら、式（７）と式（８）とから、以下の式（９）（複比）が得られる。
（ＡＣ・ＢＤ／ＢＣ・ＡＤ）
＝（Ａ’Ｃ’・Ｂ’Ｄ’／Ｂ’Ｃ’・Ａ’Ｄ’）  （９）
【００６７】
以上の複比を用いて、以下のような手順により、所望の対象点の３次元空間内における基準点からの距離が求められる。いま、図１１において、線分Ｌを基準画像上の点ｎbの視線に対応させ、また、線分Ｌ’をエピポーララインに対応させるとする。さらに、点Ａ，Ｂ，Ｄをそれぞれ距離Ｚ0，Ｚ2，Ｚ1の３次元空間内の点に対応させ、また、点Ａ’，Ｂ’，Ｄ’を、射影変換行列Ｈ0，Ｈ2，Ｈ1でそれぞれ求めることができる参照画像上の点ｎr0，ｎr2，ｎr1に対応させる。これらの関係を改めて作図し直したのが、図１２である。
【００６８】
いま、距離ＺSだけ離れた位置に、対象点Ｃが配置されているとする。このとき、エピポーララインＬ’上を探索して得られた対応点がｎrsであるとすると、式（９）の各線分の値は以下のようになる。
【００６９】
ＡＣ＝ＺS−Ｚ0    ，  Ａ’Ｃ’＝ｎrs−ｎr0
ＢＣ＝ＺS−Ｚ2    ，  Ｂ’Ｃ’＝ｎrs−ｎr2
ＡＤ＝Ｚ1−Ｚ0    ，  Ａ’Ｄ’＝ｎr1−ｎr0
ＢＤ＝Ｚ1−Ｚ2    ，  Ｂ’Ｄ’＝ｎr1−ｎr2          （１０）
【００７０】
従って、式（１０）を式（９）に代入することにより、基準点から対象点Ｃまでの距離ＺSを求めることができる。ところで、実際の距離は、線分Ｌに沿ったものではないが、別の線分に正射影されているので、各距離の比は正比例の関係となるので、大きな問題は生じない。例えば、図１２においては、ＡＤは光軸に正射影したＡCＤCの長さである。
【００７１】
また、以上の例では、ＡＤ間の内挿の場合（対象点ＣがＡＤの内側に存在する場合）について説明したが、外挿の場合（対象点ＣがＡＤの外側に存在する場合）においても、同様に、以上の原理を適用することが可能であることは言うまでもない。
【００７２】
以下に、図４のステップＳ８の処理を、図１２の対象点Ｃを第ｉ番目の画素に対応する対象点とし、その対応点と距離を算出する場合を例として、図５のフローチャートを参照して、説明する。
【００７３】
この処理が実行されると、ステップＳ２１において、基準画像上の対象点ｎb（画像上の対象点Ｃ）がステレオ処理部２３に入力される。ステップＳ２２においては、上述したようにして求められた射影変換行列Ｈ0乃至Ｈ2を用いて、参照画像上の対応点ｎr0乃至ｎr2が算出される。そして、ステップＳ２３に進む。
【００７４】
ステップＳ２３において、ステップＳ２２において求められたｎr0とｎr1とを直線で結ぶことにより、エピポーララインを生成する。そして、ステップＳ２４においては、基準カメラ１（図１）から出力された画像の点ｎbの近傍の画素群が抽出される。
【００７５】
ステップＳ２５において、抽出された画素群をテンプレートとし、マッチ度の高い点ｍrsがエピポーララインに沿って検索される。このとき検索は、ステップＳ６またはステップＳ７において、設定された範囲内のみにおいて行われる。このように探索範囲を狭めることにより、探索に要する時間を短縮することが可能となる。
【００７６】
ステップＳ２５における処理は、ステップＳ２３において、生成されたエピポーララインに対応するアドレスに応じて、参照カメラ２から出力されている画素群を読み出し、テンプレートと照合する処理となる。そして、最も近い（誤差の少ない）画素群が存在する領域の中心が点ｎrsとされる。
【００７７】
ステップＳ２６において、ステップＳ２５において求められたｎrsと、ｎr0乃至ｎr2、およびＺ0乃至Ｚ2から、複比を用いて、ｎrsに対応する距離ＺSを算出する。このような処理により、対象点Ｃ（第ｉ番目の画素に対応する対象点）までの距離ＺS（第ｉ番目の画素に対応する距離画像Ｒi（ｔ））を算出することができる。
【００７８】
以上のようにして求められた第ｉ番目の画素に対応する対応点と、距離画像Ｒi（ｔ）は、図４のステップＳ９において、それぞれ、テーブルＰＴ（ｔ）、距離画像Ｒ（ｔ）に書き込まれる。
【００７９】
ステップＳ１０において、画素の番号を表すｉが、画面を構成する画素全てに対して探索されたか否かが判断される。換言すれば、画面を構成する画素の総数が、例えば６４０×４８０の場合、ｉの値が６４０×４８０と等しくなったか否かが判断される。ステップＳ１０において、ｉの値が画素の総数と等しくはなっていないと判断された場合、ステップＳ１１に進み、ｉの値が１だけインクリメントされる。そして、ステップＳ２に戻り、それ以降の処理が繰り返される。
【００８０】
一方、ステップＳ１０において、ｉの値が画素の総和と等しくなったと判断された場合、このフローチャートの処理は終了される。
【００８１】
上述した実施の形態では、１つのしきい値ＳＤtのみを用いて対応点の探索範囲を求めたが、２つのしきい値ＳＤt1とＳＤt2を用いて行う場合について、図１３のフロチャートを参照して説明する。
【００８２】
ステップＳ３１乃至Ｓ３４の処理は、図４のステップＳ１乃至Ｓ４の処理と同様の処理なので、その説明は省略する。探索範囲決定部２２は、ステップＳ３５において、ステップＳ３４で導出された輝度変化評価値ＳＤiが、しきい値ＳＤt1よりも小さいか否かを判断する。
【００８３】
輝度変化評価値ＳＤiがしきい値ＳＤt1よりも小さいと判断された場合、換言すると、その画素での距離の変化は無視できる範囲内であると判断された場合、ステップＳ３６に進む。ステップＳ３６においては、時刻（ｔ−１）において距離画像生成部３から出力された第ｉ番目の画素に対応する距離画像Ｒi（ｔ−１）とテーブルＰＴi（ｔ−１）を、時刻ｔにおいて距離画像生成部３から出力する第ｉ番面の画素に対応する距離画像Ｒi（ｔ）とテーブルＰＴi（ｔ）として採用し、ステップＳ４１に進む。
【００８４】
ステップＳ４１において、採用された距離画像Ｒi（ｔ）がＲ（ｔ）に、テーブルＰＴi（ｔ）がＰＴ（ｔ）に、それぞれ書き込まれる。
【００８５】
一方、ステップＳ３５において、輝度変化評価値ＳＤiがしきい値ＳＤt1と等しいか、それよりも大きいと判断された場合、ステップＳ３７に進む。ステップＳ３７においては、輝度変化評価値ＳＤiがしきい値ＳＤt2よりも小さいか否かが判断される。このしきい値ＳＤt2は、しきい値ＳＤt1よりも大きい値とされている。
【００８６】
輝度変化評価値ＳＤiがしきい値ＳＤt2よりも小さいと判断された場合、換言すれば、その画素での距離の変化は小さいであろうと判断された場合、ステップＳ３８に進む。ステップＳ３８においては、エピポーラライン上の対応点の探索範囲が、時刻（ｔ−１）の時に求めた第ｉ番目の画素に対応する距離画像Ｒi（ｔ−１）を中心にし、その周辺のみに設定される。
【００８７】
一方、ステップＳ３７において、輝度変化評価値ＳＤiがしきい値ＳＤt2と等しいか、それよりも大きいと判断された場合、ステップＳ３９に進む。ステップＳ３９において、エピポーラライン上の探索範囲が、計測レンジ全体に設定される。
【００８８】
ステップＳ４０においては、ステップＳ３８またはステップＳ３９において設定された探索範囲に応じて、対応点と距離を算出する処理が行われる。以下、ステップＳ４０乃至ステップＳ４３の処理は、図４のステップＳ８乃至ステップＳ１１の処理と同様の処理なので、その説明は省略する。
【００８９】
このように、ステレオ処理を行って距離画像を求める際に、過去に求めた画像と距離情報を用いて、エピポーラライン上の探索範囲を限定することにより、対応点探索の計算量を減らし、処理の高速化を図ることができる。
【００９０】
上述した実施の形態においては、２台のカメラ（基準カメラ１と参照カメラ２）を用いたが、２台以上の複数のカメラを用いても、本発明を適用することができることはいうまでもない。また、上述したように、１つの距離画像生成部３を用いても良いが、複数の距離画像生成部３を用いるようにしても良い。複数の距離画像生成部３を用いる場合、各距離画像生成部３は、それぞれ割り当てられた画像の一部分を担当し、処理し、さらに並列に処理が行えるように構成される。このように構成されることにより、さらに早く距離画像を求めることができる。
【００９１】
また、距離画像およびテーブルとして、１フレーム前（時刻（ｔ−１）の時）のデータを用いているが、数フレーム前のデータを用いるようにしても良い。
【００９２】
なお、本明細書中において、上記処理を実行するコンピュータプログラムをユーザに提供する提供媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【００９３】
【発明の効果】
上の如く、本発明によれば、対応点探索に要する時間を短縮することが可能となり、もって距離画像の生成処理を高速化することが可能となる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施の形態の構成を示す図である。
【図２】  図１の画像処理装置が行うデータの流れについて説明する図である。
【図３】図１の距離画像生成部の構成を示すブロック図である。
【図４】図１の画像処理装置の動作を説明するフローチャートである。
【図５】図４のステップＳ８の対応点、距離算出の処理の詳細を説明するフローチャートである。
【図６】基準カメラと参照カメラの画像面に平面上の対象点Ｐが観察される様子を示す図である。
【図７】基準カメラ、参照カメラ、および平面の配置例を示す図である。
【図８】参照カメラの画像が射影変換され、基準カメラの画像と重ね合わされた様子を示す図である。
【図９】対象物が距離Ｚ0とＺ1に存在する場合に、参照カメラの画像面に観察される観察点ｎ0とｎr1を示す図である。
【図１０】線分Ｌが画像面に投影されている場合の様子を説明する図である。
【図１１】図１０に示す線分Ｌ、線分Ｌ’、および視点Ｏを１つの平面上に表した図である。
【図１２】図１１に示す図を、本実施の形態に対応させて書き直した場合の図である。
【図１３】図１の画像処理装置の他の動作を説明するフローチャートである。
【図１４】基準カメラと参照カメラの画像、対象点Ｐ、およびエピポーララインの関係を示す図である。
【図１５】エピポーララインと探索点との関係を示す図である。
【図１６】図１５の各対応点の相関値のグラフである。
【符号の説明】
１  基準カメラ，  ２  参照カメラ，  ３  距離画像生成部，  ５，６，８，９，１３  フレームメモリ，  １１  テーブルメモリ，  ２１  輝度変化検出部，  ２２  探索範囲決定部，  ２３  ステレオ処理部
【図１】
0004114107.tif 000002
【図２】
0004114107.tif 000003
【図３】
0004114107.tif 000004
【図４】
0004114107.tif 000005
【図５】
0004114107.tif 000006
【図６】
0004114107.tif 000007
【図７】
0004114107.tif 000008
【図８】
0004114107.tif 000009
【図９】
0004114107.tif 000010
【図１０】
0004114107.tif 000011
【図１１】
0004114107.tif 000012
【図１２】
0004114107.tif 000013
【図１３】
0004114107.tif 000014
【図１４】
0004114107.tif 000015
【図１５】
0004114107.tif 000016
【図１６】
0004114107.tif 000017