(57)【特許請求の範囲】
【請求項１】
対象物体に関するステレオ画像信号に基づき所定の相関関数を用いて相対応する画素の第１の視差ベクトルを得る第１の対応点検出手段と、ステレオ画像信号にノイズ除去処理を施すフィルタ手段と、このフィルタ手段を通したステレオ画像信号から所定の相関関数を用いて相対応する画素の第２の視差ベクトルを得る第２の対応点検出手段と、第１および第２の対応点検出手段によって得られた第１および第２の視差ベクトルを比較し、両者の差の絶対値が所定値未満のときは第１の視差ベクトルを出力し、両者の差の絶対値が所定値以上のときは第２の視差ベクトルを出力する視差ベクトル比較手段と、この視差ベクトル比較手段から出力される視差ベクトルに基づいて前記ステレオ画像から対象物体までの距離を計算する距離計算手段とを備えた３次元画像処理装置。
【請求項２】
請求項１に記載の３次元画像処理装置において、前記フィルタ手段は高域ノイズを低減するローパスフィルタである３次元画像処理装置。
【請求項３】
請求項１に記載の３次元画像処理装置において、前記フィルタ手段は時間的に前後するフレームの同位置画素データを用いてノイズを低減するノイズリダクション装置である３次元画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象物体に関するステレオ画像の相対応する画素点間の視差ベクトルを求め、それをもとに対象物体までの距離を計算する３次元画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
ステレオカメラにより同一対象物体に関する左右一対の画像からなるステレオ画像を得て、対象物体上のある１点が一方の画面に投影されているとき、他方の画面上での投影先が分かれば、三角測量の原理に基づいて対象物体上の点までの距離を計算することができる。このことは例えば、文献「グラフィックスとビジョン」（オーム社発行、第２８〜３１頁）に開示されているところである。本発明は、この投影先の探索、すなわちステレオ画像の対応点探索技術を応用した３次元画像処理装置に関するものである。
【０００３】
図３に示すように、上記文献においては対象物体２上の点Ｑ（ｘ，ｙ，ｚ）を、光軸Ｏｌ，Ｏｒ間に一定の距離（＝基線長）Ｂをおいて配置された左右一対の撮像カメラ４，６により撮像された左右一対のステレオ画像における対応画素のＸ−Ｙ座標平面上の座標Ｑｌ（Ｘｌ，Ｙｌ），Ｑｒ（Ｘｒ，Ｙｒ）を求め、その視差Ｑｌ−Ｑｒ＝（Ｘｌ−Ｘｒ，Ｙｌ−Ｙｒ）を用いて、対応画素に対応する対象物体２上の測定点までの距離Ｚを求める。ここで、ステレオ画像を処理する３次元画像処理装置では、通常、２台のカメラ４，６は光軸Ｏｌ，Ｏｒが同一Ｘ−Ｚ平面上に含まれるように配置されるので、Ｙｌ＝Ｙｒであり、対応点探索はエピポーラ線Ｅｐｌ，Ｅｐｒである同じ走査線上で行えばよいことになる。すなわち、撮像カメラ４，６の光軸Ｏｌ，Ｏｒ間の距離をＢ、焦点距離をｆとすると、対象物体２上の点Ｑ（ｘ，ｙ，ｚ）が左右のカメラ画面上の点Ｑｌ（Ｘｌ，Ｙｌ）、点Ｑｒ（Ｘｒ，Ｙｒ）にそれぞれ投影された時、対象物体２の点Ｑ（ｘ，ｙ，ｚ）までの距離Ｚは、
Ｚ＝Ｂ＊ｆ／（Ｘｌ−Ｘｒ）    …（１）
で表される。ここで、Ｘｌ−Ｘｒは視差を表し、左画像を基準画像とした場合、右画像の対応点Ｑｒ（Ｘｒ，Ｙｒ）における視差ベクトルは一般にＶｐ（Ｘｌ−Ｘｒ，Ｙｌ−Ｙｒ）と表される。
【０００４】
図４は従来の３次元画像処理装置のブロック図を示すものである。図４において、対象物体２に関し、ＣＣＤ等からなる左画像用の撮像カメラ４および右画像用の撮像カメラ６によってステレオ画像を得て、それに基づき対応点検出器８により対応点探索が行われる。ここで、２台のカメラ４，６は光軸Ｏｌ，Ｏｒが同一Ｘ−Ｚ座標平面上に含まれるように、Ｙｌ＝Ｙｒの関係に配置されているものとする。対応点検出器８においては、特開平９−３３２４９号公報に（３）式として開示されている相関関数などの評価関数に従って、画素毎の対応付けが行われる。対応点検出器８によって探索された対応点を用いて各画素毎の視差ベクトルを計算する。得られた視差ベクトルを用いて距離計算器１０により距離計算が行われる。
【０００５】
ここで、前述したように、２台の撮像カメラ４，６をその光軸Ｏｌ，Ｏｒが同一Ｘ−Ｚ座標平面上に含まれるように配置しておくことにより、対応点の探索はエピポーラ線Ｅｐｌ，Ｅｐｒである走査線上のみで行えば良いことになる。例えば左画像上の点Ｑｌ（Ｘｌ，Ｙｌ）と右画像上の点Ｑｒ（Ｘｒ，Ｙｒ）が対応する場合、点Ｑｌ（Ｘｌ，Ｙｌ）における視差ベクトルはＶｐ（Ｘｌ−Ｘｒ，Ｙｌ−Ｙｒ）である。ここで、２つの点Ｑｌ，Ｑｒは同じ走査線（エピポーラ線）上にあるので、Ｙｌ＝Ｙｒであり、視差ベクトルは、Ｖｐ（Ｘｌ−Ｘｒ，０）と表されることになる。このような視差ベクトルＶｐを画像上の全ての画素点について求め、視差ベクトル群を作成する。
【０００６】
【発明が解決しようとする課題】
従来装置による対応点探索では、画像に含まれるノイズ等で誤対応が発生し、その結果、視差ベクトルの検出精度が低下し、信頼性の高い距離データを得ることが難しかった。
【０００７】
従って本発明は視差ベクトルの検出精度を向上させ、信頼性の高い距離計算を可能とする３次元画像処理装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１に係る発明の３次元画像処理装置は、対象物体に関するステレオ画像信号に基づき所定の相関関数を用いて相対応する画素の第１の視差ベクトルを得る第１の対応点検出手段と、ステレオ画像信号にノイズ除去処理を施すフィルタ手段と、このフィルタ手段を通したステレオ画像信号から所定の相関関数を用いて相対応する画素の第２の視差ベクトルを得る第２の対応点検出手段と、第１および第２の対応点検出手段によって得られた第１および第２の視差ベクトルを比較し、両者の差の絶対値が所定値未満のときは第１の視差ベクトルを出力し、両者の差の絶対値が所定値以上のときは第２の視差ベクトルを出力する視差ベクトル比較手段と、この視差ベクトル比較手段から出力される視差ベクトルに基づいてステレオ画像から対象物体までの距離を計算する距離計算手段とを備えたものである。
【０００９】
請求項２に係る発明は、フィルタ手段は高域ノイズを低減するローパスフィルタであることを特徴とするものである。
【００１０】
請求項３に係る発明は、フィルタ手段は時間的に前後するフレームの同位置画素データを用いてノイズを低減するノイズリダクション装置であることを特徴とするものである。
【００１１】
上記のように構成された３次元画像処理装置によれば、入力画像にある程度のノイズが存在していても、誤対応を減少させることができ、その結果、視差ベクトルの検出精度が向上し、信頼性の高い距離計算を可能とすることができる。
【００１２】
【発明の実施の形態】
（実施の形態１）
図１は実施の形態１による３次元画像処理装置を示すものである。図示していない対象物体を同一Ｘ−Ｚ平面上にＸ方向に間隔Ｂをおいて配置された２台の撮像カメラ４，６により左画像Ｐｌおよび右画像Ｐｒを得る。撮像カメラ４，６はＣＣＤ等によって構成される。左画像Ｐｌおよび右画像Ｐｒは、第一には対応点検出器８に導かれ、第二には各画像Ｐｌ，Ｐｒ毎にノイズフィルタとしてのローパスフィルタ（ＬＰＦ）１２，１４を介して第２の対応点検出器１８に導かれる。対応点検出器８から出力される第１の視差ベクトルＶｐ１、および対応点検出器１８から出力される第２の視差ベクトルＶｐ２は視差ベクトル比較器１６において後述のごとく比較され、その一方の視差ベクトルが選択的に出力され、その出力視差ベクトルに基づいて距離計算器１０によって対象物体までの距離が計算される。
【００１３】
図１の画像処理装置において、左右それぞれの撮像カメラ４，５から取り込まれた左画像Ｐｌおよび右画像Ｐｒは、対応点検出器８において、特開平９−３３２４９号公報に開示されている相関関数などの評価関数に従って、画素毎の対応付けを行い、視差ベクトルＶｐ１を生成する。ここまでは図４に示す従来例と同様である。他方、両画像Ｐｌ，Ｐｒはそれぞれローパスフィルタ１２，１４を通して通過帯域が制限される。ローパスフィルタ１２，１４は例えば３タップの１：１５：１の係数のものを使用し、あまりぼけすぎない程度にするのがよい。これによって高域に存在するノイズを低減する。この点が従来例と異なるところである。ローパスフィルタ１２，１４の出力画像は対応点検出器８と同様構成の対応点検出器１８において対応点検出器８と同様にして画素毎の対応付けを行って第２の視差ベクトルＶｐ２を生成する。
【００１４】
第１および第２の視差ベクトルＶｐ１，Ｖｐ２は視差ベクトル比較器１６に入力され、ここで比較される。視差ベクトルＶｐ１はフィルタを通さない解像度の高い画像で対応点を求めているため、画像の輪郭などの位置情報を正確に保持している。しかし、画像データ的に変化のない平坦な部分ではノイズが存在するため、わずかなノイズによるデータの違いで視差ベクトルを大きく乱してしまっていることがあり得る。これに対して、視差ベクトルＶｐ２はフィルタを通した解像度の低い画像で対応点を求めているため、画像の輪郭などの位置情報は不正確になっている可能性がある。しかし、画像データ的に変化のない平坦な部分でのノイズが低減されているので、視差ベクトルを乱してしまうことはない。このような両者の特徴の良いほうを選択的に利用するために、視差ベクトル比較器１６は視差ベクトルＶｐ１と視差ベクトルＶｐ２を比較し、両者の絶対値の差を計算し、その差が所定値より大きいときは視差ベクトルＶｐ１がノイズの影響で信頼性が低いものと判断し、視差ベクトルＶｐ２を選択する。また、その差が所定値より小さいときは、視差ベクトルＶｐ１はノイズの影響を受けていないので、信頼性が高いと判断し、視差ベクトルＶｐ１を選択する。このような処理を画面全体にわたって行い、最終的な視差ベクトル群Ｖｐを出力し、これに基づいて距離計算器１０が対象物体までの距離Ｚを計算する。
【００１５】
（実施の形態２）
本発明の画像処理装置は静止画でも動画でも処理することができる。特に、動画を取り扱う場合は、フィルタとして、図１のローパスフィルタ１２，１４の代わりに、図２に示すように時間的な推移に着目したノイズ除去を行うノイズリダクション装置２２，２４を設けるのがよい。すなわち、ノイズリダクション装置２２，２４は時間軸方向で動き領域および静止領域を検出し、静止領域では、隣り合うフレームの同じ位置の画素データの平均値を用いることにより、時間軸方向に見たノイズリダクションを図る訳である。なお、２つの画素データの平均値を用いるのではなく、３つ以上の画素データを用い、それらの重み付け平均を用いてもよい。ノイズリダクション装置２２，２４の出力画像は対応点検出器１８において画素毎の対応付けを行って第２の視差ベクトルＶｐ２を生成する。
【００１６】
第１および第２の視差ベクトルＶｐ１，Ｖｐ２は視差ベクトル比較器１６に入力され、ここで比較される。視差ベクトルＶｐ１はフィルタを通さない生のデータに基づくものである。これに対して、視差ベクトルＶｐ２はフィルタを通したデータによって対応点を求めている。両視差ベクトルＶｐ１，Ｖｐ２の絶対値の差を計算し、その差が所定値より大きいときは視差ベクトルＶｐ１がノイズの影響で信頼性が低いものと判断し、視差ベクトルＶｐ２を選択する。また、その差が所定値より小さいときは、視差ベクトルＶｐ１はノイズの影響を受けていないので、信頼性が高いと判断し、視差ベクトルＶｐ１を選択する。このような処理を画面全体にわたって行い、最終的な視差ベクトル群Ｖｐを出力し、これに基づいて距離計算器１０が対象物体までの距離Ｚを計算する。
【００１７】
（実施の形態３）
実施の形態１におけるローパスフィルタ１２，１４、および実施の形態２におけるノイズリダクション装置２２，２４を縦続接続し両者の機能、すなわち平面的なフィルタ機能と時間的なフィルタ機能を併用することもできる。その場合、両者の特徴を併せ持った実施形態となる。
【００１８】
【発明の効果】
本発明によれば、入力画像にある程度のノイズが存在していても、誤対応を減少させることが可能となり、その結果、視差ベクトルの検出精度が良くなり、信頼性の高い距離計算をすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による３次元画像処理装置のブロック図。
【図２】本発明の実施の形態２による３次元画像処理装置のブロック図。
【図３】ステレオ画像による距離算出の原理を説明するための説明図。
【図４】公知の３次元画像処理装置のブロック図。
【符号の説明】
２  対象物体
４  撮像カメラ
６  撮像カメラ
８  対応点検出器（第１の対応点検出手段）
１０  距離計算器（距離計算手段）
１２  ローパスフィルタ（フィルタ手段）
１４  ローパスフィルタ（フィルタ手段）
１６  視差ベクトル比較器（視差ベクトル比較手段）
１８  対応点検出器（第２の対応点検出手段）
２２  ノイズリダクション装置（フィルタ手段）
２４  ノイズリダクション装置（フィルタ手段）
【図１】
0003912639.tif 000002
【図２】
0003912639.tif 000003
【図３】
0003912639.tif 000004
【図４】
0003912639.tif 000005