(57)【要約】【課題】容易かつ精確に物体を復元することである。【解決手段】本発明に係る物体復元装置１は、撮像部１１と平面定義部１２と投影変換部１３と投影点比較部１４と物体復元部１７とを備える。撮像部１１は、対象物Ａを撮影する。平面定義部１２は、三次元空間上に複数の平面を定義する。投影変換部１３は、撮影された対象物Ａの各画像を複数の平面に投影変換する。投影点比較部１４は、投影変換された各画像の画素値を比較する。物体復元部１７は、投影点比較部１４による比較の結果、画素値が一致する点の集合を三次元空間上の物体Ｂとして復元する。【選択図】　図１
2004086484.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影する第１及び第２の撮影手段と、
前記対象物の画像の投影変換先となる複数の平面を定義する定義手段と、
第１及び第２の撮影手段により撮影された対象物の各画像を、前記定義手段により定義された複数の平面に投影変換する投影変換手段と、
前記投影変換手段により投影変換された各画像の画素値を画素毎に比較する比較手段と、
前記比較手段による比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記対象物のエッジを検出する検出手段を更に備え、
前記定義手段は、前記検出手段により検出された前記エッジを使用して、複数の平面を定義することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像処理装置が、第１及び第２の撮影手段により対象物を撮影する撮影ステップと、
前記画像処理装置が、前記対象物の画像の投影変換先となる複数の平面を定義する定義ステップと、
前記画像処理装置が、前記撮影ステップにて撮影された対象物の各画像を、前記定義ステップにて定義された複数の平面に投影変換する投影変換ステップと、
前記画像処理装置が、前記投影変換ステップにて投影変換された各画像の画素値を画素毎に比較する比較ステップと、
前記画像処理装置が、前記比較ステップにおける比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、及び画像処理方法に関する。
【０００２】
【従来の技術】
従来、ステレオカメラにより撮影された画像を使用して、対象物の三次元位置を計測する技術が提案されている。例えば、特開２０００−２９３６９３号公報においては、以下に示す障害物検出方法及び装置が開示されている。当該方法及び装置は、三次元空間上の一点に関して、複数のステレオカメラにより撮影された画像間で対応付け（所謂対応点の探索）を行い、周知の三角測量法を用いて三次元位置を計測するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる計測技術を実現する為には、各ステレオカメラの位置、撮像方向、レンズの焦点距離、各カメラ間の相対位置などの諸データは元より、各データを用いた関係式のパラメータを予め算出しておく必要がある。ところが、パラメータを算出する処理（キャリブレーション）を実行するには、三次元空間上に既知の点を多数用意しておく必要があり、多大な労力と時間を要する。
【０００４】
この様な難点に鑑みて、複雑なキャリブレーションを行うことなく障害物を検出可能な平面投影ステレオ法が提案されている。平面投影ステレオ法は周知慣用な位置計測技術であるので詳細な説明は省略するが、三次元空間上に定義された平面上の点に関して、所定の変換式を用いて対応点を算出し、各点の画素値の異同に基づいて上記平面上に位置しない物体を検出する技術である。
【０００５】
これにより、例えば道路を平面と定義した場合に、当該平面上に位置しない点の集合が障害物として検出される。
ところが、かかる手法でも対応点の探索が必要となる。また、対象物を検出することは可能であっても、三次元空間上に存在する対象物を精確に復元することはできない。
【０００６】
そこで、本発明は、容易かつ精確に物体を復元可能な画像処理装置、及び画像処理方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、上記課題を解決する為、以下の様な特徴を備えている。
本発明に係る画像処理装置は、対象物を撮影する第１及び第２の撮影手段と、前記対象物の画像の投影変換先となる複数の平面を定義する定義手段と、第１及び第２の撮影手段により撮影された対象物の各画像を、前記定義手段により定義された複数の平面に投影変換する投影変換手段と、前記投影変換手段により投影変換された各画像の画素値を画素毎に比較する比較手段と、前記比較手段による比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元手段とを備える。
【０００８】
本発明に係る画像処理方法は、画像処理装置が、第１及び第２の撮影手段により対象物を撮影する撮影ステップと、前記画像処理装置が、前記対象物の画像の投影変換先となる複数の平面を定義する定義ステップと、前記画像処理装置が、前記撮影ステップにて撮影された対象物の各画像を、前記定義ステップにて定義された複数の平面に投影変換する投影変換ステップと、前記画像処理装置が、前記投影変換ステップにて投影変換された各画像の画素値を画素毎に比較する比較ステップと、前記画像処理装置が、前記比較ステップにおける比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元ステップとを含む。
【０００９】
これらの発明によれば、まず、空間上に複数の平面が定義される。続いて、第１及び第２の撮影手段により撮影された同一対象物の各画像が、定義された複数の平面に投影変換される。そして、投影変換された各画像の画素値が画素毎に比較され、画素値が一致する、前記各画像上の点の集合が、前記空間上の物体として復元される。したがって、空間上に存在する物体の復元に際して、従来必要であった対応点の探索を行う必要がない。また、空間上に定義される平面の数や向きは任意であるので、定義平面を多く採ったり、定義平面の向きを物体の境界面と平行に採ることにより、物体の復元精度が向上する。その結果、容易かつ精確に物体を復元することが可能となる。
【００１０】
本発明に係る画像処理装置において好ましくは、前記対象物のエッジを検出する検出手段を更に備え、前記定義手段は、前記検出手段により検出された前記エッジを使用して複数の平面を定義する。
【００１１】
本発明によれば、対象物のエッジが検出され、このエッジに基づいて複数の平面が定義される。すなわち、エッジが検出されることにより、対象物の端部が明確になり、平面を定義すべき範囲を精度良く認識することが可能となる。したがって、認識された範囲内で（対象物の端部を限界として）平面を定義することにより、撮影された対象物の画像が投影変換されることのない平面を定義するという無駄な処理を省略できる。その結果、物体の復元処理効率が向上される。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施の形態における物体復元装置１の機能的構成を示すブロック図である。図１に示す様に、物体復元装置１（画像処理装置に対応）は、撮像部１１と、投影変換部１３（投影変換手段に対応）と、平面定義部１２（定義手段に対応）と、投影点比較部１４（比較手段に対応）と、投票部１５と、定義平面制御部１６と、物体復元部１７（復元手段に対応）とを備える。好適には、物体復元装置１はエッジ検出部１８（検出手段に対応）を更に備える。これら各部は、各種信号の入出力が可能な様に電気的に接続されている。
【００１３】
撮像部１１は、同一の撮像対象物Ａ（対象物に対応）を異なる視点から撮影可能な２台の平行ステレオカメラ１１ａ，１１ｂ（第１及び第２の撮影手段に対応）により構成される。各カメラ１１ａ，１１ｂは、それぞれ画角及び画素数が等しく、撮像方向と垂直な方向の距離間隔は可変である。撮像部１１は、各カメラ１１ａ，１１ｂにより撮影されたステレオ画像を投影変換部１３に出力する。
【００１４】
平面定義部１２は、対象物Ａの存在するＸＹＺの三次元空間上に、Ｘ軸方向に所定の間隔を有するＹＺ平面を複数定義する。所定の間隔とは、撮像対象物Ａのサイズや撮影された画像の縮尺などにより異なるが、物体復元処理の精度を向上する観点から、短い間隔であることが望ましい。同様に、平面定義部１２は、ＸＹＺの三次元空間上に、Ｙ，Ｚ軸方向に所定の間隔を有するＸＺ，ＸＹ平面を複数定義する。
【００１５】
投影変換部１３は、撮像部１１から入力された各ステレオ画像を、平面定義部１２により定義されたＹＺ，ＸＺ，ＸＹのそれぞれの平面に投影変換する。投影変換の具体的手法については、動作説明において後述する。
【００１６】
投影点比較部１４は、各ステレオ画像からＹＺ，ＸＺ，ＸＹの各平面の略同位置に投影された全ての点（以下、「投影点」と記す。）の画素値を比較する。投影点比較部１４は、平面定義部１２により定義された全ての平面について、画素値の差が近似する投影点を検出する。
【００１７】
投票部１５は、投影点比較部１４により検出された投影点に対応する三次元空間上の全ての位置に、上記画素値を投票する。
定義平面制御部１６は、投影変換先の定義平面を層方向（例えば、定義平面がＹＺ平面の場合にはＸ軸方向）に移動する必要があるか否かを判定する。また、定義平面制御部１６は、当該判定の結果に応じて、定義平面を層方向に所定距離分移動させる。
【００１８】
物体復元部１７は、投影点比較部１４による比較の結果、画素値が一致する点の集合を三次元空間上の物体Ｂ（物体に対応）として復元する。
エッジ検出部１８は、撮像部１１により撮影された対象物Ａの画像から、周知慣用の手法によりエッジを検出し、対象物Ａの端部を特定する。
【００１９】
次に、図２〜図７を参照して、本実施の形態における物体復元装置１の動作を説明する。併せて、本発明に係る画像処理方法の各ステップについて説明する。
まず図２のＳ１では、撮像部１１は、ステレオカメラ１１ａ，１１ｂにより対象物Ａを撮影する。その結果、２つのステレオ画像が取得される。
【００２０】
続くＳ２では、平面定義部１２は、ＸＹＺの三次元空間上に、Ｘ軸に垂直なＹＺ平面を定義する。
Ｓ３では、投影変換部１３は、平面定義部１２によりＳ２で定義されたＹＺ平面に、一方のステレオ画像（ステレオカメラ１１ａによる撮影画像）を平面投影ステレオ法により投影変換する。
【００２１】
かかる投影変換処理は、周知慣用の座標系変換処理であるので、図示を含む詳細な説明は省略し、好適な処理例を以下簡略に説明する。すなわち、画像を平面に投影する際の座標系変換行列Ｈは、Ｈ＝Ｒ＋ｔｎＴ／ｄにより表される。ここで、Ｒはステレオカメラ１１ａ，１１ｂ間の回転行列であり、ｔはステレオカメラ１１ａ，１１ｂ間における平行移動量、ｎはキャリブレーション平面の法線ベクトル、ｄは０からキャリブレーション平面までの距離である。
【００２２】
平面投影ステレオ法による座標系変換は、変換前の座標をｇとし、変換後の座標をｇ’とすると、変換式ｇ’＝Ｈｇにより可能である。この座標系変換行列Ｈは、定義されたＹＺ平面上の４点以上の座標により算出可能である。ここで、定義されたＹＺ平面はＸ軸方向に移動することからＲは無視できる。したがって、ｄを一定量毎に変化させることにより、定義されたＹＺ平面を移動させることができる。座標系変換は、ＹＺ平面に限らず、ＸＺ平面、ＸＹ平面に関しても同様に可能である。
【００２３】
Ｓ４では、投影変換部１３は、Ｓ３と同一の手法を用いて、平面定義部１２によりＳ２で定義されたＹＺ平面に、他方のステレオ画像（ステレオカメラ１１ｂによる撮影画像）を平面投影ステレオ法により投影変換する。
【００２４】
Ｓ５では、投影点比較部１４は、Ｓ３及びＳ４において各ステレオ画像からＹＺ平面の略同位置に投影された全ての投影点の画素値を比較する。ここで、略同位置の点には、座標が完全に同一の点のみならず、一方の点から所定の範囲内（例えば５画素以内）に投影された周辺の点を含む。また、画素値は例えば、輝度（明度）、彩度などである。
Ｓ５における比較の結果、Ｓ２で定義された平面に関して、画素値の差が一定値以下である投影点が検出される。
【００２５】
Ｓ６では、投票部１５は、検出されたこれらの投影点に対応する三次元空間上の全ての位置に、上記画素値を投票する。図３は、定義平面Ｃ上に検出された複数の投影点Ｄ１，Ｄ２，Ｄ３を、三次元空間Ｅ上に投票する様子を概念的に示す図である。図３に示す様に、三次元空間Ｅは、多数の立方体（以下、「ボクセル」と記す。）により構成される。投影点Ｄ１，Ｄ２，Ｄ３は、三次元空間Ｅ上において同一の座標を有するボクセルに投票される。
【００２６】
Ｓ７では、定義平面制御部１６は、現時点で投影変換先となっている定義平面を層方向（例えば、ＹＺ平面の場合にはＸ軸方向，ＸＺ平面の場合にはＹ軸方向，ＸＹ平面の場合にはＺ軸方向）に移動する必要があるか否かを判定する。当該判定の結果、層方向への移動が必要であれば（Ｓ７；Ｙ）、定義平面制御部１６は、定義平面を層方向に所定距離分移動させる（Ｓ８）。
【００２７】
図４は、定義されたＹＺ平面の例を示す図である。図４に示す様に、ＹＺ平面は、Ｘの値を任意に設定することにより複数定義することが可能である。この様に、ＹＺ平面は、投票点を増やして物体の復元精度を高める為に、物体復元装置１の処理負荷及び速度を勘案した範囲内で極力多数定義されることが望ましい。なお、ＹＺ平面Ｘ１，Ｘ２の距離間隔ｄ１と、ＹＺ平面Ｘ２，Ｘ３の距離間隔ｄ２とは、必ずしも同一である必要はない。また、ｄ１，ｄ２は、ボクセルの一辺とは独立に決定される。
移動後は、Ｓ３に戻り、移動した定義平面に関して、上述したＳ３〜Ｓ７の一連の処理が実行される。
【００２８】
Ｓ７における判定の結果、層方向への移動が不要となった場合（Ｓ７；Ｎ）には、Ｓ９以降の処理に移行する。ここで、定義平面の移動の要否を判断する基準の好適な例について、図５を参照して説明する。図５は、検出されたエッジと接する様に定義されたＹＺ平面と対象物との位置関係を概念的に示す図である。図５において、エッジ検出部１８により、対象物Ｈのエッジ（境界線）が検出され、端部Ｇ１，Ｇ２が特定されている。
【００２９】
また、ＹＺ平面Ｘ４，Ｘ５は、端部Ｇ１，Ｇ２に接する様に定義されている。換言すれば、対象物ＨのＸ軸方向の最長距離ＬとＹＺ平面Ｘ４，Ｘ５間の距離Ｌ’とは等しい。すなわち、ＹＺ平面Ｘ４よりもＸ軸正方向には対象物Ｈは存在せず、ＹＺ平面Ｘ５よりもＸ軸負方向には対象物Ｈは存在しない。したがって、ＹＺ平面Ｘ４，Ｘ５をＸ軸方向の両端の定義平面（移動の限界）とすることにより、投影点の存在し得ない平面を定義することがない。これにより、必要最小限の定義平面を利用して、効率的な物体復元処理を実現できる。
なお、ＹＺ平面について代表的に説明したが、ＸＺ，ＸＹ平面に関しても同様の処理により同様の効果が得られる。
【００３０】
Ｓ９では、定義平面制御部１６は、現時点で投影変換先となっている定義平面を中心軸方向（例えば、ＹＺ平面の場合にはＺ軸を回転軸として，ＸＺ平面の場合にはＸ軸を回転軸として）に回転する必要があるか否かを判定する。当該判定の結果、軸方向への回転が必要であれば、定義平面制御部１６は、軸を中心に定義平面を所定角度（例えば９０度）分回転させる（Ｓ１０）。
回転後は、再びＳ３に戻り、回転された定義平面に関して、上述したＳ３〜Ｓ９の一連の処理が実行される。
【００３１】
例えば、Ｓ１０におけるＺ軸への回転角度が９０度（又は２７０度）、かつ、Ｓ８におけるＹ軸方向への移動距離がｄ３，ｄ４である場合には、図６に示す様に、多層のＸＺ平面Ｙ１，Ｙ２，Ｙ３が定義される。
なお、ｄ３とｄ４とは必ずしも同一である必要はない。また、ｄ３，ｄ４は、ボクセルの一辺とは独立に決定される。
【００３２】
同様に、Ｓ１０におけるＸ軸への回転角度が９０度（又は２７０度）、かつ、Ｓ８におけるＺ軸方向への移動距離がｄ５，ｄ６である場合には、図７に示す様に、多層のＸＹ平面Ｚ１，Ｚ２，Ｚ３が定義される。
なお、ｄ５とｄ６とは必ずしも同一である必要はない。また、ｄ５，ｄ６は、ボクセルの一辺とは独立に決定される。
【００３３】
図３に戻り、例えば各定義面の移動量ｅとボクセルの一辺長ｆとが等しい（ｅ＝ｆ）場合には、定義平面を三軸方向に設定した結果、三次元空間Ｅを構成するボクセルへの投票は、１ボクセル当たり３回ずつ行われる。これら３回の投票によるボクセルの画素値は、投票元の空間内の同一の点から得られた画素値であるので、同一のボクセルに関しては同一の画素値が得られる筈である。このため、異なる画素値が得られた場合には、投票元の空間内の点はノイズとして検出される。
【００３４】
同一のボクセルに関して、投票回数が４回以上の場合や２回以下の場合にも、投票元の空間内の点はノイズとして検出される。これにより、三次元空間Ｅの各ボクセルには、信頼度が所定値以上の点のみ投票されることになり、信頼性の高い投票点が復元物体Ｂを構成することになる。
【００３５】
また、例えば、各定義平面の移動量ｅよりもボクセルの一辺長ｆを長くとった場合（ｅ＜ｆ）には、同一の定義平面から得られた複数の画素値が１つのボクセルに投票されるので、ノイズの影響を低減できる。
Ｓ９における判定の結果、所定軸を中心とした回転が不要となった場合（Ｓ９；Ｎ）には、一連の物体復元処理に終了する。
【００３６】
以上説明した様に、本発明は、対象物が存在する座標が定義平面上の略同位置に投影変換される点に鑑みて、平面投影ステレオ法を用いた平面領域の検出技術を三次元物体の復元に応用する。すなわち、本発明に係る物体復元装置１は、対象物Ａの存在する三次元空間上にＹＺ，ＸＺ，ＸＹの平面が定義され、２台のステレオカメラ１１ａ，１１ｂにより撮影された対象物Ａの各画像が、定義された複数の平面に投影変換される。そして、投影変換された各画像の画素値が比較され、画素値が一致する点の集合が、三次元空間Ｅ上の物体Ｂとして復元される。
【００３７】
したがって、空間上に存在する物体の復元に際して、従来必要であった対応点の探索を行う必要がない。また、定義される平面の数や向きは任意であるので、定義平面を多く採ったり、定義平面の向きを物体の境界面と平行に採ることにより、物体の復元精度が向上する。例えば、物体復元装置１を、車両が自動駐車処理を実行する際の障害物検出に適用することにより、容易かつ精確に駐車経路を計画することができる。
【００３８】
なお、本発明は、上述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲において、適宜変形態様を採ることも可能である。例えば、本実施の形態では、まず一つの平面を定義し、その平面に対して移動処理及び回転処理を繰り返し実行することにより、複数の平面から画素値を投票するものとした。しかし、所定の距離間隔及び向きを有する複数の平面を予め定義しておき、それぞれの平面から同時に画素値を投票するものとしてもよい。
【００３９】
【発明の効果】
本発明によれば、容易かつ精確に物体を復元することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る物体復元装置の機能的構成を示すブロック図である。
【図２】物体復元処理を説明する為のフローチャートである。
【図３】画素値が近似する投影点を三次元空間上に投票する様子を概念的に示す図である。
【図４】定義されるＹＺ平面の例を示す図である。
【図５】検出されたエッジに接する様に定義されたＹＺ平面と対象物との位置関係を概念的に示す図である。
【図６】定義されるＸＺ平面の例を示す図である。
【図７】定義されるＸＹ平面の例を示す図である。
【符号の説明】
１…物体復元装置、１１…撮像部、１１ａ，１１ｂ…ステレオカメラ、１２…平面定義部、１３…投影変換部、１４…投影点比較部、１７…物体復元部、１８…エッジ検出部、Ａ…撮像対象物、Ｂ…復元物体
【図１】
2004086484.tif 000003
【図２】
2004086484.tif 000004
【図３】
2004086484.tif 000005
【図４】
2004086484.tif 000006
【図５】
2004086484.tif 000007
【図６】
2004086484.tif 000008
【図７】
2004086484.tif 000009