(57)【要約】【課題】小さな画像変換用バッファメモリで済み、かつ、早期にステレオマッチング処理を開始できるステレオマッチング装置を提供する。【解決手段】遅延差検出回路１４は、歪補正回路１１Ｌと歪補正回路１１Ｒからのデータの出力開始タイミングの差を検出する。そして、歪補正回路１１Ｌと歪補正回路１１Ｒの双方からデータの出力開始が開始されたときに、フレームメモリ読み出し制御回路１５とラインメモリ制御回路１７にトリガパルスを送信する。これにより、フレームメモリ１３Ｌ、１３Ｒから画像データが読み出されて、基準画像メモリ１６Ｌ、１６Ｒに入り、ラインメモリ制御回路１７、基準画像メモリ１６Ｌ、１６Ｒ、ステレオマッチング回路１８により、ステレオマッチングが行われる。【選択図】  図４
2008026088.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラにより一対の撮像画像を得て、一方の撮像画像における基準画像領域内の基準画像データと、他方の撮像画像における前記基準画像領域に対する画像データを比較するステレオマッチング処理手段を有するステレオマッチング装置であって、魚眼画像データ（等距離射影画像データ）を入力し、中心射影画像データを出力する画像変換用バッファメモリと、前記画像変換用バッファメモリの書き込み制御回路と、前記画像変換用バッファメモリの読み出し制御回路と、画像変換用参照座標を格納するメモリを備え、前記画像変換用バッファメモリのサイズが画像変換の最大垂直移動量によって決まる一対の画像変換装置と、前記一対の画像変換装置出力データの双方が出力され始めた時点で、前記ステレオマッチング処理を開始することを特徴とするステレオマッチング装置。
【請求項２】
ステレオカメラにより一対の撮像画像を得て、一方の撮像画像における基準画像領域内の基準画像データと、他方の撮像画像における前記基準画像領域に対する画像データを比較するステレオマッチング処理手段を有するステレオマッチング装置であって、魚眼画像データ（等距離射影画像データ）を入力し、中心射影画像データを出力する画像変換用バッファメモリと、前記画像変換用バッファメモリの書き込み制御回路と、前記画像変換用バッファメモリの読み出し制御回路と、画像変換用参照座標を格納するメモリを備え、前記画像変換用バッファメモリのサイズが画像変換の最大垂直移動量によって決まる一対の画像変換装置と、前記一対の画像変換装置出力データの双方が出力され始めた時点から、前記ステレオカメラの垂直方向視野のずれによって決定される時間だけ遅れたタイミングで、前記ステレオマッチング処理を開始することを特徴とするステレオマッチング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオマッチング装置に関するものである。
【背景技術】
【０００２】
ステレオカメラから得られた撮像画像に基づき、撮像画像中に映し出された対象物までの距離を算出するステレオマッチングが知られている。このような装置、及びステレオマッチングの方法については、例えば、特開２００１−９２９６８号公報（特許文献１）に詳しく記載されている。
【０００３】
ところで、このようなステレオカメラにおいて、広い範囲を撮像しようとするときには、等距離射影画像データを得ることができる魚眼レンズを使用して撮像を行い、得られたデータを画像処理により、通常のレンズを使用して得られる中心射影画像データに変換して用いることが、ステレオカメラの小型化の面から見て好ましい。
【０００４】
このような画像変換においては、一旦、全撮像データを画像変換用バッファメモリに読み込んでから画像変換を行うのが最も簡単な方法である。しかしながら、この方法では、全画像データを蓄積するだけの容量を有する画像変換用バッファメモリが必要となり、画像変換用バッファメモリの容量が大きくなるという問題点がある。又、全画像を画像変換用バッファメモリに読み込むまで画像変換処理ができず、画像変換に時間がかかるという問題点もある。
【特許文献１】特開２００１−９２９６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このような問題点を解決するために、発明者は、特殊な画像データ処理方法により、画像変換用バッファメモリの容量を小さくし、かつ、早期に画像変換を開始できる画像変換装置の発明を行い、特願２００５−３５０６９８号として特許出願している（「先願発明」という）。
【０００６】
その実施の形態の例を図１〜図３を用いて説明する。図１は、等距離射影画像データを中心射影画像データに変換する画像変換装置の概要を示すものである。１は魚眼レンズ、２はCMOSセンサを表している。３は画像変換を行うために画像データを貯めるデュアルポートＲＡＭからなるバッファ、４はそのバッファに画像データを書き込むアドレス及びタイミングを生成する書き込み制御回路、５はバッファから画像データを読み出すアドレス及びタイミングを生成する読み出し制御回路、６は等距離射影から中心射影に変換する際の座標変換情報を格納するメモリを表している。
【０００７】
以下、上記回路の動作について説明する。参照座標メモリ６には、通常中心射影座標を表示するために参照する、入力画像座標（等距離射影座標）が格納されている。バッファ３が横Ｘ、縦ＹのＸ＊Ｙピクセルの容量を持つとし、各ピクセルの画像データをＡ（ｉ，ｊ）で表す。参照座標メモリ６も横Ｘ、縦Ｙに対応する容量を有する。参照座標メモリ６のデータをＢ（ｍ，ｎ）で表す。
【０００８】
Ｂ（ｍ，ｎ）の座標（ｍ，ｎ）は、画像変換された後の各ピクセルの画像の座標を表し、Ｂ（ｍ，ｎ）には、変換後の座標（ｍ，ｎ）に対応する変換前の座標（ｉ，ｊ）の値が書き込まれている。よって、バッファ３に変換前の入力データを全部読み込んだ後、ｍ＝１〜Ｘ、ｎ＝１〜Ｙの組合せについて、（ｍ，ｎ）の座標を持つピクセルに、Ｂ（ｍ，ｎ）で決定される（ｉ，ｊ）に対応するバッファのピクセル格納されている画像データＡ（ｉ，ｊ）を書き込んで行くことにより、画像変換を行うことができる。
【０００９】
図２は１枚の画像を示し、その幅がwidthピクセル、縦がHightピクセルで構成されているとする。以下、図に示すように座標が（ｘ，ｙ）で示されるデータを１次元データとして、ｙ＊width＋ｘ番目のデータとして表すことがある。このようにすると、たとえば図１のバッファ３が１次元であるとき取り扱いが容易である。これは、画像データを、水平方向をラインとするラスタスキャンデータとして表していることを意味する。
【００１０】
魚眼レンズ１で撮像された物体の像が、CMOSセンサ２の撮像面に結像する。従来の書き込み制御回路４は、ラスタスキャンにより、CMOSセンサ２の値をバッファ３に書き込む。すなわちｙを０としてｘを０〜(width-1)まで変化させて対応するピクセルのデータを順次バッファ３に書き込み、それが終わるとｙを１だけインクリメントしてｘを０〜(width-1)まで変化させて対応するピクセルのデータを順次バッファ３に書き込む。これをｙが(height-1)となるまで繰り返す。
【００１１】
本実施の形態においては、バッファ３の容量は全画素に対するだけ持っておらず、かつ、全画素の読み込みが終わらないうちに画像変換と出力を開始することである。又、バッファ３は実際には１次元であるので、前述のような変換により実際のバッファのアドレスが計算される。バッファ３の容量は、全画素を記憶するだけ無いため、バッファ３が一杯になると、新しいデータが１個書き込まれるごとに、最も古いデータが１個捨てられる。これは、最も古いデータに、最も新しいデータを上書きすることにより実現できる。
【００１２】
書き込み制御回路４の書き込みアドレス（１次元に変換されたもの）を０から１，２，・・・と順にカウントアウトし（バッファサイズ−１）を超えると又０に戻して再びカウントアップする動作を繰り返して書き込みアドレスへの書き込みを行えばよい。
【００１３】
読み出し制御回路５は、画像同期信号を検出して、あるタイミングが来ると、出力されるデータによって形成される画像の画像データがラスタスキャンにより表示されるようにバッファ３からの出力制御を行う。すなわち、中心射影画像データとしてのアドレスのｙを０としてｘを０〜(width-1)まで変化させて対応するピクセルのデータを順次バッファ３にから読み出し、それが終わるとｙを１だけインクリメントしてｘを０〜(width-1)まで変化させて対応するピクセルのデータを順次バッファ３から読み出す。これをｙが(height-1)となるまで繰り返す。
【００１４】
この場合も、実際のアドレスは前述のように１次元化されている。又、バッファ３への書き込みが前述のように行われているので、最後のデータを読み終わると、最初に戻ってデータを読み出すサイクリックな読み出し方法により、有効データを読み出すことができる。
【００１５】
入力画像のピクセルと出力画像のピクセルとの関係は、参照座標メモリ６に格納されておおり、これに基づいて画像変換を行う。
【００１６】
ところで、本実施の形態においては、全画素の読み込みが終わらないうちに画像変換と出力を開始するので、バッファ３の容量が小さすぎると、出力すべきピクセルに対応する入力データがまだ読み込まれていなかったり、既に捨てられてしまっている場合がある。よって、バッファ３の容量は、こうしたことが起こらないように決定しなければならない。
【００１７】
図３（ａ）は正方形を魚眼レンズで撮影した画像を示しており、図３（ｂ）はそれを中心射影に変換した画像を示している。斜線部分は画像データがない無効領域を示している。
【００１８】
Ｙ方向（垂直方向）に座標移動（変換）する量で、上から下へ移動する最大量はd1で、下から上に移動する最大量はd2となる。d1とd2は無効領域の高さを示す。又、最大移動量d1が適用されるデータは、画像取り込み開始時から画像近傍中央のデータの取り込み時までに存在し、最大移動量d2が適用されるデータは、画像中央近傍のデータの取り込み時から画像取り込み終了時までに存在する。画像の中心付近は、移動量がd1、d2よりも小さくなる。なお、変換の順序は、左上から右下に向かって水平方向をラインとするラスタスキャンによって行われるものとする。
【００１９】
もし、バッファ３の容量がwidth＊d1だけあれば、画像変換を行おうとしたとき、対応する入力データが既に捨てられてしまってバッファ３中に残っていないということが無くなる。又、バッファ３の容量がwidth＊d2だけあれば、画像変換を行おうとしたとき、対応する入力データがまだ読み込まれていないということがなくなる。結局、本実施の形態のような方式を採用した場合には、バッファ３の容量としてwidth＊(d1+d2)だけ持っていれば、画像変換が可能となる。
【００２０】
又、読み出し制御回路５による画像変換の開始は、width＊d2だけのデータが読み込まれたときに開始すればよい。読み出し制御回路５に入力される画像同期信号を検出することで、開始のタイミングが分かる。
【００２１】
このように、先願発明によれば、バッファ３、すなわち画像変換用バッファメモリの容量を小さくできると共に、画像変換開始のタイミングを早めることができる。
【００２２】
しかしながら、上記の先願発明の技術を、ステレオマッチング装置に応用しようとすると、カメラのレンズと撮像素子との相対位置関係がカメラ毎に違う等の原因で、２つのステレオカメラにおいて、上記d2の大きさが異なることがある。前述のように、等距離射影画像データから中心射影画像データへの画像変換はwidth＊d2だけのデータが読み込まれたときに開始されるので、一方の画像変換装置から出力が出始めたタイミングでは、ステレオマッチングを開始することができず、双方のカメラから出力が出始めるまで、ステレオマッチングの開始を遅らせる必要がある。
【００２３】
又、双方のカメラの垂直方向（すなわち、ラスタスキャンの方向に垂直な方向）の視野にずれがあると、片方の画像変換装置から所定の撮像箇所の画像データが出力されても、他方の画像変換装置からは対応する箇所の撮像の画像データが出力されていない状態となる。この場合には、このような双方の画像変換装置の出力タイミングのずれをも考慮して、ステレオマッチング処理の開始を決定しなければならない。
【００２４】
本手段はこのような事情に鑑みてなされたもので、小さな画像変換用バッファメモリで済み、かつ、早期にステレオマッチング処理を開始できるステレオマッチング装置を提供することを課題とする。
【課題を解決するための手段】
【００２５】
前記課題を解決するための第１の手段は、ステレオカメラにより一対の撮像画像を得て、一方の撮像画像における基準画像領域内の基準画像データと、他方の撮像画像における前記基準画像領域に対する画像データを比較するステレオマッチング処理手段を有するステレオマッチング装置であって、魚眼画像データ（等距離射影画像データ）を入力し、中心射影画像データを出力する画像変換用バッファメモリと、前記画像変換用バッファメモリの書き込み制御回路と、前記画像変換用バッファメモリの読み出し制御回路と、画像変換用参照座標を格納するメモリを備え、前記画像変換用バッファメモリのサイズが画像変換の最大垂直移動量によって決まる一対の画像変換装置と、前記一対の画像変換装置出力データの双方が出力され始めた時点で、前記ステレオマッチング処理を開始することを特徴とするステレオマッチング装置である。
【００２６】
前記課題を解決するための第２の手段は、ステレオカメラにより一対の撮像画像を得て、一方の撮像画像における基準画像領域内の基準画像データと、他方の撮像画像における前記基準画像領域に対する画像データを比較するステレオマッチング処理手段を有するステレオマッチング装置であって、魚眼画像データ（等距離射影画像データ）を入力し、中心射影画像データを出力する画像変換用バッファメモリと、前記画像変換用バッファメモリの書き込み制御回路と、前記画像変換用バッファメモリの読み出し制御回路と、画像変換用参照座標を格納するメモリを備え、前記画像変換用バッファメモリのサイズが画像変換の最大垂直移動量によって決まる一対の画像変換装置と、前記一対の画像変換装置出力データの双方が出力され始めた時点から、前記ステレオカメラの垂直方向視野のずれによって決定される時間だけ遅れたタイミングで、前記ステレオマッチング処理を開始することを特徴とするステレオマッチング装置である。
【発明の効果】
【００２７】
本発明によれば、小さな画像変換用バッファメモリで済み、かつ、早期にステレオマッチング処理を開始できるステレオマッチング装置を提供することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態の例を、図を用いて説明する。図４は、本発明の第１の実施の形態であるステレオマッチング装置の概要を示す図である。左側魚眼レンズ１Ｌで撮像された物体の像が、CMOSセンサ２Ｌの撮像面に結像する。そして、図１の構成を備えた歪補正回路１１Ｌにより、等距離射影画像データが中心射影画像データに変換される。このデータは、書き込み制御回路１２Ｌに制御されてフレームメモリ１３Ｌに書き込まれる。
【００２９】
同様、右側魚眼レンズ１Ｒで撮像された物体の像が、CMOSセンサ２Ｒの撮像面に結像する。そして、図１の構成を備えた歪補正回路１１Ｒにより、等距離射影画像データが中心射影画像データに変換される。このデータは、書き込み制御回路１２Ｒに制御されてフレームメモリ１３Ｒに書き込まれる。
【００３０】
一方、遅延差検出回路１４は、歪補正回路１１Ｌと歪補正回路１１Ｒからのデータの出力開始タイミングの差を検出する。そして、歪補正回路１１Ｌと歪補正回路１１Ｒの双方からデータの出力開始が開始されたときに、フレームメモリ読み出し制御回路１５とラインメモリ制御回路１７にトリガパルスを送信する。これにより、フレームメモリ１３Ｌ、１３Ｒから画像データが読み出されて、基準画像メモリ１６Ｌ、比較画像メモリ１６Ｒに入り、特許文献１に記載されるような方法により、ラインメモリ制御回路１７、基準画像メモリ１６Ｌ、比較画像メモリ１６Ｒ、ステレオマッチング回路１８により、ステレオマッチングが行われる。
【００３１】
以下、遅延差検出回路１４の作動について説明する。図５は、中心射影画像データに変換された、左右の画像データを示すもので、図３（ｂ）に対応する。ハッチングを施した部分が無効データである。この無効データのうち、ステレオマッチングを開始する前にバッファ３に読み込んでおかなければならないライン数に該当する無効データのライン数は、左側画像データに対してdlライン分、右側画像データに対してdrライン分あるものとする（dr＞dlとする）。そして、歪補正回路１１Ｌ、１１Ｒから、それぞれdlライン分又はdrライン分、バッファ３に読み込まれた時点で、信号VDが出力される。又、この出力とともに信号HDが出力され、バッファ３から中心射影画像データも順次出力される。
【００３２】
図６に、遅延差検出回路１４のタイムチャートを示す。左側VDの立ち上がりと右側VDの立ち上がりには、td=(dr-dl)＊（１ラインの時間）だけのずれがある。よって、左側VDと右側VDが両方立ち上がったときに、トリガパルスを発生して、前述のようにフレームメモリ読み出し制御回路１５とラインメモリ制御回路１７に送信し、ステレオマッチングを開始させればよい。
【００３３】
図６に示すようなタイムチャートを発生する回路を図７に示す。ANDはアンド回路、DFFはＤフリップフロップ（Ｄラッチ）である。Ｄフリップフロップは、画像クロックが入力されたときの入力信号を１画像クロック分だけ保持する。INVはインバータである。図７に示すような回路が、図６に示すようなタイムチャートに従ってトリガパルスを発生させることは、説明の必要がないであろう。
【００３４】
以下、本発明の第２の実施の形態の例を説明する。この実施の形態においては、左右のカメラの視野範囲が、垂直方向（ラスタスキャンの走査方向に垂直な方向）にずれているものとする。この様子を図８に示す。図８（ａ）はエピポーララインを合わせたときに、同じ点についての右側の画像の入力が、左側の画像の入力に対してdvライン分遅れている場合を示すものである。この場合、前述のようにdr＞dlであるとすると、左側VDと右側VDが両方立ち上がってから、さらにtd＝dv＊（１ラインの時間）は、ステレオマッチングができないことになる。よって、左側VDと右側VDが両方立ち上がってから、tdだけの時間が経過してからステレオマッチングを開始すればよい。
【００３５】
図８（ｂ）は、エピポーララインを合わせたときに、同じ点についての左側の画像の入力が、右側の画像の入力に対してdvライン分遅れている場合を示すものである。この場合は、(dr−dl)＞dvの関係があるときは、dvによる遅れは、VDの立ち上がり時間差の中に吸収されてしまうので、第１の実施の形態と同じように、左側VDと右側VDが両方立ち上がったタイミング（td＝０だけの遅延）でステレオマッチングを開始すればよい。
【００３６】
一方、(dr−dl)＜dvの関係にあるときは、drとdlの差は、dvの中に吸収されてしまうので、左側VDの立ち上がりからdv＊（１ラインの時間）だけ遅れたタイミング、すなわち、左側VDと右側VDが両方立ち上がったタイミングから、td＝{dv−(dr−dl)}＊（１ラインの時間）だけ遅れたタイミングでステレオマッチングを開始すればよい。
【００３７】
図９は、このような本発明の第２の実施の形態であるステレオマッチング装置の概要を示す図である。図９において、図４に示された構成要素と同じ構成要素には、同じ符号を付してその説明を省略する。又、図９の回路のタイムチャートを図１０に示す。
【００３８】
図９に示す回路においては、カメラ側にEEPROM２１が設けられており、その中には、前述のdvの値と、左側VDと右側VDの両方が立ち上がってから更に遅延させる時間tdの値、左側画面と右側画面がどちらが先か、すなわち、図８（ａ）の状態にあるのか図８（ｂ）の状態にあるのかを示す情報が書き込まれている。
【００３９】
ｄvを補正量として使うのは、図８のようにずれ量dvがあると、ステレオマッチングが可能な垂直区間も変わる、すなわち、ステレオマッチング開始位置や終了位置が変わるためである。
【００４０】
本実施の形態では、右側画像の１画素目を遅いVDからの遅れ時間（td）とし、２画素目をずれ量dvとCMOSセンサの位置関係とした。２画素目は、１０bit中の０〜７bitをdvとし、bit８をCMOSセンサの位置関係とした。Bit８は”０”で、図８の（ａ）のときの遅延差検出及び補正量読み取りブロックの動作をタイムチャートで表している。タイムチャート上のデータ値は１６進表記である。
【００４１】
ここで、左右の歪補正出力の水平同期信号（HD）の立ち上がり時間はそろっているものとする。補正量である右側画像の１画素目は、後述するカウンタ出力の使用条件から、td+1(=dv+1)の値にしている。
【００４２】
この実施の形態においては、これらの情報を、カメラ側から、右側画像データの無効部分に、画像データの一部として書き込んで、画像処理装置側に送るようにしている。これにより、カメラと画像処理装置とを結ぶ配線を少なくできる。
【００４３】
EEPROM２１のデータは、EEPROM読み出し制御回路２２の制御を受けて、前述の遅延時間である「４」と、情報「003」をシフトレジスタ２３に送ってシリアルデータとする。セレクタ２４は、EEPROM読み出し制御回路２２からの信号を受けて、歪補正回路１１Ｒからのデータと、シフトレジスタ２３からのデータを選択して、フレームメモリ１３Ｒに送る。フレームメモリ１３Ｒに送られるデータは、分岐されて遅延差検出及び補正量読み取り回路２５に送られる。
【００４４】
図１０のフローチャートにおいて、左側VDと右側VDの双方が立ち上がった時点で、右側画素データにシフトレジスタ２３からのデータが入力される。それと同時に、補正量読み取りパルス１が１画像クロック分だけHighになり、遅延差検出及び補正量読み取り回路２５に送られる。次の画像クロックに同期して、補正量読み取りパルス２が１画像クロック分だけHighになり、遅延差検出及び補正量読み取り回路２５に送られる。遅延差検出及び補正量読み取り回路２５は、補正量読み取りパルス１のHighを検出して、セレクタ２４のデータを読み取り、補正データ１として記憶する（すなわち、遅延時間である「４」が記憶される。又、遅延差検出及び補正量読み取り回路２５は、補正量読み取りパルス２のHighを検出して、セレクタ２４のデータを読み取り、補正データ２として記憶する（すなわち、情報「003」が記憶される。）
一方、左側VDと右側VDの双方が立ち上がった時点から２画像クロックだけ遅れて、カウンタロードパルスが１画像クロック分だけHighになり、そのHighを検出して、カウンタ（図示せず）に遅延時間である４がロードされる。このカウンタは、１ラインの開始で１クロック分だけHighになる信号HDのHighを検出して、１ずつデクリメントされる。そして、カウンタの値が１となった段階で、画像クロックに同期して、１画像クロックの長さのトリガパルスが発生する。このトリガパルスは、フレームメモリ読み出し制御回路１５とラインメモリ制御回路１７に入力され、これにより、フレームメモリ１３Ｌ、１３Ｒからの読み出しとステレオマッチング処理が開始される。
【図面の簡単な説明】
【００４５】
【図１】等距離射影画像データを中心射影画像データに変換する画像変換装置の概要を示す図である。
【図２】１枚の画像を示す図である。
【図３】（ａ）は正方形を魚眼レンズで撮影した画像を示す図、（ｂ）はそれを中心射影に変換した画像を示す図である。
【図４】本発明の第１の実施の形態であるステレオマッチング装置の概要を示す図である。
【図５】中心射影画像データに変換された、左右の画像データを示す図である。
【図６】遅延差検出回路のタイムチャートである。
【図７】図６に示すようなタイムチャートを発生する回路を示す図である。
【図８】左右のカメラの視野範囲が、垂直方向（ラスタスキャンの走査方向に垂直な方向）にずれている様子を示す図である。
【図９】本発明の第２の実施の形態であるステレオマッチング装置の概要を示す図である。
【図１０】図９に示す回路のタイムチャートである。
【符号の説明】
【００４６】
１，１Ｌ、１Ｒ…魚眼レンズ、２，２Ｌ，２Ｒ…CMOSセンサ、３…バッファ、４…書き込み制御回路、５…読み出し制御回路、６…参照座標メモリ、１１Ｌ，１１Ｒ…歪補正回路、１２Ｌ，１２Ｒ…書き込み制御回路、１３Ｌ，１３Ｒ…フレームメモリ、１４…遅延差検出回路、１５…フレームメモリ読み出し制御回路、１６Ｌ，１６Ｒ…基準画像メモリ、１７…ラインメモリ制御回路、１８…ステレオマッチング回路、２１…EEPROM、２２…EEPROM読み出し制御回路、２３…シフトレジスタ、２４…セレクタ、２５…遅延差検出及び補正量読み取り回路
【図１】
2008026088.tif 000003
【図２】
2008026088.tif 000004
【図３】
2008026088.tif 000005
【図４】
2008026088.tif 000006
【図５】
2008026088.tif 000007
【図６】
2008026088.tif 000008
【図７】
2008026088.tif 000009
【図８】
2008026088.tif 000010
【図９】
2008026088.tif 000011
【図１０】
2008026088.tif 000012