(57)【要約】【課題】視差精度を向上し、正確な距離を出力する。【解決手段】視点の異なる複数の画像を撮像するステレオ撮像部１０１と、複数の画像を撮像する際に撮像時刻を同期させる同期部２１２と、ステレオ撮像部１０１により撮像された複数の画像を平行化して出力する画像補正部２０４，２０５と、画像補正部２０４，２０５で出力される画像に基づいて視差を検出する視差計測部２０６と、視差計測部２０６で計測された視差に基づいて物体を検出する物体検出部２０７と、を備え、同期部２１２によって同期された撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部２０８，２０９と、遅延量保持部２０８，２０９が保持する遅延時間に基づいて物体検出部２０７によって検出された物体の視差を補正する物体視差補正部２１０と、を備える。【選択図】図２
2019062255.tif 000002
【特許請求の範囲】
【請求項１】
視点の異なる複数の画像を撮像するステレオ撮像部と、
複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、
前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、
前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、
前記視差計測部で計測された視差に基づいて物体を検出する物体検出部と、
を備えるステレオ画像処理装置であって、
前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、
前記遅延量保持部が保持する前記遅延時間に基づいて前記物体検出部によって検出された前記物体の前記視差を補正する物体視差補正部と、
を備えることを特徴とするステレオ画像処理装置。
【請求項２】
請求項１に記載のステレオ画像処理装置において、
前記ステレオ撮像部は、ローリングシャッター方式であって、
前記物体視差補正部は、前記物体検出部で検出された前記物体の横速度に伴う視差計測誤差を補正する
ことを特徴とするステレオ画像処理装置。
【請求項３】
請求項１又は２に記載のステレオ画像処理装置において、
前記物体視差補正部は、前記物体検出部で検出された前記視差の点群が同一の横速度を有するとみなす
ことを特徴とするステレオ画像処理装置。
【請求項４】
請求項１に記載のステレオ画像処理装置において、
前記遅延量保持部は、前記画像補正部の出力に基づいて算出されることを特徴としたステレオ画像処理装置。
【請求項５】
視点の異なる複数の画像を撮像するステレオ撮像部と、
複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、
前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、
前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、
を備えるステレオ画像処理装置であって、
前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、
前記ステレオ撮像部又は前記ステレオ撮像部が搭載された車両の動き情報を取得する動き情報取得部と、
前記遅延量保持部の保持する前記遅延時間と、前記動き情報取得部の取得する動き情報とに基づいて、前記視差計測部によって計測された前記視差を補正する視差画像補正部と、
を備えることを特徴とするステレオ画像処理装置。
【請求項６】
請求項５に記載のステレオ画像処理装置において、
前記ステレオ撮像部は、ローリングシャッター方式であって、
前記物体視差補正部は、前記ステレオ撮像部の横速度に伴う前記視差の誤差を補正する
ことを特徴とするステレオ画像処理装置。
【請求項７】
請求項６に記載のステレオ画像処理装置において、前記ステレオ撮像部の前記横速度が所定より大きい時に前記視差の補正をする
ことを特徴とするステレオ画像処理装置。
【請求項８】
視点の異なる複数の画像を撮像するステレオ撮像部と、
複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、
前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、
前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、
を備えるステレオ画像処理装置において、
前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、
前記ステレオ撮像部又は前記ステレオ撮像部が搭載された車両の動き情報を取得する動き情報取得部と、
前記遅延量保持部の保持する前記遅延時間と、前記動き情報取得部の取得する動き情報とに基づいて、前記視差計測部によって計測された前記視差を補正する視差画像補正部と、
前記視差画像補正部によって補正された前記画像を用いて立体物を検出する物体検出部と、
前記物体検出部で出力される前記立体物の視差を前記遅延量保持部から補正する物体視差補正部と、
を備えることを特徴とするステレオ画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像処理装置に関する。
【背景技術】
【０００２】
近年、撮像した画像に基づいて対象物を認識する画像認識装置である車載カメラ装置の普及により、安全運転や自動運転に向けた各種認識機能への要求が高まってきている。なかでも、左右に２つカメラを並べて物体検出を行うステレオカメラ装置は、画像による視覚的な情報と、対象物への距離情報を同時に計測するため、自動車周辺の様々な対象物（人、車、立体物、路面、路面標識、看板標識など）を詳細に把握でき、運転支援時の安全性の向上にも寄与するとされている。
【０００３】
ステレオカメラは、左右のカメラで撮像される同一物体の位置の差分から距離を算出する。この差分を視差という。距離が遠ければ遠いほどこの視差は小さくなり、距離が近ければ近いほど視差は大きくなる。視差をｄ、距離をＺとすると、その関係は反比例の関係にあり以下のように示される。
Ｚ=α／ｄ
但しαはカメラ固有の値であり、レンズの焦点距離（ｆ）、画素の物理サイズ（ｃ）、カメラ間の距離の基線長（Ｂ）からα＝ｆＢ／ｃで計算される。
【０００４】
ステレオカメラにおいて、撮像はカメラの時刻同期がなされた状態で取得する必要がある。もしカメラの同期がずれた状態、すなわち片方に時間遅れが発生している状態で取得した場合、例えば横方向に移動する物体は誤った視差が観測されてしまう。結果としてその物体までの距離を誤って推定することになる。特にローリングシャッターで撮像する方式においては、その傾向が顕著になる。ローリングシャッターは画像のラインごとに逐次的に撮像を実施するため、ライン間でも時刻の遅延が発生するためである。
【０００５】
時刻ずれを回避するためには、特許文献１のように、カメラの撮像時に時刻同期機能を有する例がある。両方のカメラに対して同期信号を送付することで撮像時刻の同期を取る。また特許文献２では、ローリングシャッターを用いてかつ異なる画角のカメラの同期を取る手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１４５０７２号公報
【特許文献２】特表２０１６−５１４２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１、特許文献２ともにステレオカメラの撮像に必要な同期の機構について述べられているが、カメラ（特にローリングシャッター方式）のレンズゆがみが大きい場合に発生する視差の誤計測については述べられていない。
【０００８】
ローリングシャッター時の視差の誤計測とは、左右のカメラにおけるレンズゆがみに起因する問題である。同じ物体を撮像しているラインが左右のカメラで異なり、かつ被写体までの距離にそのラインのずれ量が異なると、同じ物体に対して左右で撮像時刻が異なるため、視差を誤推定するという問題である。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、視点の異なる複数の画像を撮像するステレオ撮像部と、複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、前記視差計測部で計測された視差に基づいて物体を検出する物体検出部と、を備えるステレオ画像処理装置であって、前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、前記遅延量保持部が保持する前記遅延時間に基づいて前記物体検出部によって検出された前記物体の前記視差を補正する物体視差補正部と、を備える。
【発明の効果】
【００１０】
本発明によれば、視差精度を向上し、正確な距離を出力できる。
【図面の簡単な説明】
【００１１】
【図１】車載ステレオカメラの構成を説明する図
【図２】視差を立体物検出に基づいて補正するステレオカメラの構成を説明する図
【図３】ステレオカメラで撮像される画像を説明する図
【図４】立体物検出に基づいて視差を補正する構成を説明する図
【図５】車両情報に基づいて視差画像を補正するステレオカメラの構成を説明する図
【図６】車両情報に基づいて視差画像を補正する構成を説明する図
【図７】車両情報と立体物検出に基づいて視差を補正するステレオカメラの構成を説明する図
【発明を実施するための形態】
【００１２】
ステレオカメラを用いた車両制御システムを図１に示す。ステレオカメラ（ステレオ撮像部）１０１は車両１０２に搭載され、例えば前方の物体１０３までの距離や相対速度を計測して車両制御部１０４に送信する。車両制御部１０４は、物体までの距離や相対速度からブレーキやアクセルの制御を決定し車両を制御する。
【００１３】
ステレオ画像処理装置の第一の形態を図２に示す。ステレオカメラ２０１は、左右に撮像部を備え、左画像取得部２０２と右画像取得部２０３で一対の画像を取得する。
【００１４】
また、各画像のゆがみ補正や平行化を実施する左画像補正部（画像補正部）２０４、右画像補正部（画像補正部）２０５を有する。
【００１５】
また、平行化された左右の画像で同じ物体が映る位置を特定し、その左右画像間の位置の差分を視差として、画像座標ごとに求めて視差画像として算出する視差画像取得部（視差計測部）２０６を備える。ここで得られた視差画像は、相対的に横速度が発生している物体を撮像したとき、特に自車両が旋回している時などに誤った視差を計測することがある。
【００１６】
物体検出部２０７では、取得した視差画像から立体物などを検出する。
【００１７】
物体視差補正部２１０は、左画像遅延時間保持部（遅延量保持部）２０８と右画像遅延時間保持部（遅延量保持部）２０９から得られた遅延時間の情報から、視差のずれ量を推定して補正する機能を有する。距離算出部２１１では、このようにして補正された情報から外界の物体の距離や相対速度を算出してステレオ画像処理装置の外に送信する。なお、同期信号発生部（同期部）２１２は左右画像の取得タイミング、撮像タイミングを合わせる機能を持ち、これにより左画像と右画像は同じタイミングで撮像を開始できる。
【００１８】
次に、具体的に画像取得から流れを追って説明する。
【００１９】
左画像取得部２０１と右画像取得部２０２で取得された画像データは、特に広角レンズにおいてレンズゆがみを持って撮像される。その例を図３に示す。格子模様の板３０１をステレオカメラ３０２で撮像する。取得された画像は補正前左画像３０３、補正前右画像３０４の様に樽型ゆがみを持つ。このようなレンズ歪みは、視差画像を補正する左画像補正部２０４、右画像補正部２０５によって補正され、補正後左画像３０５、補正後右画像３０６の様に格子模様から歪みが無くなるように補正される。
【００２０】
ここで、特にゆがみが大きい端の領域において、左右の画像を比較すると異なるラインに同一の物体が撮像される。板３０１上の点３０８は、補正前左画像、補正前右画像にそれぞれ点３０９、３１０として撮像されるが、破線幅３１１が示す通り、補正前画像においては左右で異なるラインに同じ物体が撮像されている。
【００２１】
同様に、板３０１上の星点３１２も、補正前左画像、補正前右画像にそれぞれ点３１３、３１４として撮像され、この点も破線幅３１５が示す通り左右で異なるラインで撮像される。
【００２２】
撮像ラインが異なるということは、ローリングシャッター方式のカメラにおいては撮像時刻が異なるということである。この時刻ずれ量は異なる破線幅３１１、３１５の示す幅が異なることから見て取れるように物体の位置によって異なり、対象物までの距離によっても異なる。撮像時刻が異なる場合、対象物が（Ａ）相対的に横移動しない場合と（Ｂ）横移動する場合を比べると、同じ奥行距離を持つ場合であっても、左右画像間の視差は（Ｂ）において誤差を含む。視差が誤差を含むと式１において誤った距離を算出する。
【００２３】
左画像補正部２０４、右画像補正部２０５で画像３０５、画像３０６の様に補正された画像は、視差画像取得部２０６において視差画像に変換される。左右画像は左右で異なったタイミングで撮像されているため、相対的に横速度が発生している物体に対しては、誤差をもって計測される。
【００２４】
この視差の誤差は、自車両は横方向の移動が無いと仮定して、対象物の実世界上での横速度をｖｘ、左右画像間の取得時刻ずれをｄｌｙとすると以下の様に記載できる。
ｆＢ／ｃ＊ｖｘ＊ｄｌｙ・・・（式１）
ここで画像上での横速度をｖｉと表記して、
ｖｉ＊ｄｌｙ・・・（式２）
と表記しなおす。ｄｌｙは左右画像間の相対的な時刻ずれ量であり、それは画素の位置に依存するため、右画像の取得時刻ずれと左画像の取得時刻ずれを用いて以下の様に書き下すことができる。
ｄｌｙ＝ｓＲ（ｘ，ｙ）−ｓＬ（ｘ＋ｄ（ｘ、ｙ），ｙ）・・・（式３）
但し、ｓＲは平行化後の画像座標をｘ、ｙとしたときの右画像の規準時刻からの取得時刻ずれ、ｓＬはｘ、ｙにおける左画像の規準時刻からの取得時刻ずれを示す。ｄ（ｘ、ｙ）は同じ物体が撮像されている点における左右画像の横位置の変位、つまりは観測された視差そのものを示す。よって、本来の視差Ｄ（ｘ，ｙ）は上記の式をまとめると以下のように書くことができる。
Ｄ（ｘ，ｙ）＝ｄ（ｘ、ｙ）−ｖｉ＊（ｓＲ（ｘ，ｙ）−ｓＬ（ｘ＋ｄ（ｘ、ｙ），ｙ））・・・（式４）
（式４）と図２の対応において、左画像遅延時間保持部２０８はｓＬ（ｘ、ｙ）を保持し、右画像遅延時間保持部２０９はｓＲ（ｘ，ｙ）を保持する。
【００２５】
次に、この遅延時間保持部の実現手段について示す。
【００２６】
左画像遅延時間保持部２０８、右画像遅延時間保持部２０９は、ある同期された時刻から座標ｘ、ｙが撮像されたときの時間を保持する。この時間は例えば以下のように求めることができる。
【００２７】
撮像手段から取得された補正前左右画像をそれぞれＬ´（ｘ１、ｙ１）、Ｒ´（ｘ２、ｙ２）と置く。これらは平行化処理がなされる前の画像座標である。この補正前左画像Ｌ´から補正後左画像Ｌへの変換は通常なんらかの数式や、入力座標と出力座標が対応付けられたテーブルによって表現される。例えば、この写像もしくは変換式を、
ｘ＝ｆＬ＿ｘ（ｘ１，ｙ１）、ｙ＝ｆＬ＿ｙ（ｘ１，ｙ１）・・・（式５）
で表せるとする。
【００２８】
撮像手段から取得された補正前画像の撮像開始タイミングをＴ０とし、次に補正前画像の位置ｘ１、ｙ１における撮像タイミングをＴＬ（ｘ１，ｙ１）と置く。このタイミングはラインごとにリニアに撮像される場合は、
ＴＬ（ｘ１，ｙ１）＝Ｔ０＋α＊ｙ１＋β＊ｘ１・・・（式６）
で表される。つまりＴ０からの遅れ時間ΔＬ（ｘ１、ｙ１）は、
ΔＬ（ｘ１、ｙ１）＝α＊ｙ１＋β＊ｘ１・・・（式７）
ここで、α、βは適当な係数であり、αは補正前画像の一つのラインを撮像するのにかかる時間、βは１ピクセルを撮像するのにかかる時間である。
【００２９】
（式５）、（式６）より、補正後の画像座標（ｘ、ｙ）が定まれば補正前画像座標（ｘ１、ｙ１）の位置が一意に定まるから、Ｔ０からの各座標における遅れ時間が推定できる。
【００３０】
以上の説明は補正前左画像と補正後左画像の関係と、遅延時間の取得手段であったが、同様のことが右画像にも適用できる。補正前右画像と補正前左画像で共通な値は撮像開始タイミングＴ０であり、これは左右の撮像タイミングを同期させたことと等しい。
【００３１】
（式５）に示したｆＬ＿ｘ、ｆＬ＿ｙの実現方法には、まず入力画像の画素と出力画像の画素を一対一に対応付けた参照テーブルが考えられる。一般には出力画像の画像座標１点に対して入力画像のある座標一点が対応付けられる。この場合、非常に複雑なレンズ歪みでも表現できる。この参照テーブルを用いることで（式７）の様な変換式を介せば、遅延量保持手段で用いる遅延量を算出することができる。遅延量の算出は算出テーブルから毎回演算して求めてもよいし、演算結果のみを記録してもよい。
【００３２】
次に、一般に知られるモデル式を用いる方法も考えられる。例えば、歪みの大きいレンズでは、正射影、等距離射影、等立体角射影、立体射影等が射影モデルとして考えられる。そのため、それぞれの射影方式に応じたモデル式を使用することが考えられる。歪みの少ないレンズでは、例えば以下のような式が一般的に用いられる。
ｘ＝（１＋ｋ１＊ｒ２＋ｋ２＊ｒ４）ｘ１
ｙ＝（１＋ｋ１＊ｒ２＋ｋ２＊ｒ４）ｙ１
但し、ｒ２＝ｘ１＊ｘ１＋ｙ１＊ｙ１、ｋ１、ｋ２は歪みの度合いを決める変数である。
【００３３】
参照テーブル方式は、画素ごとに一対一の対応付けが必要なため、基本的にはすべての出力画素に対して入力がその位置を記録する必要があり、大きなメモリ容量を必要とするがモデル式であればモデルで表現されるパラメータを記憶すればよいのでメモリ容量は小さくて済む。
【００３４】
なお、シャッター速度など撮像手段の設定に遅延時間が依存する場合、シャッター時間ごとに（式７）を持つことにより、その依存性を解消できる。外界を撮像するカメラにおいて、シャッター速度を外界環境に合わせて変更することは自然である。そのため、カメラが現在使用しているシャッター速度に応じて、（式７）に現れる係数を変更することにより、正しい補正を得ることができる。
【００３５】
次に、視差補正手段の方法について述べる。
（式４）における補正式によると、ｄは観測値、ｓＲ、ｓＬは固定値であるから既知の変数であるが、Ｄとｖｉは未知の変数であるため、一つの式から直接Ｄを導出することはできない。
【００３６】
Ｄを求めるためには、例えば図４の様な補正手段が考えられる。図４では、まず物体検出部２０７にて物体を抽出する。物体の抽出は、同じような視差を持つピクセルを集合することで可能であり、その手段は問わない。一つの物体は通常数ピクセル〜数万ピクセルの塊で構成される。一つの物体は同じ横速度（ｖｉ）と視差（Ｄ）を持つと仮定すると、（式４）の２つの未知変数に対してサンプル点による複数の式を構築することができる。そのため、優決定系（Overdetermined system）となり、各サンプル点の情報から最小二乗法などの最適化問題を解くことで、横速度ｖｉ及び物体の視差Ｄを求めることができる。この最小二乗法で使われるサンプル点は、信頼度の高い点などから選択して良い。図４において物体内視差点群取得部４０１では、物体検出部２０７で検出された物体に属する視差の（サンプル）点群４０３を取得し、物体視差推定部４０２で上記のような問題を解いて物体の視差Ｄを求めて出力する。
【００３７】
なお、図１の様な物体検出による補正のほかに、視差画像を直接補正することも考えられる。この場合、外界にある物体を全て静止物と仮定するか、自車両による画像上の横方向の動きが、物体の動きよりも非常に大きいと仮定できれば、車両情報を用いて視差画像を直接補正することができる。ここで、車両情報とは自車両に搭載された舵角・ヨーレート・速度センサ等の情報が考えられる。車両情報は、ステレオカメラ１０１又はステレオカメラ１０１が搭載された車両の動き情報取得部（図示せず）で取得する構成であってもよい。
【００３８】
（第二の形態）
次に、ステレオ画像処理装置の第二の形態を図５に示す。この構成において撮像から視差画像の作成までは図２と同じである。本実施例は、視差画像取得部２０６で取得された画像に対し、左画像遅延時間保持部２０８、右画像遅延時間保持部２０９とあわせて舵角・車速・ヨーレートなどの車両情報５０４を用い、視差画像を補正する視差画像補正部５０１を有する。この補正された視差画像を用いて、物体検出部５０２では立体物などの物体を検出し、距離算出部５０３では、それぞれの距離を出力する。
【００３９】
視差画像補正部５０１の詳細を以下に示す。静止物と仮定する場合、物体の画像上の動きに影響を与えるのは自車両の動きだけである。この実現方法を図６に示す。まず、視差画像から視差を取得する（視差取得６０１）。次に舵角・ヨーレート・速度センサなどの車両情報５０４に基づいて静止物の動き情報を推定し（背景動き推定部６０２）、視差補正６０３を実施する。静止物動き情報推定部で車両のヨー方向の角速度がθと推定されたとする。この時、外界にある物体の画像上での動きは、
ｖｉ＝ｆＢθ／（ｃＤ（ｘ、ｙ））・・・（式８）
で近似できる。これを（式４）に代入すると、以下のようにＤについての２次方程式になる。
Ｄ２−ｄＤ＋ｆＢθ／ｃ＊（ｓＲ（ｘ、ｙ）−ｓＬ（ｘ＋ｄ，ｙ））＝０・・（式９）
但し、Ｄ、ｄ、にかかる座標（ｘ、ｙ）は表記を省略した。
【００４０】
ここから、Ｄ＞０の条件のもとで上記２次方程式を解くことで、点（ｘ、ｙ）における視差を算出することが可能である。このように補正された視差を新たな視差情報として出力する。このように視差画像補正部５０１は視差を補正することができる。
【００４１】
ただし、車両の動きが小さい場合に以上のような補正を実施すると、誤補正を起こす可能性がある。そのため、車両の動きが大きい場合にのみ、以上の処理を実施することが考えられる。
【００４２】
図２と図５の構成を組み合わせて視差を補正する方式も考えられる。このときの構成を図７に示す。
【００４３】
視差画像取得部２０７で取得された画像を車両情報５０４の情報を用いて視差画像補正部７０１で補正する。次にそれに基づいて物体検出（７０３）を実施し、物体視差補正部７０３において物体の視差を補正して距離を出力する（７０４）。ただし視差画像補正部７０１と物体視差補正部７０３で仮定される横速度はそれぞれ前者が自車両の運動に伴う速度、後者が相手の動きに伴う速度であり別の量を扱う。車両情報５０４は、ステレオカメラ１０１又はステレオカメラ１０１が搭載された車両の動き情報取得部（図示せず）で取得する構成であってもよい。
【００４４】
以上の各実施例に基づき、下記のように表現することができる。
【００４５】
視点の異なる複数の画像を撮像するステレオ撮像部１０１と、複数の画像を撮像する際に撮像時刻を同期させる同期部２１２と、ステレオ撮像部１０１により撮像された複数の画像を平行化して出力する画像補正部２０４，２０５と、画像補正部２０４，２０５で出力される画像に基づいて視差を検出する視差計測部２０６と、視差計測部２０６で計測された視差に基づいて物体を検出する物体検出部２０７と、を備え、同期部２１２によって同期された撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部２０８，２０９と、遅延量保持部２０８，２０９が保持する遅延時間に基づいて物体検出部２０７によって検出された物体の視差を補正する物体視差補正部２１０と、を備える。
【００４６】
また、前記ステレオ撮像部は、ローリングシャッター方式であって、前記物体視差補正部は、前記物体検出部で検出された前記物体の横速度に伴う視差計測誤差を補正する。
【００４７】
また、前記物体視差補正部は、前記物体検出部で検出された前記視差の点群が同一の横速度を有するとみなす。
【００４８】
また、前記遅延量保持部は、前記画像補正部の出力に基づいて算出される。
【００４９】
また、視点の異なる複数の画像を撮像するステレオ撮像部と、複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、を備えるステレオ画像処理装置であって、前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、前記ステレオ撮像部又は前記ステレオ撮像部が搭載された車両の動き情報を取得する動き情報取得部と、前記遅延量保持部の保持する前記遅延時間と、前記動き情報取得部の取得する動き情報とに基づいて、前記視差計測部によって計測された前記視差を補正する視差画像補正部と、を備える。
【００５０】
また、前記ステレオ撮像部は、ローリングシャッター方式であって、前記物体視差補正部は、前記ステレオ撮像部の横速度に伴う前記視差の誤差を補正する。
【００５１】
また、前記ステレオ撮像部の前記横速度が所定より大きい時に前記視差の補正をする。
【００５２】
また、視点の異なる複数の画像を撮像するステレオ撮像部と、複数の前記画像を撮像する際に撮像時刻を同期させる同期部と、前記ステレオ撮像部により撮像された複数の前記画像を平行化して出力する画像補正部と、前記画像補正部で出力される前記画像に基づいて視差を検出する視差計測部と、を備えるステレオ画像処理装置において、前記同期部によって同期された前記撮像時刻からの遅延時間を画素ごとに保持する遅延量保持部と、前記ステレオ撮像部又は前記ステレオ撮像部が搭載された車両の動き情報を取得する動き情報取得部と、前記遅延量保持部の保持する前記遅延時間と、前記動き情報取得部の取得する動き情報とに基づいて、前記視差計測部によって計測された前記視差を補正する視差画像補正部と、前記視差画像補正部によって補正された前記画像を用いて立体物を検出する物体検出部と、前記物体検出部で出力される前記立体物の視差を前記遅延量保持部から補正する物体視差補正部と、を備える。
【００５３】
上記実施例によれば、ローリングシャッター方式で撮像した際に、レンズのゆがみに起因する視差を正確に実施し、カメラが横移動する場合や相手が横方向に移動する物体に対しても正確な距離を出力できるステレオカメラを提供することができる。
【符号の説明】
【００５４】
１０１  ステレオカメラ（ステレオ撮像部）
２１２  同期信号発生部（同期部）
２０４  左画像補正部（画像補正部）
２０５  右画像補正部（画像補正部）
２０６  視差画像取得部（視差計測部）
２０７  物体検出部
２０８  左画像遅延時間保持部（遅延量保持部）
２０９  右画像遅延時間保持部（遅延量保持部）
２１０  物体視差補正部
【図１】
2019062255.tif 000003
【図２】
2019062255.tif 000004
【図３】
2019062255.tif 000005
【図４】
2019062255.tif 000006
【図５】
2019062255.tif 000007
【図６】
2019062255.tif 000008
【図７】
2019062255.tif 000009