(57)【要約】【課題】車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行うイメージセンサを用いて車両の走行面と平行な方向を撮影する撮像装置において、撮像装置に車両の走行面に垂直な方向の振動が加わった場合であっても、車外の物体を欠損なく撮影可能にする。【解決手段】ＣＭＯＳカメラ２は、車両に搭載され、縦横格子状に並んだ光電変換素子を備え、車両の走行面に垂直な方向に一列に並んだ光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行うＣＭＯＳイメージセンサを用いて、車両の走行面に平行な方向を撮影し、撮影画像を表す階調信号を撮像信号として画像処理装置１に出力する。【選択図】図１
2017169048.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ前記光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行い、前記一列に並んだ前記光電変換素子で同時に結像される像は被写界の前記車両の走行面に垂直な方向の像である前記イメージセンサを用いて、前記車両の走行面に平行な方向を撮影する撮像装置。
【請求項２】
車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ前記光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行い、前記一列に並んだ前記光電変換素子で同時に結像される像は被写界の前記車両の走行面に垂直な方向の像である前記イメージセンサを用いて、前記車両の走行面に平行な方向を撮影し、撮影画像を表す前記階調信号を撮像信号として出力する撮像装置、および、前記車両に搭載され、前記車両の走行面に垂直な方向の加速度を検出し、前記車両の走行面に垂直な方向の加速度を変換した電気信号を振動信号として出力する振動検出センサ、に接続する画像処理装置であって、
前記撮像装置から、前記撮像信号を取得する撮像信号取得部と、
前記振動検出センサから、前記振動信号を取得する振動信号取得部と、
前記振動信号取得部が取得した前記振動信号に基づいて、前記イメージセンサの各列の撮影位置のずれ量を算出し、算出した各列の撮影位置のずれ量から、前記撮影画像の各列のずれを補正する補正量を示す補正量信号を生成するずれ量算出部と、
前記撮像信号取得部が取得した前記撮像信号、および、前記ずれ量算出部が生成した前記補正量信号に基づいて、前記撮影画像の各列のずれを補正し、補正した前記撮影画像を表す補正画像信号を生成する画像補正部と、
前記画像補正部が生成した前記補正画像信号を出力する補正画像信号出力部と、
を備える画像処理装置。
【請求項３】
車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ前記光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行い、前記一列に並んだ前記光電変換素子で同時に結像される像は被写界の前記車両の走行面に垂直な方向の像である前記イメージセンサを用いて、前記車両の走行面に平行な方向を撮影し、撮影画像を表す前記階調信号を撮像信号として出力する撮像装置と、
前記車両の走行面に垂直な方向の加速度を検出し、前記車両の走行面に垂直な方向の加速度を変換した電気信号を振動信号として出力する振動検出センサと、
前記撮像装置から、前記撮像信号を取得する撮像信号取得部、
前記振動検出センサから、前記振動信号を取得する振動信号取得部、
前記振動信号取得部が取得した前記振動信号に基づいて、前記イメージセンサの各列の撮影位置のずれ量を算出し、算出した各列の撮影位置のずれ量から、前記撮影画像の各列のずれを補正する補正量を示す補正量信号を生成するずれ量算出部、
前記撮像信号取得部が取得した前記撮像信号、および、前記ずれ量算出部が生成した前記補正量信号に基づいて、前記撮影画像の各列のずれを補正し、補正した前記撮影画像を表す補正画像信号を生成する画像補正部、ならびに、
前記画像補正部が生成した前記補正画像信号を出力する補正画像信号出力部、
を備える画像処理装置と、
前記画像処理装置が出力した前記補正画像信号に基づいて、車外に存在する物体を検出する物体検出装置と、
を備える物体検出システム。
【請求項４】
車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ前記光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行い、前記一列に並んだ前記光電変換素子で同時に結像される像は被写界の前記車両の走行面に垂直な方向の像である前記イメージセンサを備える撮像装置が実行する、
前記イメージセンサを用いて前記車両の走行面に平行な方向を撮影するステップと、
撮影画像を表す前記階調信号を撮像信号として出力するステップと、
前記車両に搭載される振動検出センサが実行する、
前記車両の走行面に垂直な方向の加速度を検出するステップと、
前記車両の走行面に垂直な方向の加速度を変換した電気信号を振動信号として出力するステップと、
画像処理装置が実行する、
前記振動検出センサが出力した前記振動信号に基づいて、前記イメージセンサの各列の撮影位置のずれ量を算出し、算出した各列の撮影位置のずれ量から、前記撮影画像の各列のずれを補正する補正量を示す補正量信号を生成するずれ量算出ステップと、
前記撮像装置が出力した前記撮像信号、および、前記ずれ量算出ステップで生成した前記補正量信号に基づいて、前記撮影画像の各列のずれを補正し、補正した前記撮影画像を表す補正画像信号を生成する画像補正ステップと、
前記画像補正ステップで生成した前記補正画像信号を出力する補正画像信号出力ステップと、
物体検出装置が実行する、
前記画像処理装置が出力した前記補正画像信号に基づいて、車外に存在する物体を検出するステップと、
を備える物体検出方法。
【請求項５】
車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ前記光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行い、前記一列に並んだ前記光電変換素子で同時に結像される像は被写界の前記車両の走行面に垂直な方向の像である前記イメージセンサを用いて、前記車両の走行面に平行な方向を撮影し、撮影画像を表す前記階調信号を撮像信号として出力する撮像装置、および、前記車両に搭載され、前記車両の走行面に垂直な方向の加速度を検出し、前記車両の走行面に垂直な方向の加速度を変換した電気信号を振動信号として出力する振動検出センサ、に接続するコンピュータを、
前記振動検出センサが出力した前記振動信号に基づいて、前記イメージセンサの各列の撮影位置のずれ量を算出し、算出した各列の撮影位置のずれ量から、前記撮影画像の各列のずれを補正する補正量を示す補正量信号を生成するずれ量算出部、ならびに
前記撮像装置が出力した前記撮像信号、および、前記ずれ量算出部が生成した前記補正量信号に基づいて、前記撮影画像の各列のずれを補正し、補正した前記撮影画像を表す補正画像信号を生成する画像補正部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、車両の走行面と平行な方向を撮影する撮像装置、画像処理装置、物体検出システム、物体検出方法およびプログラムに関する。
【背景技術】
【０００２】
近年、車両の運転補助装置や、自動運転装置を実現するために、ＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを用いたカメラセンサで車外の状況を監視、センシングする手法が実用化されてきている。ここで述べる運転補助装置とは、例えば運転者が制御する車両に対して、車両が障害物と衝突する危険性があるような場合に必要に応じて加速、制動、操舵の制御介入を行う装置のことである。運転補助装置は、原動機や制動装置、操舵装置を操作するアクチュエータと、そのアクチュエータを制御する電子制御装置および電子制御装置へ入力するセンサ類からなり、運転支援システムとも呼ばれている。また、より簡易な運転補助装置としては、車両が障害物と衝突する危険性があるような場合に必要に応じて、ブザーやスピーカーによって警告音を発する、あるいはランプの発光やディスプレイ画面への警告表示等の視覚的な刺激をするなどの方法で、運転者に警告や指示を出す装置がある。
【０００３】
自動運転装置とは、運転者が制御しない車両を加速、制動、操舵の制御を行うことで自動的に走行させる制御装置のことである。自動運転装置は、運転補助装置と同様に、原動機や制動装置、操舵装置を操作するアクチュエータと、そのアクチュエータを制御する電子制御装置および電子制御装置へ入力するセンサ類からなる。以下、運転補助装置および自動運転装置を合わせて車両制御装置という。車両制御装置にカメラセンサを用いる用途としては、車両周辺や進行方向の道路や側道などにある他の車両や歩行者、あるいは落下物などの障害物を検出することが挙げられる。カメラセンサが例えば障害物を検出した場合、車両制御装置は衝突を回避するために加速や制動、操舵の制御を行う。
【０００４】
カメラセンサの撮像装置として、ＣＣＤカメラと比較し、ＣＭＯＳカメラを用いる利点がいくつかある。ＣＭＯＳカメラは、ＣＣＤカメラと比較し、操作させるための電源電圧が低いことから消費電力が少なく、周辺電気系回路が少なく済むので製品コストが抑えられる。さらに、ＣＣＤカメラと比較し、ＣＭＯＳカメラの動作速度が速いため、障害物をセンシングするまでに掛る時間を短縮でき、単位時間当たりの撮像回数を増やすことができるという利点がある。また、障害物をセンシングする時間が短いほど、障害物回避のための制動、操舵時間が延び、より安全により確実に、回避行動がとれる。
【０００５】
一方で、ＣＭＯＳカメラが備えるＣＭＯＳイメージセンサのようなローリングシャッター方式のイメージセンサを用いる場合、いわゆる「ローリングシャッター現象」、「ローリングシャッター歪み」、または、「フォーカルプレーン歪み」などと呼ばれる特有の画像歪みが起きる。一般的なローリングシャッター方式のイメージセンサの撮像画素は、水平方向の一列ごとに上の列から順次読み出され、列ごとに撮像タイミングが異なる。イメージセンサが撮像対象に対して静止している場合は問題ないが、イメージセンサに振動が加わったり、撮像対象が動いていたりして、イメージセンサと撮像対象との位置関係が変化している場合は、各列で撮像タイミングがずれる。これにより、各列の撮影位置にずれや差異が生じてしまい、撮影画像に歪みが生じる。このようなローリングシャッター現象による撮影画像の歪みを補正する手法がある。
【０００６】
特許文献１には、画素値の読み出し順序を水平ライン方向と垂直ライン方向とで切り替えることが可能なイメージセンサを使用し、振動方向を加速度センサなどで検知して切り替えることにより各主走査方向のラインのずれを低減し、フォーカルプレーンシャッタ動作に起因する画像歪みを補正するイメージセンサおよびカメラシステムが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−５４７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特に、ＣＭＯＳイメージセンサのようなローリングシャッター方式のイメージセンサを用いて車両の走行面と平行な方向を撮影している状況で、車両が路面の凹凸を通過するといった理由により、イメージセンサに車両の走行面に垂直な方向の振動が加わると、一列ごとに車両の走行面に垂直な方向に撮影位置がずれることになる。振動の速度によっては、隣り合った列の撮影位置が一列分以上ずれる場合もありうる。各列で撮影位置がずれることにより、本来撮影されるはずだった車外の物体の画素が、撮影画像から欠落することがある。
【０００９】
特許文献１の技術は、画像歪みを補正するものであって、補正により画像が幅細になるという弊害がある。幅細になった箇所では撮影対象の欠落部分が発生する。このようなローリングシャッター現象により発生する画素欠落のために、車外の物体（道路や障害物など）の一部を検出できない場合がある。特にイメージセンサ上では１画素〜数画素程度にしか映らない、進行方向の遠方の道路上の障害物を検出できないことがある。
【００１０】
本発明は、上述のような事情に鑑みてなされたもので、車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行うイメージセンサを用いて車両の走行面と平行な方向を撮影する撮像装置において、撮像装置に車両の走行面に垂直な方向の振動が加わった場合であっても、車外の物体を欠損なく撮影可能にすることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明に係る撮像装置は、車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行い、一列に並んだ光電変換素子で同時に結像される像は被写界の車両の走行面に垂直な方向の像であるイメージセンサを用いて、車両の走行面に平行な方向を撮影する。
【発明の効果】
【００１２】
この発明によれば、車両に搭載され、縦横格子状に並んだ光電変換素子を備え、一列に並んだ光電変換素子で同時に受光した光を階調信号に置き換える処理をイメージセンサの一方の端の列から他方の端の列まで順次行うイメージセンサを用いて車両の走行面と平行な方向を撮影する撮像装置において、一列に並んだ光電変換素子で同時に結像される像が被写界の車両の走行面に垂直な方向の像であるイメージセンサを用いることで、撮像装置に車両の走行面に垂直な方向の振動が加わった場合であっても、車外の物体を欠損なく撮影可能になる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る物体検出システムの構成例を示す図である。
【図２】ＣＭＯＳカメラに振動が加わっていない状態の撮影画像の例を示す図である。
【図３】ラインスキャン方向が車両の走行面に平行な方向に一致するＣＭＯＳカメラに車両の走行面に垂直な方向の振動が加わっている状態の撮影画像の例を示す図である。
【図４】ラインスキャン方向が車両の走行面に垂直な方向に一致するＣＭＯＳカメラに車両の走行面に垂直な方向の振動が加わっている状態の撮影画像の例を示す図である。
【図５】ＣＭＯＳカメラに振動が加わっていない状態で遠方の路上に障害物がある場合の撮影画像の例を示す図である。
【図６】ラインスキャン方向が車両の走行面に平行な方向に一致するＣＭＯＳカメラに車両の走行面に垂直な方向の振動が加わっている状態で遠方の路上に障害物がある場合の撮影画像の例を示す図である。
【図７】ラインスキャン方向が車両の走行面に垂直な方向に一致するＣＭＯＳカメラに車両の走行面に垂直な方向の振動が加わっている状態で遠方の路上に障害物がある場合の撮影画像の例を示す図である。
【図８】実施の形態に係る物体検出システムの動作の一例を示すフローチャートである。
【図９】本発明の実施の形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下に、本発明を実施するための形態について図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。本実施の形態では、撮像装置がＣＭＯＳカメラである場合の例について説明する。
【００１５】
図１は、本発明の実施の形態に係る物体検出システムの構成例を示す図である。物体検出システム１００は、ＣＭＯＳカメラ２と、振動検出センサ３と、画像処理装置１と、物体検出装置４とで構成される。ＣＭＯＳカメラ２と、振動検出センサ３と、画像処理装置１と、物体検出装置４とは、車両に搭載される。ＣＭＯＳカメラ２は、ローリングシャッター方式の電子制御カメラモジュールであって、車両の走行面と平行な方向を撮影する。ＣＭＯＳカメラ２は、光学レンズとＣＭＯＳイメージセンサを備え、車外の物体の発するまたは反射する光を電気信号に置き換える。ＣＭＯＳカメラ２に含まれるＣＭＯＳイメージセンサは、縦横格子状に並んだ光電変換素子からなり、各光電変換素子は撮影画像の画素に対応する。光電変換素子が受光した光の強度は、その画素の階調を示す電気信号である階調信号に変換される。画素の階調とは、画素の明るさ（輝度）を表す量であり、例えば、階調信号が８ビットのデジタル信号であれば、２５６段階の階調を表現でき、最も暗い輝度を０、最も明るい輝度を２５５とする。
【００１６】
ＣＭＯＳカメラ２のＣＭＯＳイメージセンサは、一列に並んだ光電変換素子で同時に受光した光を階調信号に置き換える処理（以下、階調信号変換処理という）をＣＭＯＳイメージセンサの一方の端の列から他方の端の列まで順次行う。以下、同時に受光する光電変換素子の列方向をラインスキャン方向と呼び、ＣＭＯＳイメージセンサの面上でラインスキャン方向に対して直角の方向をフレームスキャン方向と呼ぶ。ラインスキャン方向の画素数×フレームスキャン方向の画素数が、ＣＭＯＳイメージセンサの画素数（あるいは解像度）であり、これらの画素の階調によって、撮影画像が表現される。階調信号にはさまざまな規格があるが、各画素の階調を示すデジタル信号であれば、どのようなものでもよい。例えば、クロック配線、階調を示すデータ８配線、１ラインの有効信号配線、１フレームの有効信号配線、１フレームの開始信号配線の計１２配線で伝達されるデジタル信号を用いる。
【００１７】
ＣＭＯＳカメラ２は、撮影画像を表す階調信号を撮像信号として画像処理装置１に送信する。ＣＭＯＳカメラ２は、ラインスキャン方向が車両の走行面に垂直な方向になる姿勢で設置される。ＣＭＯＳカメラ２のＣＭＯＳイメージセンサは、車両の走行面に垂直な方向に一列に並んだ光電変換素子で同時に受光した光を階調信号に置き換える。つまり、ＣＭＯＳイメージセンサのラインスキャン方向に一列に並んだ光電変換素子で同時に結像される像は被写界の車両の走行面に垂直な方向の像である。ＣＭＯＳカメラ２のＣＭＯＳイメージセンサのラインスキャン方向と車両の走行面に垂直な方向とが一致することによって得られる効果について図２〜図７を用いて説明する。図２〜図７では便宜上、車外の物体は動いていないものとする。
【００１８】
図２は、ＣＭＯＳカメラに振動が加わっていない状態の撮影画像の例を示す図である。図２の撮影画像には、車両が走行している道路、路肩の樹木、空に雲が写っている。ＣＭＯＳカメラ２のＣＭＯＳイメージセンサのラインスキャン方向が車両の走行面に平行な方向に一致する場合であっても、ラインスキャン方向が車両の走行面に垂直な方向に一致する場合であっても、ＣＭＯＳカメラ２に振動が加わっていない状態では撮影画像に歪みは生じない。
【００１９】
図３は、ラインスキャン方向が車両の走行面に平行な方向に一致するＣＭＯＳカメラに車両の走行面に垂直な方向の振動が加わっている状態の撮影画像の例を示す図である。図３（ａ）は、ＣＭＯＳカメラ２が地面から離れる方向に動いている場合の撮影画像の例である。図２のＣＭＯＳカメラ２に振動が加わっていない場合の撮影画像と比較し、図３（ａ）では、道路や路肩の樹木が縦方向に引き伸ばされたように撮影されている。これは、一列の階調信号変換処理に要する時間に次の列の撮影位置が変化してしまうために起きる。各列で撮影位置がずれることにより、空の雲が撮影画像から欠落している。図３（ｂ）は、ＣＭＯＳカメラ２が地面に近づく方向に動いている場合の撮影画像の例である。図３（ｂ）では、図２のＣＭＯＳカメラに振動が加わっていない場合の撮影画像と比較し、道路や路肩の樹木、空の雲が押しつぶされたように撮影されている。これも同様に、一列の階調信号変換処理に要する時間に次の列の撮影位置が変化してしまうために起きる。
【００２０】
図４は、ラインスキャン方向が車両の走行面に垂直な方向に一致するＣＭＯＳカメラに車両の走行面に垂直な方向の振動が加わっている状態の撮影画像の例を示す図である。図２のＣＭＯＳカメラ２に振動が加わっていない場合の撮影画像と比較し、図４では、水平線や路肩の樹木、雲が右肩上がりに歪んでいることがわかる。本実施の形態のＣＭＯＳカメラ２のＣＭＯＳイメージセンサは、ラインスキャン方向が車両の走行面に垂直な方向になる姿勢で設置されているので、一列の階調信号変換処理に要する時間によってもたらされる次の列の撮像位置の変化はラインスキャン方向に平行である。このため、ＣＭＯＳカメラ２に車両の走行面に垂直な方向の振動が加わっている状態では、撮影画像はＣＭＯＳカメラ２が地面から近づく方向に動いている場合は右肩上がりになり、撮影画像はＣＭＯＳカメラ２が地面に離れる方向に動いている場合は右肩下がりになる。続いて、ＣＭＯＳカメラ２を搭載した車両が走行する道路の進行方向の遠方に障害物が存在する場合について説明する。障害物が、車両から一定の距離以上遠方にある場合には、ＣＭＯＳイメージセンサ上に１画素〜数画素程度の大きさで結像する。
【００２１】
図５は、ＣＭＯＳカメラに振動が加わっていない状態で遠方の路上に障害物がある場合の撮影画像の例を示す図である。図５は、図２に示すようなＣＭＯＳカメラ２に振動が加わっていない状態の撮影画像の地平線付近の障害物がある道路の周辺を拡大したものであり、格子線に囲われている方形が１画素である。方形の中の色の濃さは各画素の階調を表している。図中の最も色の濃い領域は道路である。道路の領域の中に１画素分の色の薄い部分があるが、これが遠方の障害物を表す障害物画素Ｐである。ここでは、障害物が遠方にあり、ＣＭＯＳイメージセンサ上の１画素以下の大きさで結像しているため、障害物画素Ｐは１画素の大きさとなっている。また、この例では、障害物が道路より明るい色であるために、障害物画素Ｐは道路を捉えている画素よりも階調が高くなっている。障害物が道路より暗い色である場合には、障害物画素Ｐは道路を捉えている画素よりも階調が低くなる。
【００２２】
図６は、ラインスキャン方向が車両の走行面に平行な方向に一致するＣＭＯＳカメラに車両の走行面に垂直な方向の振動が加わっている状態で遠方の路上に障害物がある場合の撮影画像の例を示す図である。図６（ａ）は、図３（ａ）に示すようなＣＭＯＳカメラ２が地面から離れる方向に動いている場合の撮影画像の地平線付近の障害物がある道路の周辺を拡大したものである。図６（ａ）中の障害物画素Ｐは縦方向に２画素分の大きさとなっている。これは、図３（ａ）のように撮影画像全体が縦方向に引き伸ばされていることと同様の理由である。図６（ｂ）は、図３（ｂ）に示すようなＣＭＯＳカメラ２が地面に近づく方向に動いている場合の撮影画像の地平線付近の障害物がある道路の周辺を拡大したものである。図６（ｂ）では、障害物を捉えている画素が存在しない。これは、ＣＭＯＳカメラ２に車両の走行面に垂直な方向の振動が加わることで、障害物より上の部分を捉えている一列の階調信号変換処理に要する時間に、次の列が障害物より下の部分を捉える位置まで撮影装置が移動してしまうことによる。
【００２３】
ＣＭＯＳカメラ２のＣＭＯＳイメージセンサのラインスキャン方向が車両の走行面に平行な方向である場合、図６（ｂ）のように、障害物を捉えていない撮影画像が発生することがある。障害物を捉えた画素が存在しなければ、そこから障害物を検出することはできない。複数枚の撮影画像から障害物を検出する方法をとった場合でも、障害物が存在しない画像が含まれていると、検出精度が低下する。
【００２４】
図７は、ラインスキャン方向が車両の走行面に垂直な方向に一致するＣＭＯＳカメラに車両の走行面に垂直な方向の振動が加わっている状態で遠方の路上に障害物がある場合の撮影画像の例を示す図である。図７は、図４に示すようなＣＭＯＳカメラ２に車両の走行面に垂直な方向の振動が加わっている状態の撮影画像の地平線付近の障害物がある道路の周辺を拡大したものである。障害物画素Ｐは、１画素の大きさで障害物を捉えている。本実施の形態のＣＭＯＳカメラ２のＣＭＯＳイメージセンサは、ラインスキャン方向が車両の走行面に垂直な方向になる姿勢で設置されているので、車両の走行面に垂直な方向にＣＭＯＳカメラ２が動いていても、ラインスキャン方向（車両の走行面に垂直な方向）の画素は同時に階調信号に変換されるため、障害物が十分に遠方にあり、ＣＭＯＳイメージセンサ上の１画素以下の大きさで結像している場合であっても障害物を捉えることができる。
【００２５】
このように、物体検出システム１００では、ＣＭＯＳカメラ２のＣＭＯＳイメージセンサが車両の走行面に垂直な方向に一列に並んだ光電変換素子で同時に受光した光を階調信号に置き換えることによって、車両が走行する道路の進行方向の遠方に障害物が存在し、ＣＭＯＳカメラ２に車両の走行面に垂直な方向の振動が加わった場合であっても、障害物を捉えることができる。
【００２６】
図１の振動検出センサ３は、加速度センサであって、検出した加速度を電気信号へ変換し、振動信号として画像処理装置１に送信する。振動信号は、１本の配線で電圧によって加速度を表現されるものであっても良いし、シリアル通信などのデジタル信号であってもよい。振動検出センサ３は、車両に搭載されたＣＭＯＳカメラ２に加わる車両の走行面に垂直な方向の振動を検出することが可能となる様に設置する。即ち、振動検出センサ３の加速度検出方向の少なくとも１軸を、車両の走行面に垂直な方向に対して直角とならないように、好ましくは、車両の走行面に垂直な方向に設置する。なお、振動検出センサ３は、ＣＭＯＳカメラ２と同じ加速度が加わる位置に設置する。以上のような構成にすることで、振動検出センサ３によって、ＣＭＯＳカメラ２に加わる車両の走行面に垂直な方向の振動を検出することが可能となる。
【００２７】
画像処理装置１は、ＬＳＩ（Large-Scale Integration）やＦＰＧＡ（field-programmable gate array）などのデジタル信号処理回路から構成され、機能構成として、撮像信号取得部１１、振動信号取得部１２、ずれ量算出部１３、画像補正部１４および補正画像信号出力部１５を備える。撮像信号取得部１１は、ＣＭＯＳカメラ２から撮像信号を受信し、画像補正部１４に送る。振動信号取得部１２は、振動検出センサ３から振動信号を受信し、ずれ量算出部１３に送る。振動信号がアナログ信号である場合は、振動信号取得部１２は、適切なＡ−Ｄ変換（アナログデジタル変換）回路を備え、振動信号をデジタル信号に変換して、ずれ量算出部１３に送る。あるいは、ＬＳＩやＦＰＧＡの機能として実装されているＡ−Ｄ変換回路を利用することで、振動信号をデジタル信号に変換してもよい。
【００２８】
ずれ量算出部１３は、振動信号取得部１２から受け取った振動信号に基づいて、ＣＭＯＳカメラ２のＣＭＯＳイメージセンサの各列の撮影位置のずれ量を算出する。ずれ量算出部１３は、算出した各列の撮影位置のずれ量から、撮影画像の各列のずれを補正する補正量を示す補正量信号を生成し、画像補正部１４に送る。補正量信号は、ＣＭＯＳカメラ２に加わる車両の走行面に垂直な方向の振動によって発生する図４および図７に示すような右肩上がりまたは右肩下がりの歪みを持った撮影画像を補正するために、各列をラインスキャン方向にずれた分だけ逆向きに戻す量を示す。撮影画像に生じる右肩上がりまたは右肩下がりの歪みは、各列のラインスキャン方向の撮影位置のずれによって生じるので、ずれが生じている列についてラインスキャン方向にずれた分だけ逆向きに戻すと、右肩上がりまたは右肩下がりの歪みの修正が可能である。
【００２９】
前述のように振動信号は車両の走行面に垂直な方向の加速度を示しているので、車両の走行面に垂直な方向の重力加速度を差し引くと、車両が道路の段差などを乗り越える際に発生した振動により、ＣＭＯＳカメラ２に加わっている車両の走行面に垂直な方向の加速度が検出できる。任意の瞬間での車両の走行面に垂直な方向の速度が算出できるので、階調信号変換処理のタイミングでの各列の相対的な車両の走行面に垂直な方向のずれ量が算出できる。相対的な車両の走行面に垂直な方向のずれ量が算出されれば、第一番目の列に対する各列のラインスキャン方向のずれ量がわかるので、そのラインスキャン方向のずれ量と同じ量だけ逆向きにずらせば、ローリングシャッター現象で歪みを生じた画像を補正することが可能である。従って、ずれ量算出部１３は、第一番目の列に対する各列のラインスキャン方向のずれ量を補正量信号として出力する。
【００３０】
画像補正部１４は、撮像信号取得部１１から受け取った撮像信号とずれ量算出部１３から受け取った補正量信号とに基づいて、ＣＭＯＳカメラ２の撮影画像を補正する。画像補正部１４は、補正量信号が示す補正量に従って、撮像信号で表される画像のずれが生じている列についてラインスキャン方向にずれを戻すことで、ローリングシャッター現象で歪みを生じた画像を補正する。このとき、画像の上下には、画素が存在しない部分があるが、本発明による画像処理装置１は、車外の物体を検出するための画像を生成することにあるため、補正した撮影画像に撮影対象の物体が含まれていればよい。画像が存在しない部分には、例えば、階調値０を挿入してもよいし、画素が存在しないことを示す値（例えば−１）を設定して挿入してもよい。画像補正部１４は、補正した撮影画像を表す補正画像信号を生成し、補正画像信号出力部１５に送る。補正画像信号出力部１５は、画像補正部１４から受け取った補正画像信号を物体検出装置４に送信する。
【００３１】
物体検出装置４は、画像処理装置１から受信した補正画像信号から障害物画素Ｐを検出し、検出結果を物体検出信号として出力する。物体検出信号の出力方法は、画面表示でもよいし、音声出力でもよいし、車両制御装置に出力してもよい。物体検出装置４は、例えば、補正画像信号が示す補正した撮影画像から道路の領域を抽出し、道路の領域内に存在する、道路を捉えている画素よりも階調が閾値以上高いまたは低い障害物画素Ｐを検出する。撮影画像から障害物を検出する方法は、これに限らず、既存の技術を用いればよい。従来のように、ラインスキャン方向が車両の走行面に平行な方向になる姿勢でＣＭＯＳカメラ２を設置した場合は、図６（ｂ）を用いて説明したとおり、車両が走行する道路の進行方向の遠方に障害物が存在するにも関わらず、撮影画像に障害物画素Ｐが存在しないことがある。障害物画素Ｐが存在しなければ、撮影画像から障害物を検出するいかなる方法を用いたとしても、障害物を検出することが不可能である。ここで、図８を用いて物体検出システム１００の各装置が行う処理について説明する。
【００３２】
図８は、実施の形態に係る物体検出システムの動作の一例を示すフローチャートである。以下の処理は、物体検出システム１００の各装置の起動中は繰り返し実行される。ＣＭＯＳカメラ２は、車両の走行面と平行な方向を撮影する（ステップＳ１１）。ＣＭＯＳカメラ２は、ラインスキャン方向と車両の走行面に垂直な方向とが一致する撮影画像を表す階調信号を撮像信号として画像処理装置１に送信し（ステップＳ１２）、処理を終了する。ＣＭＯＳカメラ２から送信される撮影信号が示すラインスキャン方向と車両の走行面に垂直な方向とが一致する撮影画像は、図４に示すように、ＣＭＯＳカメラ２に車両の走行面に垂直な方向の振動が加わっている状態では、全体として右肩上がりまたは右肩下がりになるが、図７に示すように、ＣＭＯＳカメラ２に加わる車両の走行面に垂直な方向の振動によって障害物画素Ｐが消えることはない。振動検出センサ３は、車両の走行面に垂直な方向の加速度を検出する（ステップＳ２１）。車両の走行面に垂直な方向の加速度を変換した電気信号を振動信号として画像処理装置１に送信し（ステップＳ２２）、処理を終了する。
【００３３】
画像処理装置１の撮像信号取得部１１は、ＣＭＯＳカメラ２から撮像信号を受信し（ステップＳ３１）、画像補正部１４に送る。振動信号取得部１２は、振動検出センサ３から振動信号を受信し（ステップＳ３２）、ずれ量算出部１３に送る。ずれ量算出部１３は、振動信号取得部１２から受け取った振動信号に基づいて、ＣＭＯＳカメラ２のＣＭＯＳイメージセンサの各列の撮影位置のずれ量を算出する（ステップＳ３３）。ずれ量算出部１３は、算出した各列の撮影位置のずれ量から、撮影画像の各列のずれを補正する補正量を示す補正量信号を生成し、画像補正部１４に送る。画像補正部１４は、撮像信号取得部１１から受け取った撮像信号とずれ量算出部１３から受け取った補正量信号とに基づいて、ＣＭＯＳカメラ２の撮影画像を補正する（ステップＳ３４）。画像補正部１４は、図４および図７に示すような右肩上がりまたは右肩下がりになっている撮影画像に対し、補正量信号に従って、撮像信号で表される画像のずれが生じている列についてラインスキャン方向にずれを戻すことで、ローリングシャッター現象で歪みを生じた画像を補正する。
【００３４】
画像補正部１４は、補正した撮影画像を表す補正画像信号を生成し、補正画像信号出力部１５に送る。補正画像信号出力部１５は、画像補正部１４から受け取った補正画像信号を物体検出装置４に送信し（ステップＳ３５）、処理を終了する。物体検出装置４は、画像処理装置１から補正画像信号を受信すると（ステップＳ４１）、補正画像信号が示す補正後の撮影画像から障害物画素Ｐを検出する（ステップＳ４２）。物体検出装置４は、検出結果を物体検出信号として出力し（ステップＳ４３）、処理を終了する。
【００３５】
以上説明したように、本実施の形態の車両に搭載され、ローリングシャッター方式のＣＭＯＳメージセンサを用いて車両の走行面と平行な方向を撮影するＣＭＯＳカメラ２によれば、一列に並んだ光電変換素子で同時に結像される像が被写界の車両の走行面に垂直な方向の像であるＣＭＯＳイメージセンサを用いることで、ＣＭＯＳカメラ２に車両の走行面に垂直な方向の振動が加わった場合であっても、車外の物体を欠損なく撮影可能になる。また、物体検出システム１００によれば、画像処理装置１から物体検出装置４に入力される補正画像信号が表す補正後の撮影画像は、ＣＭＯＳカメラ２に加わる車両の走行面に垂直な方向の振動によっても障害物画素Ｐが消えることなく、かつ、撮影画像の列方向ズレも存在しないため、物体検出装置４での物体の検出が容易となる。なお、車外の物体が車両の走行面に平行な方向に動く場合には、ローリングシャッター現象による画素欠落が発生する可能性があるが、動く物体の場合は、１画素〜数画素程度にしか映らないほど遠方の時点で検出する必要がない。
【００３６】
上記の実施の形態では、ＣＭＯＳカメラ２が送信した撮像信号を画像処理装置１が受信し、撮影画像の補正を行ってから物体検出装置４に送信するが、ＣＭＯＳカメラ２が撮像信号を物体検出装置４に送信し、物体検出装置４は、ＣＭＯＳカメラ２から受信した撮像信号から障害物画素Ｐを検出し、検出結果を物体検出信号として出力してもよい。
【００３７】
上記の実施の形態では、ＣＭＯＳカメラ２の撮影方向と光軸が一致することを前提としているが、これに限らない。ＣＭＯＳイメージセンサの一列に並んだ光電変換素子で同時に結像される像が被写界の車両の走行面に垂直な方向の像となる構成であれば、鏡などで光路を変更してもよい。光路を変更する場合には、ＣＭＯＳイメージセンサのラインスキャン方向と車両の走行面に垂直な方向とが一致しない場合もあり得る。
【００３８】
図９は、本発明の実施の形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。画像処理装置１は、図９に示すように、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５および入出力部３６を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５および入出力部３６はいずれも内部バス３０を介して制御部３１に接続されている。
【００３９】
制御部３１はＣＰＵ（Central Processing Unit）などから構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、画像処理装置１のずれ量算出部１３および画像補正部１４の各処理を実行する。
【００４０】
主記憶部３２はＲＡＭ（Random-Access Memory）などから構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。
【００４１】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷなどの不揮発性メモリから構成され、画像処理装置１の処理を制御部３１に行わせるためのプログラムをあらかじめ記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。
【００４２】
操作部３４はキーボードおよびマウスなどのポインティングデバイスなどと、キーボードおよびポインティングデバイスなどを内部バス３０に接続するインタフェース装置から構成されている。ユーザが画像処理装置１に情報を入力する場合は、操作部３４を介して、入力された情報が制御部３１に供給される。
【００４３】
表示部３５は、ＣＲＴまたはＬＣＤなどから構成されている。ユーザが画像処理装置１に情報を入力する場合は、操作画面を表示する。
【００４４】
入出力部３６は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部３６はＣＭＯＳカメラ２、振動検出センサ３および物体検出装置４と接続する。入出力部３６は、撮像信号取得部１１、振動信号取得部１２および補正画像信号出力部１５として機能する。
【００４５】
図１に示す画像処理装置１の撮像信号取得部１１、振動信号取得部１２、ずれ量算出部１３、画像補正部１４および補正画像信号出力部１５の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５および入出力部３６などを資源として用いて処理することによって実行する。
【００４６】
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００４７】
制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５、入出力部３６、内部バス３０などから構成される画像処理装置１の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する画像処理装置１を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで画像処理装置１を構成してもよい。
【００４８】
また、画像処理装置１の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００４９】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して提供することも可能である。例えば、通信ネットワーク上の掲示板（BBS，Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを提供してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、画像処理装置１の処理を実行できるように構成してもよい。
【符号の説明】
【００５０】
１  画像処理装置、２  ＣＭＯＳカメラ、３  振動検出センサ、４  物体検出装置、１１  撮像信号取得部、１２  振動信号取得部、１３  ずれ量算出部、１４  画像補正部、１５  補正画像信号出力部、３０  内部バス、３１  制御部、３２  主記憶部、３３  外部記憶部、３４  操作部、３５  表示部、３６  入出力部、３９  制御プログラム、１００  物体検出システム、Ｐ  障害物画素。
【図１】
2017169048.tif 000003
【図２】
2017169048.tif 000004
【図３】
2017169048.tif 000005
【図４】
2017169048.tif 000006
【図５】
2017169048.tif 000007
【図６】
2017169048.tif 000008
【図７】
2017169048.tif 000009
【図８】
2017169048.tif 000010
【図９】
2017169048.tif 000011