(57)【要約】【課題】撮像した画像において、車両の走行により生じたぶれを補正する。【解決手段】車両の前方を連続して撮像するカメラと、カメラにより連続して撮像された各画像におけるオブジェクトの位置に基づいて、各オブジェクトの画像内における移動ベクトルを算出する移動ベクトル算出手段と、移動ベクトル算出手段により算出された移動ベクトルを用いて、カメラにより撮像された画像のぶれを補正するぶれ補正手段とを備える画像補正装置を提供する。【選択図】図３
2005318568.tif 000002
【特許請求の範囲】
【請求項１】
車両の前方を連続して撮像するカメラと、
前記カメラにより連続して撮像された各画像におけるオブジェクトの位置に基づいて、各オブジェクトの画像内における移動ベクトルを算出する移動ベクトル算出手段と、
前記移動ベクトル算出手段により算出された前記移動ベクトルを用いて、前記カメラにより撮像された前記画像のぶれを補正するぶれ補正手段と、
を備えた画像補正装置。
【請求項２】
前記移動ベクトル算出手段は、前記カメラにより撮像された前記画像のオプティカルフローの消失点を求め、各オブジェクトの前記移動ベクトルが、前記消失点から放射状に向いていると仮定して前記移動ベクトルの方向を修正する請求項１に記載の画像補正装置。
【請求項３】
前記移動ベクトル算出手段は、前記カメラにより連続して撮像された各画像中のオブジェクトの修正された方向に基づいて、前記移動ベクトルの長さを修正する請求項２に記載の画像補正装置。
【請求項４】
前記車両から各オブジェクトまでの距離を測定する距離測定手段と、
前記車両の速度を測定する速度測定手段と、
前記速度測定手段が測定した速度、および前記距離測定手段が測定した各オブジェクトまでの距離に基づいて、各オブジェクトの計算上のオプティカルフローを算出するオプティカルフロー算出手段と
を更に備え
前記移動ベクトル算出手段は、前記オプティカルフロー算出手段が算出した前記オプティカルフローに基づいて、第１の画像に含まれるオブジェクトの、第２の画像における位置を算出し、当該位置を中心とする領域で同一のオブジェクトを探すことにより、前記第２の画像における前記オブジェクトの位置を求める
請求項１に記載の画像補正装置。
【請求項５】
前記車両の舵角を測定する舵角測定手段と、
前記速度測定手段が測定した速度および前記舵角測定手段が測定した舵角に基づいて前記車両の旋回速度を算出する旋回速度算出手段と
を更に備え
前記オプティカルフロー算出手段は、更に、前記旋回速度算出手段が算出した前記旋回速度に基づいて、各オブジェクトの計算上のオプティカルフローを算出する
請求項４に記載の画像補正装置。
【請求項６】
前記ぶれ補正手段は、各オブジェクトの内部の画像を、前記移動ベクトルの方向に微分して得られた画像を原画像に足し合わせることによりぶれを補正する請求項１に記載の画像補正装置。
【請求項７】
前記ぶれ補正手段がぶれを補正した画像を表示する表示装置を更に備えた請求項６に記載の画像補正装置。
【請求項８】
前記カメラの露光時間を制御する露光時間制御手段と、
前記車両の加速度を測定する加速度測定手段と
を更に備え、
前記露光時間制御手段は、前記加速度測定手段が測定した前記車両の前記加速度がより大きい場合に、前記カメラの露光時間をより短く制御する
請求項１に記載の画像補正装置。
【請求項９】
前記加速度測定手段は、前記車両の旋回速度の変化を更に測定し、
前記露光時間制御手段は、前記加速度測定手段が測定した前記車両の前記旋回速度の変化がより大きい場合に、前記カメラの露光時間をより短く制御する
請求項８に記載の画像補正装置。
【請求項１０】
前記加速度測定手段は、前記車両のアクセルの踏み込み量、ブレーキの踏み込み量、およびハンドルの切り返し量の少なくとも１つを測定し、
前記露光時間制御手段は、前記アクセルの踏み込み量、前記ブレーキの踏み込み量、および前記ハンドルの切り返し量の少なくとも１つの変化量がより大きい場合に、前記カメラの露光時間をより短く制御する
請求項８に記載の画像補正装置。
【請求項１１】
前記ぶれ補正手段は、前記カメラにより連続して撮像された前記各画像の右辺近傍の領域および左辺近傍の領域におけるぶれの補正を、当該画像の上辺近傍の領域および下辺近傍の領域におけるぶれの補正よりも、より高い精度で行う請求項１に記載の画像補正装置。
【請求項１２】
前記ぶれ補正手段は、前記カメラにより連続して撮像された前記各画像の上辺近傍の領域および下辺近傍の領域におけるぶれの補正を行わない請求項１１に記載の画像補正装置。
【請求項１３】
前記移動ベクトル算出手段は、前記カメラにより撮像された前記画像のオプティカルフローの消失点を求め、
前記ぶれ補正手段は、前記オプティカルフローの消失点の近傍の領域におけるぶれの補正を、当該消失点の近傍の領域以外の領域よりも低い精度で行う
請求項１に記載の画像補正装置。
【請求項１４】
前記ぶれ補正手段は、前記カメラにより連続して撮像された前記各画像の略中央の領域におけるぶれの補正を、当該略中央の領域以外の領域よりも低い精度で行う請求項１に記載の画像補正装置。
【請求項１５】
車両の前方をカメラにより連続して撮像するステップと、
前記カメラにより連続して撮像された各画像におけるオブジェクトの位置に基づいて、各オブジェクトの画像内における移動ベクトルを算出する移動ベクトル算出ステップと、
前記移動ベクトル算出ステップにより算出された移動ベクトルを用いて、前記カメラにより撮像された画像のぶれを補正するぶれ補正ステップと、
前記車両の舵角を測定する舵角測定ステップと
を備えた画像補正方法。
【請求項１６】
前記移動ベクトル算出ステップは、前記カメラにより撮像された画像のオプティカルフローの消失点を求め、各オブジェクトの前記移動ベクトルが、前記消失点から放射状に向いていると仮定して前記移動ベクトルの方向を修正する請求項１５に記載の画像補正方法。
【請求項１７】
前記移動ベクトル算出ステップは、前記カメラにより連続して撮像された各画像中のオブジェクトの修正された方向に基づいて、前記移動ベクトルの長さを修正する請求項１６に記載の画像補正方法。
【請求項１８】
前記車両から各オブジェクトまでの距離を測定する距離測定ステップと、
前記車両の速度を測定する速度測定ステップと、
前記速度測定ステップが測定した速度、および前記距離測定ステップが測定した各オブジェクトまでの距離に基づいて、各オブジェクトの計算上のオプティカルフローを算出するオプティカルフロー算出ステップと
を更に備え
前記移動ベクトル算出ステップは、前記オプティカルフロー算出ステップが算出したオプティカルフローに基づいて、第１の画像に含まれるオブジェクトの、第２の画像における位置を算出し、当該位置を中心とする領域で同一のオブジェクトを探すことにより、前記第２の画像における前記オブジェクトの位置を求める
請求項１５に記載の画像補正方法。
【請求項１９】
前記車両の舵角を測定する舵角測定ステップと、
前記速度測定ステップが測定した速度および前記舵角測定ステップが測定した舵角に基づいて前記車両の旋回速度を算出する旋回速度算出ステップと
を更に備え、
前記オプティカルフロー算出ステップは、更に、前記旋回速度算出ステップが算出した前記旋回速度に基づいて、各オブジェクトの計算上のオプティカルフローを算出する
請求項１８に記載の画像補正方法。
【請求項２０】
前記ぶれ補正ステップは、個々のオブジェクトの内部の画像を、前記移動ベクトルの方向に微分して得られた画像を原画像に足し合わせることによりぶれを補正する請求項１５に記載の画像補正方法。
【請求項２１】
前記ぶれ補正ステップがぶれを補正した画像を表示する表示ステップを更に備えた請求項２０に記載の画像補正方法。
【請求項２２】
前記ぶれ補正ステップは、前記カメラにより連続して撮像された前記各画像の右辺近傍の領域および左辺近傍の領域におけるぶれの補正を、当該画像の上辺近傍の領域および下辺近傍の領域におけるぶれの補正よりも、より高い精度で行う請求項１５に記載の画像補正方法。
【請求項２３】
前記ぶれ補正ステップは、前記カメラにより連続して撮像された前記各画像の上辺近傍の領域および下辺近傍の領域におけるぶれの補正を行わない
請求項２２に記載の画像補正方法。
【請求項２４】
前記移動ベクトル算出ステップは、前記カメラにより撮像された前記画像のオプティカルフローの消失点を求め、
前記ぶれ補正ステップは、前記オプティカルフローの消失点の近傍の領域におけるぶれの補正を、当該消失点の近傍の領域以外の領域よりも低い精度で行う
請求項１５に記載の画像補正方法。
【請求項２５】
前記ぶれ補正ステップは、前記カメラにより連続して撮像された前記各画像の略中央の領域におけるぶれの補正を、当該中央の領域以外の領域よりも低い精度で行う請求項１５に記載の画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の前方を撮像する画像補正装置、および画像補正方法に関する。特に本発明は、車両の走行により画像に生じたぶれを補正する画像補正装置、および画像補正方法に関する。
【背景技術】
【０００２】
従来、光学系を動かすことにより、被写体に追従してぶれを補正するカメラが知られている。このようなカメラを車両に搭載することにより、車両に発生した振動等によるぶれを補正した画像を取得することができる。尚、このような車載カメラについての技術を開示した文献は見つからなかった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、走行する車両から前方を連続して撮像した場合、画像内のオブジェクトは画像内を、中心から周囲へ流れるように移動してみえる。このため、車両が高速に走行する場合には、撮像された画像内の各オブジェクトにぶれが生じる。しかしながら、上記のぶれ補正の機能を持つカメラは、オブジェクトに対してカメラが上下や左右に動いた場合におけるぶれを補正することはできるが、各オブジェクトとカメラとの距離が変わった場合は、オブジェクト毎に異なる方向へぶれ生じるので、ぶれを補正することができない。
【０００４】
そこで本発明は、上記の課題を解決することのできる画像補正装置、および画像補正方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
即ち、本発明の第一の形態によると、車両の前方を連続して撮像するカメラと、カメラにより連続して撮像された各画像におけるオブジェクトの位置に基づいて、各オブジェクトの画像内における移動ベクトルを算出する移動ベクトル算出手段と、移動ベクトル算出手段により算出された移動ベクトルを用いて、カメラにより撮像された画像のぶれを補正するぶれ補正手段とを備えた画像補正装置を提供する。これにより、本発明の画像補正装置は、ぶれのない画像を得ることができる。特に車両が高速で走行中に、車両に搭載されたカメラで撮像を行った場合には、撮像された画像には大きなぶれが生じる。しかしながら本発明の画像補正装置は、このようなぶれを削減することができる。また、本発明の画像補正装置は、ぶれを補正することができるので、ぶれを補正する機能がないカメラに比べてより長い露光時間をかけて撮像を行うことができる。これにより周囲が暗い場合でも、明るい画像を取得できる。
【０００６】
上記の移動ベクトル算出手段は、カメラにより撮像された画像のオプティカルフローの消失点を求め、各オブジェクトの移動ベクトルが、消失点から放射状に向いていると仮定して移動ベクトルの方向を求めてもよい。また移動ベクトル算出手段は、カメラにより連続して撮像された各画像中のオブジェクトの位置に基づいて、移動ベクトルの放射方向の長さを求めてもよい。これにより、各オブジェクトの移動ベクトルの方向および長さを容易に算出することができる。また例えば安全地帯表示等の同じ模様が等間隔で繰り返される路側物や路上ペイント、類似した車両などがオブジェクトとして画像に含まれると、移動ベクトルを算出する処理において、他のオブジェクトの特徴点を誤って抽出する場合がある。このような場合、算出された移動ベクトルには誤りが含まれるが、本発明の画像補正装置は、このような移動ベクトルの方向と長さの誤りを容易に修正することができる。
【０００７】
上記の画像補正装置は、車両から各オブジェクトまでの距離を測定する距離測定手段と、車両の速度を測定する速度測定手段と、速度測定手段が測定した速度、および距離測定手段が測定した各オブジェクトまでの距離に基づいて、各オブジェクトの計算上のオプティカルフローを算出するオプティカルフロー算出手段とを更に備え移動ベクトル算出手段は、オプティカルフロー算出手段が算出したオプティカルフローに基づいて、第１の画像に含まれるオブジェクトの、第２の画像における位置を算出し、当該位置を中心とする領域で同一のオブジェクトを探すことにより、第２の画像におけるオブジェクトの位置を求めてもよい。このようにオプティカルフローを用いることにより、オブジェクトの位置を素早く求めることができる。またオプティカルフローによって定まる位置を中心とする領域で同一のオブジェクトを探すので、オブジェクトの移動ベクトルを素早く、かつ正確に求めることができる。
【０００８】
上記の画像補正装置は、車両の速度を測定する速度測定手段が測定した速度および舵角測定手段が測定した舵角に基づいて車両の旋回速度を算出する旋回速度算出手段を更に備え、オプティカルフロー算出手段は、更に、旋回速度算出手段が算出した旋回速度に基づいて、各オブジェクトの計算上のオプティカルフローを算出してもよい。これにより、オブジェクトの位置を素早く、かつ正確に求めることができる。
【０００９】
上記のぶれ補正手段は、各オブジェクトの内部の画像を、移動ベクトルの方向に微分して得られた画像を原画像に足し合わせることによりぶれを補正してもよい。これにより、各オブジェクトに生じたぶれを容易に削減することができる。
【００１０】
上記の画像補正装置は、ぶれ補正手段がぶれを補正した画像を表示する表示装置を更に備えてもよい。これにより、車両の運転手に対して鮮明な画像を表示することができる。
【００１１】
上記の画像補正装置は、カメラの露光時間を制御する露光時間制御手段と、車両の加速度を測定する加速度測定手段とを更に備え、露光時間制御手段は、加速度測定手段が測定した車両の加速度がより大きい場合に、カメラの露光時間をより短く制御してもよい。
【００１２】
上記の加速度測定手段は、車両の旋回速度の変化を更に測定し、露光時間制御手段は、加速度測定手段が測定した車両の旋回速度の変化がより大きい場合に、カメラの露光時間をより短く制御してもよい。
【００１３】
上記の加速度測定手段は、車両のアクセルの踏み込み量、ブレーキの踏み込み量、およびハンドルの切り返し量の少なくとも１つを測定し、露光時間制御手段は、アクセルの踏み込み量、ブレーキの踏み込み量、およびハンドルの切り返し量の少なくとも１つの変化量がより大きい場合に、カメラの露光時間をより短く制御してもよい。
【００１４】
上記のぶれ補正手段は、カメラにより連続して撮像された各画像の右辺近傍の領域および左辺近傍の領域におけるぶれの補正を、当該画像の上辺近傍の領域および下辺近傍の領域におけるぶれの補正よりも、より高い精度で行ってもよい。
【００１５】
上記のぶれ補正手段は、カメラにより連続して撮像された各画像の上辺近傍の領域および下辺近傍の領域におけるぶれの補正を行わなくともよい。
【００１６】
上記の移動ベクトル算出手段は、カメラにより撮像された画像のオプティカルフローの消失点を求め、ぶれ補正手段は、オプティカルフローの消失点の近傍の領域におけるぶれの補正を、当該消失点の近傍の領域以外の領域よりも低い精度で行ってもよい。
【００１７】
上記のぶれ補正手段は、カメラにより連続して撮像された各画像の略中央の領域におけるぶれの補正を、当該略中央の領域以外の領域よりも低い精度で行ってもよい。
【００１８】
本発明の第二の形態によると、車両の前方をカメラにより連続して撮像するステップと、カメラにより連続して撮像された各画像におけるオブジェクトの位置に基づいて、各オブジェクトの画像内における移動ベクトルを算出する移動ベクトル算出ステップと、移動ベクトル算出ステップにより算出された移動ベクトルを用いて、カメラにより撮像された画像のぶれを補正するぶれ補正ステップと、車両の舵角を測定する舵角測定ステップとを備えた画像補正方法を提供する。
【００１９】
上記の移動ベクトル算出ステップは、カメラにより撮像された画像のオプティカルフローの消失点を求め、各オブジェクトの移動ベクトルが、消失点から放射状に向いていると仮定して移動ベクトルの方向を修正してもよい。
【００２０】
上記の移動ベクトル算出ステップは、カメラにより連続して撮像された各画像中のオブジェクトの修正された方向に基づいて、移動ベクトルの長さを修正してもよい。
【００２１】
上記の画像補正方法は、車両から各オブジェクトまでの距離を測定する距離測定ステップと、車両の速度を測定する速度測定ステップと、速度測定ステップが測定した速度、および距離測定ステップが測定した各オブジェクトまでの距離に基づいて、各オブジェクトの計算上のオプティカルフローを算出するオプティカルフロー算出ステップとを更に備え、移動ベクトル算出ステップは、オプティカルフロー算出ステップが算出したオプティカルフローに基づいて、第１の画像に含まれるオブジェクトの、第２の画像における位置を算出し、当該位置を中心とする領域で同一のオブジェクトを探すことにより、第２の画像におけるオブジェクトの位置を求めてもよい。
【００２２】
上記の画像補正方法は、車両の速度を測定する速度測定ステップが測定した速度および舵角測定ステップが測定した舵角に基づいて車両の旋回速度を算出する旋回速度算出ステップを更に備え、オプティカルフロー算出ステップは、更に、旋回速度算出ステップが算出した旋回速度に基づいて、各オブジェクトの計算上のオプティカルフローを算出してもよい。
【００２３】
上記のぶれ補正ステップは、個々のオブジェクトの内部の画像を、移動ベクトルの方向に微分して得られた画像を原画像に足し合わせることによりぶれを補正してもよい。
【００２４】
上記の画像補正方法は、ぶれ補正ステップがぶれを補正した画像を表示する表示ステップを更に備えてもよい。
【００２５】
上記のぶれ補正ステップは、カメラにより連続して撮像された各画像の右辺近傍の領域および左辺近傍の領域におけるぶれの補正を、当該画像の上辺近傍の領域および下辺近傍の領域におけるぶれの補正よりも、より高い精度で行ってもよい。
【００２６】
上記のぶれ補正ステップは、カメラにより連続して撮像された各画像の上辺近傍の領域および下辺近傍の領域におけるぶれの補正を行わなくともよい。
【００２７】
上記の移動ベクトル算出ステップは、カメラにより撮像された画像のオプティカルフローの消失点を求め、ぶれ補正ステップは、オプティカルフローの消失点の近傍の領域におけるぶれの補正を、当該消失点の近傍の領域以外の領域よりも低い精度で行ってもよい。
【００２８】
上記のぶれ補正ステップは、カメラにより連続して撮像された各画像の略中央の領域におけるぶれの補正を、当該中央の領域以外の領域よりも低い精度で行ってもよい。
【００２９】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【発明を実施するための最良の形態】
【００３０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００３１】
図１は、本実施形態に係る車両１０に搭載された画像補正装置１００の一例を示す。画像補正装置１００は内部にカメラを備えており、車両１０の前方を連続して撮像する。図２は、本実施形態に係る画像補正装置１００が取得する画像の一例である画像１２を示す。車両１０の走行中に、カメラが連続したフレームを撮像すると、画像の略中央に含まれるオブジェクト６０２は、車両１０が一定の速度で直進している場合、次のフレームにおいて、画像１２の周辺部へと移動したオブジェクト６０４として現われる。ここで車両１０が高速で走行している場合には、撮像されたオブジェクト６０４にはぶれが生じる場合がある。そこで本発明の画像補正装置１００は、オブジェクトのぶれを補正した画像を運転手に提供することを目的とする。
【００３２】
複数のフレーム内の同一のオブジェクトの位置を結ぶと、車両１０に対するオブジェクトの相対速度に応じた移動ベクトルが得られる。そしてオブジェクトが静止している場合、車両１０の走行により生じる移動ベクトルは、画像の中心付近では小さく生じ、周囲においては大きい。また、各オブジェクトの移動ベクトルは、車両１０からオブジェクトまでの距離が近いほど大きくなる。本明細書では、このような、車両１０の走行状態とオブジェクトの距離によって定まる画像内における各オブジェクトの動きをオプティカルフローと呼び、画像内におけるオブジェクトの実際の動きを移動ベクトルと呼ぶ。そして各オブジェクトのオプティカルフローは、車両１０の進行方向とカメラの光軸方向が一致している場合、消失点６００から放射状に生じる。本発明では、更に、このオプティカルフローを用いてぶれを補正することを目的とする。
【００３３】
図３は、本実施形態に係る画像補正装置１００の機能構成の一例を示す。本例の画像補正装置１００は、速度測定手段４０、カメラ４１、舵角測定手段４２、移動ベクトル算出手段４３、ぶれ補正手段４４、旋回速度算出手段４６、および表示装置５１を備える。
【００３４】
カメラ４１は、画像補正装置１００が搭載される車両１０の進行方向に光軸が一致するように車両１０に予め配置され、車両１０の前方を連続して撮像する。
【００３５】
移動ベクトル算出手段４３は、カメラ４１が連続して撮像した各画像におけるオブジェクトの位置に基づいて、各オブジェクトの画像内における移動ベクトルを算出する。本例の移動ベクトル算出手段４３は、各オブジェクトにおいて、異なるフレーム間における同じ特徴点の位置の差分を求めることにより移動ベクトルを算出する。これによりカメラ４１に撮像された画像のオプティカルフローが算出される。ここで移動ベクトル算出手段４３は、画像のオプティカルフローから画像の消失点を算出する。本例の移動ベクトル算出手段４３は、各オブジェクトの移動ベクトルを延長した直線を生成し、各直線までの距離の２乗の総和が最小となる点を、消失点として算出する。
【００３６】
ここで、例えば安全地帯表示等の同じ模様が等間隔で繰り返される路側物や路上ペイント、類似した車両などがオブジェクトとして画像に含まれると、移動ベクトルを算出する処理において、他のオブジェクトの特徴点を抽出する場合がある。このような場合、算出された移動ベクトルには誤りが含まれる。そこで本発明の画像補正装置１００は、移動ベクトルの方向と長さを修正する。
【００３７】
図４は、本実施形態に係る移動ベクトルを修正する動作の一例を説明する図である。本発明の移動ベクトル算出手段４３は、各オブジェクトの移動ベクトルが、消失点から放射状に向いていると仮定して移動ベクトルの方向を修正する。この場合、修正された移動ベクトルの方向とは、消失点から各オブジェクトの位置へ向かう方向である。本図の例において、移動ベクトル６０６を修正する場合、移動ベクトル算出手段４３は、消失点６００ａから、オブジェクトの位置６０５へ向かう方向を、修正された移動ベクトルの方向とする。
【００３８】
また移動ベクトル算出手段４３は、修正された方向に基づいて、移動ベクトルの長さを修正する。本例の移動ベクトル算出手段４３は、修正された方向への、修正する前の移動ベクトルの成分を算出することにより、移動ベクトルの長さ修正する。本図の例では、ベクトル６０８の長さが、修正された長さに相当する。これにより移動ベクトル算出手段４３は、各オブジェクトの移動ベクトルの方向、および長さを容易に算出することができる。
【００３９】
ぶれ補正手段４４は、移動ベクトル算出手段４３により算出された移動ベクトルを用いて、カメラ４１により撮像された画像のぶれを補正する。なお、ぶれ補正手段の詳細な動作は後述する。表示装置５１は、ぶれ補正手段４４がぶれを補正した画像を、運転手へ表示する。これにより、車両の運転手に対して鮮明な画像を表示することができる。
【００４０】
このように、本発明の画像補正装置１００は、ぶれのない画像を生成することができる。特に車両１０が高速にした場合に撮像された画像には大きなぶれが生じるが、本発明の画像補正装置１００は、このようなぶれを削減することができる。また、本発明の画像補正装置１００は、ぶれを補正することができるので、ぶれを補正する機能がないカメラに比べて、より長い露光時間をかけて撮像を行うことができる。これにより、周囲が暗い場合でも、より明るい画像を運転手に表示することができる。
【００４１】
また本発明のカメラ４１は、内部に２つのカメラを含む３Ｄカメラであってもよい。この場合、カメラ４１は、内部に含む２つのカメラにより撮像されたオブジェクトの特徴点の位置のずれを用いて、車両１０からオブジェクトまでの距離を算出する。この場合、カメラ４１は、距離測定手段の一例であって、各カメラにより撮像されたオブジェクトの特徴点の位置ずれを用いて、車両１０を基準としたオブジェクトまでの距離を測定する。
【００４２】
速度測定手段４０は車両１０の速度を測定し、舵角測定手段４２は車両１０の舵角を測定する。旋回速度算出手段４６は、速度測定手段４０が測定した速度および舵角測定手段４２が測定した舵角に基づいて車両の旋回速度を算出する。本例の旋回速度算出手段４６は、速度測定手段４０が測定した速度に、舵角測定手段４２が測定した舵角の変化の大きさを乗じることにより、車両１０の旋回速度を算出する。
【００４３】
移動ベクトル算出手段４３は、オプティカルフロー算出手段４８を有する。ここで、画像内における消失点の位置は、車両１０の進行方向とカメラ４１の光軸の方向とから予め定まる。この場合、車両１０が走行することにより、各オブジェクトには、消失点からオブジェクトへ向かう方向のオプティカルフローが生じる。このオプティカルフローの長さは、車両１０の速度、車両１０からオブジェクトまでの距離、および車両１０に対するオブジェクトの方向から定まる。そこで本例のオプティカルフロー算出手段４８は、速度測定手段４０が測定した速度、各オブジェクトまでの距離、およびオブジェクトの方向、即ち画像内におけるオブジェクトの位置に基づいて、各オブジェクトの計算上のオプティカルフローを算出する。この場合、計算上のオプティカルフローとは、車両１０が直進した場合に各オブジェクトに生じる画像内におけるオプティカルフローである。
【００４４】
また車両１０が微小時間内において旋回した場合、画像内におけるオブジェクトには、左右の方向へのオプティカルフローが生じる。このオプティカルフローの方向は、旋回を行った方向と逆方向であり、その大きさは、車両１０の旋回速度に比例する。そこで旋回速度算出手段４６は、速度測定手段４０が算出した速度、および舵角測定手段４２が測定した舵角から旋回速度を算出し、オプティカルフロー算出手段４８は、算出された旋回速度を用いて、旋回によって生じる計算上のオプティカルフローを算出する。本例では、旋回した場合に生じた各オブジェクトのオプティカルフローを、車両１０が直進した場合に生じた各オブジェクトのオプティカルフローへ加算することにより、車両１０が旋回しながら進む場合における各オブジェクトの計算上のオプティカルフローを算出する。
【００４５】
図５は、本実施形態に係る移動ベクトルを修正する動作の他の例を説明する図である。移動ベクトル算出手段４３は、オプティカルフロー算出手段４８が算出した各オブジェクトの計算上のオプティカルフローに基づいて、第１の画像に含まれるオブジェクトの、第２の画像における位置を算出する。ここで第１の画像と第２の画像とは連続して撮像された画像である。本例では、第２の画像は、第１の画像が撮像された後に撮像された画像である。オプティカルフロー算出手段４８は、算出した位置を中心とする領域で同一のオブジェクトを、例えばパターンマッチング処理を用いて探すことにより、第２の画像におけるオブジェクトの位置を求める。
【００４６】
本図の例では、移動ベクトル算出手段４３は、消失点６００ｂを起点とする計算上のオプティカルフロー６１０を算出することにより、第２の画像における位置６１２を算出し、位置６１２を中心とする領域６１４において、第２の画像におけるオブジェクトの位置６１６を求める。そして移動ベクトル算出手段４３は、第１の画像におけるオブジェクトの位置６１１、および、算出した第２の画像におけるオブジェクトの位置６１６から、オブジェクトの移動ベクトル６１８を算出する。このようにオプティカルフローを用いることにより、オブジェクトの位置を素早く求めることができる。またオプティカルフローによって定まる位置を中心とする領域６１４で同一のオブジェクトを探すので、オブジェクトの移動ベクトルを素早く、かつ正確に求めることができる。
【００４７】
そしてぶれ補正手段４４は、移動ベクトル算出手段４３が算出した移動ベクトル６１８の方向および長さを用いてぶれを補正し、表示装置５１は、ぶれ補正手段４４がぶれを補正した画像を運転手へ表示する。
【００４８】
このように、本発明の画像補正装置１００は、ぶれのない画像を生成することができる。特に、車両１０が走行することにより生じるオブジェクトのぶれの大きさは、車両１０からオブジェクトまでの距離によって異なる。しかしながら本発明では、各オブジェクトの距離に応じたぶれの大きさを算出した上でぶれを補正するので、各オブジェクトのぶれを適切に補正することができる。
【００４９】
図６は、本実施形態に係る画像補正装置１００の動作の一例を示すフローチャートである。カメラ４１は、画像補正装置１００が搭載される車両１０の進行方向に光軸が一致するように車両１０に予め配置され、車両１０の前方を連続して撮像する（Ｓ１００）。
【００５０】
移動ベクトル算出手段４３は、カメラ４１が連続して撮像した各画像におけるオブジェクトの位置に基づいて、各オブジェクトの画像内における移動ベクトルを算出する（Ｓ１０５）。そして移動ベクトル算出手段４３は、画像のオプティカルフローから画像の消失点を算出する（Ｓ１１０）。
【００５１】
次に移動ベクトル算出手段４３は、各オブジェクトの各移動ベクトルの方向と長さを修正する（Ｓ１１５）。具体的には、各オブジェクトの移動ベクトルが、消失点から放射状に向いていると仮定して移動ベクトルの方向を修正する。また移動ベクトル算出手段４３は、カメラにより連続して撮像された各画像中のオブジェクトの位置に基づいて、移動ベクトルの放射方向の長さを求める。この場合、放射方向とは、消失点から移動ベクトルの始点へ向かう方向である。
【００５２】
そして、ぶれ補正手段４４は、移動ベクトル算出手段４３により算出された移動ベクトルを用いて、カメラ４１により撮像された画像のぶれを補正し（Ｓ１２０）、表示装置５１は、ぶれ補正手段４４がぶれを補正した画像を、運転手へ表示する（Ｓ１２５）。これにより、本発明の画像補正装置１００は、車両１０の運転手に対してぶれのない画像を表示することができる。
【００５３】
図７は、ステップＳ１２０の詳細な動作の一例を示すフローチャートである。カメラ４１が撮像した画像に生じるぶれは、画像を撮像した露光時間内に、オブジェクトと車両１０との相対的な位置が変化することにより生じる。従って、生じたぶれの方向は、オブジェクトの移動ベクトルの方向に等しく、生じたぶれの幅は、露光時間内にオブジェクトが画像内を移動した距離に等しい。
【００５４】
ここで、ぶれ補正手段４４は、移動ベクトル算出手段４３が算出した移動ベクトルの方向と長さを受け取る。するとぶれ補正手段４４は、受け取った移動ベクトルの方向、および長さに基づいてぶれを補正するための領域を定める（Ｓ２００）。この場合、ぶれ補正手段４４は、各特徴点の移動ベクトルに対して、移動ベクトルが示す方向を、ぶれを補正する方向として定める。またぶれ補正手段４４は、受け取った移動ベクトルと、画像の露光時間に基づいてぶれの幅を算出する。本例のぶれ補正手段４４は、露光時間を移動ベクトルが算出されたタイミング間隔で割った値に、移動ベクトルを乗じることによりぶれの幅を算出する。これにより、各特徴点に対してぶれを補正すべき方向、および幅が定まる。
【００５５】
そしてぶれ補正手段４４は、特徴点に対してぶれを補正すべき方向および幅によって定まる領域において、個々のオブジェクトの内部の画像を、移動ベクトルの方向に微分し、（Ｓ２０５）、得られた画像を原画像に足し合わせる（Ｓ２１０）ことによりぶれを補正する。ぶれ補正手段４４は、上記の処理を全てのオブジェクトに対して行うことにより、各オブジェクトに生じたぶれを補正する。これにより、本発明の画像補正装置１００は、各オブジェクトに生じたぶれを容易に削減することができる。そしてフローチャートは、ステップＳ１２５へ進む。
【００５６】
図８は、本実施形態に係る画像補正装置１００の他の動作の一例を示すフローチャートである。本動作例において画像補正装置１００は、図６において説明したステップＳ１０５からステップＳ１１５の動作に代えて、以下に説明するステップＳ１５０を行う。
【００５７】
カメラ４１は、内部に２つのカメラを含む３Ｄカメラであってもよく、カメラ４１は、内部に含む２つのカメラにより撮像されたオブジェクトの特徴点の位置のずれを用いて、車両１０からオブジェクトまでの距離を測定する（Ｓ３００）。
【００５８】
速度測定手段４０は車両１０の速度を測定し、舵角測定手段４２は車両１０の舵角を測定する（Ｓ３０５）。また、旋回速度算出手段４６は、速度測定手段４０が測定した速度および舵角測定手段４２が測定した舵角に基づいて車両１０の旋回速度を算出する（Ｓ３１０）。本例の旋回速度算出手段４６は、速度測定手段４０が測定した速度に、舵角測定手段４２が測定した舵角の変化の大きさを乗じることにより、車両１０の旋回速度を算出する。
【００５９】
オプティカルフロー算出手段４８は、速度測定手段４０が測定した速度、およびカメラ４１が測定した各オブジェクトまでの距離、および画像内におけるオブジェクトの左右方向の位置に基づいて、各オブジェクトの計算上のオプティカルフローを算出する（Ｓ３１５）。更にオプティカルフロー算出手段４８は、旋回速度算出手段４６が算出した旋回速度、および舵角変化が生じた方向に基づいて、旋回によって生じるオプティカルフローを算出し、先に算出したオプティカルフローへ加算することにより、各オブジェクトの計算上のオプティカルフローを算出する。
【００６０】
そして、移動ベクトル算出手段４３は、オプティカルフロー算出手段４８が算出したオプティカルフローに基づいて、次に撮像される画像におけるオブジェクトの位置を算出し（Ｓ３２０）し、算出した位置を中心とする領域で同一のオブジェクトを、例えばパターンマッチング処理を用いて探すことにより、次に撮像される画像におけるオブジェクトの位置を求める（Ｓ３２５）。そして移動ベクトル算出手段４３は、算出したオブジェクトの位置から、オブジェクトの移動ベクトルを算出する（Ｓ３３０）。そして本フローチャートは、ステップＳ１２０へ進む。
【００６１】
図９は、本実施形態の変形例に係る画像補正装置１０５の機能構成の一例を示すブロック図である。本実施形態の変形例に係る画像補正装置１０５は、図１から図８にかけて説明した画像補正装置１００が備える機能に加えて、画像を撮像する場合の露光時間を制御したり、撮像した画像に対して、領域毎に異なる精度でぶれを補正したりする機能を備えることにより、より精度よく、また、より効率的にぶれの補正を行うことを目的とする。
【００６２】
画像補正装置１０５は、速度測定手段４０、舵角測定手段４２、旋回速度算出手段４６、加速度測定手段４７、露光時間制御手段４５、カメラ４１、移動ベクトル算出手段４３、ぶれ補正手段４４、及び表示装置５１を備える。なお、本図に示した画像補正装置１０５が備える要素のうち、図３に示した画像補正装置１００が備える要素と同一の符号を付した要素は、図１から図８にかけて説明した、対応する要素と略同一の機能及び構成を有するので、相違点を除き、説明を省略する。
【００６３】
加速度測定手段４７は、車両１０の加速度を測定する。具体的には、加速度測定手段４７は、速度測定手段４０によって測定された車両１０の速度を受け取り、受け取った車両１０の速度の時間変化に基づいて、車両１０の加速度を測定してよい。そして、加速度測定手段４７は、測定した車両１０の加速度を露光時間制御手段４５に出力する。露光時間制御手段４５は、加速度測定手段４７から受け取った車両１０の加速度に基づいて、カメラ４１の露光時間を制御する。ぶれ補正手段４４は、図１から図８にかけて説明した画像補正装置１００が備えるぶれ補正手段４４と同様に、カメラ４１により撮像された画像のぶれを補正する。但し、本実施形態の変形例に係るぶれ補正手段４４は、撮像された画像を複数の領域に分割すると共に、当該複数の領域のうち、少なくとも一部の領域において、互いに異なる精度でぶれを補正する。
【００６４】
図１０は、本実施形態の変形例に係る露光時間制御手段４５による露光時間の制御の第１の例を示す。本例において、露光時間制御手段４５は、加速度測定手段４７が測定した車両１０の加速度がより大きい場合に、カメラ４１の露光時間をより短く制御する。例えば、車両１０の加速度αが０以上かつＡ未満の場合に、露光時間制御手段４５は、利用者等によって標準の露光時間として予め定められた露光時間で、カメラ４１に画像を撮像させてよい。また、車両１０の加速度αがＡ以上かつＢ未満の場合に、露光時間制御手段４５は、標準の露光時間を９０％の短縮率で短縮した露光時間で、カメラ４１に画像を撮像させてよい。また、車両１０の加速度αがＢ以上かつＣ未満の場合に、露光時間制御手段４５は、標準の露光時間を８１％の短縮率で短縮した露光時間で、カメラ４１に画像を撮像させてよい。
【００６５】
本実施形態の変形例にかかる画像補正装置１０５によれば、ぶれ補正手段４４によって、撮像された画像におけるぶれを補正することができる。しかし、画像におけるぶれの量が非常に大きい場合には、ぶれ補正手段４４が、十分に高い精度でぶれを補正することが困難な場合がある。しかし、以上に説明したように、本実施形態の変形例に係る画像補正装置１０５によれば、車両１０の加速度がより大きい場合に、露光時間をより短くすることにより、画像の撮像時における画像のぶれを低減することができる。従って、表示装置５１において、ぶれの無い高品質な画像を表示することができる。
【００６６】
また、露光時間制御手段４５は、車両１０の旋回速度の変化に基づいて、カメラ４１の露光時間を制御してもよい。この場合、加速度測定手段４７は、旋回速度算出手段４６から車両１０の旋回速度を受け取り、受け取った旋回速度の時間変化に基づいて、車両１０の旋回速度の変化を測定してよい。そして、露光時間制御手段４５は、加速度測定手段４７から受け取った、車両１０の旋回速度の変化がより大きい場合に、カメラ４１の露光時間をより短く制御してよい。
【００６７】
このように、車両１０の旋回速度の変化がより大きい場合においても、露光時間をより短くすることにより、画像の撮像時における画像のぶれを低減することができる。従って、表示装置５１において、ぶれの無い高品質な画像を表示することができる。
【００６８】
図１１は、本実施形態の変形例に係る画像補正装置１０５における処理の流れの一例を示すフローチャートである。なお、本図に示したステップのうち、図６から図８にかけて説明したステップと同一の符号を付したステップは、図６から図８にかけて説明した、対応するステップと略同一の処理を行うので、相違点を除き、説明を省略する。
【００６９】
まず、加速度測定手段４７は、車両１０の加速度を測定する（Ｓ２００）。続いて、露光時間制御手段４５は、測定された加速度に基づいて、カメラ４１の露光時間を制御する（Ｓ２０５）。続いて、画像補正装置１０５は、Ｓ１００からＳ１２５までのそれぞれのステップにおいて、図６から図８にかけて示した、同一の符号を付したステップと略同一の処理を行うことにより、撮像した画像におけるぶれを補正して、補正した画像を表示する。
【００７０】
図１２は、本実施形態の変形例に係る露光時間制御手段４５による露光時間の制御の他の例を示す。図１２（ａ）は、露光時間制御手段４５による露光時間の制御における第２の例を示す。図１２（ｂ）は、露光時間制御手段４５による露光時間の制御における第３の例を示す。図１２（ｃ）は、露光時間制御手段４５による露光時間の制御における第４の例を示す。
【００７１】
加速度測定手段４７は、図９及び図１０において説明したように、速度測定手段４０によって測定された車両１０の速度に基づいて、車両１０の加速度を測定したり、また、旋回速度算出手段４６によって算出された車両１０の旋回速度に基づいて、車両１０の旋回速度の変化を測定したりしてよい。しかし、加速度測定手段４７は、これに代えて、車両１０のアクセルの踏み込み量、ブレーキの踏み込み量、及びハンドルの切り返し量の少なくとも１つを測定してもよい。そして、この場合、露光時間制御手段４５は、加速度測定手段４７によって測定された、アクセルの踏み込み量、ブレーキの踏み込み量、及びハンドルの切り返し量の少なくとも１つの変化量がより大きい場合に、カメラ４１の露光時間をより短く制御してよい。
【００７２】
例えば、図１２（ａ）に示すように、アクセルの踏み込み量の変化量Ｖ１が０以上かつＡ１未満の場合に、露光時間制御手段４５は、利用者等によって標準の露光時間として予め定められた露光時間で、カメラ４１に画像を撮像させてよい。そして、アクセルの踏み込み量の変化量Ｖ１がＡ１以上かつＢ１未満の場合に、露光時間制御手段４５は、標準の露光時間を９０％の短縮率で短縮した露光時間で、カメラ４１に画像を撮像させてよい。また、アクセルの踏み込み量の変化量Ｖ１がＢ１以上かつＣ１未満の場合に、露光時間制御手段４５は、標準の露光時間を８０％の短縮率で短縮した露光時間で、カメラ４１に画像を撮像させてよい。
【００７３】
また、例えば、図１２（ｂ）に示すように、ブレーキの踏み込み量の変化量Ｖ２が０以上かつＡ２未満の場合に、露光時間制御手段４５は、標準の露光時間で、カメラ４１に画像を撮像させてよい。そして、ブレーキの踏み込み量の変化量Ｖ２がＡ２以上かつＢ２未満の場合に、露光時間制御手段４５は、標準の露光時間を９０％の短縮率で短縮した露光時間で、カメラ４１に画像を撮像させてよい。また、ブレーキの踏み込み量の変化量Ｖ２がＢ２以上かつＣ２未満の場合に、露光時間制御手段４５は、標準の露光時間を８０％の短縮率で短縮した露光時間で、カメラ４１に画像を撮像させてよい。
【００７４】
また、例えば、図１２（ｃ）に示すように、ハンドルの切り返し量の変化量Ｖ３が０以上かつＡ３未満の場合に、露光時間制御手段４５は、標準の露光時間で、カメラ４１に画像を撮像させてよい。そして、ハンドルの切り返し量の変化量Ｖ３がＡ３以上かつＢ３未満の場合に、露光時間制御手段４５は、標準の露光時間を９０％の短縮率で短縮した露光時間で、カメラ４１に画像を撮像させてよい。また、ハンドルの切り返し量の変化量Ｖ３がＢ３以上かつＣ３未満の場合に、露光時間制御手段４５は、標準の露光時間を８０％の短縮率で短縮した露光時間で、カメラ４１に画像を撮像させてよい。
【００７５】
以上のようにして、アクセルの踏み込み量、ブレーキの踏み込み量、及びハンドルの切り返し量の変化量に基づいて、車両の加速度や旋回速度の変化を測定して、露光時間を制御することにより、速度測定手段４０による速度の測定結果や、旋回速度算出手段４６による旋回速度の算出結果に基づいて露光時間を制御する場合に比べて、より簡易な構成で車両の加速度や旋回速度の変化を検出することができる。
【００７６】
図１３は、本実施形態の変形例に係るカメラ４１により撮像された画像の第１の例である画像７００を示す。ぶれ補正手段４４は、カメラ４１により連続して撮像された各画像のぶれを補正する場合に、撮像された画像を複数の領域に分割すると共に、当該複数の領域のうち、少なくとも一部の領域において、互いに異なる精度でぶれを補正してよい。例えば、ぶれ補正手段４４は、本図に示すように、撮像された画像７００を対角線で４分割すると共に、当該画像の右辺近傍の領域７１０及び左辺近傍の領域７２０におけるぶれの補正を、当該画像の上辺近傍の領域７３０及び下辺近傍の領域７４０におけるぶれの補正よりも、より高い精度で行ってよい。
【００７７】
ここで、ぶれの補正における精度とは、例えば、ぶれ補正手段４４が、それぞれの画像に含まれる特徴点に対してぶれを補正する場合の、特徴点の数であってよい。また、ぶれの補正における精度とは、例えば、ぶれ補正手段４４が、各画像における特徴点近傍の画像を移動ベクトルの方向に微分して、得られた画像を原画像に足し合わせることにより、画像におけるぶれを補正する場合の、微分の階数であってもよい。
【００７８】
また、移動ベクトル算出手段４３も、ぶれ補正手段４４と同様にして、撮像された画像における複数の領域のうち、少なくとも一部の領域において、互いに異なる精度で移動ベクトルの算出を行ってよい。ここで、移動ベクトルの算出における精度とは、例えば、複数の画像における対応するオブジェクトの検出に公知の相互相関法を用いる場合における、相関領域の検出精度であってよい。
【００７９】
車両から前方を撮像する場合、通常、画像の上部には空が写っており、また、画像の下部には路面が写っていることが多い。しかし、空や路面における画像のぶれは、車両１０の運転者等の利用者にとって、気にならない場合が多い。従って、画像の上部や下部等の、利用者にとってぶれが気にならない領域に対するぶれの補正を、画像の左右の領域に比べてより低い精度で行うことにより、利用者が感じる画質の低下を抑えつつ、ぶれの補正処理に要する時間を短縮することができる。
【００８０】
また、ぶれ補正手段４４は、撮像された各画像における複数の領域のうち、少なくとも一部の領域におけるぶれの補正を行わなくともよい。例えば、ぶれ補正手段４４は、撮像された画像７００の上辺近傍の領域７３０及び下辺近傍の領域７４０におけるぶれの補正を行わなくともよい。これにより、画像補正装置１０５は、ぶれの補正処理に要する時間を更に短縮することができる。
【００８１】
図１４は、本実施形態の変形例に係るカメラ４１により撮像された画像の第２の例である画像８００を示す。本例において、移動ベクトル算出手段４３は、オプティカルフロー算出手段４８を用いて、図４及び図５にて説明したように、画像８００のオプティカルフローの消失点８１０を求める。そして、ぶれ補正手段４４は、画像８００に対する、オプティカルフローの消失点８１０の近傍の領域におけるぶれの補正を、当該消失点８１０の近傍の領域以外の領域よりも低い精度で行う。具体的には、ぶれ補正手段４４は、消失点８１０の近傍の領域８２０におけるぶれの補正を、領域８２０の外部に存在する領域８３０よりも低い精度で行う。また、ぶれ補正手段４４は、領域８３０におけるぶれの補正を、領域８３０に比べて消失点８１０からの距離がより大きい領域８４０よりも低い精度で行ってよい。
【００８２】
車両に設けられるカメラ４１によって撮像された画像におけるぶれは、消失点により近い領域において、より小さくなる。つまり、消失点により近い領域におけるぶれは、利用者にとって気にならないことが多い。従って、消失点により近い領域におけるぶれの補正をより低い精度で行うことにより、利用者が感じる画質の低下を抑えつつ、ぶれの補正に要する時間を短縮することができる。
【００８３】
なお、ぶれ補正手段４４は、消失点の近傍の領域におけるぶれの補正を、他の領域に比べてより低くする代わりに、消失点の近傍の領域におけるぶれの補正を行わなくともよい。これにより、ぶれ補正手段４４は、ぶれの補正に要する時間を更に短縮することができる。
【００８４】
図１５は、本実施形態の変形例に係るカメラ４１により撮像された画像の第３の例である画像９００を示す。本例において、ぶれ補正手段４４は、画像９００の略中央の領域におけるぶれの補正を、当該略中央の領域以外の領域よりも低い精度で行う。具体的には、ぶれ補正手段４４は、画像中心９１０の近傍の領域９２０におけるぶれの補正を、領域９２０の外部に存在する領域９３０よりも低い精度で行う。また、ぶれ補正手段４４は、領域９３０におけるぶれの補正を、領域９３０に比べて画像中心９１０からの距離がより大きい領域９４０よりも低い精度で行ってよい。
【００８５】
カメラ４１によって車両の前方を撮像する場合、カメラ４１は、撮像された画像の中心点が、オプティカルフローの消失点の近傍に位置するべく設けられている場合が多い。従って、撮像された画像の中央領域におけるぶれの補正を、他の領域より低い精度で行うことによっても、利用者が感じる画質の低下を抑えつつ、ぶれの補正に要する時間を短縮することができる。そして、この場合、オプティカルフローの消失点を算出する処理を行う必要がないので、ぶれの補正に要する時間をより短縮することができる。
【００８６】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施形態に係る車両１０に搭載された画像補正装置１００を示す図である。
【図２】本発明の実施形態に係る画像補正装置１００が取得する画像の一例である画像１２を示す図である。
【図３】本発明の実施形態に係る画像補正装置１００の機能構成の一例を示す図である。
【図４】本発明の実施形態に係る移動ベクトルを修正する動作の一例を説明する図である。
【図５】本発明の実施形態に係る移動ベクトルを修正する動作の他の例を説明する図である。
【図６】本発明の実施形態に係る画像補正装置１００の動作の一例を示すフローチャートである。
【図７】ステップＳ１２０の詳細な動作の一例を示すフローチャートである。
【図８】本発明の実施形態に係る画像補正装置１００の他の動作の一例を示すフローチャートである。
【図９】本発明の実施形態の変形例に係る画像補正装置１０５の機能構成の一例を示すブロック図である。
【図１０】本発明の実施形態の変形例に係る露光時間制御手段４５による露光時間の制御の第１の例を示す図である。
【図１１】本発明の実施形態の変形例に係る画像補正装置１０５における処理の流れの一例を示すフローチャートである。
【図１２】本発明の実施形態の変形例に係る露光時間制御手段４５による露光時間の制御の他の例を示す図である。
【図１３】本発明の実施形態の変形例に係るカメラ４１により撮像された画像の第１の例である画像７００を示す図である。
【図１４】本発明の実施形態の変形例に係るカメラ４１により撮像された画像の第２の例である画像８００を示す図である。
【図１５】本発明の実施形態の変形例に係るカメラ４１により撮像された画像の第３の例である画像９００を示す図である。
【符号の説明】
【００８８】
１０・・・車両、１２・・・画像、４０・・・速度測定手段、４１・・・カメラ、４２・・・舵角測定手段、４３・・・移動ベクトル算出手段、４４・・・ぶれ補正手段、４５・・・露光時間制御手段、４６・・・旋回速度算出手段、４７・・・加速度測定手段、４８・・・オプティカルフロー算出手段、５１・・・表示装置、１００・・・画像補正装置、１０５・・・画像補正装置
【図１】
2005318568.tif 000003
【図２】
2005318568.tif 000004
【図３】
2005318568.tif 000005
【図４】
2005318568.tif 000006
【図５】
2005318568.tif 000007
【図６】
2005318568.tif 000008
【図７】
2005318568.tif 000009
【図８】
2005318568.tif 000010
【図９】
2005318568.tif 000011
【図１０】
2005318568.tif 000012
【図１１】
2005318568.tif 000013
【図１２】
2005318568.tif 000014
【図１３】
2005318568.tif 000015
【図１４】
2005318568.tif 000016
【図１５】
2005318568.tif 000017