(57)【特許請求の範囲】
【請求項１】
前方走行中の移動体に対して自車両の走行制御量に基づいて追従制御を行う画像処理装置において、
入力された撮像画像から前記移動体の領域を特定し、追従制御開始後、特定された前記移動体の領域を基準画像領域と設定し、所定の時間経過後の前記移動体の領域を比較画像領域と設定する画像処理部と、
設定された前記基準画像領域と前記比較画像領域とを照合し、前記移動体との走行情報を算出する照合部と、
前記照合部で算出された前記走行情報から自車両の前記走行制御量を算出する制御量算出部と、を有し、
前記画像処理部は、前記比較画像領域の設定に失敗したと判定された場合、予め定めた回数以上、前記比較画像領域の設定に失敗したか否かの判定と、移動体が自車両の撮像装置で撮像可能な範囲から離脱したか否かの判定を行う画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記移動体との走行情報は、前記移動体の画像領域の大きさの変化の割合を示す拡大率、画像上の位置の変化を示す平行移動量、先行車との車間距離、先行車の横位置、走行車と自車両との相対速度、自車両の加速度の少なくとも１つである画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記画像処理部で設定した前記基準画像領域に対応する画像を記憶部に記憶する基準画像設定部を有する画像処理装置。
【請求項４】
請求項１記載の画像処理装置において、
前記自車両の走行制御量は、自車両の目標車速、加速度、減速度、目標横加速度、目標ホイール角、目標舵角、目標ヨーレート、の少なくとも１つである画像処理装置。
【請求項５】
請求項１記載の画像処理装置において、
前記画像処理部は、前記基準画像領域の設定に失敗したと判定された場合、前記基準画像領域の設定に失敗したことが示された情報を出力する画像処理装置。
【請求項６】
請求項５記載の画像処理装置において、
出力する前記基準画像領域の設定に失敗したことが示された前記情報は、ディスプレイに表示する表示情報、スピーカから音声を発する音声情報、ランプを点灯する点灯情報、ブザーを発する警告情報の少なくとも１つである画像処理装置。
【請求項７】
請求項５記載の画像処理装置において、
出力する前記基準画像領域の設定に失敗したことが示された前記情報は、自車両の速度を予め定めた一定速度、あるいは前記情報を示した時点の速度に維持する制御情報である画像処理装置。
【請求項８】
請求項５記載の画像処理装置において、
出力する前記基準画像領域の設定に失敗したことが示された前記情報は、ディスプレイに表示する表示情報、スピーカから音声を発する音声情報、ランプを点灯する点灯情報、ブザーを発する警告情報の少なくとも１つと、自車両の速度を予め定め一定速度に維持する制御情報と、を有する画像処理装置。
【請求項９】
請求項１記載の画像処理装置において、
前記制御量算出部は、予め定めた回数以上、前記比較画像領域の設定に失敗してないと判定され、且つ移動体が自車両の撮像装置で撮像可能な範囲から離脱していないと判定された場合、予め記憶された過去の前記走行情報を用いて算出された走行制御量、又は、予め記憶された過去の前記走行制御量を出力する画像処理装置。
【請求項１０】
請求項１記載の画像処理装置において、
前記画像処理部は、入力された撮像画像から探索範囲内を走査し、移動体の候補を検出し、検出した移動体の候補から移動体か否かを識別し、移動体と識別されたものから、追従制御の対象である移動体か否か判定する画像処理装置。
【請求項１１】
自車両の制御量に基づいて車線内の走行制御を行う画像処理装置において、
入力された撮像画像から路面上の車線を検知し、検知された前記車線の領域を基準画像領域と設定し、所定の時間経過後の前記車線の領域を比較画像領域と設定する画像処理部と、
設定された前記基準画像領域と前記比較画像領域とを照合し、画像の平行移動成分と、画像の回転パラメータを算出する照合部と、
前記照合部で算出された前記画像の平行移動成分及び前記画像の回転パラメータから自車両の旋回の制御量を算出する制御量算出部と、を有し、
前記画像処理部は、前記比較画像領域の設定に失敗したと判定された場合、予め定めた回数以上、前記比較画像領域の設定に失敗したか否かの判定と、移動体が自車両の撮像装置で撮像可能な範囲から離脱したか否かの判定を行う画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
画像の処理を行う画像処理装置に関する。
【背景技術】
【０００２】
近年、運転支援を目的とした車載カメラが開発され普及しつつある。これらのカメラは、撮像した画像をユーザに見せるだけでなく、画像処理により車線や車両を自動的に検出する機能が搭載されてきており、車両が車線を逸脱する事故を防止する機能や、先行車に追従する機能が開発されている。一般に、これら２つの機能を実現するためには、ミリ波レーダやレーザレーダといったレーダ装置と、車載カメラを用いる。２種類のセンサを用いるためコスト高となるといった問題があった。
【０００３】
そこで、カメラから得られる画像のみにより追従制御、車線維持の機能を実現する技術が必要となる。カメラから得られる画像のみを用いて追従制御を行う技術としては、特許文献１に記載された方法が提案されている。
【０００４】
これは、ある時刻ｔの先行車の画像上での幅を求めて基準特徴量として登録し、その後時刻ｔ＋ｎで得られた画像上での先行車の幅を求め、前記基準特徴量と一致するように車速を制御するものである。例えば、時刻ｔの先行車の画像上での幅が２０画素であり、時刻ｔ＋ｎの先行車の画像上での幅が２５画素であったとすると、先行車に近づいたことになるため自車の速度を下げるように制御することで追従制御を実現することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−７４５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の方法では、先行車の画像上での幅を求める処理が必要であった。また、画像上での先行車のサイズの微小変化を検出することが難しいといった課題があった。
【０００７】
本発明の目的は、撮像装置からの画像情報のみであっても、微小な画像の変化から精度良くパラメータを求め、高精度な先行車の追従制御を実現できる画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、前方走行中の移動体に対して自車両の走行制御量に基づいて追従制御を行う画像処理装置において、入力された撮像画像から移動体の領域を特定し、追従制御開始後、特定された前記移動体の領域を基準画像領域と設定し、所定の時間経過後の移動体の領域を比較画像領域と設定する画像処理部と、設定された基準画像領域と比較画像領域とを照合し、移動体との走行情報を算出する照合部と、照合部で算出された走行情報から自車両の走行制御量を算出する制御量算出部と、を有する構成とする。
【０００９】
また、自車両の制御量に基づいて車線内の走行制御を行う画像処理装置において、入力された撮像画像から路面上の車線を検知し、検知された車線の領域を基準画像領域と設定し、所定の時間経過後の車線の領域を比較画像領域と設定する画像処理部と、設定された基準画像領域と比較画像領域とを照合し、画像の平行移動成分と、画像の回転パラメータを算出する照合部と、照合部で算出された画像の平行移動成分及び画像の回転パラメータから自車両の旋回の制御量を算出する制御量算出部と、を有する構成とする。
【発明の効果】
【００１０】
撮像装置からの画像情報のみであっても、微小な画像の変化から精度良くパラメータを求め、高精度な先行車の追従制御を実現できる画像処理装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る画像処理装置の一実施形態を示すブロック図である。
【図２】本発明に係る画像処理装置を用いた画像処理システムの一構成例を示す図である。
【図３】本発明に係る画像処理装置を用いた画像処理システムの他の構成例を示す図である。
【図４】本発明に係る画像処理装置の第１の実施の形態の画像領域の設定を説明する図である。
【図５】本発明に係る画像処理装置の第１の実施の形態の処理フローの一例を示す図である。
【図６】本発明に係る画像処理装置の第１の実施の形態の基準画像を設定する処理フローの一例を示す図である。
【図７】本発明に係る画像処理装置の第１の実施の形態の画像照合の処理フローの一例を示す図である。
【図８】本発明に係る画像処理装置の第２の実施の形態の画像領域の設定を説明する図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００１３】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における画像処理装置１の基本構成の例を示したブロック図である。詳細は後述する。
【００１４】
第１の実施の形態は、撮像装置であるカメラ４から取り込む画像を処理し、自車の前方を走行している移動体である先行車を自車両の走行制御量に基づいて追従制御する画像処理装置１の制御方法である。
【００１５】
本発明に係る画像処理装置１は、図２に示すような画像処理装置１と制御装置１３に適用されて、この画像処理装置１が備えるカメラ４（撮像装置）により周囲の環境を撮像し、撮像した画像を処理し、車両を制御する機能を実現する。
【００１６】
このとき、画像処理装置１は、カメラを２つ以上備えていても良い。また、図３に示すように、図１の画像処理装置１をカメラユニット２（カメラ４と、カメラ４から画像を取り込む画像入力手段５と、取り込んだ画像を出力するＩ／Ｆ４２と、を有する）と、処理ユニット３（カメラユニット２から画像を入力するＩ／Ｆ４３と、取り込んだ画像を記憶するメモリ９と、取り込んだ画像を処理するＣＰＵ６と、ＣＰＵ６で画像を処理するための画像処理プログラムを格納するＲＯＭ７と、を有する）と処理を分離し、カメラユニット２からの入力された画像を処理ユニット３で処理する構成でも良い。以降、図２の構成を例に説明する。カメラ４は例えば車室内のルームミラー付近に車両の前方が写るように取り付ける。
【００１７】
この画像処理装置１は、撮像装置であるカメラ４と、このカメラ４にて撮像した画像を処理するための処理手段であるＣＰＵ６、ＣＰＵ６用の記録手段であり、撮像した画像やＣＰＵ６で処理した処理結果を記憶するメモリ９、ＣＰＵ６で処理するための画像処理プログラムの記録手段であるＲＯＭ７と、カメラ４を制御するとともに画像を取り込む画像入力手段５で構成され、これらがバス１１で接続されている。ただし、この構成は必須な要件ではなく、ＣＰＵ６に加え、さらに画像処理ＬＳＩを搭載して処理の一部を専用のＬＳＩで処理する構成や、１つのメモリのみでなく画像処理ＬＳＩ用のＲＡＭなど複数のメモリを用いる構成でも良い。
【００１８】
本画像処理装置１のカメラ４は、例えばＣＣＤやＣＭＯＳの撮像素子を搭載する。また、画像処理装置１と制御装置１３は、ＣＡＮ（Controller Area Network）等の通信手段１２で接続されており、画像処理装置１の処理結果等を相互に伝達することができる。
【００１９】
画像処理装置１は、カメラ４によって撮像した画像中の先行車の画像から、先行車を追従するための目標車速、減速度、加速度、アクセル、ブレーキの制御量等を算出し、制御装置１３に送信する。制御装置１３は、画像処理装置１が送信した信号を受信し、図示しないブレーキやアクセルのアクチュエータに指令を送り車両の速度を制御する。ただし、画像処理装置１は、目標車速、減速度、加速度、アクセル、ブレーキの制御量等の代わりに、画像上での先行車領域の大きさの変化量（拡大率）等を求め、その結果を制御装置１３に送信して、制御装置１３で目標車速、減速度、加速度、アクセル、ブレーキの制御量等を算出する構成としても良い。
【００２０】
本発明を適用する画像処理装置１は、これらを実現するために、ＲＯＭ７に本実施の形態に関する画像処理プログラムが格納されており、電源をＯＮにするとＣＰＵ６がこれらのプログラムを実行することで、撮像した画像を処理する一連の機能が実現され、図１の画像処理装置１の機能ブロック図のように画像処理部２０、基準画像設定部２１、照合部２２、制御量算出部２３として機能するようになっている。
【００２１】
図１の画像処理部２０は、撮像装置であるカメラ４で撮像された画像中の先行車両の領域を特定し、追従制御開始時の時刻ｔでは先行車両の領域の画像を基準画像領域として設定し、所定の時間経過後、時刻ｔ＋Ｎでは、先行車両の領域の画像を比較画像領域として設定する機能を有するものである。ただし、基準画像の設定はタッチパネルや外部インターフェース等により人手で設定する構成としても良い。
【００２２】
基準画像設定部２１は、画像処理部２０で設定した基準画像領域中の画像をメモリ９に保存する機能を有するものである。このとき、基準画像領域中の画像の代わりに、基準画像領域を含むサイズの画像とともに、基準画像領域の座標を保持する構成としても良い。
【００２３】
照合部２２は、基準画像設定部２１によりメモリ９に格納した時刻ｔの基準画像領域又は、その中の画像と、画像処理部２０で設定した時刻ｔの比較画像領域又は、その中の画像とを照合し、移動体である先行車との走行情報（例えば、先行車の画像領域の大きさの変化である拡大率、画像上の位置の変化を表す平行移動量、実空間上での先行車との車間距離、先行車の横位置等の少なくとも１つ）を算出する機能を有するものである。画像上の先行車領域の拡大率や位置の変化を求める代わりに、後述するように減速度、加速度、車両の旋回に関するパラメータを直接算出する構成としても良い。
【００２４】
制御量算出部２３は、照合部２２により求めた走行情報（先行車の画像領域の拡大率、平行移動量、実空間上での先行車の移動量等の少なくとも１つ）から自車両の走行制御量（例えば、自車の目標車速、加速度、減速度、目標横加速度、目標ホイール角、目標舵角、目標ヨーレート等の少なくとも１つ）を算出する機能を有する。さらに、アクセル、ブレーキ、ステアリングのアクチュエータに送る指令値を求める構成としても良い。
【００２５】
これらの機能を用いることで、例えば図４に示すように、時刻ｔの先行車の領域を基準画像として設定し、時刻ｔ＋Ｎの先行車の領域を比較画像として設定した場合、比較画像の先行車の画像の方が基準画像よりも大きい（拡大率は１未満）ため、時刻ｔ＋Ｎ＋１で得られる先行車の比較領域の画像が時刻ｔ＋Ｎよりも小さくなり、基準画像に近づくように車両を制御することができる。但し、拡大率は、基準画像の方が比較画像よりも大きい場合に１未満となるように定義しても良い。又、基準画像と比較画像の大きさが等しい場合を１とすることも必須要件ではない。
【００２６】
以上のように構成される画像処理装置１は、上述したように、ＣＰＵ６が画像処理プログラムを実行することで、画像を処理し、車両の制御に必要な情報を算出することができる。ただし、前述の通り画像処理部２０、基準画像設定部２１、照合部２２、制御量算出部２３の一部あるいはすべてをカメラユニット２で実行しても良い。
【００２７】
ここで、以上のような画像処理装置１において、画像処理装置１が制御量を算出するまでの一連の処理の流れを図５のフローチャートを参照しながら説明する。
【００２８】
図５に示す一連の処理は、電源がオンとなったときにスタートし、電源がオフとなるまで繰り返し行われる。プログラムのスタート、ストップを操作することができるインターフェースを設けても良い。
【００２９】
まず、電源がオンとなると、画像処理装置１により画像処理プログラムが実行され、ＲＡＭ等のメモリ９の初期化など起動時の初期化処理を実行する（ステップ１０１）。
【００３０】
次に、画像処理プログラムの実行途中の初期化タイミングか否かを判定し（ステップ１０２）、ステップ１０３で初期化を実行するタイミングであればステップ１１４に移行し、初期化処理を実行するタイミングでなければステップ１０４の処理を実行する。
【００３１】
ステップ１１４の初期化処理では、過去に画像処理部２０で設定され、基準画像設定部２１で記憶部であるメモリに記憶した基準画像領域をクリア、無効にする処理等を実行する。これにより別の車両を追従するように設定し直すことができる。
【００３２】
ステップ１０２の初期化タイミング判定では、ドライバが図示しない先行車追従のキャンセルボタンを操作したか否か、ブレーキを踏んだか否かといった情報を基にタイミングを判定する。例えば、キャンセルボタンが押されるか、ブレーキが踏まれれば初期化タイミングとして判定する。また、先行車と自車の間に別の車両が進入した場合に、初期化タイミングと判定する。
【００３３】
ステップ１０４では、基準画像領域の設定タイミングか否かを判定する。この処理では、例えば図示しない追従制御開始ボタンをドライバが押した場合に基準画像領域の設定タイミングと判定する。ドライバが追従制御開始ボタンを押した場合以外であっても、先行車追従制御中に先行車と自社の間に別の車両が進入した場合などは、基準画像領域の設定タイミングと判定する。そして、基準画像領域の設定タイミングでないと判定されれば処理１０２に戻り、設定タイミングであると判定されればステップ１０５に移り、基準画像領域が設定済みか否かを判定する。
【００３４】
そして、基準画像領域が設定済みであれば、現時刻（基準画像を設定した時刻から時刻Ｎだけ経過した時刻とする）での画像を処理して先行車の画像領域を特定し比較画像領域として設定する（ステップ１０６）。ただし、基準画像領域を設定した時刻をｔとする。
【００３５】
その後、ステップ１０７で比較画像領域の設定に成功したか否かを判定し、成功した場合は、基準画像領域と比較画像領域を照合する（ステップ１０８）。具体的な照合方法は後述する。
【００３６】
そして、ステップ１０８で得られた結果を基に制御量を算出し、制御量を通信手段１２を介して制御装置１３に送信する。
【００３７】
また、ステップ１０５で基準画像領域が設定済みで無いと判定された場合は、現時刻での画像を処理して基準画像領域を設定する（ステップ１１０）。ここで、ステップ１１１で基準画像領域の設定に成功すればステップ１０２に戻り、設定した基準画像領域を用いて逐次制御量を算出する処理を繰り返す。ステップ１１１で基準画像領域の設定に失敗したと判定された場合は基準画像領域の設定に失敗した旨、つまり基準画像領域の設定に失敗したことが示された情報を出力する。この情報は、ディスプレイに表示する表示情報、スピーカから音声を発する音声情報、ランプを点灯する点灯情報、ブザーを発する警告情報等の少なくとも１つであり、これらによりドライバにエラーを通知する（ステップ１１２）。
【００３８】
あるいは、繰り返し基準画像領域の設定処理を行い、所定の回数以上失敗した際にドライバに通知する構成としても良い。あるいは、基準画像領域の設定処理を失敗した場合は、追従制御ではなく一定速度、あるいはその時点の速度に維持する制御を実施する、つまり、自車両の速度を予め定め一定速度、あるいはその時点の速度に維持する制御情報を出力する構成としても良い。その際、もちろん基準画像領域の設定に失敗した旨、つまり上述した表示情報、音声情報、点灯情報、警告情報等の少なくとも１つを出力し、これらによりドライバにエラーを通知したうえで、一定速度を維持する制御を実施しても良い。
【００３９】
また、ステップ１０７で比較画像領域の設定に失敗したと判定された場合は、ステップ１０３で所定回数以上（Ｍ回以上）失敗したのか、つまり、予め定めた回数以上、比較画像領域の設定に失敗したか否かの判定と、移動体である先行車が右左折等により離脱したのか、つまり、移動体が自車両の撮像装置で撮像可能な範囲から離脱したか否か判定する。失敗回数がＭ回以下かつ先行車が離脱していないと判定された場合は、過去の照合結果と過去の制御量算出結果の少なくともいずれかを用いて現在の制御量を算出する、つまり、予め記憶された過去の前記走行情報を用いて算出された走行制御量、又は、予め記憶された過去の走行制御量を出力する。予め定めた回数以上、比較画像領域の設定に失敗（Ｍ回以上失敗）、または移動体が自車両の撮像装置で撮像可能な範囲から離脱した（先行車が離脱した）場合は、ステップ１１２に移行する。ステップ１１２では比較画像の設定に失敗した旨、つまり基準画像領域の設定に失敗したことが示された情報を出力する。この情報は、ディスプレイに表示する表示情報、スピーカから音声を発する音声情報、ランプを点灯する点灯情報、ブザーを発する警告情報等の少なくとも１つであり、これらによりドライバにエラーを通知する。あるいは、比較画像領域の設定処理を失敗した場合は、追従制御ではなく一定速度を維持する制御を実施する構成としても良い。
【００４０】
次に、以上のような画像処理装置１において、画像処理装置１が基準画像を設定する一連の処理の流れを図６に示すフローチャートを参照しながら説明する。
【００４１】
まずステップ２０１により初期化タイミングか否かを判定する。例えば、図示しないハンドル角センサやヨーレートセンサ等から得られる情報から自車両が大きく旋回したと判断された場合は初期化タイミングと判定し、旋回量が所定値以下であれば初期化タイミングではないとする。
【００４２】
ステップ２０２で初期化タイミングで無い場合はステップ２０３に移行し、先行車候補検出の探索範囲を設定する。初期化タイミングである場合は、ステップ２０９に移行し、先行車候補検出の探索範囲等を初期化する。
【００４３】
そして、例えば公知のテンプレートマッチング等の技術を用いて探索範囲内を走査し、車両の候補を検出する（ステップ２０４）。このとき、隣接する画素との差分値等により求まるエッジや、各画素の輝度値の情報から車両候補の領域を切出しても良い。
【００４４】
その後、車両候補がありと判定されれば（ステップ２０５）、ステップ２０６でサポートベクターマシーン（ＳＶＭ）、ＡｄａＢｏｏｓｔ、ＲｅａｌＡｄａＢｏｏｓｔ、ニューラルネットワーク等の公知技術を用いて車両か否かを識別する。ただし、このとき過去に先行車を検出できていればその先行車の画像や画像から抽出した特徴量と、現在の画像の部分画像を照合することで車両を識別しても良い。
【００４５】
例えば図７に示すフローチャートのように、ステップ２１０で、探索範囲内に部分画像を設定し、その部分画像と過去の先行車の画像が同一化否かを判定する。探索範囲内の走査が完了していなければ（ステップ２１１）、部分画像の位置、大きさを変えて繰り返しステップ２１０の処理を行う。
【００４６】
すべての車両候補の識別処理が完了していなければ（ステップ２０７）、ステップ２０６に戻る。すべて完了していれば識別処理により車両と判定されたものから、追従制御の対象である先行車を判定する（ステップ２０８）。先行車か否かの判定処理では、検出した車両が自車が走行しているレーン内か否か、進行方向が同一か否かを判定することで、先行車か先行車でないかを決定する。
【００４７】
またステップ２０５で車両候補なしであった場合は、車両候補検知処理を抜ける。
【００４８】
以上までに説明した手法等で先行車を検出し、ある時刻ｔの画像を基準画像として設定し、その後時刻ｔ＋Ｎに比較画像領域を設定したとすると、ステップ１０８の基準画像と比較画像の照合では、例えば以下の式１の値が最小となるパラメータを求める。
【００４９】
【数１】
0005645769.tif 000002
ただし、Ｔ：基準画像の輝度値、Ｉ：比較画像の輝度値、Ｗ：比較画像を変形させる関数、ｚ：拡大率、ｔｘ：車両の並行移動量（横）、ｔｙ：車両の並行移動量（縦）、Ｍは基準画像の画素数である。
【００５０】
変換関数Ｗは、画素ｉの座標をｉ＝（ｘ，ｙ）とすると、例えば
【００５１】
【数２】
0005645769.tif 000003
である。もちろん拡大率ｚは縦方向と横方向で異なる値としても良く、回転・せん断といったパラメータを含めても良い。ただし、パラメータｚ、ｔｘ、ｔｙをまとめてｐと表記する。
【００５２】
式１により基準画像と一致するように比較画像を変形させることができるパラメータを求める。拡大率を求めることができれば、車両が自車に近づいたのか、遠ざかったのかを求めることができる。この式１は、以下のように解くことができる。
【００５３】
ｅがより小さくなるようにパラメータをΔｐだけ変化させる。これを繰り返し行うことで最適な解を得る。つまり、式１を式２のように表記し、Δｐを求めｐにｐ＋Δｐを代入する処理を繰り返す。
【００５４】
【数３】
0005645769.tif 000004
式３を１次のテイラー展開を適用すると
【００５５】
【数４】
0005645769.tif 000005
が得られる。これを式４＝０として、Δｐについて解くと式５が得られる。つまり、Δｐを求めることができる。
【００５６】
【数５】
0005645769.tif 000006
ただし、Ｈはヘッセ行列を、添え字−１は逆行列を、添え字Ｔは転置行列を表す。
【００５７】
ただし、求めるパラメータは、拡大率の代わりに、自車の減速度・加速度、目標車速、車間距離等の、自車の速度に関するパラメータでも良い。これは、先行車の画像の拡大、縮小は、自車の車速、減速度・加速度、車間距離等と相関があるため、画像の２次元の画像の変形と自車の運動を関連付けて定式化することで実現できる。また、車両の平行移動量（ｔｘ、ｔｙ）の代わりに自車のヨーレート、横加速度、旋回半径、ハンドル舵角、ホイール角度等の自車の旋回に関するパラメータであっても良い。例えば変換関数Ｗを式６とする。
【００５８】
【数６】
0005645769.tif 000007
ただし、ｐはＤ、ｖ、ａ、ｔｘ、ｔｙから成り、Ｄは車間距離、ｖは相対速度、ａは自車の加速度、ｔは微小時間（例えば０.５秒、１秒、２秒、３秒など）である。
【００５９】
また、車間距離一定の追従制御であれば、基準画像は固定のままで良いが、車間距離を変更したい場合は、基準画像を更新するか、基準画像にも拡大等の画像変換を適用する。例えば、基準画像を拡大し、比較画像と照合すれば、車間距離が短くなり、基準画像を縮小し、比較画像と照合すれば、車間距離は長くなる。
【００６０】
以上のように本発明を用いることで、撮像装置からの画像情報のみであっても、微小な画像の変化から精度良くパラメータを求め、高精度な先行車の追従制御を実現できる画像処理装置を提供できる。
【００６１】
以上までに述べた方法は、カメラを１台用いるカメラに関して説明したが、カメラが２台以上存在する場合でも本実施の形態を適用することができるのは明らかである。カメラを２台用いるステレオカメラに適用すれば基準画像や比較画像の設定が用意になるとともに、ステレオカメラの３次元計測結果と併用して車両を制御することができる。また、車についての実施例について説明したが、ロボットやダンプ等の建設機械といった移動物であれば本発明を適用することができる。
【００６２】
また、基準画像の設定、比較画像の設定に失敗した際に、その旨をドライバに通知することで、ドライバが追従制御で走行中なのか否かを判断することができ、制御の安全性を向上することができる。さらに、比較画像の設定に失敗した際に、一定速度を維持する制御を行うことで本発明のみで先行車の追従制御と、一定速度を維持する制御を実現できるとともに、先行車が存在しない場合等での制御を行うことができるといった利点がある。
【００６３】
（第２の実施の形態）
第２の実施の形態について、図面を参照して詳細に説明する。
【００６４】
第１の実施の形態では、先行車の追従制御に適用した例であったが、道路のレーンマークなど連続的、断続的に存在する路面ペイントを用いることで車線維持の制御を行うことができる。
【００６５】
つまり、入力された撮像画像から路面上の車線を検知し、検知された車線の領域を基準画像領域と設定し、所定の時間経過後の車線の領域を比較画像領域と設定する画像処理部２０と、設定された基準画像領域と比較画像領域とを照合し、画像の平行移動成分と、画像の回転パラメータを算出する照合部２２と、照合部２２で算出された画像の平行移動成分及び画像の回転パラメータから自車両の旋回の制御量を算出する制御量算出部２３と、を有する構成とする。
【００６６】
具体的には、図８に示す通り、ある時刻ｔのレーンマークの画像を基準画像として設定し、その後時刻ｔ＋Ｎのレーンマークの画像を比較画像として設定する。自車がレーンに対して平行に走行している場合は常に同じ位置にレーンマークが撮像されるが、自車が片側に寄ってしまう、レーンマークと進行方向が平行でなくなってしまうとレーンマークは異なった位置に撮像される。
【００６７】
本実施例では、ステップ１０８の処理で、例えば式２のパラメータｐを、画像の平行移動成分ｔｘ、ｔｙと、画像の回転パラメータθとし、ｔｘ、ｔｙ、θ求める。そしてステップ１０９で得られたｔｘ、ｔｙ、θから車両の旋回の制御量を求める。
【００６８】
または、車両のヨーレート、横加速度、旋回半径、ハンドル舵角、ホイール角度等の自車の旋回といった制御量、車両やカメラの上下方向の角度（ピッチング）を画像の変換関数Ｗに組み入れて定式化することで車両のヨーレート、横加速度、旋回半径、ハンドル舵角、ホイール角度等の自車の旋回といった制御量、車両やカメラの上下方向の角度（ピッチング）を算出することができる。
【００６９】
例えば、パラメータｐが画像の回転パラメータθとｔｘ、ｔｙから成るとすると、変換関数Ｗは式７となる。
【００７０】
【数７】
0005645769.tif 000008
【００７１】
このような第２の実施形態でも、第１の実施形態と同様に、撮像装置からの画像情報のみであっても、微小な画像の変化から精度良くパラメータを求め、高精度な先行車の追従制御を実現できる画像処理装置を提供できる。
【００７２】
また、以上までに述べた方法は、カメラを１台用いるカメラに関して説明したが、カメラが２台以上存在する場合でも本実施の形態を適用することができるのは明らかである。カメラを２台用いるステレオカメラに適用すれば基準画像や比較画像の設定が容易になるとともに、ステレオカメラの３次元計測結果と併用して車両を制御することができる。また、車についての実施例について説明したが、ロボットやダンプ等の建設機械といった移動物であれば本発明を適用することができる。
【００７３】
また、画像の拡大率、平行移動量、回転、せん断について述べたが、四角い画像を台形に変換といった他のアフィン変換パラメータを用いることができることは明らかである。
【符号の説明】
【００７４】
１  画像処理装置
２  カメラユニット
３  処理ユニット
４  カメラ
５  画像入力手段
６  ＣＰＵ
７  ＲＯＭ
８、９  メモリ
１２  通信手段
１３  制御装置
１４  データ伝送手段
２０  画像処理部
２１  基準画像設定部
２２  照合部
２３  制御量算出部
【図１】
0005645769.tif 000009
【図２】
0005645769.tif 000010
【図３】
0005645769.tif 000011
【図４】
0005645769.tif 000012
【図５】
0005645769.tif 000013
【図６】
0005645769.tif 000014
【図７】
0005645769.tif 000015
【図８】
0005645769.tif 000016