(57)【特許請求の範囲】
【請求項１】
車両に設置された撮像装置（２０）で撮像された複数の画素のデータからなる画像データに基づいて、オプティカルフローを生成する画像処理装置であって、
前記撮像装置（２０）で時系列的に撮像された複数の前記画像データを取得する画像データ取得手段（Ｓ１０）と、
前記車両状態が突発的に変化したことを推定する車両状態推定手段（Ｓ２０）と、
前記車両状態推定手段（Ｓ２０）の推定結果に基づいて、前記画像データ取得手段（Ｓ１０）にて取得された画像データにおいて、前記車両状態が突発的に変化したと推定されたときの画像データをノイズ画像データ、前記車両状態が突発的に変化したと推定されてないときの画像データを正常画像データに区分けする区分手段（Ｓ３０）と、
正常画像データに基づいて補完画像データを生成し、ノイズ画像データを補完画像データに置き換える補完手段（Ｓ５０）と、
正常画像データと補完画像データとから特徴点を抽出する特徴点抽出手段（Ｓ６０）と、
正常画像データ及び補完画像データにおける時間的に連続する画像データおいて、特徴点の位置を追跡処理することによってオプティカルフローを生成するオプティカルフロー生成手段（Ｓ７０）と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記車両状態推定手段（Ｓ２０）は、
前記車両の鉛直方向の加速度を示す加速度情報を取得する第１取得手段（Ｓ２０１）と、
前記車両の外部の音情報を取得する第２取得手段（Ｓ２０２）と、を備え、
加速度が所定値以上で且つ衝突音がない場合、前記車両状態が突発的に変化したと推定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記車両状態推定手段（Ｓ２０）は、
前記車両の鉛直方向の加速度を示す加速度情報を取得する第３取得手段（Ｓ２０３）と、
前記車両の車速を示す車速情報を取得する第４取得手段（Ｓ２０４）と、を備え、
加速度が所定値以上で且つ車速が所定範囲内である場合、前記車両状態が突発的に変化したと推定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記車両状態推定手段（Ｓ２０）は、
前記車両に照射される日射量を示す日射情報を取得する第５取得手段（Ｓ２０５）と、
前記車両の車速を示す車速情報を取得する第６取得手段（Ｓ２０６）と、を備え、
車速が所定値以上で、日射量の変化量が所定値以上、且つ日射量が一定時間後に変化する前の値に戻った場合、前記車両状態が突発的に変化したと推定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記車両状態推定手段（Ｓ２０）は、
前記車両の鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向の夫々の加速度を示す加速度情報を取得する第７取得手段（Ｓ２０７）と、
前記車両の車速を示す車速情報を取得する第８取得手段（Ｓ２０８）と、を備え、
少なくとも一つの加速度が所定値以上で且つ車速がゼロの場合、前記車両状態が突発的に変化したと推定することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記車両状態推定手段（Ｓ２０）は、
前記車両の鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向の夫々の加速度を示す加速度情報を取得する第９取得手段（Ｓ２０９）と、
前記車両の外部の音情報を取得する第１０取得手段（Ｓ２１０）と、を備え、
少なくとも一つの加速度が所定値以上で且つ衝突音があった場合、前記車両状態が突発的に変化したと推定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像データにおける複数の画素のデータは、各画素の輝度を示す輝度値データを含むものであり、
前記補完手段（Ｓ５０）は、前記ノイズ画像データの直前に撮像された正常画像データと、直後に撮像された正常画像データとを用いて補完画像データを生成するものであり、直前に撮像された正常画像データと直後に撮像された正常画像データとにける互いに対応する画素同士の輝度値データの平均値である平均輝度値データを算出し、該平均輝度値データを各画素の輝度値データとして、補完画像データを生成することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に設置された撮像装置で撮像された画像データに基づいて、オプティカルフローを生成する画像処理装置に関するものである。
【背景技術】
【０００２】
従来、撮像装置で撮像された画像データの画像処理を行う画像処理装置の一例として、特許文献１に記載された画像情報補正装置がある。
【０００３】
この画像情報補正装置によると、撮像装置によって検出された画素情報が画素毎に順次、異常判定処理部、正常判定処理部、補間処理部に入力される。異常判定処理部では、入力される全ての画素情報が画素配列順に補正対象の画素情報となる。そして、異常判定処理部では、補正対象の画素情報をその周辺画素の画素情報と比較することによって、これが異常な情報（ノイズを含んだ情報）で有るか否かが順次判定され、異常な情報であると判定された場合に異常判定出力信号が出力される。
【０００４】
また、正常判定処理部では、異常判定処理部で補正対象の画素情報に対して異常判定がなされている際に、その補正対象の画素情報における周辺の画素が正常な情報（ノイズを含んでいない情報）で有るか否かが順次判定され、正常な情報であると判定された場合に正常判定出力信号が出力される。そして、異常判定処理部から異常判定出力信号が出力され且つ正常判定処理部から正常判定出力信号が出力された場合に補間制御信号が出力され、補間処理部が補正対象の画素情報に対して補間処理を実行して、補間された画素情報が出力される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２８４３５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
なお、画像処理装置としては、車両に搭載された撮像装置で撮像された複数の画素のデータからなる画像データの画像処理を行うものもある。例えば、車両に搭載された撮像装置で撮像された時間的に連続する複数の画像データからオプティカルフローを生成するものなどがある。
【０００７】
ところで、車両は、車両の周辺環境（道路上の異物（石など）、道路形状、トンネルなど）によって、運転者の意図に反して突発的に車両状態が変化することがある。例えば、車両は、道路上の石などの異物を踏んでその異物を跳ね飛ばしたり（石跳ね）、窪んだ道路を走行したりした場合、車体が突発的（瞬間的）に傾くことがある。また、車両は、トンネルを通過する際には、車体周辺の明るさが突発的（瞬間的）に変化することになる。
【０００８】
このように、車両状態が突発的に変化した場合、車両に搭載された撮像装置で撮像された画像データは、突発的に所定値を超えて変化（すなわち、画像データにおける各画素の輝度データが突発的に所定値を超えて変化）することがある。この車両状態が突発的に変化したときに撮像された画像データは、撮像装置で撮像された時間的に連続する複数の画像データからオプティカルフローを生成する際にはノイズとみなす。つまり、車両状態が突発的に変化したときに撮像された画像データに含まれる全ての画素のデータがノイズ（ノイズ画像データ）となる。よって、時間的に連続する複数の画像データにノイズ画像データが含まれていた場合、ノイズ画像データの影響を受けた（ノイズ画像データが反映された）オプティカルフローとなってしまう。
【０００９】
しかしながら、上述の画像情報補正装置では、補正対象の画素情報をその周辺画素の画素情報と比較することによって、異常な画素情報で有るか否かを判定し、異常である画素情報を補完するものである。よって、上述のように画像データ全体がノイズであるノイズ画像データを補完することができない。つまり、オプティカルフローを生成する際に、ノイズ画像データによる影響を抑制することができない。
【００１０】
本発明は、上記問題点に鑑みなされたものであり、オプティカルフローを生成する際に、車両状態が突発的に変化したことに伴うノイズ画像データによる影響を抑制することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために請求項１に記載の画像処理装置は、
車両に設置された撮像装置（２０）で撮像された複数の画素のデータからなる画像データに基づいて、オプティカルフローを生成する画像処理装置であって、
撮像装置（２０）で時系列的に撮像された複数の画像データを取得する画像データ取得手段（Ｓ１０）と、
車両状態が突発的に変化したことを推定する車両状態推定手段（Ｓ２０）と、
車両状態推定手段（Ｓ２０）の推定結果に基づいて、画像データ取得手段（Ｓ１０）にて取得された画像データにおいて、車両状態が突発的に変化したと推定されたときの画像データをノイズ画像データ、車両状態が突発的に変化したと推定されてないときの画像データを正常画像データに区分けする区分手段（Ｓ３０）と、
正常画像データに基づいて補完画像データを生成し、ノイズ画像データを補完画像データに置き換える（Ｓ５０）と、
正常画像データと補完画像データとから特徴点を抽出する特徴点抽出手段（Ｓ６０）と、
正常画像データ及び補完画像データにおける時間的に連続する画像データおいて、特徴点の位置を追跡処理することによって複数のオプティカルフローを生成するオプティカルフロー生成手段（Ｓ７０）と、を備えることを特徴とするものである。
【００１２】
このようにすることによって、取得された複数の画像データにノイズ画像データが含まれていた場合であっても、オプティカルフローを生成する際には、ノイズ画像データを補完した補完画像データと正常画像データとが用いられる。よって、オプティカルフローを生成する際に、車両状態が突発的に変化したことに伴うノイズ画像データによる影響を抑制することができる。
【００１３】
また、請求項２に示すように、車両状態推定手段（Ｓ２０）は、
車両の鉛直方向の加速度を示す加速度情報を取得する第１取得手段（Ｓ２０１）と、
車両の外部の音情報を取得する第２取得手段（Ｓ２０２）と、を備え、
加速度が所定値以上で且つ衝突音がない場合、車両状態が突発的に変化したと推定するようにしてもよい。
【００１４】
車体が石跳ねした場合や、坂道を走行する際に車体が上下方向にうねった場合、車両の外部における衝突音はなく、且つ鉛直方向の加速度が所定値以上となる。よって、請求項２に示すようにすることによって、車体が石跳ねした場合や、坂道を走行する際に車体が上下方向にうねった場合に、車両状態が突発的に変化したと推定することができる。なお、鉛直方向とは、車両における地面に対して垂直方向への加速度である。
【００１５】
また、請求項３に示すように、
車両状態推定手段（Ｓ２０）は、
車両の鉛直方向の加速度を示す加速度情報を取得する第３取得手段（Ｓ２０３）と、
車両の車速を示す車速情報を取得する第４取得手段（Ｓ２０４）と、を備え、
加速度が所定値以上で且つ車速が所定範囲内である場合、車両状態が突発的に変化したと推定するようにしてもよい。
【００１６】
このようにすることによって、車両の外部の音情報を取得できない場合であっても、車体が石跳ねした場合や、坂道を走行する際に車体が上下方向にうねった場合に、車両状態が突発的に変化したと推定することができる。
【００１７】
また、請求項４に示すように、
車両状態推定手段（Ｓ２０）は、
車両に照射される日射量を示す日射情報を取得する第５取得手段（Ｓ２０５）と、
車両の車速を示す車速情報を取得する第６取得手段（Ｓ２０６）と、を備え、
車速が所定値以上で、日射量の変化量が所定値以上、且つ日射量が一定時間後に変化する前の値に戻った場合、車両状態が突発的に変化したと推定するようにしてもよい。
【００１８】
車両がトンネルを通過した場合、車速が所定値以上で、日射量の変化量が所定値以上、且つ日射量が一定時間後に変化する前の値に戻ることになる。よって、請求項４に示すようにすることによって、車両がトンネルを通過した場合に、車両状態が突発的に変化したと推定することができる。
【００１９】
また、請求項５に示すように、
車両状態推定手段（Ｓ２０）は、
車両の鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向の夫々の加速度を示す加速度情報を取得する第７取得手段（Ｓ２０７）と、
車両の車速を示す車速情報を取得する第８取得手段（Ｓ２０８）と、を備え、
少なくとも一つの加速度が所定値以上で且つ車速がゼロの場合、車両状態が突発的に変化したと推定するようにしてもよい。
【００２０】
車両が停車中に、撮像装置（２０）若しくは車体に衝撃が印加（例えば、車体への追突、又は車両若しくは撮像装置（２０）の盗難などのために衝撃が印加）された場合、車速がゼロで且つ鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向の少なくとも一つの加速度が所定値以上となる。よって、請求項５に示すようにすることによって、車両が停車中に、撮像装置（２０）若しくは車体に衝撃が印加された場合に、車両状態が突発的に変化したと推定することができる。
【００２１】
また、請求項６に示すように、
車両状態推定手段（Ｓ２０）は、
車両の鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向の夫々の加速度を示す加速度情報を取得する第９取得手段（Ｓ２０９）と、
車両の外部の音情報を取得する第１０取得手段（Ｓ２１０）と、を備え、
少なくとも一つの加速度が所定値以上で且つ衝突音があった場合、車両状態が突発的に変化したと推定するようにしてもよい。
【００２２】
車両が走行中に、他車両などに追突された場合、車両の外部における衝突音があり、且つ鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向の少なくとも一つの加速度が所定値以上となる。よって、請求項６に示すようにすることによって、車両が走行中に、他車両などに追突された場合に、車両状態が突発的に変化したと推定することができる。
【００２３】
また、請求項７に示すように、
画像データにおける複数の画素のデータは、各画素の輝度を示す輝度値データを含むものであり、
補完手段（Ｓ５０）は、ノイズ画像データの直前に撮像された正常画像データと、直後に撮像された正常画像データとを用いて補完画像データを生成するものであり、直前に撮像された正常画像データと直後に撮像された正常画像データとにける互いに対応する画素同士の輝度値データの平均値である平均輝度値データを算出し、平均輝度値データを各画素の輝度値データとして、補完画像データを生成するようにしてもよい。
【００２４】
このようにすることによって、画像データ取得手段（Ｓ１０）にて取得された画像データ以外に特別なデータを用いることなく、補完画像データを生成することができる。
【図面の簡単な説明】
【００２５】
【図１】実施形態における制御装置の概略構成を示すブロック図である。
【図２】実施形態における制御装置の処理動作を示すフローチャートである。
【図３】実施形態における制御装置の推定処理動作を示すフローチャートである。
【図４】時間的に連続する画像データの一例を示すイメージ図である。
【図５】（ａ）は各撮像タイミングと印加加速度との関係を示すグラフであり、（ｂ）は図５（ａ）における各撮像タイミングと輝度値との関係を示すグラフであり、（ｃ）は補完後の各撮像タイミングと輝度値との関係を示すグラフである。
【図６】変形例１における制御装置の推定処理動作を示すフローチャートである。
【図７】変形例２における制御装置の推定処理動作を示すフローチャートである。
【図８】変形例３における制御装置の推定処理動作を示すフローチャートである。
【図９】変形例４における制御装置の推定処理動作を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態を図に基づいて説明する。
【００２７】
図１に示す、制御装置１０は、特許請求の範囲における画像処理装置に相当するものである。この制御装置１０は、車両に設置されるとともに自身（制御装置１０）に電気的に接続された車載カメラ２０（以下の説明及び図面では、単にカメラと記載する）からの画像データを所定時間毎に取得する。そして、取得した画像データに基づいて、オプティカルフロー（以下、ＯＦとも称する）を生成するものである。なお、オプティカルフローとは、時間的に連続するデジタル画像の中で物体の動きをベクトルで表したものである。また、カメラ２０は、特許請求の範囲における撮像装置に相当するものである。
【００２８】
さらに、制御装置１０は、生成したＯＦに基づいて、歩行者検知や各種の車両制御を行う。例えば、車両制御としては、ＶＳＣ（Vehicle Stability Control）制御などを行う。なお、ＯＦに基づいた歩行者検知や車両制御に関しては、周知技術であるため詳しい説明を省略する。
【００２９】
なお、制御装置１０が所定時間毎に取得する各画像データは、複数の画素のデータからなるものである。また、各画像データにおける複数の画素のデータは、各画素の位置を示す位置データと、各画素の輝度を示す輝度値データとを含むものである。また、この位置データと輝度値データとは関連付けられている。
【００３０】
この制御装置１０は、例えば、車載ＬＡＮ（Local Area Network）に接続されて、第１ＥＣＵ（Electronic Control Unit）３０、第２ＥＣＵ４０、第３ＥＣＵ５０などの制御装置と通信可能な構成とすることができる。そして、制御装置１０は、この第１ＥＣＵ３０、第２ＥＣＵ４０、第３ＥＣＵ５０を用いて各種車両制御を行うようにしてもよい。また、制御装置１０は、第１ＥＣＵ３０〜第３ＥＣＵ５０のいずれかから、車両の鉛直方向の加速度を示す加速度情報を取得するとともに、車両の外部の音情報を取得する。ここでは、制御装置１０は、加速度情報を第１ＥＣＵ３０から取得し、音情報を第２ＥＣＵ４０から取得する例を採用する。
【００３１】
制御装置１０は、図１に示すように、ＣＰＵ（CentralProcessing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、Ｉ／Ｆ（interface）１４などを含むマイクロコンピュータを主体として構成されている。この制御装置１０は、ＣＰＵ１１が予めＲＯＭ１３などに格納されたプログラムをＲＡＭ１２に読出して実行することによって、カメラ２０で撮像された画像データの取得など所定の処理動作を実行する。なお、カメラ２０は、制御装置１０とともに車両に搭載されており、自車両の前方などの所定範囲（所定の撮像範囲）を撮像するものである。
【００３２】
ここで、図２，図３に基づいて、制御装置１０の処理動作に関して説明する。制御装置１０は、自車両に搭載された電源（図示省略、例えば、バッテリー）から電源供給されている間、所定時間毎に図２に示すフローチャートを実行する。
【００３３】
まず、図２のステップＳ１０では、画像データ取得処理を実行する。制御装置１０（ＣＰＵ１１）は、カメラ２０で時系列的（例えば所定の撮像間隔Δｔ毎）に撮像された複数の画像データを取得する（画像データ取得手段）。換言すると、一定時間Δｔ毎に、カメラ２０からの画像データ（画像信号）を取り入れる。なお、ＣＰＵ１１は、この画像データを時系列でＲＡＭ１２などに記憶する。また、カメラ２０は、制御装置１０とともに車両に搭載されており、自車両の前方などの所定範囲（所定の撮像範囲）を撮像するものである。つまり、カメラ２０は、所定の撮像間隔Δｔ毎に自車両前方などを撮像し、その画像データ（撮像画像情報）を制御装置１０に出力する。よって、制御装置１０で取得する各画像データは、一定時間毎のフレームの画像である。
【００３４】
次に、図２のステップＳ２０では、車両状態推定処理を実行する。制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化したことを推定する（車両状態推定手段）。このように、車両状態が突発的に変化したことを推定するのは、ステップＳ１０で取得した画像データが、車両状態が突発的に変化したときに撮像された画像データであるか否かを判定（つまり、ノイズ画像データか正常画像データであるかを判定）するためである。
【００３５】
この車両状態推定処理の一例に関して、図３に示すフローチャートを用いて説明する。なお、この車両状態の突発的な変化とは、車両の周辺環境（道路上の異物（石など）、道路形状）によって、運転者の意図に反した突発的な車両状態の変化を示すものである。
【００３６】
図３のステップＳ２０１では、車両状態が突発的に変化したか否かを推定するために、加速度情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第１ＥＣＵ３０から加速度情報を取得する（第１取得手段）。
【００３７】
図３のステップＳ２０２では、車両状態が突発的に変化したか否かを推定するために、音情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第２ＥＣＵ４０から音情報を取得する（第２取得手段）。
【００３８】
図３のステップＳ２１では、加速度が所定値以上且つ衝突音無しであるか否かを判定する。制御装置１０（ＣＰＵ１１）は、ステップＳ２０１で取得した加速度情報が示す加速度が所定値（予めＲＯＭ１３に記憶された所定値（閾値））以上であるか否か、及び、ステップＳ２０２で取得した音情報に衝突音が含まれているか否かを判定する。そして、制御装置１０（ＣＰＵ１１）は、加速度が所定値以上且つ衝突音無しであると判定した場合はステップＳ２２へ進み、加速度が所定値以上且つ衝突音無しであると判定しなかった場合はステップＳ２３へ進む。
【００３９】
なお、ここでの所定値は、石跳ねしたときの車体に印加される鉛直方向（地面に対して垂直な方向）の加速度、坂道を走行するときに車体に印加される鉛直方向の加速度に基づいて設定される値である。車両が石跳ねしたり、坂道を走行したりしたことを判定可能な値である。
【００４０】
図３のステップＳ２２では、制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化したと判定する。つまり、車両が石跳ねしたり、坂道を走行したりしたときに印加される加速度以上の加速度が印加され、そのときに衝突音がなかった場合に、車両状態が突発的に変化したと判定する。一方、図３のステップＳ２３では、制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化してないと判定する。このように、車両状態が突発的に変化したか否かの判定を行うと、図２のフローチャートにおけるステップＳ３０へ戻る。
【００４１】
なお、車体が石跳ねした場合や、坂道を走行する際に車体が上下方向にうねった場合、車両の外部における衝突音はなく、且つ鉛直方向の加速度が所定値以上となることがある。よって、このようにすることによって、車体が石跳ねした場合や、坂道を走行する際に車体が上下方向にうねって鉛直方向の加速度が所定値以上となった場合に、車両状態が突発的に変化したと推定することができる。
【００４２】
図２のステップＳ３０では、フィルタ処置（区分手段、区分処理）を実行する。制御装置１０（ＣＰＵ１１）は、ステップＳ２０での推定結果に基づいて、ステップＳ１０で取得した画像データを、ノイズ画像データと正常画像データとに区分けする。換言すると、ここでの処理は、画像データをイズ画像データと正常画像データとにフィルタリングする処理である。
【００４３】
そして、制御装置１０（ＣＰＵ１１）は、ステップＳ２０において、車両状態が突発的に変化したと推定したときの画像データをノイズ画像データに区分けし、車両状態が突発的に変化したと推定されてないときの画像データを正常画像データに区分けする。つまり、ノイズ画像データとは、車両状態が突発的に変化したと推定されたときの画像データを示すものである。一方、正常画像データは、車両状態が突発的に変化したと推定されてないときの画像データを示すものである。
【００４４】
言い換えると、本発明におけるノイズ画像データとは、車両制御を実施するにあたって不必要な車両状態によって生じる画像全体にわたる輝度の変動であって、かつ非定常なものであり、時系列の画像データの一部（一部のフレーム）に存在する。例えば、車両が段差、坂道等を走行することによって、カメラ２０が揺らされる。また、車両が石を跳ねることによって、車体全体が瞬間的に上下し、カメラ２０も上下する。ノイズ画像データとは、このようなときに撮像された画像データを示す。つまり、車両状態が突発的に変化したときに撮像された画像データ（フレーム）に含まれる全ての画素のデータがノイズとなる。言い換えると、ノイズ画像データは、各画像データにおけるいずれかの画素のデータに異常が生じているものとは異なる。また、電磁波の影響や電気的な故障（カメラ２０における回路の故障など）によって一つの画像データにおけるいずれかの画素のデータに異常が生じているものなどとも異なる。
【００４５】
図２のステップＳ４０では、補完が必要であるか否かを判定する。制御装置１０（ＣＰＵ１１）は、ステップＳ３０にてノイズ画像データに区分けされた場合は補完必要であると判定し、ステップＳ３０にて正常画像データに区分けされた場合は補完必要なしであると判定する。つまり、ノイズ画像データに区分けされた画像データに関しては補完の必要があり、正常画像データに区分けされた画像データに関しては補完の必要がない。
【００４６】
図２のステップＳ５０では、補完処理を実行する。制御装置１０（ＣＰＵ１１）は、ステップＳ４０で補完必要ありと判定された画像データ（つまり、ノイズ画像データ）を補完して、補完画像データを生成する（補完手段）。なお、この補完画像データの生成方法の一例としては、ノイズ画像データの直前に撮像された正常画像データと、直後に撮像された正常画像データとを用いて補完画像データを生成する。例えば、ノイズ画像データの直前に撮像された正常画像データと、直後に撮像された正常画像データとにおける、互いに対応する画素同士（対応する位置同士の画素同士）の輝度値データの平均値である平均輝度値データを算出する。そして、ノイズ画像データを削除して、この平均輝度値データを各画素の輝度値データとして、補完画像データを生成する。つまり、ノイズ画像データを補完画像データに置き換える。このようにすることによって、ステップＳ１０にて取得した画像データ以外に特別なデータを用いることなく、補完画像データを生成することができる。
【００４７】
このように、制御装置１０（ＣＰＵ１１）は、取得した画像データに関して、順次ノイズ画像データと正常画像データとの区分けを行うとともに、ノイズ画像データを補完画像データに置き換える。つまり、制御装置１０（ＣＰＵ１１）は、リアルタイムにノイズ画像データの特定を行うとともに、ノイズ画像データを補完画像データに置き換える。
【００４８】
次に、ステップＳ６０では、特徴点抽出処理を実行する。制御装置１０（ＣＰＵ１１）は、正常画像データと補完画像データとから特徴点を抽出する（特徴点抽出手段）。換言すると、制御装置１０（ＣＰＵ１１）は、カメラ２０で撮像された各画像データのうち、正常画像データと補完画像データにおいて特徴点を抽出する。
【００４９】
なお、この特徴点の抽出する際には、特徴点には公知のＳＩＦＴ（Scale-Invariant Feature Transform)特徴量を用い、特徴点の密度が一様となるように、特定の画像範囲内で特徴量の個数を１つと決める。換言すると、この特徴点の抽出には、公知のＳＩＦＴを利用する。また、画像データにおける特徴点の密度が一様になるように、この画像データを同じ広さの複数の領域に区分けして、各領域から特徴点を一つ抽出する（つまり、画像データの全範囲から満遍なく特徴点を抽出する）。具体的には、まず、キーポイント検出し、スケール決定する。このとき、平滑化パラメータ極大値をスケールとする（スケール不変）。次に、特徴量記述（特徴ベクトル）する。このとき、多次元特徴ベクトルにより記述することで、照明変化に頑健な特徴量となる。従って、スケール変化に不変で照明変化に頑健な特徴点を抽出することができる。
【００５０】
次に、ステップＳ７０では、オプティカルフロー生成処理を実行する。制御装置１０（ＣＰＵ１１）は、正常画像データ及び補完画像データにおける時間的に連続する画像データ（複数の画像データ）おいて、特徴点の位置を追跡処理することによってＯＦを生成する（オプティカルフロー生成手段）。このＯＦによって、画像データ全体における各特徴点の動きをベクトルとして取得できる。
【００５１】
なお、オプティカルフロー生成処理に関しては、周知技術であるため詳しい説明は省略する。また、ＯＦを生成する際には、制御装置１０（ＣＰＵ１１）は、ステレオマッチングにより自車両（カメラ２０）から各特徴点までの距離を求める（正規化手段）。そして、特徴点までの距離と消失点との方向によりＯＦを正規化する（正規化手段）と好ましい。
【００５２】
そして、ステップＳ８０では、車両制御を実行する。制御装置１０（ＣＰＵ１１）は、ステップＳ７０で生成したＯＦに基づいて車両制御を実行する。なお、このステップＳ８０では、ステップＳ７０で生成したＯＦに基づいて歩行者検知を実行するようにしてもよい。
【００５３】
ここで、図４，図５に示すように、タイミングｔ＝０、タイミングｔ＝０のΔｔ後のタイミングｔ＝１、タイミングｔ＝１のΔｔ後のタイミングｔ＝２で撮像された画像、及び各タイミングでの印加加速度、輝度値データを用いて説明する。図４は、カメラ２０によって、撮像タイミングｔ＝０，１，２で撮像された各画像を示している。なお、図４においては、説明を分かりやすくするために、各画像に特徴点６０とＯＦ７０を図示している。
【００５４】
図５（ａ）に示すように、撮像タイミングｔ＝０，２の画像は、車両状態が突発的に変化してないときにカメラ２０で撮像されたものである。一方、タイミングｔ＝１の画像は、車両状態が突発的に変化したときにカメラ２０で撮像されたものである。なお、図５のデータは、図４の点１からとったもである。
【００５５】
図５（ｂ）に示すように、車両状態が突発的に変化したときにカメラ２０で撮像されたときの画像データ（ｔ＝１）は、車両状態が突発的に変化してないときにカメラ２０で撮像されたときの画像データ（ｔ＝０，２）と比べると、明らかに輝度（輝度値データ）が異常であることがわかる。また、図４に示すように、車両状態が突発的に変化したときは（ｔ＝１）、車両状態が突発的に変化してないときに（ｔ＝０，２）に比べて、ＯＦ７０の方向が異なることになる。
【００５６】
そこで、ステップＳ５０で説明したように、補完画像データを作成し、車両状態が突発的に変化したときにカメラ２０で撮像されたときの画像データであるノイズ画像データを補完画像データに置き換える。
【００５７】
ここまで説明したように、制御装置１０では、取得した複数の画像データをノイズ画像データと正常画像データとに区分けする。そして、取得した複数の画像データにノイズ画像データが含まれていた場合であっても、ＯＦを生成する際には、ノイズ画像データを補完した補完画像データと正常画像データとを用いる。よって、ＯＦを生成する際に、車両状態が突発的に変化したことに伴うノイズ画像データによる影響を抑制することができる。なお、このように、ＯＦを生成する際にノイズ画像データによる影響を抑制することによって、ＯＦに基づいて実行される車両制御の誤動作を抑制することもできる。同様に、歩行者検知の誤検知を抑制することもできる。
【００５８】
さらに、制御装置１０では、リアルタイムにノイズ画像データを特定し、特徴点の抽出前にノイズ画像データを補完するので、特徴点の抽出からＯＦの生成までの画像処理アルゴリズムを簡略化することができる。よって、制御装置１０は、車両状態の突発的な変化によってノイズ画像データが発生した場合であっても、ノイズ画像データに対して頑健、且つ高速処理可能とすることができる。
【００５９】
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることはなく、本発明の趣旨を逸脱しない範囲において、種々の変形が可能である。
【００６０】
（変形例１）
なお、上述の実施形態においては、車両状態を推定する際に（車両状態推定処理）、加速度情報と音情報とを用いる例を採用したが、本発明はこれに限定されるものではない。例えば、加速度情報と車速情報とを用いることもできる（変形例１）。なお、変形例１の構成や基本的な処理動作は、上述の実施形態と略同じであるため詳しい説明は省略する。よって、変形例１の制御装置１０は、上述の実施形態と同様に、図２のフローチャートに示す処理を行う。変形例１における制御装置１０は、音情報を取得する代わりに、車両の車速を示す車速情報を取得する点で、上述の実施形態と異なるものである。例えば、制御装置１０は、第３ＥＣＵ５０から車速情報を取得する。
【００６１】
ここで、図６に基づいて、変形例１の制御装置１０が実行する車両状態推定処理に関して説明する。変形例１の制御装置１０は、図２のステップＳ１０での画像データ取得処理が終わると、図６に示す車両状態推定処理を実行する。
【００６２】
図６のステップＳ２０３では、車両状態が突発的に変化したか否かを推定するために、加速度情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第１ＥＣＵ３０から加速度情報を取得する（第３取得手段）。
【００６３】
図６のステップＳ２０４では、車両状態が突発的に変化したか否かを推定するために、車速情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第３ＥＣＵ５０から車速情報を取得する（第４取得手段）。
【００６４】
図６のステップＳ２１ａでは、加速度が所定値以上且つ車速が所定範囲内であるか否かを判定する。制御装置１０（ＣＰＵ１１）は、ステップＳ２０３で取得した加速度情報が示す加速度が所定値（予めＲＯＭ１３に記憶された所定値（閾値））以上であるか否か、及び、ステップＳ２０４で取得した車速情報が所定範囲（予めＲＯＭ１３に記憶された所定範囲）内であるか否かを判定する。そして、制御装置１０（ＣＰＵ１１）は、加速度が所定値以上且つ車速が所定範囲内である判定した場合はステップＳ２２へ進み、加速度が所定値以上且つ車速が所定範囲内であると判定しなかった場合はステップＳ２３へ進む。
【００６５】
なお、加速度情報の比較対象である所定値は、上述の実施形態におけるものと同じである。一方、車速情報の比較対象である所定範囲は、車両が走行中であることが判定可能な範囲である。
【００６６】
図６のステップＳ２２では、制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化したと判定する。一方、図６のステップＳ２３では、制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化してないと判定する。このように、車両状態が突発的に変化したか否かの判定を行うと、図２のフローチャートにおけるステップＳ３０へ戻る。
【００６７】
このようにすることによって、車両の外部の音情報を取得できない場合（例えば、音を周音するマイクが設けられていなかったり、エンジン音しか取得できなかったり）であっても、車体が石跳ねした場合や、坂道を走行する際に車体が上下方向にうねった場合に、車両状態が突発的に変化したと推定することができる。
【００６８】
（変形例２）
また、上述の実施形態においては、車両状態を推定する際に（車両状態推定処理）、加速度情報と音情報とを用いる例を採用したが、本発明はこれに限定されるものではない。例えば、日射情報と車速情報とを用いることもできる（変形例２）。なお、変形例２の構成や基本的な処理動作は、上述の実施形態と略同じであるため詳しい説明は省略する。よって、変形例２の制御装置１０は、上述の実施形態と同様に、図２のフローチャートに示す処理を行う。変形例２における制御装置１０は、車両に照射される日射量を示す日射情報と車両の車速を示す車速情報を取得する点で、上述の実施形態と異なるものである。例えば、制御装置１０は、第２ＥＣＵ４０から日射情報を取得するとともに、第３ＥＣＵ５０から車速情報を取得する。なお、制御装置１０は、第２ＥＣＵ４０から日射情報を取得すると、この日射情報をＲＡＭなどに所定時間記憶しておくようにしてもよい。
【００６９】
ここで、図７に基づいて、変形例２の制御装置１０が実行する車両状態推定処理に関して説明する。変形例２の制御装置１０は、図２のステップＳ１０での画像データ取得処理が終わると、図７に示す車両状態推定処理を実行する。
【００７０】
図７のステップＳ２０５では、車両状態が突発的に変化したか否かを推定するために、日射情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第２ＥＣＵ４０から加日射情報を取得する（第５取得手段）。
【００７１】
図７のステップＳ２０６では、車両状態が突発的に変化したか否かを推定するために、車速情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第３ＥＣＵ５０から車速情報を取得する（第６取得手段）。
【００７２】
図７のステップＳ２１ｂでは、車速が所定値以上で、日射量が条件を満たすか否かを判定する。なお、この日射量の条件とは、日射量の変化量が所定値（例えば日の出時の日射量と日没後の日射量との差）以上、且つ日射量が一定時間後に変化する前の値（定常値）に戻ったことである。制御装置１０（ＣＰＵ１１）は、ステップＳ２０６で取得した車速情報が所定値（予めＲＯＭ１３に記憶された所定値（閾値））以上であるか否かを判定する。さらに、制御装置１０（ＣＰＵ１１）は、ステップＳ２０５で取得した日射情報が示す日射量の変化量が所定値（予めＲＯＭ１３に記憶された所定値（閾値））以上、且つ、日射量が一定時間後に変化する前の値に戻ったか否かを判定する。そして、制御装置１０（ＣＰＵ１１）は、車速が所定値以上且つ日射量が条件を満たしたと判定した場合はステップＳ２２へ進み、車速が所定値以上且つ日射量が条件を満たしたと判定しなかった場合はステップＳ２３へ進む。
【００７３】
車両がトンネルを通過した場合、車速が所定値以上で、日射量の変化量が所定値以上、且つ日射量が一定時間後に変化する前の値に戻ることになる。また、自車両の前方の障害物は、日射量が定常値に戻ることから除外できる。
【００７４】
このようにすることによって、車両がトンネルを通過した場合に、車両状態（車両周辺の明るさ）が突発的に変化したと推定することができる。また、これによって、トンネル通過時の日射量（光量）変化による輝度ズレからの特徴点の誤追跡を防ぎ、車両制御の誤動作を防ぐことができる。なお、ここでは、日射量の条件として、日射量の変化量が所定値（例えば日の出時の日射量と日没後の日射量との差）以上、且つ日射量が一定時間後に変化する前の値（定常値）に戻ったことを一例として採用した。しかしながら、この他にも、車両がトンネルを通過したことを判定可能な条件であれば採用することができる。
【００７５】
（変形例３）
なお、上述の実施形態においては、車両状態を推定する際に（車両状態推定処理）、加速度情報と音情報とを用いる例を採用したが、本発明はこれに限定されるものではない。例えば、３軸加速度情報と車速情報とを用いることもできる（変形例３）。なお、変形例３の構成や基本的な処理動作は、上述の実施形態と略同じであるため詳しい説明は省略する。よって、変形例３の制御装置１０は、上述の実施形態と同様に、図２のフローチャートに示す処理を行う。変形例３における制御装置１０は、鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向（３軸方向）の夫々の加速度を示す加速度情報と、車両の車速を示す車速情報を取得する点で、上述の実施形態と異なるものである。例えば、制御装置１０は、第１ＥＣＵ３０から加速度情報を取得するとともに、第３ＥＣＵ５０から車速情報を取得する。
【００７６】
ここで、図８に基づいて、変形例３の制御装置１０が実行する車両状態推定処理に関して説明する。変形例３の制御装置１０は、図２のステップＳ１０での画像データ取得処理が終わると、図８に示す車両状態推定処理を実行する。
【００７７】
図８のステップＳ２０７では、車両状態が突発的に変化したか否かを推定するために、加速度情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第１ＥＣＵ３０から３軸方向の夫々の加速度情報を取得する（第７取得手段）。
【００７８】
図８のステップＳ２０８では、車両状態が突発的に変化したか否かを推定するために、車速情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第３ＥＣＵ５０から車速情報を取得する（第８取得手段）。
【００７９】
図８のステップＳ２１ｃでは、加速度が所定値（例えば地球Ｇ）以上且つ車速が０（ゼロ）であるか否かを判定する。制御装置１０（ＣＰＵ１１）は、ステップＳ２０７で取得した加速度情報が示す加速度が所定値（予めＲＯＭ１３に記憶された所定値（閾値））以上であるか否か、及び、ステップＳ２０８で取得した車速情報がゼロであるか否かを判定する。そして、制御装置１０（ＣＰＵ１１）は、３軸方向の加速度のうちいずれか一つの加速度が所定値以上且つ車速がゼロである判定した場合はステップＳ２２へ進み、３軸方向の加速度のうちいずれか一つの加速度が所定値以上且つ車速がゼロであると判定しなかった場合はステップＳ２３へ進む。なお、加速度情報の比較対象である所定値は、車体への追突、又は車両若しくはカメラ２０の盗難などのために衝撃が印加されたことを判定可能な値である。
【００８０】
図８のステップＳ２２では、制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化したと判定する。一方、図８のステップＳ２３では、制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化してないと判定する。このように、車両状態が突発的に変化したか否かの判定を行うと、図２のフローチャートにおけるステップＳ３０へ戻る。
【００８１】
車両が停車中に、カメラ２０若しくは車体に衝撃が印加（例えば、車体への追突、又は車両若しくはカメラ２０の盗難などのために衝撃が印加）された場合、車速がゼロで且つ鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向の少なくとも一つの方向への加速度が所定値以上となる。よって、このようにすることによって、車両が停車中に、カメラ２０若しくは車体に衝撃が印加された場合に、車両状態が突発的に変化したと推定することができる。また、これによって、車両が停車中に車両制御の誤動作を抑制することができる。
【００８２】
（変形例４）
なお、上述の実施形態においては、車両状態を推定する際に（車両状態推定処理）、加速度情報と音情報とを用いる例を採用したが、本発明はこれに限定されるものではない。例えば、３軸加速度情報と音速情報とを用いることもできる（変形例４）。なお、変形例４の構成や基本的な処理動作は、上述の実施形態と略同じであるため詳しい説明は省略する。よって、変形例４の制御装置１０は、上述の実施形態と同様に、図２のフローチャートに示す処理を行う。変形例４における制御装置１０は、車両の鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向（３軸方向）の夫々の加速度を示す加速度情報を取得する点で、上述の実施形態と異なるものである。例えば、制御装置１０は、第１ＥＣＵ３０から加速度情報を取得する。
【００８３】
ここで、図９に基づいて、変形例３の制御装置１０が実行する車両状態推定処理に関して説明する。変形例４の制御装置１０は、図２のステップＳ１０での画像データ取得処理が終わると、図９に示す車両状態推定処理を実行する。
【００８４】
図９のステップＳ２０９では、車両状態が突発的に変化したか否かを推定するために、加速度情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第１ＥＣＵ３０から３軸方向の夫々の加速度情報を取得する（第９取得手段）。
【００８５】
図９のステップＳ２１０では、車両状態が突発的に変化したか否かを推定するために、音情報取得処理を実行する。制御装置１０（ＣＰＵ１１）は、第２ＥＣＵ４０から音情報を取得する（第１０取得手段）。
【００８６】
図９のステップＳ２１ｄでは、加速度が所定値以上且つ衝突音があるか否かを判定する。制御装置１０（ＣＰＵ１１）は、ステップＳ２０９で取得した加速度情報が示す加速度が所定値（予めＲＯＭ１３に記憶された所定値（閾値））以上であるか否か、及び、ステップＳ２１０で取得した音情報に衝突音が含まれているか否かを判定する。そして、制御装置１０（ＣＰＵ１１）は、３軸方向の加速度のうちいずれか一つの加速度が所定値以上且つ衝突音がある判定した場合はステップＳ２２へ進み、３軸方向の加速度のうちいずれか一つの加速度が所定値以上且つ衝突音があると判定しなかった場合はステップＳ２３へ進む。なお、加速度情報の比較対象である所定値は、車体への追突されたことを判定可能な値である。
【００８７】
図９のステップＳ２２では、制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化したと判定する。一方、図９のステップＳ２３では、制御装置１０（ＣＰＵ１１）は、車両状態が突発的に変化してないと判定する。このように、車両状態が突発的に変化したか否かの判定を行うと、図２のフローチャートにおけるステップＳ３０へ戻る。
【００８８】
車両が走行中に、他車両などに追突された場合、車両の外部における衝突音があり、且つ鉛直方向、進行方向、及び鉛直方向と進行方向に対する直交方向の少なくとも一つの方向への加速度が所定値以上となる。よって、このようにすることによって、車両が走行中に、他車両などに追突された場合に、車両状態が突発的に変化したと推定することができる。また、これによって、車両が停走行中に車両制御の誤動作を抑制することができる。
【００８９】
この変形例４では、制御装置１０は、車両の鉛直方向と進行方向に対する直交方向の加速度を示す加速度情報のみが所定値以上で、且つ衝突音があると判定しなかった場合、車両状態が突発的に変化したと判定するようにしてもよい。これによって、ロールによる車両の傾きと層別することができる。
【００９０】
なお、上述の実施形態においては、ノイズ画像データを補完画像データに置き換える例を採用したが、削除したノイズ画像データの前後の画像データのみを用いて特徴点を抽出するようにしてもよい。
【００９１】
また、車両に対する鉛直方向、進行方向、鉛直方向と進行方向に対する直交方向、ピッチ方向、ロール方向、ヨー方向のいずれか一つの方向の加速度が、所定値に達した場合に、車両状態が突発的に変化したと判定するようにしてもよい。なお、ピッチ方向とは、車両の左右方向（車幅方向）に伸びる軸（ピッチ軸）を中心軸とした回転方向への加速度である。また、ロール方向とは、車両の進行方向（車両の全長幅方向）に伸びる軸（ロール軸）を中心軸とした回転方向への加速度である。また、ヨー方向とは、地面に対して垂直方向（車両の車高方向）に伸びる軸（ヨー軸）を中心軸とした回転方向への加速度である。ここでの所定値とは、車両が通常走行しているとき、又は、停止しているときに、印加されることがない大きさの加速度（上記複数の方向のうちのいずれか一つの方向の加速度）を示しものである。通常走行とは、異物（石、段差、窪み）を踏んだり、坂道で上下にうねったり、他車両に衝突されたり、障害物に衝突したりすることなく走行している状態。
【符号の説明】
【００９２】
１０  制御装置、１１  ＣＰＵ、１２  ＲＡＭ、１３  ＲＯＭ、１４  Ｉ／Ｆ、２０  カメラ、３０  第１ＥＣＵ、４０  第２ＥＣＵ、５０  第３ＥＣＵ
【図１】
0005724859.tif 000002
【図２】
0005724859.tif 000003
【図３】
0005724859.tif 000004
【図４】
0005724859.tif 000005
【図５】
0005724859.tif 000006
【図６】
0005724859.tif 000007
【図７】
0005724859.tif 000008
【図８】
0005724859.tif 000009
【図９】
0005724859.tif 000010