(57)【要約】【課題】照明装置の照明の影響を受けずに高精度に物体を検出する。【解決手段】画像表示システムにおいては、画像取得部２１が車両に設けられる照明装置が照明する領域を含む車両の周辺を周期的に撮影するカメラで得られた撮影画像を取得する。照明補正部４の平滑化部４２は、時間的に連続する複数の撮影画像に基づいて、撮影画像において照明装置の照明の影響を表す照明成分データＰ３を導出する。照明補正部４の照明差分部４３は、照明成分データＰ３を用いて、撮影画像から照明の影響を除去した照明補正画像Ｐ４を生成する。そして、物体検出部５は、照明補正画像Ｐ４を用いて車両の周辺の物体を検出する。したがって、照明装置の照明の影響を受けずに高精度に物体を検出することができる。【選択図】図９
2017102523.tif 000002
【特許請求の範囲】
【請求項１】
物体を検出する物体検出装置であって、
車両に設けられる照明装置が照明する領域を含む前記車両の周辺を周期的に撮影するカメラで得られた撮影画像を取得する取得手段と、
時間的に連続する複数の前記撮影画像に基づいて、前記撮影画像における前記照明装置の照明の影響を表す照明成分データを導出する導出手段と、
前記照明成分データを用いて、前記撮影画像から前記照明の影響を除去した照明補正画像を生成する生成手段と、
前記照明補正画像を用いて前記車両の周辺の物体を検出する検出手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記検出手段は、時間的に連続する複数の前記照明補正画像に基づいてオプティカルフローを導出し、前記オプティカルフローを用いて前記物体を検出することを特徴とする物体検出装置。
【請求項３】
請求項１または２に記載の物体検出装置において、
前記導出手段は、時間的に連続する前記複数の撮影画像を時間方向で平滑化することにより、前記照明成分データを導出することを特徴とする物体検出装置。
【請求項４】
請求項３に記載の物体検出装置において、
前記導出手段は、
前記撮影画像に含まれる全画素それぞれの輝度から前記全画素の平均輝度を減算することで、前記撮影画像の明るさを調整する輝度調整手段と、
前記明るさをそれぞれ調整した前記複数の撮影画像を時間方向で平滑化することにより、前記照明成分データを導出する平滑化手段と、
を備えることを特徴とする物体検出装置。
【請求項５】
請求項３または４に記載の物体検出装置において、
前記車両が走行中か停車中かを判定する車両判定手段、
をさらに備え、
前記導出手段は、
前記車両が前記走行中の場合は、前記取得手段が直近に取得した前記撮影画像を用いて前記照明成分データを更新し、
前記車両が前記停車中の場合は、前記照明成分データを更新しないことを特徴とする物体検出装置。
【請求項６】
請求項３または４に記載の物体検出装置において、
前記物体検出装置は、
前記車両の走行速度を取得する速度取得手段、
をさらに備え、
前記導出手段は、
前記複数の撮影画像を用いた加重平均により前記照明成分データを導出し、
前記走行速度に応じて前記加重平均に用いる重みを調整することを特徴とする物体検出装置。
【請求項７】
請求項１ないし６のいずれかに記載の物体検出装置において、
前記車両の周辺環境が昼間か夜間かを判定する環境判定手段、
をさらに備え、
前記生成手段は、前記周辺環境が昼間の場合は、前記撮影画像から前記照明の影響を除去せずに前記照明補正画像を生成することを特徴とする物体検出装置。
【請求項８】
請求項１ないし６のいずれかに記載の物体検出装置において、
前記車両の周辺環境の明るさを取得する明るさ取得手段、
をさらに備え、
前記生成手段は、前記照明補正画像を生成する際における前記撮影画像から前記照明の影響を除去する程度を、前記周辺環境の明るさに応じて調整することを特徴とする物体検出装置。
【請求項９】
画像を表示する画像表示システムであって、
請求項１ないし８のいずれかに記載の物体検出装置と、
前記物体検出装置による物体の検出結果を示す画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項１０】
物体を検出する物体検出方法であって、
（ａ）車両に設けられる照明装置が照明する領域を含む前記車両の周辺を周期的に撮影するカメラで得られた撮影画像を取得する工程と、
（ｂ）時間的に連続する複数の前記撮影画像に基づいて、前記撮影画像における前記照明装置の照明の影響を表す照明成分データを導出する工程と、
（ｃ）前記照明成分データを用いて、前記撮影画像から前記照明の影響を除去した照明補正画像を生成する工程と、
（ｄ）前記照明補正画像を用いて前記車両の周辺の物体を検出する工程と、
を備えることを特徴とする物体検出方法。
【請求項１１】
コンピュータによって実行可能なプログラムであって、
（ａ）車両に設けられる照明装置が照明する領域を含む前記車両の周辺を周期的に撮影するカメラで得られた撮影画像を取得する工程と、
（ｂ）時間的に連続する複数の前記撮影画像に基づいて、前記撮影画像における前記照明装置の照明の影響を表す照明成分データを導出する工程と、
（ｃ）前記照明成分データを用いて、前記撮影画像から前記照明の影響を除去した照明補正画像を生成する工程と、
（ｄ）前記照明補正画像を用いて前記車両の周辺の物体を検出する工程と、
を前記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺の物体を検出する技術に関する。
【背景技術】
【０００２】
従来より、車両に設けられるカメラで得られた撮影画像を用いて物体を検出する物体検出装置が提案されている。例えば、物体検出装置は、車両の周辺の後方を撮影するリアカメラで得られた撮影画像に基づいて物体を検出する。このような物体検出装置の検出結果をユーザ（主にドライバ）に報知することにより、ユーザは、目視での確認が難しい車両の周辺の後方に存在する物体を車両の後退時などに容易に把握することができる。
【０００３】
このような物体検出装置の物体の検出方式として、オプティカルフローを用いる方式が知られている。この方式では、時間的に連続する撮影画像間（フレーム間）での特徴点の動きを示すベクトルであるオプティカルフローを導出し、オプティカルフローを用いて車両の周辺の物体を検出する（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１６２１６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで一般に、車両に設けられるカメラ（例えば、リアカメラ）は、車両に設けられる照明装置（例えば、テールランプ）が照明する領域を含む車両の周辺を撮影する。このため、夜間など周辺環境が暗い場合にカメラで得られる撮影画像においては、照明装置の照明の影響を受ける領域が含まれる。このような撮影画像を用いて物体を検出した場合、照明の影響を受ける領域に起因して物体の未検出や誤検出が生じる場合がある。
【０００６】
例えば、物体の検出方式としてオプティカルフローを用いる方式を採用する場合を想定する。撮影画像においては、照明の影響を受ける領域とその周囲の領域とでは輝度差があるため、照明の影響を受ける領域の周縁付近に特徴点が現れる。照明の影響を受ける領域は車両の移動に係わらず撮影画像中の同一位置に表れることから、この領域に係る特徴点に基づき車両の移動とは無関係なオプティカルフローが導出される。その結果、このようなオプティカルフローに基づいて物体の未検出あるいは誤検出が生じる可能性がある。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、照明装置の照明の影響を受けずに高精度に物体を検出できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、物体を検出する物体検出装置であって、車両に設けられる照明装置が照明する領域を含む前記車両の周辺を周期的に撮影するカメラで得られた撮影画像を取得する取得手段と、時間的に連続する複数の前記撮影画像に基づいて、前記撮影画像における前記照明装置の照明の影響を表す照明成分データを導出する導出手段と、前記照明成分データを用いて、前記撮影画像から前記照明の影響を除去した照明補正画像を生成する生成手段と、前記照明補正画像を用いて前記車両の周辺の物体を検出する検出手段と、を備えている。
【０００９】
また、請求項２の発明は、請求項１に記載の物体検出装置において、前記検出手段は、時間的に連続する複数の前記照明補正画像に基づいてオプティカルフローを導出し、前記オプティカルフローを用いて前記物体を検出する。
【００１０】
また、請求項３の発明は、請求項１または２に記載の物体検出装置において、前記導出手段は、時間的に連続する前記複数の撮影画像を時間方向で平滑化することにより、前記照明成分データを導出する。
【００１１】
また、請求項４の発明は、請求項３に記載の物体検出装置において、前記導出手段は、前記撮影画像に含まれる全画素それぞれの輝度から前記全画素の平均輝度を減算することで、前記撮影画像の明るさを調整する輝度調整手段と、前記明るさをそれぞれ調整した前記複数の撮影画像を時間方向で平滑化することにより、前記照明成分データを導出する平滑化手段と、を備えている。
【００１２】
また、請求項５の発明は、請求項３または４に記載の物体検出装置において、前記車両が走行中か停車中かを判定する車両判定手段、をさらに備え、前記導出手段は、前記車両が前記走行中の場合は、前記取得手段が直近に取得した前記撮影画像を用いて前記照明成分データを更新し、前記車両が前記停車中の場合は、前記照明成分データを更新しない。
【００１３】
また、請求項６の発明は、請求項３または４に記載の物体検出装置において、前記物体検出装置は、前記車両の走行速度を取得する速度取得手段、をさらに備え、前記導出手段は、前記複数の撮影画像を用いた加重平均により前記照明成分データを導出し、前記走行速度に応じて前記加重平均に用いる重みを調整する。
【００１４】
また、請求項７の発明は、請求項１ないし６のいずれかに記載の物体検出装置において、前記車両の周辺環境が昼間か夜間かを判定する環境判定手段、をさらに備え、前記生成手段は、前記周辺環境が昼間の場合は、前記撮影画像から前記照明の影響を除去せずに前記照明補正画像を生成する。
【００１５】
また、請求項８の発明は、請求項１ないし６のいずれかに記載の物体検出装置において、前記車両の周辺環境の明るさを取得する明るさ取得手段、をさらに備え、前記生成手段は、前記照明補正画像を生成する際における前記撮影画像から前記照明の影響を除去する程度を、前記周辺環境の明るさに応じて調整する。
【００１６】
また、請求項９の発明は、画像を表示する画像表示システムであって、請求項１ないし８のいずれかに記載の物体検出装置と、前記物体検出装置による物体の検出結果を示す画像を表示する表示装置と、を備えている。
【００１７】
また、請求項１０の発明は、物体を検出する物体検出方法であって、（ａ）車両に設けられる照明装置が照明する領域を含む前記車両の周辺を周期的に撮影するカメラで得られた撮影画像を取得する工程と、（ｂ）時間的に連続する複数の前記撮影画像に基づいて、前記撮影画像における前記照明装置の照明の影響を表す照明成分データを導出する工程と、（ｃ）前記照明成分データを用いて、前記撮影画像から前記照明の影響を除去した照明補正画像を生成する工程と、（ｄ）前記照明補正画像を用いて前記車両の周辺の物体を検出する工程と、を備えている。
【００１８】
また、請求項１１の発明は、コンピュータによって実行可能なプログラムであって、（ａ）車両に設けられる照明装置が照明する領域を含む前記車両の周辺を周期的に撮影するカメラで得られた撮影画像を取得する工程と、（ｂ）時間的に連続する複数の前記撮影画像に基づいて、前記撮影画像における前記照明装置の照明の影響を表す照明成分データを導出する工程と、（ｃ）前記照明成分データを用いて、前記撮影画像から前記照明の影響を除去した照明補正画像を生成する工程と、（ｄ）前記照明補正画像を用いて前記車両の周辺の物体を検出する工程と、を前記コンピュータに実行させる。
【発明の効果】
【００１９】
請求項１ないし１１の発明によれば、照明装置の照明の影響を除去した照明補正画像を用いて物体を検出するため、照明装置の照明の影響を受けずに高精度に物体を検出することができる。
【００２０】
また、特に請求項２の発明によれば、照明装置の照明の影響を除去した複数の照明補正画像に基づいてオプティカルフローを導出する。このため、照明の影響による誤ったオプティカルフローの導出を防止でき、高精度に物体を検出することができる。
【００２１】
また、特に請求項３の発明によれば、時間的に連続する複数の撮影画像を時間方向で平滑化することにより照明成分データを導出するため、照明成分データを簡便な手法で導出できる。
【００２２】
また、特に請求項４の発明によれば、撮影画像に含まれる全画素それぞれの輝度から全画素の平均輝度を減算することで、撮影画像における周辺環境の明るさの影響を少なくすることができる。その結果、周辺環境の明るさに影響されずに、正しい照明成分データを導出できる。
【００２３】
また、特に請求項５の発明によれば、車両が停車中の場合に照明成分データを更新しないため、精度の高い照明成分データを導出することができる。
【００２４】
また、特に請求項６の発明によれば、車両の走行速度に応じて加重平均に用いる重みを調整するため、精度の高い照明成分データを得ることができる。
【００２５】
また、特に請求項７の発明によれば、周辺環境が昼間の場合は撮影画像から照明の影響を除去せずに照明補正画像を生成するため、周辺環境の明るさの影響を考慮した正しい照明補正画像を生成できる。
【００２６】
また、特に請求項８の発明によれば、撮影画像から照明の影響を除去する程度を周辺環境の明るさに応じて調整するため、周辺環境の明るさの影響の程度を考慮した正しい照明補正画像を生成できる。
【図面の簡単な説明】
【００２７】
【図１】図１は、画像表示システムの構成を示す図である。
【図２】図２は、カメラが撮影する領域を示す図である。
【図３】図３は、画像表示システムの処理の流れを示す図である。
【図４】図４は、物体の検出結果を示す表示画像の一例を示す図である。
【図５】図５は、物体検出処理の流れを示す図である。
【図６】図６は、オプティカルフローを導出する手法を説明する図である。
【図７】図７は、視点変換処理を説明する図である。
【図８】図８は、照明補正処理の概要を示す図である。
【図９】図９は、第１の実施の形態の照明補正部の構成を示す図である。
【図１０】図１０は、照明補正処理の流れを示す図である。
【図１１】図１１は、輝度調整処理を説明する図である。
【図１２】図１２は、異なる時点に取得された２つ撮影画像を示す図である。
【図１３】図１３は、照明成分データを示す図である。
【図１４】図１４は、平滑化部の機能を示す図である。
【図１５】図１５は、照明差分処理を説明する図である。
【図１６】図１６は、第２の実施の形態の照明補正部の構成を示す図である。
【図１７】図１７は、第２の実施の形態の平滑化処理の流れを示す図である。
【図１８】図１８は、第３の実施の形態の照明補正部の構成を示す図である。
【図１９】図１９は、第３の実施の形態の照明差分処理の流れを示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２９】
＜１．第１の実施の形態＞
＜１−１．画像表示システムの構成＞
図１は、本実施の形態に係る画像表示システム１０の構成を示す図である。画像表示システム１０は、車両（本実施の形態では、自動車）９に搭載され、車両９の周辺の後方を周期的に撮影するカメラ１と、車両９の車室内に配置された表示装置３とを備えている。カメラ１は、レンズと撮像素子とを備え、撮影画像を電子的に取得する。また、表示装置３は、液晶パネルなどを備え、各種の画像を表示する。
【００３０】
画像表示システム１０は、車両のシフトポジションを示す信号に応答して車両の後退時に起動し、カメラ１で得られた撮影画像に基づく車両の周辺の後方の様子を示す表示画像を表示装置３で表示する。これにより、画像表示システム１０のユーザ（主に車両のドライバ）は、車両の後退時において車両の周辺の後方の様子を把握できる。
【００３１】
図２は、カメラ１が撮影する領域を示す図である。カメラ１は、車両９の後端の上部に設けられるリアカメラであり、その光軸１ａは車両９の前後方向に沿って後方に向けられる。カメラ１は、比較的広い画角θの広角レンズを有し、車両９の周辺の後方における比較的広い範囲を撮影できる。カメラ１は、車両９の周辺の後方を周期的に撮影して撮影画像を生成する。
【００３２】
図２に示すように、車両９の周辺の後方には、車両９の後部に設けられる照明装置（テールランプ及びブレーキランプなど）９１が照明する領域８が存在する。カメラ１は、このような照明装置９１が照明する領域８を含む車両９の周辺の後方を撮影する。
【００３３】
図１に戻り、画像表示システム１０は、カメラ１と表示装置３との間に物体検出装置２を備えている。物体検出装置２は、カメラ１で得られた撮影画像に基づいて車両９の周辺の後方に存在する物体を検出する。
【００３４】
物体検出装置２は、画像取得部２１と、画像処理部２２と、画像出力部２３とを備えている。画像取得部２１は、カメラ１で得られた撮影画像を取得する。画像処理部２２は、撮影画像に基づいて物体を検出し、物体の検出結果を示す表示画像を生成する。画像出力部２３は、画像処理部２２が生成した表示画像を表示装置３に出力する。これにより、表示装置３において物体の検出結果を示す表示画像が表示される。
【００３５】
画像処理部２２は、例えば、ＦＰＧＡ（field-programmable gate array）などのハードウェア回路であり、各種の画像処理機能を備えている。画像処理部２２は、画像処理機能として照明補正部４、物体検出部５及び結果重畳部６を備えている。画像処理部２２のこれらの画像処理機能の詳細については後述する。
【００３６】
また、物体検出装置２は、制御部２０と、記憶部２５とをさらに備えている。記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、ファームウェアとしてのプログラムや各種のデータを記憶する。
【００３７】
また、制御部２０は、例えば、マイクロコンピュータであり、物体検出装置２の全体を統括的に制御する。制御部２０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２０の各種の機能は、記憶部２５に記憶されたプログラムをＣＰＵが実行することで実現される。
【００３８】
なお、画像処理部２２が備える画像処理機能（照明補正部４、物体検出部５及び結果重畳部６）の一部または全部は、制御部２０のＣＰＵがプログラムを実行することでソフトウェア的に実現されてもよい。
【００３９】
＜１−２．画像表示システムの処理＞
次に、画像表示システム１０の処理について説明する。以下では、まず、画像表示システム１０の処理の概要を説明し、その後、一部の処理についてより詳細に説明する。図３は、画像表示システム１０の処理の概略の流れを示すフローチャートである。
【００４０】
まず、物体検出装置２の画像取得部２１がカメラ１から撮影画像を取得する（ステップＳ１）。画像取得部２１は、カメラ１で得られた一つの撮影画像を一つのフレームとして取得する。撮影画像には、車両９の周辺の後方に存在する物体や路面上の模様などの被写体の像が含まれる。画像取得部２１は、取得した撮影画像を画像処理部２２に入力する。
【００４１】
次に、画像処理部２２の照明補正部４が、撮影画像を対象に照明補正処理を行う（ステップＳ２）。撮影画像には、車両９の後部に設けられる照明装置９１の照明の影響を受ける領域が含まれる場合がある。照明補正部４は、照明補正処理を行うことで、撮影画像から照明の影響を除去する。
【００４２】
次に、画像処理部２２の物体検出部５が、撮影画像を対象に物体検出処理を行う（ステップＳ３）。物体検出部５は、照明補正部４により照明の影響が除去された撮影画像を用いて物体（立体物）を検出する。物体検出部５は、撮影画像からオプティカルフローを導出し、オプティカルフローを用いて物体を検出する。
【００４３】
次に、画像処理部２２の結果重畳部６が、撮影画像を対象に結果重畳処理を行う（ステップＳ４）。結果重畳部６は、物体検出部５が検出した物体の位置を示す指標を、画像取得部２１が取得した撮影画像に重畳することで、物体の検出結果を示す表示画像を生成する。
【００４４】
次に、画像出力部２３が、画像処理部２２が生成した表示画像を表示装置３に出力する（ステップＳ５）。これにより、表示装置３が表示画像を表示する。物体検出装置２が物体が検出した場合は、表示装置３は、その物体の検出結果を示す表示画像を表示する。
【００４５】
図４は、物体の検出結果を示す表示画像ＤＰの一例を示す図である。図４に示す表示画像ＤＰには、車両９の後方に存在する物体Ｓｂの像が含まれ、この物体Ｓｂの像が指標Ｆによって囲まれている。このような指標Ｆにより、ユーザは車両９の後方に存在する物体Ｓｂの存在を容易に把握できる。
【００４６】
画像表示システム１０は、その動作中において、図３に示す処理を所定周期（例えば、１／３０秒周期）で周期的に繰り返す。したがって、各処理部（画像取得部２１、画像処理部２２及び画像出力部２３）は、時間的に連続して複数の撮影画像（フレーム）を処理することになる。
【００４７】
＜１−３．物体検出部の物体検出処理＞
次に、物体検出部５が行う物体検出処理（図３のステップＳ３）について詳細に説明する。図５は、物体検出処理の詳細な流れを示す図である。物体検出処理においては、時間的に連続する２つの撮影画像である、直近に得られた撮影画像と、その１フレーム前の撮影画像とが用いられる。この説明では、直近に得られた撮影画像を「現フレーム」といい、直近の撮影画像の１フレーム前の撮影画像を「前フレーム」という。
【００４８】
物体検出処理において物体検出部５は、撮影画像の画素値のうち輝度の値のみを対象に処理する。例えば、撮影画像の画素値がＹＣｒＣｂで表現される場合は、物体検出部５はＹ値のみを対象に処理する。
【００４９】
まず、物体検出部５は、現フレーム及び前フレームに基づいて、フレーム間での特徴点の動きを示すベクトルであるオプティカルフローを導出する（ステップＳ３１）。図６は、オプティカルフローＯＰ１を導出する手法を説明する図である。
【００５０】
図６の状態ＳＴ１は、物体検出処理を行う前の撮影画像の状態を示している。物体検出部５は、このような撮影画像（現フレーム）における特徴点ＦＰを導出する。特徴点ＦＰは、撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。物体検出部５は、例えば、ハリスオペレータなどの周知の手法を用いて撮影画像の特徴点ＦＰを抽出する（図６の状態ＳＴ２）。
【００５１】
車両９が後退して移動する場合は、車両９の周辺の後方に存在する被写体（物体及び路面上の模様など）が車両９に対して相対的に接近する。このため、同一の被写体に係る特徴点ＦＰは、現フレームと前フレームとで異なる位置に現れる。
【００５２】
物体検出部５は、このような特徴点ＦＰの動きを示すオプティカルフローＯＰ１を導出する。物体検出部５は、現フレームの特徴点ＦＰと前フレームの特徴点ＦＰとをその近傍の画素値に基づいて対応付け、対応付けた特徴点ＦＰのそれぞれの位置に基づいてオプティカルフローＯＰ１を導出する（図６の状態ＳＴ３）。前フレームの特徴点ＦＰは、画像処理部２２が備えるメモリに記憶される。このようにして導出されるオプティカルフローＯＰ１には、物体に関するオプティカルフローと、路面上の模様に関するオプティカルフローとが含まれる。
【００５３】
次に、物体検出部５は、視点変換処理を行って、カメラ座標系のオプティカルフローＯＰ１を、ワールド座標系のオプティカルフローＯＰ２に変換する（図５のステップＳ３２）。
【００５４】
図７に示すように、視点変換処理において物体検出部５は、カメラ１の位置ＶＰ１からみたオプティカルフローＯＰ１を、車両９が存在する路面の上方の視点ＶＰ２からみたオプティカルフローＯＰ２に変換する。物体検出部５は、撮影画像Ｐにおける複数のオプティカルフローＯＰ１をそれぞれ、路面に相当する仮想平面ＴＳに投影することで、複数のオプティカルフローＯＰ２に変換する。
【００５５】
次に、物体検出部５は、ワールド座標系のオプティカルフローＯＰ２のヒストグラムに基づいて、前フレームから現フレームまでのフレーム間の車両９の移動量を導出する（図５のステップＳ３３）。
【００５６】
物体検出部５は、オプティカルフローＯＰ２の数を度数とし、長さを階級とするヒストグラムを導出する。そして、物体検出部５は、ヒストグラムにおいて度数が最大となるオプティカルフローＯＰ２の長さを、フレーム間の車両９の移動量として導出する。撮影画像を取得する周期は一定であるため、フレーム間の車両９の移動量は車両９の走行速度に相当する。
【００５７】
車両９が後退して移動する場合、路面上の模様に含まれる多数の点（特徴点となりうる点）は、車両９の速度とほぼ同一の速度で車両９に対して相対的に接近する。したがって、ワールド座標系のオプティカルフローＯＰ２に含まれる、路面上の模様に関するオプティカルフロー（以下、「路面フロー」という。）の長さはおよそ均一となる。一方で、ワールド座標系のオプティカルフローＯＰ２に含まれる、物体（立体物）に関するオプティカルフロー（以下、「物体フロー」という。）の長さは、元の特徴点の高さに応じて変動することから、不均一となる。したがって、ヒストグラムにおいて度数が最大となるオプティカルフローＯＰ２は、路面フローとみなすことができる。
【００５８】
このため、物体検出部５は、ヒストグラムにおいて度数が最大となるオプティカルフローＯＰ２の長さを、路面フローの長さとみなす。そして、物体検出部５は、この路面フローの長さをフレーム間での車両９の移動量として導出する。
【００５９】
次に、物体検出部５は、ワールド座標系のオプティカルフローＯＰ２から、物体フローを特定する（ステップＳ３４）。前述のように、物体フローの長さは、元の特徴点の高さに応じて変動する。一般に、物体フローは、元の特徴点の高さが高いほど長くなるため、路面フローよりも長くなる。このため、物体検出部５は、ワールド座標系のオプティカルフローＯＰ２のうち、路面フローよりも長いものを物体フローとして特定する。
【００６０】
次に、物体検出部５は、特定した物体フローに基づいて物体を検出する（ステップＳ３５）。物体検出部５は、互いに近傍に存在する物体フローを一つの物体に関するオプティカルフローとみなして物体を検出する。物体検出部５は、ワールド座標系における物体フローの位置に基づいて物体の位置を特定する。
【００６１】
＜１−４．照明補正部の照明補正処理＞
次に、照明補正部４が行う照明補正処理（図３のステップＳ２）について詳細に説明する。
【００６２】
図８は、照明補正処理の概要を示す図である。図８の上部は、照明補正処理を行う前の撮影画像Ｐ１の一例を示している。一方、図８の下部は、図８の上部の撮影画像Ｐ１に対して照明補正処理を行った後の撮影画像Ｐ４を示している。
【００６３】
前述のように、カメラ１は、照明装置９１が照明する領域８を含む車両９の周辺の後方を撮影する。したがって、図８の上部に示すように、夜間など周辺環境が暗い場合にカメラ１で得られる撮影画像Ｐ１においては、照明装置９１の照明の影響を受ける領域（以下、「照明影響領域」という。）８０が含まれる。このような照明影響領域８０は、その周囲の領域と比較して輝度が高くなる。撮影画像中における照明影響領域８０の位置は、照明装置９１が照明する領域８（図２参照）の位置及びカメラ１の配置などに依存し、車両ごとに異なる。
【００６４】
このような照明影響領域８０を含む撮影画像をそのまま用いて、物体検出部５が物体検出処理を行う場合を想定する。照明影響領域８０とその周囲の領域とでは輝度差があるため、この撮影画像から特徴点ＦＰを導出すると照明影響領域８０の周縁付近に特徴点が現れる。また、照明影響領域８０は撮影画像中のほぼ同一位置に現れることから、車両９が移動したとしても照明影響領域８０の周縁の特徴点の位置は大きく変化しない。このため、照明影響領域８０に係る特徴点に基づいて、車両９の移動とは無関係な誤ったオプティカルフローが導出される。このようなオプティカルフローを用いて物体を検出したとすると、物体の未検出あるいは誤検出が生じる可能性がある。
【００６５】
このため、本実施の形態の画像表示システム１０では、物体検出部５による物体検出処理（図３のステップＳ３）の前に、照明補正部４が照明補正処理（ステップＳ２）を行う。これにより、照明補正部４は、撮影画像Ｐ１から照明装置９１による照明の影響を除去して、図８の下部に示すように、照明影響領域８０を含まない撮影画像Ｐ４を生成する。
【００６６】
図９は、照明補正部４の詳細な構成を、関連する構成とともに示す図である。照明補正部４は、輝度調整部４１と、平滑化部４２と、照明差分部４３とを備えている。また、図１０は、照明補正処理（図３のステップＳ２）の詳細な流れを示す図である。以下、図９及び図１０を参照して、照明補正処理の流れについて詳細に説明する。この説明においては、照明補正処理を行う前の撮影画像Ｐ１を「入力撮影画像」という。画像取得部２１が直近に取得した撮影画像が入力撮影画像Ｐ１となる。
【００６７】
照明補正処理において照明補正部４は、撮影画像の画素値のうち輝度の値のみを対象に処理する。例えば、撮影画像の画素値がＹＣｒＣｂで表現される場合は、照明補正部４はＹ値のみを対象に処理する。
【００６８】
まず、輝度調整部４１が、輝度調整処理を行って入力撮影画像Ｐ１の明るさを調整する（ステップＳ２１）。輝度調整部４１は、入力撮影画像Ｐ１の全画素の平均輝度を導出する。そして、輝度調整部４１は、入力撮影画像Ｐ１に含まれる全画素それぞれの輝度から平均輝度を減算する。これにより、図１１に示すように、輝度調整部４１は、入力撮影画像Ｐ１の明るさを調整した撮影画像（以下、「輝度調整画像」という。）Ｐ２を生成する。
【００６９】
車両９の周辺環境が比較的明るいほど、入力撮影画像Ｐ１において、車両９の周辺環境の明るさの影響が大きくなる。したがって、車両９の周辺環境が比較的明るいほど、入力撮影画像Ｐ１における照明装置９１の照明の影響が相対的に小さくなり、照明影響領域８０が不明瞭となる。
【００７０】
これに対して、本実施の形態の輝度調整部４１は、入力撮影画像Ｐ１に含まれる全画素それぞれの輝度から全画素の平均輝度を減算して、輝度調整画像Ｐ２を生成する。入力撮影画像Ｐ１の全画素の平均輝度は、車両９の周辺環境の明るさにおよそ相当する。このため、輝度調整画像Ｐ２では、車両９の周辺環境の明るさの影響が少なくなり、照明装置９１の照明の影響が相対的に大きくなる。したがって、図１１に示すように、輝度調整画像Ｐ２では、入力撮影画像Ｐ１と比較して照明影響領域８０を明瞭にすることができる。
【００７１】
輝度調整部４１は、図９に示すように、生成した輝度調整画像Ｐ２を平滑化部４２に出力する。
【００７２】
次に、平滑化部４２が平滑化処理を行って、撮影画像における照明装置９１の照明の影響を表す照明成分データを導出する（図１０のステップＳ２２）。輝度調整部４１は、時間的に連続する複数の輝度調整画像Ｐ２を時間方向で平滑化することにより、照明成分データを導出する。
【００７３】
図１２は、車両９の後退時において異なる時点に取得された２つの撮影画像Ｐａ，Ｐｂの例を示す図である。図中において、２つの撮影画像Ｐａ，Ｐｂのうち、左側の撮影画像Ｐａが先行して取得されたものである。
【００７４】
これらの２つの撮影画像Ｐａ，Ｐｂを比較して分かるように、撮影画像中において被写体の像は、通常、時間の経過とともに位置が変化する。一方で、撮影画像中において照明影響領域８０は、時間の経過に係わらずほぼ同一の位置に固定的に現れる。したがって、被写体の像をランダムノイズとみなし、照明影響領域８０を固定パターンノイズとみなすことができる。
【００７５】
一般に、時間的に連続する複数の画像（映像等）を時間方向で平滑化した場合は、ランダムノイズは除去され、固定パターンノイズは強調される。したがって、図１２に示すような時間的に連続する複数の撮影画像を時間方向で平滑化すると、撮影画像中に含まれる被写体の像は除去され、照明影響領域８０が強調される。その結果、図１３に示すように、照明影響領域８０のみが含まれる画像データが生成される。平滑化部４２は、このようにして生成した照明影響領域８０のみが含まれる画像データを、照明成分データＰ３とする。照明成分データＰ３は、撮影画像における照明影響領域８０の位置や照明の強度を表すことになる。
【００７６】
本実施の形態では、輝度調整部４１が周辺環境の明るさの影響が少なくなるように明るさを調整した複数の輝度調整画像Ｐ２を、平滑化部４２が時間方向で平滑化することにより、照明成分データＰ３を導出する。したがって、周辺環境の明るさに影響されずに、正しい照明成分データＰ３を導出できる。
【００７７】
図１４は、平滑化部４２の機能を機能ブロックとして示す図である。図１４に示すように、平滑化部４２は、第１増幅器５１、第２増幅器５４、加算器５２、及び、画像メモリ５３を備えている。
【００７８】
第１増幅器５１には、輝度調整画像Ｐ２が入力される。第１増幅器５１は、輝度調整画像Ｐ２の画素値に係数α（α＜１）を乗算し、その結果を加算器５２に出力する。画像メモリ５３は、過去（１フレーム前）に導出した照明成分データＰ３を記憶する。画像メモリ５３に記憶された照明成分データＰ３は、第２増幅器５４に入力される。第２増幅器５４は、照明成分データＰ３の画素値に（１−α）を乗算し、その結果を加算器５２に出力する。
【００７９】
加算器５２は、２つの増幅器５１，５４からの出力を加算する。これにより、加算器５２は、画素値が次の式（１）のｇ３ｎで表される画像データを出力する。
【００８０】
ｇ３ｎ＝α・ｇ２ｎ＋（１−α）・ｇ３ｎ−１  …（１）
式（１）において、ｇ２ｎは増幅器５１に入力された輝度調整画像Ｐ２の画素値であり、ｇ３ｎ−１は演算前に画像メモリ５３に記憶されていた過去の照明成分データＰ３の画素値である。すなわち、平滑化部４２は、輝度調整画像Ｐ２の画素値と過去の照明成分データＰ３の画素値とを、係数α，（１−α）を重みとして加重平均する。係数αは、例えば「０．１」である。
【００８１】
加算器５２が導出した画素値がｇ３ｎとなる画像データは、新たな照明成分データＰ３として画像メモリ５３に記憶される。この照明成分データＰ３の画素値は、次の式（１）の演算におけるｇ３ｎ−１として利用される。
【００８２】
平滑化部４２は、このような式（１）に示す演算を繰り返すことにより、時間的に連続する複数の輝度調整画像Ｐ２を時間軸方向において平滑化し、照明成分データＰ３を導出する。平滑化部４２は、時間的に連続する複数の輝度調整画像Ｐ２を用いた加重平均により照明成分データＰ３を導出するともいえる。
【００８３】
平滑化部４２は、図９に示すように、導出した照明成分データＰ３を照明差分部４３に出力する。
【００８４】
次に、照明差分部４３が、照明差分処理を行って照明影響領域８０を含まない撮影画像（以下、「照明補正画像」という。）Ｐ４を生成する（図１０のステップＳ２３）。照明差分部４３は、図１５に示すように、照明成分データＰ３を用いて入力撮影画像Ｐ１から照明の影響を除去して、照明補正画像Ｐ４を生成する。照明補正画像Ｐ４の画素値は、次の式（２）のｇ４ｎで表される。
【００８５】
ｇ４ｎ＝ｇ１ｎ−β・ｇ３ｎ  …（２）
式（２）において、ｇ１ｎは入力撮影画像Ｐ１の画素値であり、ｇ３ｎは照明成分データＰ３の画素値であり、βは係数である。すなわち、照明差分部４３は、入力撮影画像Ｐ１の画素値から、照明成分データＰ３の画素値に係数βを乗算した結果を減算して、照明補正画像Ｐ４を生成する。係数βは例えば「１．０」である。
【００８６】
照明差分部４３は、図９に示すように、生成した照明補正画像Ｐ４を、物体検出部５に出力する。
【００８７】
物体検出部５は、物体検出処理（図３のステップＳ３）において、この照明補正画像Ｐ４を用いて物体検出処理を行う。すなわち、物体検出部５は、時間的に連続する複数の照明補正画像Ｐ４に基づいてオプティカルフローを導出し、オプティカルフローを用いて物体を検出する。このため、照明装置９１の照明の影響による誤ったオプティカルフローの導出を防止できる。その結果、照明装置９１の照明の影響を受けずに高精度に物体を検出することができる。
【００８８】
以上のように、第１の実施の形態の画像表示システム１０においては、画像取得部２１が車両９に設けられる照明装置９１が照明する領域を含む車両９の周辺を周期的に撮影するカメラ１で得られた撮影画像を取得する。照明補正部４の平滑化部４２は、時間的に連続する複数の撮影画像に基づいて、撮影画像において照明装置９１の照明の影響を表す照明成分データＰ３を導出する。照明補正部４の照明差分部４３は、照明成分データＰ３を用いて、撮影画像から照明の影響を除去した照明補正画像Ｐ４を生成する。そして、物体検出部５は、照明補正画像Ｐ４を用いて車両９の周辺の物体を検出する。したがって、照明装置９１の照明の影響を受けずに高精度に物体を検出することができる。
【００８９】
また、物体検出部５は、時間的に連続する複数の照明補正画像Ｐ４に基づいてオプティカルフローを導出し、このオプティカルフローを用いて物体を検出する。このため、照明の影響による誤ったオプティカルフローの導出を防止でき、高精度に物体を検出することができる。
【００９０】
また、照明補正部４の平滑化部４２は、時間的に連続する複数の撮影画像を時間方向で平滑化することにより照明成分データを導出するため、照明成分データＰ３を簡便な手法で導出できる。
【００９１】
また、照明補正部４の輝度調整部４１は、撮影画像に含まれる全画素それぞれの輝度から全画素の平均輝度を減算することで、撮影画像の明るさを調整する。これにより、撮影画像における周辺環境の明るさの影響を少なくすることができる。そして、照明補正部４の平滑化部４２は、明るさをそれぞれ調整した複数の撮影画像を時間方向で平滑化することにより、照明成分データＰ３を導出する。したがって、周辺環境の明るさに影響されずに、正しい照明成分データＰ３を導出できる。
【００９２】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【００９３】
前述のように、平滑化処理において平滑化部４２は、式（１）を用い、画像取得部２１が直近に取得した撮影画像（輝度調整画像Ｐ２）と過去の照明成分データＰ３とを係数α，（１−α）を重みとして加重平均することで照明成分データＰ３を導出する。この加重平均に用いる重みとなる係数αは、第１の実施の形態では固定されていたが、第２の実施の形態では調整される。
【００９４】
図１６は、第２の実施の形態の照明補正部４の詳細な構成を示す図である。図９と図１６とを比較して分かるように、第２の実施の形態の照明補正部４は、第１の実施の形態の構成に加えて重み調整部４４を備えている。重み調整部４４は、平滑化部４２が加重平均に用いる重みとなる係数αを調整する。
【００９５】
車両９の走行中においては、撮影画像中において被写体の像は時間の経過とともに位置が変化する（図１２参照。）。しかしながら、車両９の停車中においては、撮影画像中において被写体の像は、時間の経過に係わらずほぼ同一の位置に固定的に現れる。したがって、車両９の停車中において複数の撮影画像を時間方向で平滑化したとしても、被写体の像が除去されずに、逆に強調されてしまう。その結果、正しい照明成分データＰ３が導出できなくなる。
【００９６】
このため、第２の実施の形態の平滑化部４２は、車両９が停車中の場合は、画像取得部２１が直近に取得した撮影画像を用いて照明成分データＰ３を更新しない。これにより、正しい照明成分データＰ３を導出することができる。一方で、平滑化部４２は、車両９が走行中の場合は、第１の実施の形態と同様に、画像取得部２１が直近に取得した撮影画像を用いて照明成分データＰ３を更新する。
【００９７】
平滑化部４２が照明成分データＰ３を更新するか否かは、平滑化処理の式（１）の加重平均の重みとなる係数αを重み調整部４４が調整することで変更される。図１７は、第２の実施の形態における平滑化処理（図１０のステップＳ２２）の詳細な流れを示す図である。
【００９８】
まず、重み調整部４４が、車両９の走行速度を取得する（ステップＳ２２１）。重み調整部４４は、車両９に設けられる車速センサからの信号に基づいて、車両９の走行速度を取得する。なお、物体検出部５が導出するフレーム間の車両９の移動量を、車両９の走行速度として取得してもよい。
【００９９】
次に、重み調整部４４は、車両９の走行速度に基づいて、車両９が走行中か停車中かを判定する（ステップＳ２２２）。重み調整部４４は、車両９の走行速度が所定の閾値（例えば、０ｋｍ／ｈ）を超える場合は走行中と判定し、車両９の走行速度が所定の閾値以下の場合は停車中と判定する。
【０１００】
そして、重み調整部４４は、車両９が走行中の場合は係数αを「０．１」に調整する（ステップＳ２２３）。一方で、重み調整部４４は、車両９が停車中の場合は係数αを「０．０」に調整する（ステップＳ２２４）。このような重み調整部４４の処理は、車両９の走行速度に応じて、加重平均の重みを調整する処理であるともいえる。
【０１０１】
次に、平滑化部４２が、重み調整部４４が調整した係数αを用いて式（１）の加重平均を行って照明成分データＰ３を導出する（ステップＳ２２５）。車両９が走行中の場合は、直近に取得された撮影画像（輝度調整画像Ｐ２）に乗算する係数αが「０．１」となるため、直近に取得された撮影画像を用いて照明成分データＰ３は更新されることになる。一方で、車両９が停車中の場合は、直近に取得された撮影画像（輝度調整画像Ｐ２）に乗算する係数αが「０．０」となるため、照明成分データＰ３は更新されずに保持される。
【０１０２】
以上のように、第２の実施の形態の画像表示システム１０においては、重み調整部４４が、車両９が走行中か停車中かを判定する。そして、平滑化部４２は、車両９が走行中の場合は、画像取得部２１が直近に取得した撮影画像を用いて照明成分データＰ３を更新する。一方で、平滑化部４２は、車両９が停車中の場合は、照明成分データＰ３を更新しない。このため、精度の高い照明成分データＰ３を導出することができる。
【０１０３】
なお、上記では、重み調整部４４は、係数αを「０．１」と「０．０」とのいずれかに調整しているが、車両９の走行速度に応じて係数αを３以上の段階に細かく調整してもよい。例えば、車両９の走行速度が５ｋｍ／ｈ超の場合は係数αを「０．２」、車両９の走行速度が０ｋｍ／ｈ超で５ｋｍ／ｈ以下の場合は係数αを「０．１」、車両９の走行速度が０ｋｍ／ｈの場合は係数αを「０．０」とすることなどが考えられる。これにより、車両９の走行速度に応じた精度の高い照明成分データＰ３を得ることができる。
【０１０４】
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【０１０５】
前述のように、照明差分処理において照明差分部４３は、式（２）を用い、照明成分データＰ３に係数βを乗算した結果を入力撮影画像Ｐ１から減算することで、照明補正画像Ｐ４を生成する。この演算に用いられる係数βは、第１の実施の形態では固定されていたが、第３の実施の形態では調整される。
【０１０６】
図１８は、第３の実施の形態の照明補正部４の詳細な構成を示す図である。図９と図１８とを比較して分かるように、第３の実施の形態の照明補正部４は、第１の実施の形態の構成に加えて係数調整部４５を備えている。係数調整部４５は、照明差分部４３が演算に用いる係数βを調整する。
【０１０７】
入力撮影画像Ｐ１における照明装置９１の照明の影響は、車両９の周辺環境の明るさに応じて変動する。周辺環境が比較的明るいほど、入力撮影画像Ｐ１における周辺環境の明るさの影響が大きくなり、照明装置９１の照明の影響は相対的に小さくなる。したがって、周辺環境が昼間の場合は、入力撮影画像Ｐ１における照明装置９１の照明の影響は小さい。このため、入力撮影画像Ｐ１から照明成分データＰ３を一律に減算すると、車両９の周辺環境が昼間の場合は、照明影響領域８０に対応する領域の輝度が過剰に低下した照明補正画像Ｐ４が生成される可能性がある。
【０１０８】
このため、第３の実施の形態の照明差分部４３は、照明補正画像Ｐ４を生成する際における入力撮影画像Ｐ１から照明の影響を除去する程度を、周辺環境の明るさに応じて調整する。照明差分部４３は、周辺環境が昼間の場合は、入力撮影画像Ｐ１から照明の影響を除去せずに照明補正画像Ｐ４を生成する。これにより、周辺環境の明るさの影響を考慮した正しい照明補正画像Ｐ４を生成できる。
【０１０９】
入力撮影画像Ｐ１から照明の影響を除去する程度は、照明差分処理の式（２）の演算において照明成分データＰ３に乗算する係数βに依存する。このため、係数調整部４５は、式（２）の演算に用いる係数βを調整する。図１９は、第３の実施の形態における照明差分処理（図１０のステップＳ２３）の詳細な流れを示す図である。
【０１１０】
まず、係数調整部４５が、車両９の周辺環境の明るさを取得する（ステップＳ２３１）。係数調整部４５は、車両９に設けられる照度センサからの信号に基づいて、周辺環境の明るさとして照度を取得する。なお、輝度調整部４１が導出する入力撮影画像Ｐ１の全画素の平均輝度を、周辺環境の明るさとして取得してもよい。
【０１１１】
次に、係数調整部４５は、周辺環境の照度に基づいて、周辺環境が昼間か夜間かを判定する（ステップＳ２３２）。係数調整部４５は、照度が所定の閾値を超える場合は昼間と判定し、照度が所定の閾値以下の場合は夜間と判定する。
【０１１２】
係数調整部４５は、周辺環境が昼間の場合は係数βを「０．０」に調整する（ステップＳ２３３）。一方で、係数調整部４５は、車両９の周辺環境が夜間の場合は係数βを「１．０」に調整する（ステップＳ２３４）。
【０１１３】
次に、照明差分部４３が、係数調整部４５が調整した係数βを用いて式（２）の演算を行って照明補正画像Ｐ４を生成する（ステップＳ２３５）。周辺環境が夜間の場合は、照明成分データＰ３に乗算する係数βが「１．０」となるため、入力撮影画像Ｐ１から照明成分データＰ３がそのまま減算される。一方で、周辺環境が昼間の場合は、照明成分データＰ３に乗算する係数βが「０．０」となるため、入力撮影画像Ｐ１から照明成分データＰ３が減算されない。すなわち、照明差分部４３は、入力撮影画像Ｐ１から照明の影響を除去せずに照明補正画像Ｐ４を生成することになる。
【０１１４】
以上のように、第３の実施の形態の画像表示システム１０においては、係数調整部４５が、車両９の周辺環境が昼間か夜間かを判定する。そして、照明差分部４３は、周辺環境が昼間の場合は、入力撮影画像Ｐ１から照明の影響を除去せずに照明補正画像Ｐ４を生成する。このため、周辺環境の明るさの影響を考慮した正しい照明補正画像Ｐ４を生成できる。
【０１１５】
なお、上記では、係数調整部４５は、係数βを「０．０」と「１．０」とのいずれかに調整しているが、車両９の周辺環境の明るさに応じて係数βを３以上の段階に細かく調整してもよい。例えば、照度が第１閾値超の場合は係数βを「０．０」、照度が第２閾値超で第１閾値未満の場合は係数βを「０．５」、照度が第２閾値未満の場合は係数βを「１．０」とすることなどが考えられる。これにより、周辺環境の明るさの影響をより考慮した正しい照明補正画像Ｐ４を生成できる。
【０１１６】
また、上記では、車両の周辺環境の明るさに応じて昼間か夜間かを判定していた。これに対して、車両９のヘッドライトのオン／オフを示すイルミ信号に基づいて判定するなど、他の手法で車両の周辺環境が昼間か夜間かを判定してもよい。
【０１１７】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１１８】
上記実施の形態の物体検出装置２は、車両９の周辺の後方を撮影するカメラ１で得られた撮影画像を処理して、車両９の周辺の後方に存在する物体を検出するものであった。これに対して、物体検出装置は、車両９の前方または側方を撮影するカメラで得られた撮影画像を処理して、車両９の前方または側方に存在する物体を検出するものであってもよい。
【０１１９】
また、上記実施の形態の物体検出装置２は、物体の検出方式としてオプティカルフローを用いる方式を採用していた。これに対して、物体検出装置は、テンプレートマッチング法やフレーム間差分法などの他の検出方式で物体を検出するものであってもよい。他の他の検出方式で物体を検出する場合であっても、照明装置９１の照明の影響を除去した照明補正画像を用いて物体を検出することで、照明装置９１の照明の影響を受けずに高精度に物体を検出することができる。
【０１２０】
また、上述した係数α及び係数βの具体値は一例であり、他の値としてよい。例えば、上記実施の形態では、車両９が走行中の場合において係数αは「０．１」とされていたが、「０．０」を超える値であれば任意の値を選択してよい。
【０１２１】
また、上記実施の形態の物体検出装置２は車両９に搭載されるものとして説明したが、スマートフォンなどの汎用のコンピュータにおいてプログラムを実行させることで、上記実施の形態の物体検出装置２と同様の画像処理機能が実現されるようにしてもよい。
【０１２２】
また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。
【０１２３】
また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。
【符号の説明】
【０１２４】
１    カメラ
４    照明補正部
５    物体検出部
６    結果重畳部
４１    輝度調整部
４２    平滑化部
４３    照明差分部
８０    照明影響領域
９１    照明装置
【図１】
2017102523.tif 000003
【図２】
2017102523.tif 000004
【図３】
2017102523.tif 000005
【図４】
2017102523.tif 000006
【図５】
2017102523.tif 000007
【図６】
2017102523.tif 000008
【図７】
2017102523.tif 000009
【図８】
2017102523.tif 000010
【図９】
2017102523.tif 000011
【図１０】
2017102523.tif 000012
【図１１】
2017102523.tif 000013
【図１２】
2017102523.tif 000014
【図１３】
2017102523.tif 000015
【図１４】
2017102523.tif 000016
【図１５】
2017102523.tif 000017
【図１６】
2017102523.tif 000018
【図１７】
2017102523.tif 000019
【図１８】
2017102523.tif 000020
【図１９】
2017102523.tif 000021