(57)【要約】【課題】自車両の周囲を撮像した画像に写る複数の前照灯のそれぞれを表示部に識別可能に表示することの可否を判断する。【解決手段】右後側方カメラ１１が画像を取得した際の露光時間を取得し、二灯分離可能状態である場合に、右後側方カメラ１１が画像を取得した際の露光時間が基準値＋α以上であると判断された場合には、識別不能状態になったと判断する。識別不能状態は、画像に写る複数の灯火器のそれぞれを表示部上において識別不能な状態である。左後側方カメラ１３が撮影した画像、および後方カメラ１５が撮影した画像についても同様の処理を行う。そして、識別不能状態である旨をドライバに通知する。【選択図】図２
2018121122.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周囲の画像を取得する取得部（Ｓ１０５、Ｓ２０５、Ｓ３１５）と、
前記取得部によって取得された前記画像を表示する表示部（Ｓ１５５、Ｓ２５５、Ｓ３６５）と、
前記画像全体の明度に影響を及ぼす要因である明度影響要因を検出する検出部（Ｓ１１０、Ｓ２１０、Ｓ３２０）と、
前記検出部によって検出された前記明度影響要因が予め設定された識別判断条件を不充足である場合に、前記画像に写る前記複数の灯火器のそれぞれを前記表示部上において識別不能な状態である識別不能状態と判断する判断部（Ｓ１２５、Ｓ１４０、Ｓ２２５、Ｓ２４０、Ｓ３３５、Ｓ３５０）と、
前記判断部によって前記識別不能状態と判断された場合に、その旨を報知する報知部（Ｓ１３５、Ｓ１５０、Ｓ２３５、Ｓ２５０、Ｓ３４５、Ｓ３６０）と、を備える
運転支援システム。
【請求項２】
請求項１に記載の運転支援システムであって、
前記取得部は、前記画像を撮像するカメラであり、
前記検出部は、前記カメラが前記画像を撮像する際の前記カメラの明るさに関するパラメータを前記明度影響要因として検出し（Ｓ１１０）、
前記判断部は、前記パラメータが予め設定されたパラメータ判定値以上である場合に、前記明度影響要因が前記識別判断条件を不充足であり、前記識別不能状態であると判断する（Ｓ１２５、Ｓ１４０）
運転支援システム。
【請求項３】
請求項１に記載の運転支援システムであって、
前記検出部は、前記車両の周囲の照度を前記明度影響要因として検出し（Ｓ２１０）、
前記判断部は、前記照度が予め設定された照度判定値以下である場合に、前記明度影響要因が前記識別判断条件を不充足であり、前記識別不能状態であると判断する（Ｓ２２５、Ｓ２４０）
運転支援システム。
【請求項４】
請求項１に記載の運転支援システムであって、
前記検出部は、前記画像中の輝度分布を前記明度影響要因として検出し（Ｓ３２０）、
前記判断部は、前記輝度分布が予め設定された分布判定条件を不充足である場合に、前記明度影響要因が前記識別判断条件を不充足であり、前記識別不能状態であると判断する（Ｓ３３５、Ｓ３５０）
運転支援システム。
【請求項５】
請求項１〜請求項４の何れか１項に記載の運転支援システムであって、
動作モードとして、前記画像を暗くして前記画像中の所定領域に写る複数の灯火器のそれぞれが分離して見えて識別し易くするための二灯分離可能モードと、前記画像を明るくして前記画像中の所定領域に写る複数の灯火器のそれぞれが識別しにくくするための二灯分離不可モードの二つのモードがあり、
前記二灯分離可能モードが選択されている場合において、前記判断部によって前記識別不能状態と判断された場合には、前記二灯分離可能モードから前記二灯分離不可モードに変更する変更部（Ｓ１３０、Ｓ２３０、Ｓ３３０）を更に備える
運転支援システム。
【請求項６】
請求項５に記載の運転支援システムであって、
前記判断部は、前記検出部によって検出された前記明度影響要因が前記識別判断条件を充足する場合に、前記画像に写る前記複数の灯火器のそれぞれを前記表示部上において識別可能な状態である識別可能状態と判断し、
前記変更部は、前記二灯分離不可モードが選択されている場合において、前記判断部によって前記識別可能状態と判断された場合には、前記二灯分離不可モードから前記二灯分離可能モードに変更する（Ｓ１４５、Ｓ２４５、Ｓ３４０）
運転支援システム。
【請求項７】
自車両の周囲の画像を取得し（Ｓ１０５、Ｓ２０５、Ｓ３１５）、
取得された前記画像を表示し（Ｓ１５５、Ｓ２５５、Ｓ３６５）、
前記画像全体の明度に影響を及ぼす要因である明度影響要因を検出し（Ｓ１１０、Ｓ２１０、Ｓ３２０）、
前記明度影響要因が予め設定された識別判断条件を不充足である場合に、前記画像に写る前記複数の灯火器のそれぞれを前記表示部上において識別不能な状態である識別不能状態であると判断し（Ｓ１２５、Ｓ１４０、Ｓ２２５、Ｓ２４０、Ｓ３３５、Ｓ３５０）、
前記識別不能状態であると判断された場合に、その旨を報知する（Ｓ１３５、Ｓ１５０、Ｓ２３５、Ｓ２５０、Ｓ３４５、Ｓ３６０）
運転支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、運転支援システムおよび運転支援方法に関する。
【背景技術】
【０００２】
特許文献１には、自車両の周囲を撮像した画像を車室内に設けられた表示装置に表示することで、運転者の運転操作を支援する電子ミラーなどの運転支援システムが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１９８３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転支援システムの一例である電子ミラーに関しては、画像に写る、前部左右の二箇所に前照灯を備える自動四輪車と前部中央の一箇所に前照灯を備える自動二輪車とを区別するため、画像を暗くすることにより前部左右の二箇所の前照灯を表示部に識別可能に表示するモードを備えることが法規で定められている。これは、前部左右の二箇所の前照灯のそれぞれから照射される光が繋がって見えると、一つの前照灯から照射される光と誤認されるおそれがあるからである。また、このモードで動作していない場合にはその旨を運転者に通知することも法規で定められている。
【０００５】
なお、上述の二灯分離可能モードはあくまで法規で定められた試験環境下で二灯の識別が出来ることが保証されているだけであり、実使用環境下で画像に映る前照灯が二灯に識別可能であることを保証するものではない。このため実使用環境下で前照灯が二灯に識別できないのに二灯分離可能モードで動作している状態が起こりうる。この場合、運転手が自動二輪車と自動四輪車を誤判断するおそれがある。
【０００６】
このためには、電子ミラーにおいて、前部左右の二箇所の前照灯のそれぞれを表示部に識別可能に表示することの可否を判断することが求められる。このことは、前部左右の二箇所の前照灯に対する場合に限らず、自車両の周囲を撮像した画像に写る複数の灯火器のそれぞれに対する場合も同様である。また、電子ミラーに限らず、運転支援システム全般においても同様である。
【０００７】
本開示は、自車両の周囲を撮像した画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示することの可否を判断する技術を提供する。
【課題を解決するための手段】
【０００８】
本開示の運転支援システムは、取得部（Ｓ１０５、Ｓ２０５、Ｓ３１５）と、表示部（Ｓ１５５、Ｓ２５５、Ｓ３６５）と、検出部（Ｓ１１０、Ｓ２１０、Ｓ３２０）と、判断部（Ｓ１２５、Ｓ１４０、Ｓ２２５、Ｓ２４０、Ｓ３３５、Ｓ３５０）と、報知部（Ｓ１３５、Ｓ１５０、Ｓ２３５、Ｓ２５０、Ｓ３４５、Ｓ３６０）と、を備える。
【０００９】
取得部が、自車両の周囲の画像を取得する。
表示部が、取得部によって取得された画像を表示する。
検出部が、画像全体の明度に影響を及ぼす要因である明度影響要因を検出する。
【００１０】
判断部が、明度影響要因が予め設定された識別判断条件を不充足である場合に、識別不能状態であると判断する。識別不能状態は、画像に写る複数の灯火器のそれぞれを表示部上において識別不能な状態を云う。
【００１１】
本開示の運転支援システムによれば、画像全体の明度に影響を及ぼす要因を用いることにより、自車両の周囲を撮像した画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示することの可否を判断することができる。
【００１２】
そして、報知部が、判断部によって識別不能状態と判断された場合にその旨を報知するので、運転者が画像に写る複数の灯火器を表示部に識別可能に表示することができない旨を認識することができ、したがって、運転者による運転状況の判断に寄与することができる。
【００１３】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１４】
【図１】画像処理装置１及び運転支援システム２の構成を表すブロック図である。
【図２】運転支援処理＿１のフローチャートである。
【図３】運転支援処理＿１の説明図である。
【図４】運転支援処理＿１の説明図である。
【図５】運転支援処理＿１の説明図である。
【図６】運転支援処理＿２のフローチャートである。
【図７】運転支援処理＿３のフローチャートである。
【図８】運転支援処理＿３の説明図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら、本開示の実施形態を説明する。
［１．第１実施形態］
［１−１．構成］
図１に示すように、画像処理装置１は、車両に搭載されるＥＣＵである。ＥＣＵは、Electronic Control Unitの略である。画像処理装置１は、ＣＰＵと、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリと、を有する周知のマイクロコンピュータを中心に構成される。画像処理装置１の各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理装置１を構成するマイクロコンピュータの数は１つでも複数でもよい。また、画像処理装置１は、多数の論理回路を含むデジタル回路によって構成されてもよいし、デジタル回路とアナログ回路の組合せによって実現されても良い。
【００１６】
自車両は、画像処理装置１に加えて、右後側方カメラ１１、左後側方カメラ１３、後方カメラ１５、右後側方モニタ２１、左後側方モニタ２３および後方モニタ２５を備える。
右後側方カメラ１１、左後側方カメラ１３および後方カメラ１５は、カメラおよび取得部に該当する。右後側方モニタ２１、左後側方モニタ２３および後方モニタ２５は、表示部に該当する。
【００１７】
右後側方カメラ１１は、車両の右ドアミラーに設けられ、自車両の右後方および右側方の風景を撮影する。右後側方カメラ１１は、撮影により得た画像を画像処理装置１に出力する。左後側方カメラ１３は、車両の左ドアミラーに設けられ、自車両の左後方および左側方の風景を撮影する。左後側方カメラ１３は、撮影により得た画像を画像処理装置１に出力する。後方カメラ１５は、自車両の後端に設けられ、自車両の後方の風景を撮影する。後方カメラ１５は、撮影により得た画像を画像処理装置１に出力する。なお、自車両にドアミラーが装着されていない場合は、右後側方カメラ１１および左後側方カメラ１３をステーで自車両に取り付けたり、自車両の車体に埋め込んだりすることができる。
【００１８】
右後側方モニタ２１は、車両の室内において右フロントピラーの付近に設けられた液晶ディスプレイ等により構成されている。右後側方モニタ２１は、右後側方カメラ１１で撮影して得られた画像を表示する。よって、右後側方カメラ１１および右後側方モニタ２１は、電子ミラーとして機能する。なお、右後側方モニタ２１をインパネ内に配置することもできる。
【００１９】
左後側方モニタ２３は、車両の室内において左フロントピラーの付近に設けられた液晶ディスプレイ等により構成されている。左後側方モニタ２３は、左後側方カメラ１３で撮影して得られた画像を表示する。よって、左後側方カメラ１３および左後側方モニタ２３は、電子ミラーとして機能する。なお、左後側方モニタ２３をインパネ内に配置することもできる。
【００２０】
後方モニタ２５は、ルームミラーの位置に設けられた液晶ディスプレイ等により構成されている。後方モニタ２５は、後方カメラ１５で撮影して得られた画像を表示する。よって、後方カメラ１５および後方モニタ２５は、電子ミラーとして機能する。なお、後方モニタ２５をインパネ内に配置することもできる。
【００２１】
また、画像処理装置１は、通信バス３１を介して、照度センサ３３、他表示デバイス３５および音声出力デバイス３７と接続されている。
照度センサ３３は、車両の周囲の照度を検出する。照度センサ３３は、通信バス３１を介して、他の構成と各種情報の送受信を行う。照度センサ３３は、車両の周囲の照度を示す情報を、通信バス３１を介して、画像処理装置１に出力する。画像処理装置１は、照度センサ３３から入力された情報を用いて、各種処理を実行する。
【００２２】
他表示デバイス３５は、各種情報を表示するメータ等により構成されている。他表示デバイス３５は、通信バス３１を介して、他の構成と各種情報の送受信を行う。画像処理装置１は、通信バス３１を介して、表示画面等の情報を他表示デバイス３５に出力する。他表示デバイス３５は、画像処理装置１から入力された情報を表示する。
【００２３】
音声出力デバイス３７は、各種音声を出力するスピーカ等により構成されている。音声出力デバイス３７は、通信バス３１を介して、他の構成と各種情報の送受信を行う。画像処理装置１は、通信バス３１を介して、音声等の情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報を音声出力する。
【００２４】
図３に、右後側方モニタ２１が、右後側方カメラ１１で撮影して得られた画像を表示する例を示す。この例では、画像中の所定領域に後続車両の前照灯などの灯火器が写っている。この後続車両が、図４に例示するような、前部左右の二箇所に前照灯を備える自動四輪車である場合、所定領域には、二つの灯火器が写ることになる。一方、この後続車両が、図５に例示するような、前部中央の一箇所に前照灯を備える自動二輪車である場合、所定領域には、一つの灯火器が写ることになる。
【００２５】
画像処理装置１には、二灯分離可能モードと二灯分離不可モードとの二つの動作モードが設けられている。
このうちの二灯分離可能モードでは、画像を暗くする処理が行われる。その結果、画像中の所定領域に写る複数の灯火器のそれぞれが分離して見えて識別し易くなる。また、二灯分離不可モードでは、画像を明るくする処理が行われる。その結果、画像中の所定領域に写る複数の灯火器のそれぞれが識別しにくくなる一方、周囲の状況が識別し易くなる。
【００２６】
［１−２．処理］
（１）次に、画像処理装置１のＣＰＵが実行する運転支援処理＿１について、図２のフローチャートを用いて説明する。
【００２７】
本処理は、画像処理装置１の電源がオンである場合に繰り返し実行される。
ここでは、右後側方カメラ１１および右後側方モニタ２１からなる電子ミラーとしての処理のみを説明し、左後側方カメラ１３および左後側方モニタ２３からなる電子ミラーとしての処理と、後方カメラ１５および後方モニタ２５からなる電子ミラーとしての処理については、同様の処理であるため、その説明を省略する。
【００２８】
最初のステップＳ１０５では、ＣＰＵが、右後側方カメラ１１が撮影した自車両の右後方および右側方の風景の画像を取得する。その後、Ｓ１１０に移行する。
Ｓ１１０では、ＣＰＵが、右後側方カメラ１１が画像を取得した際の露光時間を取得する。露光時間は、右後側方カメラ１１の明るさに関するパラメータの一例である。露光時間の代わりに、レンズの絞りやガンマ補正値を取得して用いても良い。その後、Ｓ１１５に移行する。
【００２９】
Ｓ１１５では、ＣＰＵが、二灯分離可否状態を取得する。なお、二灯分離可否状態は、画像に写る複数の灯火器のそれぞれを表示部上において識別可能な状態か識別不可能な状態かを示し、識別可能状態と識別不能状態とがある。識別可能状態は、画像に写る複数の灯火器のそれぞれを表示部上において識別可能な状態である。識別不能状態は、画像に写る複数の灯火器のそれぞれを表示部上において識別不能な状態である。ここでは、初期設定として、識別可能状態または識別不能状態の何れかを用いる。なお、本処理の実行が二回目以降である場合には、前回本処理を実行した際の二灯分離可否状態を用いてもよい。その後、Ｓ１２０に移行する。
【００３０】
Ｓ１２０では、ＣＰＵが、二灯分離可否状態に基づき二灯分離が可能であるか否かを判断する。識別可能状態であり、二灯分離が可能であると判断された場合には、Ｓ１２５に移行する。識別不能状態であり、二灯分離が不可であると判断された場合には、Ｓ１４０に移行する。
【００３１】
Ｓ１２５では、ＣＰＵが、露光時間が基準値＋α以上であるか否かを判断する。基準値は予め設定される値である。露光時間は、明度影響要因に該当する。基準値は時間判定値および識別判断条件に該当する。αは正の補正値である。このように補正値αを設定するとともに、後述するＳ１４０でも補正値βを設定するのは、露光時間が基準値付近で上下するためにモードが頻繁に切り替わる事態を防ぐためである。露光時間が基準値＋α以上であると判断された場合には、識別不能状態と判断する。識別不能状態は、画像に写る複数の灯火器のそれぞれを表示部上において識別不能な状態である。そして、二灯分離可能モードから二灯分離不可モードに変更することとし、Ｓ１３０に移行する。露光時間が基準値＋α未満であると判断された場合には、識別可能状態と判断する。識別可能状態は、画像に写る複数の灯火器のそれぞれを表示部上において識別可能な状態である。そして、二灯分離可能モードを継続することとし、Ｓ１５５に移行する。
【００３２】
Ｓ１３０では、ＣＰＵが、二灯分離不可状態に切り替える。このとき、二灯分離可能モードである場合には、二灯分離不可モードに切り替えるようにしてもよい。その後、Ｓ１３５に移行する。
【００３３】
Ｓ１３５では、ＣＰＵが、識別不能状態である旨をドライバに通知する。具体的には、ＣＰＵが、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報を音声出力する。その後、Ｓ１５５に移行する。
【００３４】
Ｓ１４０では、ＣＰＵが、露光時間が基準値−β以下であるか否かを判断する。βは正の補正値である。露光時間が基準値−β以下であると判断された場合には、識別可能状態であると判断し、二灯分離不可モードから二灯分離可能モードに変更することとし、Ｓ１４５に移行する。露光時間が基準値−βよりも大きいと判断された場合には、識別不能状態であると判断し、二灯分離不可モードを継続することとし、Ｓ１５０に移行する。
【００３５】
Ｓ１４５では、ＣＰＵが、二灯分離可能状態に切り替える。このとき、二灯分離不可モードである場合には、二灯分離可能モードに切り替えるようにしてよい。その後、Ｓ１５５に移行する。
【００３６】
Ｓ１５０では、ＣＰＵが、二灯分離不可状態が継続中である場合には、その旨をドライバに再度通知する。具体的には、ＣＰＵが、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報を音声出力する。その後、Ｓ１５５に移行する。
【００３７】
Ｓ１５５では、ＣＰＵが、右後側方カメラ１１が撮影した画像を、右後側方モニタ２１に出力する。このとき、二灯分離可能モードである場合には、ＣＰＵが、カメラの露光時間を通常の設定時に比べて短くすることにより画像を暗くする処理を行う。また、二灯分離不可モードである場合には、ＣＰＵが、カメラの露光時間を通常の設定時に比べて長くすることにより画像を明るくする処理を行う。右後側方モニタ２１は、画像処理装置１から入力された画像を表示する。その後、リターンする。
【００３８】
［１−３．効果］
以上詳述した第１実施形態によれば、カメラが画像を取得した際の露光時間を明度影響要因として用いることにより、自車両の周囲を撮像した画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示することの可否を判断することができる。
【００３９】
そして、識別不能状態であると判断された場合にその旨を報知するので、運転者が画像に写る複数の灯火器を表示部に識別可能に表示することができない旨を認識することができ、したがって、運転者による運転状況の判断に寄与することができる。
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。
【００４０】
前述した第１実施形態では、カメラが画像を取得した際の露光時間を明度影響要因として用いて、画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示することの可否を判断する。これに対し、第２実施形態では、車両の周囲の照度を明度影響要因として用いて、画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示することの可否を判断する点で、第１実施形態と相違する。
【００４１】
［２−２．処理］
次に、第２実施形態の画像処理装置１のＣＰＵが、図２に示す第１実施形態の運転支援処理＿１に代えて実行する運転支援処理＿２について、図６のフローチャートを用いて説明する。
【００４２】
本処理は、画像処理装置１の電源がオンである場合に繰り返し実行される。
以下の説明では、運転支援処理＿１の場合と同様に、右後側方カメラ１１および右後側方モニタ２１からなる電子ミラーとしての処理のみを説明し、その他の処理の説明は省略する。
【００４３】
最初のステップＳ２０５では、ＣＰＵが、右後側方カメラ１１が撮影した自車両の右後方および右側方の風景の画像を取得する。その後、Ｓ２１０に移行する。
Ｓ２１０では、ＣＰＵが、照度センサ３３が検出した車両の周囲の照度を取得する。その後、Ｓ２１５に移行する。
【００４４】
Ｓ２１５では、ＣＰＵが、二灯分離可否状態を取得する。ここでは、初期設定として、識別可能状態または識別不能状態の何れかを用いる。なお、本処理の実行が二回目以降である場合には、前回本処理を実行した際の二灯分離可否状態を用いてもよい。その後、Ｓ２２０に移行する。
【００４５】
Ｓ２２０では、ＣＰＵが、二灯分離可否状態に基づき二灯分離が可能であるか否かを判断する。識別可能状態であり、二灯分離が可能であると判断された場合には、Ｓ２２５に移行する。識別不能状態であり、二灯分離が不可であると判断された場合には、Ｓ２４０に移行する。
【００４６】
Ｓ２２５では、ＣＰＵが、周辺照度が基準値−α以上であるか否かを判断する。基準値は予め設定される値である。周辺照度は、明度影響要因に該当する。基準値は照度判定値および識別判断条件に該当する。αは正の補正値である。このように補正値αを設定するとともに、後述するＳ２４０でも補正値βを設定するのは、周辺照度が基準値付近で上下するためにモードが頻繁に切り替わる事態を防ぐためである。周辺照度が基準値−α以上であると判断された場合には、識別不能状態であると判断し、二灯分離可能モードから二灯分離不可モードに変更することとし、Ｓ２３０に移行する。周辺照度が基準値−α未満であると判断された場合には、識別可能状態であると判断し、二灯分離可能モードを継続することとし、Ｓ２５５に移行する。
【００４７】
Ｓ２３０では、ＣＰＵが、二灯分離不可状態に切り替える。このとき、二灯分離可能モードである場合には、二灯分離不可モードに切り替えるようにしてもよい。その後、Ｓ２３５に移行する。
【００４８】
Ｓ２３５では、ＣＰＵが、識別不能状態である旨をドライバに通知する。具体的には、ＣＰＵが、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報を音声出力する。その後、Ｓ２５５に移行する。
【００４９】
Ｓ２４０では、ＣＰＵが、周辺照度が基準値＋β以上であるか否かを判断する。βは正の補正値である。周辺照度が基準値＋β以上であると判断された場合には、識別可能状態であると判断し、二灯分離不可モードから二灯分離可能モードに変更することとし、Ｓ２４５に移行する。周辺照度が基準値＋β未満であると判断された場合には、識別不能状態であると判断し、二灯分離不可モードを継続することとし、Ｓ２５０に移行する。
【００５０】
Ｓ２４５では、ＣＰＵが、二灯分離可能状態に切り替える。このとき、二灯分離不可モードである場合には、二灯分離可能モードに切り替えるようにしてもよい。その後、Ｓ２５５に移行する。
【００５１】
Ｓ２５０では、ＣＰＵが、二灯分離不可状態が継続中である場合には、その旨をドライバに再度通知する。具体的には、ＣＰＵが、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報を音声出力する。その後、Ｓ２５５に移行する。
【００５２】
Ｓ２５５では、ＣＰＵが、画像を右後側方モニタ２１に出力する。具体的には、ＣＰＵが、右後側方カメラ１１が撮影した画像を、右後側方モニタ２１に出力する。このとき、二灯分離可能モードである場合には、ＣＰＵが、カメラの露光時間を通常の設定時に比べて短くすることにより画像を暗くする処理を行う。また、二灯分離不可モードである場合には、ＣＰＵが、カメラの露光時間を通常の設定時に比べて長くすることにより画像を明るくする処理を行う。右後側方モニタ２１は、画像処理装置１から入力された画像を表示する。その後、リターンする。
【００５３】
［２−３．効果］
以上詳述した第２実施形態によれば、車両の周囲の照度を明度影響要因として用いることにより、自車両の周囲を撮像した画像に写る複数の灯火器を表示部に識別可能に表示することの可否を判断することができる。
【００５４】
そして、識別不能状態であると判断された場合にその旨を報知するので、運転者が画像に写る複数の灯火器を表示部に識別可能に表示することができない旨を認識することができ、したがって、運転者による運転状況の判断に寄与することができる。
［３．第３実施形態］
［３−１．第１実施形態との相違点］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、相違点について以下に説明する。
【００５５】
前述した第１実施形態では、カメラが画像を取得した際の露光時間を明度影響要因として用いて、画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示することの可否を判断する。これに対し、第３実施形態では、画像中の輝度分布を明度影響要因として用いて、画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示することの可否を判断する点で、第１実施形態と相違する。
【００５６】
［３−２．処理］
次に、第３実施形態の画像処理装置１のＣＰＵが、図２に示す第１実施形態の運転支援処理＿１に代えて実行する運転支援処理＿３について、図７のフローチャートを用いて説明する。
【００５７】
本処理は、画像処理装置１の電源がオンである場合に繰り返し実行される。
以下の説明では、運転支援処理＿１の場合と同様に、右後側方カメラ１１および右後側方モニタ２１からなる電子ミラーとしての処理のみを説明し、その他の処理の説明は省略する。
【００５８】
最初のステップＳ３０５では、ＣＰＵが、右後側方カメラ１１が撮影した自車両の右後方および右側方の風景の画像を取得する。ここでは、露光時間が設定可能な範囲のうち最も短くなるよう設定する。その後、Ｓ３１０に移行する。
【００５９】
Ｓ３１０では、ＣＰＵが、画像に写る光源の位置を特定する。例えば、図８に例示するように、ＣＰＵが、画像中に横方向のＸ軸および縦方向のＹ軸を設定し、光源のＸＹ座標上の位置を検出する。画像に写る光源の位置は、明度影響要因に該当する。その後、Ｓ３１５に移行する。
【００６０】
Ｓ３１５では、ＣＰＵが、右後側方カメラ１１が撮影した自車両の右後方および右側方の風景の画像を取得する。ここでは、露光時間に関して特に制限も設けない。その後、Ｓ３２０に移行する。
【００６１】
Ｓ３２０では、ＣＰＵが、Ｓ３１０で特定した光源の位置に対応する、Ｓ３１５で取得した画像上の位置での輝度値を取得する。その後、Ｓ３２５に移行する。
Ｓ３２５では、ＣＰＵが、二灯分離可否状態を取得する。ここでは、初期設定として、識別可能状態または識別不能状態の何れかを用いる。なお、本処理の実行が二回目以降である場合には、前回本処理を実行した際の二灯分離可否状態を用いてもよい。その後、Ｓ３３０に移行する。
【００６２】
Ｓ３３０では、ＣＰＵが、二灯分離可否状態に基づき二灯分離が可能であるか否かを判断する。識別可能状態であり、二灯分離が可能であると判断された場合には、Ｓ３３５に移行する。識別不能状態であり、二灯分離が不可であると判断された場合には、Ｓ３５０に移行する。
【００６３】
Ｓ３３５では、光源の輝度分布が、ＰＬＳＤＦ−α＞第一基準値、または、ＰＬＳＣＦ−β＞第二基準値、の何れか一方を満たしているか否かをＣＰＵが判断する。ＰＬＳＤＦは、Point Light Source Detection Factorの略である。ＰＬＳＣＦは、Point Light Source Contrast Factorの略である。第一基準値および第二基準値は予め設定される値である。本実施形態では、第一基準値が２．７に設定されるとともに、第二基準値が１．２に設定されている。第一基準値および第二基準値は、分布判定条件および識別判断条件に該当する。αは正の補正値である。βは正の補正値である。このように補正値αを設定するとともに、後述するＳ３５０でも補正値γを設定するのは、ＰＬＳＤＦが基準値付近で上下するためにモードが頻繁に切り替わる事態を防ぐためである。同様に、補正値βを設定するとともに、後述するＳ３５０でも補正値δを設定するのは、ＰＬＳＣＦが基準値付近で上下するためにモードが頻繁に切り替わる事態を防ぐためである。
【００６４】
ＰＬＳＤＦは、次の式（１）で算出される。
【００６５】
【数１】
2018121122.tif 000003
【００６６】
ＰＬＳＣＦは、次の式（２）で算出される。
【００６７】
【数２】
2018121122.tif 000004
【００６８】
ＳＨは、画像上の光源のＸ軸方向の幅寸法を示し、光源の輝度値が予め設定された第一所定値以上である領域である。
ＳＶは、画像上の光源のＹ軸方向の幅寸法を示し、光源の輝度値が予め設定された第二所定値以上である領域である。第二所定値は、第一所定値よりも小さい値に設定される。
【００６９】
ＬＨ，ｍａｘは、画像上の光源のＸ軸方向での輝度値の最大値である。
ＬＶ，ｍａｘは、画像上の光源のＹ軸方向での輝度値の最大値である。
ＬＨ，ｍｉｎは、画像上の光源のＸ軸方向での輝度値の最小値である。
【００７０】
光源位置の輝度分布が、ＰＬＳＤＦ−α＞第一基準値、または、ＰＬＳＣＦ−β＞第二基準値、の何れか一方を満たしていると判断された場合には、識別不能状態であると判断し、二灯分離可能モードから二灯分離不可モードに変更することとし、Ｓ３４０に移行する。光源位置の輝度分布が、ＰＬＳＤＦ−α＞第一基準値、または、ＰＬＳＣＦ−β＞第二基準値、の何れも満たしていないと判断された場合には、識別可能状態であると判断し、二灯分離可能モードを継続することとし、Ｓ３６５に移行する。
【００７１】
Ｓ３４０では、ＣＰＵが、二灯分離不可状態に切り替える。このとき、二灯分離可能モードである場合には、二灯分離不可モードに切り替えるようにしてもよい。その後、Ｓ３４５に移行する。
【００７２】
Ｓ３４５では、ＣＰＵが、識別不能状態である旨をドライバに通知する。具体的には、ＣＰＵが、通信バス３１を介して、識別不能状態である旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報を音声出力する。その後、Ｓ３６５に移行する。
【００７３】
Ｓ３５０では、ＣＰＵが、光源位置の輝度分布は、ＰＬＳＤＦ＋γ＞第一基準値、または、ＰＬＳＣＦ＋δ＞第二基準値、の何れか一方を満たしているか否かを判断する。γは正の補正値である。δは正の補正値である。
【００７４】
光源位置の輝度分布が、ＰＬＳＤＦ＋γ＞第一基準値、または、ＰＬＳＣＦ＋δ＞第二基準値、の何れか一方を満たしていると判断された場合には、識別可能状態であると判断し、二灯分離不可モードから二灯分離可能モードに変更することとし、Ｓ３５５に移行する。光源位置の輝度分布が、ＰＬＳＤＦ＋γ＞第一基準値、または、ＰＬＳＣＦ＋δ＞第二基準値、の何れも満たしていないと判断された場合には、識別不能状態であると判断し、二灯分離不可モードを継続することとし、Ｓ３６０に移行する。
【００７５】
Ｓ３５５では、ＣＰＵが、二灯分離可能状態に切り替える。このとき、二灯分離不可モードである場合には、二灯分離可能モード切り替えるようにしてもよい。その後、Ｓ３６５に移行する。
【００７６】
Ｓ３６０では、ＣＰＵが、二灯分離不可状態が継続中である場合には、その旨をドライバに再度通知する。ＣＰＵが、通信バス３１を介して、二灯分離不可モードである旨を示す情報を音声出力デバイス３７に出力する。音声出力デバイス３７は、画像処理装置１から入力された情報を音声出力する。その後、Ｓ３６５に移行する。
【００７７】
Ｓ３６５では、ＣＰＵが、画像を右後側方モニタ２１に出力する。具体的には、ＣＰＵが、右後側方カメラ１１が撮影した画像を、右後側方モニタ２１に出力する。このとき、二灯分離可能モードである場合には、ＣＰＵが、カメラの露光時間を通常の設定時に比べて短くすることにより画像を暗くする処理を行う。また、二灯分離不可モードである場合には、ＣＰＵが、カメラの露光時間を通常の設定時に比べて長くすることにより画像を明るくする処理を行う。右後側方モニタ２１は、画像処理装置１から入力された画像を表示する。その後、リターンする。
【００７８】
［３−３．効果］
以上詳述した第３実施形態によれば、画像中の輝度分布を明度影響要因として用いることにより、自車両の周囲を撮像した画像に写る複数の灯火器のそれぞれを表示部に識別可能に表示することの可否を判断することができる。
【００７９】
そして、識別不能状態であると判断された場合にその旨を報知するので、運転者が画像に写る複数の灯火器を表示部に識別可能に表示することができない旨を認識することができ、したがって、運転者による運転状況の判断に寄与することができる。
［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００８０】
（１）上記実施形態では、ＣＰＵが、状況に応じて、二灯分離可能モードと二灯分離不可モードの切り替えを行うが、これには限られない。ドライバのスイッチ操作によって二つの動作モードを切り替えるようにしてもよい。
【００８１】
（２）上記実施形態では、二灯分離可能モードにおいて、画像を暗くするために、カメラの露光時間を通常の設定時に比べて短くしているが、これには限られない。カメラのレンズ絞りを通常の設定時に比べて絞ることにより、画像を暗くしてもよい。また、γ＜１にガンマ補正をかけることにより、画像を暗くしてもよい。また、マイナスに明るさ補正をかけることにより、画像を暗くしてもよい。
【００８２】
（３）上記実施形態では、二灯分離不可モードにおいて、画像を明るくするために、カメラ１１の露光時間を通常の設定時に比べて長くしているが、これには限られない。カメラのレンズ絞りを通常の設定時に比べて開けることにより、画像を明るくしてもよい。また、γ＞１にガンマ補正をかけることにより、画像を明るくしてもよい。また、プラスに明るさ補正をかけることにより、画像を明るくしてもよい。
【００８３】
（４）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００８４】
（５）上述した運転支援システムの他、当該運転支援システムを構成する画像処理装置、当該運転支援システムとしてコンピュータを機能させるためのプログラム、当該画像処理装置としてコンピュータを機能させるためのプログラム、これらのプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転支援方法、画像処理方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【００８５】
１…画像処理装置、１１…右後側方カメラ、１３…左後側方カメラ、１５…後方カメラ、２１…右後側方モニタ、２３…左後側方モニタ、２５…後方モニタ、３１…通信バス、３３…照度センサ、３５…他表示デバイス、３７…音声出力デバイス。
【図１】
2018121122.tif 000005
【図２】
2018121122.tif 000006
【図３】
2018121122.tif 000007
【図４】
2018121122.tif 000008
【図５】
2018121122.tif 000009
【図６】
2018121122.tif 000010
【図７】
2018121122.tif 000011
【図８】
2018121122.tif 000012