(57)【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の周辺を撮像する撮像部と、
前記撮像部によって撮像された撮像画像を表示する表示部と、
前記車両の停止時に前記撮像部の撮像範囲を変更する撮像範囲変更部と、
前記撮像範囲変更部によって前記撮像範囲が変更される前の撮像画像と前記撮像範囲が変更された後の撮像画像とを比較して両者の差分値を算出する比較部と、
前記差分値に基づいて前記撮像部の異常の有無を判定する判定部と、を備える画像表示システム。
【請求項２】
前記判定部は、前記差分値が所定のしきい値よりも小さいときに前記撮像部が異常であると判定する請求項１に記載の画像表示システム。
【請求項３】
前記撮像範囲変更部は、前記車両の車高を変えることで前記撮像範囲を変更する請求項１又は２に記載の画像表示システム。
【請求項４】
前記撮像範囲変更部は、撮像対象に対する前記撮像部の仰角を変えることで前記撮像範囲を変更する請求項１〜３のいずれか一項に記載の画像表示システム。
【請求項５】
前記撮像画像に含まれる静止物及び当該静止物の前記撮像画像における位置を検出する静止物検出部をさらに備え、
前記比較部は、前記静止物の位置に基づいて前記差分値を算出する請求項１〜４のいずれか一項に記載の画像表示システム。
【請求項６】
前記撮像範囲を照射する車両照明部をさらに備え、
前記撮像範囲変更部によって前記撮像範囲が変更される前後は、前記車両照明部の輝度が変更される請求項１〜５のいずれか一項に記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載される撮像部によって撮像される撮像画像を表示部に表示する画像表示システムに関する。
【背景技術】
【０００２】
自動車等の車両の運転を支援する装置として、車載された撮像部と、撮像部で撮像された画像が表示される表示部とを備える画像表示システムが用いられている。撮像部に不具合が生じて、表示部に表示される撮像画像が変化せずに固定した状態（以下、フリーズと呼ぶ）になる場合がある。
【０００３】
撮像画像にフリーズが発生したことを検出するために、車両が移動したときに取得される撮像部からの撮像画像の変化を監視する画像表示システムが存在する。例えば、特許文献１に記載の画像表示システムでは、撮像部から連続して出力される画像フレームの差異を検出する差異検出手段を備え、車両が走行中に連続する画像フレームに差異が検出されないときに表示画像がフリーズ状態であるとの判定を行う。
【０００４】
車両が走行中であると表示画像のフリーズ判定を行うために用いられる撮像画像のデータ量が増加する。フリーズ判定のためのデータ量を少なくするために、特許文献２に記載の画像表示システムでは、撮像画像の特定領域にフレーム毎に反転する白色または黒色の検出用画像を付加し、連続する撮像画像において特定領域に含まれる検出用画像として白色画像と黒色画像とが繰り返し含まれている場合に、撮像画像にフリーズが発生していないと判定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−６４４４０号公報
【特許文献２】特開２００８−２５２３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１の技術では、車両走行中に撮像部から出力されて連続する画像フレームに対して差異を検出するため、車載カメラによって撮像された画像データを一時記憶するために必要なバッファは大きくなり、回路コストが増大する。また、車両走行中でも、車両の周辺環境の変化が乏しく連続する撮像画像がほとんど変化しない場合には、撮像画像がフリーズ状態であると誤って判定されることがある。
一方、特許文献２の技術では、撮像画像がフリーズ状態であるか否かを判定するのに用いるデータ量は少ないが、カメラの撮像画像にフリーズ判定用の画像信号を付加する機能が別途必要となる。また、撮像画像自体に問題がない場合であっても、撮像画像に付加される信号が適正に表示されない場合等には撮像画像がフリーズであると誤って判断されることがある。
【０００７】
そこで、簡素な構成によって撮像画像の異常を確実に検出することができる画像表示システムが望まれている。
【課題を解決するための手段】
【０００８】
本発明に係る画像表示システムの特徴構成は、車両に搭載され、当該車両の周辺を撮像する撮像部と、前記撮像部によって撮像された撮像画像を表示する表示部と、前記車両の停止時に前記撮像部の撮像範囲を変更する撮像範囲変更部と、前記撮像範囲変更部によって前記撮像範囲が変更される前の撮像画像と前記撮像範囲が変更された後の撮像画像とを比較して両者の差分値を算出する比較部と、
前記差分値に基づいて前記撮像部の異常の有無を判定する判定部と、を備える点にある。
【０００９】
本構成によれば、撮像範囲変更部を備え、車両停止中に撮像範囲が変更される前の撮像画像と前記撮像範囲が変更された後の撮像画像とを比較して撮像画像がフリーズであるか否かを判断する。つまり、車両停止中に意図的に撮像部の撮像範囲を変更し、撮像画像を確実に変化させた状態で撮像画像がフリーズであるか否かを判断する。これにより、画像表示システムにおいて、撮像画像がフリーズであるか否かの判断の精度が向上する。
また、車両が停止状態のときに撮像画像がフリーズであるか否かの判断が可能となるので、従来のように車両走行中に取得される大量の画像データを記憶する必要がない。
さらに、撮像範囲が変更される前後での撮像画像を比較する構成であるので、撮像画像には信号を付加する必要もなく、撮像画像自体の問題を検出することが可能となる。
したがって、簡素な構成によって撮像画像に発生したフリーズを確実に検出することができ、撮像部の異常の有無を適正に判定することができる。
【００１０】
本発明に係る画像表示システムの他の特徴構成は、前記判定部は、前記差分値が所定のしきい値よりも小さいときに前記撮像部が異常であると判定する点にある。
【００１１】
比較部によって算出される差分値が所定のしきい値よりも小さい場合には、異なる撮像画像において撮像対象の位置変化がほとんど発生しておらず、撮像画像にフリーズに発生している可能性が高い。そこで、本構成では、判定部は、差分値が所定のしきい値よりも小さいときに撮像部が異常であると判定する。これにより、撮像画像にフリーズが発生し撮像部に異常があることを確実に検知することができる。
【００１２】
本発明に係る画像表示システムの他の特徴構成は、前記撮像範囲変更部は、前記車両の車高を変えることで前記撮像範囲を変更する点にある。
【００１３】
本構成によれば、撮像範囲変更部は、車両の車高を変えることで撮像範囲を変更するので、車両のエンジン起動時等において、確実に撮像範囲を変更することができる。
【００１４】
本発明に係る画像表示システムの他の特徴構成は、前記撮像範囲変更部は、撮像対象に対する前記撮像部の仰角を変えることで前記撮像範囲を変更する点にある。
【００１５】
本構成によれば、撮像範囲変更部は、撮像対象に対する撮像装置の仰角を変えることで撮像範囲を変更するので、車両の位置を変化させる機構等を設けることなく、撮像範囲を
変更することができる。
【００１６】
本発明に係る画像表示システムの他の特徴構成は、前記撮像画像に含まれる静止物及び当該静止物の前記撮像画像における位置を検出する静止物検出部をさらに備え、
前記比較部は、前記静止物の位置に基づいて前記差分値を算出する点にある。
【００１７】
本構成によれば、撮像画像に含まれる静止物を検出する静止物検出部を備え、比較部が当該静止物の位置に基づいて差分値を算出するので、少ないデータ量に基づいて撮像部の異常の有無を判定することができる。
【００１８】
本発明に係る画像表示システムの他の特徴構成は、前記撮像範囲を照射する車両照明部をさらに備え、前記撮像範囲変更部によって前記撮像範囲が変更される前後は、前記車両照明部の輝度が変更される点にある。
【００１９】
夜間等において車両周辺が暗い場合には、撮像範囲が変更される前後に撮像画像の変化が検出できないことがある。そこで、本構成では、撮像範囲を照射する車両照明部をさらに備え、撮像範囲変更部によって撮像範囲が変更される前後は、前記車両照明部の輝度が変更される。車両周辺が暗く撮像画像が認識し難い場合には、車両照明部の輝度を上げる。反対に、車両照明部の輝度が高く撮像画像が認識し難い場合には、車両照明部の輝度を下げる。これにより、撮像画像が適正に認識されて、撮像画像がフリーズしているか否かの判定を適正に行うことができる。その結果、撮像部の異常を確実に検出することができる。
【図面の簡単な説明】
【００２０】
【図１】画像表示システムのブロック図である。
【図２】判定手順を示すフローチャートである。
【図３】撮像画像範囲の変更に伴い変化する撮像画像を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の一つの実施形態を図面に基づいて具体的に説明する。
【００２２】
図１に示す画像表示システム１００は、車両に搭載された撮像部１０によって撮像された車両周辺の撮像画像を表示するものである。
図１に示すように、画像表示システム１００は、撮像部１０と、画像制御部２０と、表示部３０と、を備える。撮像部１０は、例えばＣＣＤ等が用いられたカメラを備え、車両に搭載されて車両の周辺を撮像する。撮像部１０から入力された撮像画像は、画像制御部２０によって画像処理等が行われた後に表示部３０に出力される。表示部３０は、車両の内部空間等に設けられ、撮像部１０によって撮像された撮像画像を表示する。撮像部１０、画像制御部２０、及び表示部３０は、有線接続又は無線接続されている。
【００２３】
画像制御部２０は、画像処理部２１、静止物検出部２２、車高制御部２３（撮像範囲変更部の一例）、比較部２６、判定部２７、及び、表示処理部２８を備える。これら各機能部は各種処理を実行するＣＰＵやメモリを中核としたソフトウェア、又はハードウェアとソフトウェアとの協働により構成されている。画像処理部２１は、撮像部１０から取得された撮像画像を表示部３０に表示するための画像処理を行う。画像処理部２１によって画像処理された撮像画像は、表示部３０に出力されて表示されるとともに、静止物検出部２２にも出力される。静止物検出部２２は、画像処理部２１から入力された撮像画像に含まれる静止物及び当該静止物の撮像画像における位置を検出する。
【００２４】
ここで、静止物とは、車両の周辺に存在し自身の位置が変化しない物体のことであり、例えば図３に示される表示画像に含まれる路面に付された区画線（白線）Ｌや、標識、ポール等、地面上に存在し静止している物全般（地物）を意味する。撮像画像に含まれる静止物は、形状や輝度情報等に基づいて検出される。例えば、路面の付された区画Ｌについては、公知の自動認識技術を用いて検出することができる。静止物検出部２２は、一例として、撮像画像からエッジ抽出を行うことで静止物（例えば区画線Ｌ）を検出する。詳細には、静止物検出部２２は、規定の閾値以上の輝度変化点（特徴点）を抽出して静止物を検出する。静止物検出部２２は、これら静止物の１つまたは２つ以上を組み合わせて検出してもよい。
【００２５】
車高制御部２３は、撮像範囲変更部として設けられており、車両の停止時に撮像部１０の撮像範囲を変更する。車高制御部２３は、車両に備えられた車高センサ５０の検出値に基づいて車高を制御している。車高制御部２３によって車両の車高が変更され、例えば車高が変更前よりも一定寸法高くなると、図３に示すように、撮像部１０の撮像範囲が変更される（図３参照）。車高制御部２３は、車両の車高が変更前よりも低くなるように制御してもよい。車両の車高は、例えば車両のエアサスペンションの伸縮や、電磁サスペンション等を用いて上下に変更される。
【００２６】
比較部２６は、判定部２７に接続されており、車高制御部２３によって撮像範囲が変更される前の撮像画像に含まれる静止物と撮像範囲が変更された後の撮像画像の前記静止物とを比較して両者の差分値を算出する。具体的には、静止物検出部２２から出力される撮像画像における静止物の位置に係る画像データが第１画像バッファ２４及び第２画像バッファ２５に一時的に記憶され、比較部２６によって２つの画像データの差分値が算出される。画像データの差分値は、撮影画像における静止物（例えば、輪郭部分等）の位置変化量等に基づいて算出される。
【００２７】
判定部２７は、比較部２６によって演算された差分値に基づいて撮像部１０の異常の有無を判定する。本実施形態では、判定部２７は、差分値が所定のしきい値よりも小さいときに撮像部１０が異常であると判定する。これは、差分値が所定のしきい値よりも小さい場合には、撮像範囲が変更される前後の撮像画像に含まれる静止物の位置変化がほとんど発生しておらず、撮像画像にフリーズに発生している可能性が高いことに基づく。
【００２８】
車両には、移動速度を検出する車速センサ４０が設けられている。車速センサ４０は画像制御部２０に接続され、車両の速度データが車速センサ４０から画像制御部２０に入力される。画像制御部２０は、車速センサ４０から得た速度データを基に車両が移動状態であると判断した場合には撮像画像に対する判定処理を実行しない。反対に、車両が停止状態であると判断した場合には、撮像画像における静止物の位置検出及び判定を実行する。
【００２９】
表示処理部２８は、判定部２７において差分値が所定のしきい値よりも小さいときに撮像部１０が異常であると判定された場合に表示部３０に注意メッセージを送信して報知する。表示処理部２８は、判定部２７から異常判定の信号を受取ると、表示部３０に注意メッセージ（報知メッセージ）及び注意メッセージの表示指示を出力する。注意メッセージは、表示処理部２８の図示しないＲＯＭに記憶されている。表示処理部２８は、撮像画像がフリーズして撮像部１０に異常があることを報知する報知部として動作する。
【００３０】
表示部３０は、例えば、表示画像に文字（注意メッセージ）を重ねて表示する合成表示（スーパーインポーズ表示）が可能であり、表示処理部２８は、注意メッセージ及びスーパーインポーズ表示の指示を表示部３０に送り、注意メッセージをスーパーインポーズ表示させる。
【００３１】
図２のフローチャートに基づき、画像表示システム１００における撮影画像のフリーズ検出及び注意表示の手順を説明する。
まず、車速センサ４０からの速度データに基づき車両が停止しているか否かが確認される（ステップ＃１０）。車速センサ４０による速度データに基づき、車速が所定速度を越えて車両が走行中であると判断される場合（ステップ＃１０，Ｎｏ）には、以下の処理が実行されない。
【００３２】
車速がゼロまたは所定速度以下であり車両が停止していると判断されると（ステップ＃１０，Ｙｅｓ）、車高制御部２３によって撮像範囲の変更制御が行われ（ステップ＃１１）、撮像画像が静止物検出部２２に入力される（ステップ＃１２）。所定の枚数（複数であるＮ枚）の撮像画像が取り込まれるまで撮像範囲の変更制御が継続されて撮像範囲が変更される（ステップ＃１１〜１３）。ステップ＃１３による撮像画像の取り込みは、所定枚数に代えて所定時間であってもよい。
【００３３】
静止物検出部２２に取り込まれたＮ枚の撮像画像データのうち、例えば第１画像バッファ２４に先頭の画像データが記憶され、第２画像バッファ２５に最後の画像データが記憶される（図３参照）。その後、比較部２６において第１画像及び第２画像の比較が行われる（ステップ＃１４）。具体的には、比較部２６において第１画像及び第２画像の差分値を算出する。なお、静止物検出部２２に取り込まれたＮ枚の撮像画像データを第１画像バッファ２４及び第２画像バッファ２５に交互に記憶させ、比較部２６が第１画像及び第２画像を比較する構成でもよい。この場合、判定部２７は、全ての差分値の平均や合計等と所定のしきい値とを比較してもよい。
【００３４】
次に、比較部２６によって算出された差分値に基づいて判定部２７が撮像画像のフリーズを検出する（ステップ＃１５）。具体的には、判定部２７によって差分値が所定のしきい値以下であるか否かが判断される。判定部２７において差分値がしきい値以下と判定されると（ステップ＃１５，ｙｅｓ）フリーズが検出されることとなり、判定部２７から表示処理部２８に注意メッセージ等の警告文の表示を指示する信号が送信され、表示部３０に警告文が表示される（ステップ＃１６）。
【００３５】
本実施形態では、静止物検出部２２においては、撮像画像に含まれる静止物及び当該静止物の位置が検出され、第１画像バッファ２４及び第２画像バッファ２５には、静止物の撮像画像における位置データのみが一時記憶される。静止物とは、例えば図３の表示画像に示される路面上の区画線Ｌである。
【００３６】
静止物検出部２２は、撮像画像に含まれる静止物の全体を検出してもよいし、静止物の一部を検出するものでもよい。具体的には、静止物検出部２２は、静止物の縁部及び当該縁部の撮像画像における位置を検出するものでもよい。その場合には、判定部２７は、静止物の縁部の位置に基づく判定を行うことになる。静止物の縁部とは、例えば図３の表示画像に示される路面上の区画線Ｌの端部等である。なお、静止物の縁部の位置に基づく判定は、静止物の縁部の１つによって行っても良いし、複数の縁部どうしを結んだ線分によって行ってもよい。
【００３７】
このように、静止物の一部である縁部等の位置に基づいて判定部２７による判定を行うことで、連続する撮像画像の異常を検出するために用いられるデータ量をより小さくすることができる。
【００３８】
撮像画像に含まれる静止物のうち車両の前後方向においては、撮像画像が正常に表示される場合であっても連続する撮像画像においては位置変化が殆ど生じない。このため、連続する撮像画像が正常に表示されていても、判定部２７において静止物の撮像画像における位置が変化していないと判定されることが起こり得る。
【００３９】
そのため、静止物検出部２２は、撮像画像に含まれる静止物のうち車両の前後方向と非平行な部分の位置を検出する方が好ましい。静止物のうち車両の前後方向と非平行な部分とは、例えば図３に示される路面上の区画線Ｌ等が相当する。静止物のうち車両の前後方向と非平行な部分は、車高が上下して撮像範囲が変更される際に撮像画像における位置が必ず変化する部分である。このため、判定部２７によって撮像部１０の異常を確実に検出することができる。
【００４０】
夜間等において車両周辺が暗い場合には、撮像範囲を変更しても撮像画像の変化が検出されないことがある。図１に示すように、車両には撮像範囲を照射する車両照明部６０を備えられている。そこで、車高制御部２３によって撮像範囲が変更される前後は、車両照明部６０の輝度が変更されるよう構成してもよい。例えば、撮像部１０が車両の後部に設けられて車両後方を撮像するものである場合には、車両照明部６０としてのブレーキランプ等の輝度が変更される（車両周辺が暗い場合にブレーキランプ等の輝度を大きくする）。これにより、夜間等においても比較部２６による差分値の算出が確実なものとなり、判定部２７が撮像部１０の状態を適正に判定することができる。その結果、撮像部１０の異常をより確実に検出することができる。なお、車両照明部６０は、ブレーキランプに限定されず、ヘッドランプ等の他の照明部であってもよい。
【００４１】
〔別実施形態〕
（１）上記の実施形態においては、撮像範囲変更部として車高制御部２３を設けて車両の車高を変えることで撮像部１０の撮像範囲を変更する例を示したが、撮像範囲変更部は、撮像対象に対する撮像部１０の仰角を変えることで撮像部１０の撮像範囲を変更するものであってもよい。撮像範囲変更部は、車高制御部２３に代えて撮像部１０の仰角を変えて撮像範囲を変更する機構を備えて構成してもよいし、車高制御部２３と、撮像部１０の仰角を変える機構とが併設されていてもよい。
【００４２】
撮像範囲変更部として両者が併設される場合には、例えば、最初に、車高制御部２３によって撮像部１０の撮像範囲を変更して判定部２７による判定を行う。ここで、判定部２７によって撮像画像がフリーズと判断された場合には、続けて撮像部１０の仰角を変える判定部２７による判定を行い、いずれにおいても判定部２７によって撮像画像がフリーズとされた場合に撮像部１０が異常であると判定する。このように、撮像範囲を変更する手段を変えて判定部２７による判定を夫々行うことで、撮像部１０の異常をより適正に検出することができる。上記の順序を逆にして、最初に、撮像部１０の仰角を変えることで撮像部１０の撮像範囲を変更し、その後に車高制御部２３による撮像部１０の撮像範囲の変更を行ってもよい。
【００４３】
（２）上記の実施形態においては、撮像範囲が変更される前後の撮像画像における静止物の位置を比較部２６が比較して差分値を算出する例を示したが、比較部２６は撮像範囲が変更される前後の撮像画像どうし（撮像画像全体）を比較して差分値を算出するものでもよい。
【００４４】
（３）上記の実施形態においては、画像制御部２０に撮像部１０及び表示部３０を接続する例を示したが、画像制御部２０を表示部３０の内部に設け、撮像部１０を表示部３０に接続する構成であってもよい。
【００４５】
（４）上記の実施形態においては、撮像部１０が１つのカメラを備えて構成する例を示したが、撮像部１０は複数のカメラを備えて構成されていてもよい。
【００４６】
（５）上記の実施形態においては、報知部として表示処理部２８を設けて表示部３０に警告文を表示する例を示したが、報知部は、表示処理部２８に限定されず、車両内に設けられるスピーカや警告灯等から発せられる音声や光を用いて警告するものでもよい。
【００４７】
（６）上記の実施形態では、撮像範囲が変更される前後は、車両照明部６０の輝度を変える例を示した。これに代えて、画像表示システム１００は、撮像範囲を変更せずに、車両照明部６０の輝度を変更し、車両照明部６０の輝度が変更される前の撮像画像と車両照明部６０の輝度が変更された後の撮像画像とを比較部２６によって比較して差分値（輝度差）を算出し、差分値に基づき判定部２７が撮像部１０の異常の有無を判定するものでもよい。
【産業上の利用可能性】
【００４８】
本発明は、車両を含む移動体に搭載される画像表示システムに広く用いることができる。
【符号の説明】
【００４９】
１０    ：カメラ（撮像部）
２０    ：画像制御部
２１    ：画像処理部
２２    ：静止物検出部
２３    ：車高制御部（撮像範囲変更部）
２６    ：比較部
２７    ：判定部
２８    ：表示処理部
３０    ：表示部
４０    ：車速センサ
５０    ：車高センサ
６０    ：車両照明部
１００  ：画像表示システム
Ｌ      ：区画線（静止物）
【図１】
0006642280.tif 000002
【図２】
0006642280.tif 000003
【図３】
0006642280.tif 000004