(57)【要約】【課題】簡素な構成によって撮像画像の異常を検出することができる画像表示システムを提供する。【解決手段】車両に搭載され、当該車両の周辺を撮像する撮像部１０と、撮像部１０によって撮像された撮像画像を表示する表示部３０と、撮像画像に含まれる静止物及び当該静止物の撮像画像における位置を検出する静止物検出部２２と、車両の走行中に連続して撮像された複数の撮像画像に基づいて静止物の撮像画像における位置が変化しているか否かを判定する判定部２３と、判定部２３において静止物の位置が変化していないと判定された場合に報知する報知部２４と、を備える。【選択図】図１
2017216517.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の周辺を撮像する撮像部と、
前記撮像部によって撮像された撮像画像を表示する表示部と、
前記撮像画像に含まれる静止物及び当該静止物の前記撮像画像における位置を検出する静止物検出部と、
前記車両の走行中に連続して撮像された複数の前記撮像画像に基づいて前記静止物の前記撮像画像における前記位置が変化しているか否かを判定する判定部と、
前記判定部において前記静止物の前記位置が変化していないと判定された場合に報知する報知部と、を備える画像表示システム。
【請求項２】
前記静止物検出部が、前記撮像画像に含まれる静止物の縁部及び当該縁部の前記撮像画像における位置を検出し、
前記判定部が、前記縁部の位置に基づいて前記判定を行う請求項１に記載の画像表示システム。
【請求項３】
前記判定部は、前記静止物検出部によって検出される前記静止物のうち、車両の進行方向と非平行な部分の位置に基づいて前記判定を行う請求項１又は２に記載の画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載される撮像部によって撮像される撮像画像を表示部に表示する画像表示システムに関する。
【背景技術】
【０００２】
自動車等の車両の運転を支援する装置として、車載された撮像部と、撮像部で撮像された画像が表示される表示部とを備える画像表示システムが用いられている。撮像部に不具合が生じて、表示部に表示される撮像画像が変化せずに固定した状態（以下、フリーズと呼ぶ）になる場合がある。撮像画像がフリーズした場合、車両が移動していても表示される画像は変化しないため、運転を支援することができない。
【０００３】
そこで、特許文献１に記載の撮像表示システムは、撮像部から連続して出力される画像フレームの差異を検出する差異検出手段と、差異検出手段によって連続する画像フレームに差異が検出されない場合にその旨を報知する報知手段とを備える。この撮像表示システムでは、撮像画像がフリーズしていると連続する画像フレームに差異が検出されないことを用いて、ユーザに撮像画像がフリーズ状態であることを報知するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−６４４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、差異検出手段が、撮像部から出力されて連続する画像フレームに対して差異を検出する。このため、各車載カメラにおいて画像データを一時記憶するためのバッファが必要となるが、画像データ全体で差異を検出しているため、バッファ容量や演算量が増大し、改善の余地があった。
【０００６】
そこで、簡素な構成によって撮像画像の異常を検出することができる画像表示システムが望まれている。
【課題を解決するための手段】
【０００７】
本発明に係る画像表示システムの特徴構成は、車両に搭載され、当該車両の周辺を撮像する撮像部と、前記撮像部によって撮像された撮像画像を表示する表示部と、前記撮像画像に含まれる静止物及び当該静止物の前記撮像画像における位置を検出する静止物検出部と、前記車両の走行中に連続して撮像された複数の前記撮像画像に基づいて前記静止物の前記撮像画像における前記位置が変化しているか否かを判定する判定部と、前記判定部において前記静止物の前記位置が変化していないと判定された場合に報知する報知部と、を備える点にある。
【０００８】
車両走行中に連続する撮像画像において静止物の位置が変化しない場合には、撮像画像にフリーズが発生し撮像部が異常である可能性が高い。そこで、本構成によれば、車両走行中において、静止物検出部が撮像画像に含まれる静止物を検出し、判定部が連続する撮像画像における静止物の位置が変化していないと判定した場合に報知部によって報知する。つまり、撮像画像の一部となる静止物に基づいて判定部が判定するため、従来のように撮像画像全体の差異に基づいて判定する場合に比べて判定のための演算速度が早い。したがって、運転者に対して撮像部の異常を迅速に報知することができる。しかも、撮像画像において静止物のデータ量は、撮像画像全体のデータ量に比べるとかなり小さいので、撮像画像の異常の有無を判定するための画像バッファの容量を小さく構成することができる。
【０００９】
本発明に係る画像表示システムの他の特徴構成は、前記判定部は、前記静止物の縁部の位置に基づいて前記判定を行う点にある。
【００１０】
本構成によれば、静止物の縁部の位置に基づいて判定部が静止物の撮像画像における位置が変化しているか否かを判定する。このように、静止物の縁部の位置情報を用いることで、撮像画像において上記判定に用いられるデータ量をより小さくすることができる。
【００１１】
本発明に係る画像表示システムの他の特徴構成は、前記判定部は、前記静止物検出部によって検出される前記静止物のうち、車両の進行方向と非平行な部分の位置に基づいて前記判定を行う点にある。
【００１２】
撮像画像に含まれる静止物のうち車両の進行方向に沿う部分は、車両が走行中において表示画像が正常であっても連続する撮像画像では位置変化は殆ど生じないため、表示画像の異常を精度よく検出できないおそれがある。
そこで、本構成では、判定部は、静止物検出部によって検出される静止物のうち、車両の進行方向と非平行な部分の位置に基づいて判定を行う。車両の進行方向と非平行な部分は、車両が進行する際に撮像画像において確実に位置が変化する部位である。このため、撮像画像にフリーズが発生した場合等の異常を精度よく検出することができる。
【図面の簡単な説明】
【００１３】
【図１】画像表示システムのブロック図である。
【図２】判定手順を示すフローチャートである。
【図３】表示部の表示画面を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一つの実施形態を図面に基づいて具体的に説明する。
【００１５】
図１に示す画像表示システム１００は、車両に搭載された撮像部１０によって撮像された車両周辺の撮像画像を表示するものである。
図１に示すように、画像表示システム１００は、撮像部１０と、画像制御部２０と、表示部３０と、を備える。撮像部１０は、例えばＣＣＤ等が用いられたカメラを備え、車両に搭載されて車両の周辺を撮像する。撮像部１０から入力された撮像画像は、画像制御部２０によって画像処理等が行われた後に表示部３０に出力される。表示部３０は、車両の内部空間等に設けられ、撮像部１０によって撮像された撮像画像を表示する。撮像部１０、画像制御部２０、及び表示部３０は、有線接続又は無線接続されている。
【００１６】
画像制御部２０は、画像処理部２１と、静止物検出部２２と、判定部２３と、表示処理部２４とを備える。これら各機能部は各種処理を実行するＣＰＵやメモリを中核としたソフトウェア、又はハードウェアとソフトウェアとの協働により構成されている。画像処理部２１は、撮像部１０から取得された撮像画像を表示部３０に表示するための画像処理を行う。画像処理部２１によって画像処理された撮像画像は、表示部３０に出力されて表示されるとともに、静止物検出部２２にも出力される。静止物検出部２２は、画像処理部２１から入力された撮像画像に含まれる静止物及び当該静止物の撮像画像における位置を検出する。
【００１７】
ここで、静止物とは、車両の周辺に存在し自身の位置が変化しない物体のことであり、例えば図３に示されるように、路面に付された白線や枠線等の区画線Ｌ、標識、ポール等、地面に存在する物全般（地物）を意味する。撮像画像に含まれる静止物は、形状や輝度情報等に基づいて検出される。例えば、路面の付された区画線Ｌについては、公知の自動認識技術を用いて検出することができる。静止物検出部２２は、一例として、撮像画像からエッジ抽出を行うことで静止物（例えば区画線Ｌ）を検出する。詳細には、静止物検出部２２は、規定の閾値以上の輝度変化点（特徴点）を抽出して静止物を検出する。静止物検出部２２は、これら静止物の１つまたは２つ以上を組み合わせて検出してもよい。
【００１８】
判定部２３は、車両の走行中に連続して撮像された複数の撮像画像に基づいて、静止物検出部２２が検出した静止物の撮像画像における位置が変化しているか否かを判定する。車両には、移動速度を検出する車速センサ４０が設けられている。車速センサ４０は画像制御部２０に接続され、車両の速度データが車速センサ４０から画像制御部２０に入力される。画像制御部２０は、車速センサ４０から得た速度データを基に車両が停止状態であると判断した場合には、撮像画像における静止物の位置検出及び判定を実行しない。反対に、車両が走行状態であると判断した場合には、撮像画像における静止物の位置検出及び判定を実行する。
【００１９】
表示処理部２４は、判定部２３において撮像画像における静止物の位置が変化していないと判定された場合に表示部３０に注意メッセージを送信して報知する。
【００２０】
このように、静止物検出部２２は、検出した静止物の撮像画像における位置データを判定部２３に送信する。そして、判定部２３は、当該位置データに基づいて撮像画像における静止物の位置に変化があるか否かを判定する。
【００２１】
連続する撮像画像において静止物の位置に変化がない場合、撮像画像にフリーズが発生している可能性が高い。そのため、判定部２３は、連続する撮像画像に含まれる静止物の位置に変化がないと判定すると、その判定に基づく指示信号を表示処理部２４に送信する。表示処理部２４は、判定部２３から指示信号を受取ると、表示部３０に注意メッセージ（報知メッセージ）及び注意メッセージの表示指示を出力する。注意メッセージは、表示処理部２４の図示しないＲＯＭに記憶されている。表示処理部２４は、連続する撮像画像において静止物の位置に変化がない場合に、撮像画像がフリーズしていることを報知する報知部として動作する。
【００２２】
表示部３０は、表示画像に文字（注意メッセージ）を重ねて表示する合成表示（スーパーインポーズ表示）が可能であり、表示処理部２４は、注意メッセージ及びスーパーインポーズ表示の指示を表示部３０に送り、注意メッセージをスーパーインポーズ表示させる。
【００２３】
図２のフローチャートに基づき、画像表示システム１００における撮影画像のフリーズ検出及び注意表示の手順を説明する。
まず、車速センサ４０からの速度データに基づき車両が停止しているか否かが確認される（ステップ＃１０）。車速センサ４０による速度データに基づき、車速がゼロまたは所定速度以下である場合には、車両が停止していると判断されて（ステップ＃１０，Ｙｅｓ）、以下の処理が実行されない。
【００２４】
車速が所定速度を越えて車両が走行中であると判断されると（ステップ＃１０，Ｎｏ）、画像処理部２１から静止物検出部２２に撮像画像が入力される（ステップ＃１１）。静止物検出部２２では、撮像画像に含まれる静止物及び当該静止物の位置が検出される（ステップ＃１２）。次に、静止物検出部２２から判定部２３に静止物の位置データが入力され、判定部２３によって静止物の撮像画像における位置が変化しているか否かが判定される（ステップ＃１３）。判定部２３において連続する撮像画像における静止物の位置が変化していないと判定された場合（ステップ＃１３，Ｎｏ）には、判定部２３から表示処理部２４に注意メッセージ等の警告文の表示を指示する信号が送信され、表示部３０に警告文が表示される（ステップ＃１４）。
【００２５】
静止物検出部２２は、撮像画像に含まれる静止物の全体を検出してもよいし、静止物の一部を検出するものでもよい。具体的には、静止物検出部２２は、静止物の縁部及び当該縁部の撮像画像における位置を検出するものでよい。その場合には、判定部２３は、静止物の縁部の位置に基づいて判定を行うことになる。静止物の縁部とは、例えば図３に示される路面上の区画線Ｌの端部Ｓ等である。なお、静止物の縁部の位置に基づく判定は、静止物の縁部の１つによって行っても良いし、複数の縁部どうしを結んだ線分によって行ってもよい。
【００２６】
このように、静止物の一部である縁部等の位置に基づいて判定部２３による判定を行うことで、連続する撮像画像の異常を検出するために用いられるデータ量をより小さくすることができる。
【００２７】
撮像画像に含まれる静止物のうち車両の進行方向に沿う部分は、撮像画像が正常に表示される場合であっても連続する撮像画像においては位置変化が殆ど生じない。このため、連続する撮像画像が正常に表示されていても、判定部２３において静止物の撮像画像における位置が変化していないと判定されることが起こり得る。
【００２８】
そのため、静止物検出部２２は、撮像画像に含まれる静止物のうち車両の進行方向と非平行な部分の位置を検出する方が好ましい。静止物のうち車両の進行方向と非平行な部分とは、例えば図３に示される路面上の区画線Ｌ等が相当する。静止物のうち車両の進行方向と非平行な部分は、車両が進行する際に撮像画像における位置が必ず変化する部分である。このため、連続する撮像画像の異常を確実に判定部２３によって検出することができる。
【００２９】
〔別実施形態〕
（１）上記の実施形態においては、画像制御部２０に撮像部１０及び表示部３０を接続する例を示したが、画像制御部２０を表示部３０の内部に設け、撮像部１０を表示部３０に接続する構成であってもよい。
【００３０】
（２）上記の実施形態においては、撮像部１０を１つのカメラによって構成する例を示したが、撮像部１０は複数のカメラを備えて構成されていてもよい。
【００３１】
（３）上記の実施形態においては、報知部として表示処理部２４を設けて表示部３０に警告文を表示する例を示したが、報知部は、表示処理部２４に限定されず、車両内に設けられるスピーカや警告灯等から発せられる音声や光を用いて警告するものでもよい。
【産業上の利用可能性】
【００３２】
本発明は、車両を含む移動体に搭載される画像表示システムに広く用いることができる。
【符号の説明】
【００３３】
１０    ：カメラ（撮像部）
２０    ：画像制御部
２１    ：画像処理部
２２    ：静止物検出部
２３    ：判定部
２４    ：表示処理部（報知部）
３０    ：表示部
４０    ：車速センサ
１００  ：画像表示システム
Ｌ      ：区画線（静止物）
Ｓ      ：端部（縁部）
【図１】
2017216517.tif 000003
【図２】
2017216517.tif 000004
【図３】
2017216517.tif 000005