(57)【要約】【課題】撮像装置の出力画像のフリーズを検出して報知することができる撮像表示システムを提供する。【解決手段】車両等の移動体に取付けられた複数のカメラ１０，２０，３０，４０から所定時間間隔で出力される画像フレームを表示装置６０に表示する撮像表示システムにおいて、連続する画像フレームの差異をカメラ１０，２０，３０，４０毎に検出する比較部１６，２６，３６，４６と、一部のカメラで差異が検出されない場合、前記一部のカメラから出力される画像フレームが変化していないことを報知する判定部５２及び表示処理部５４を備え、前記一部のカメラの出力画像がフリーズしていることを表示装置６０に表示する。【選択図】　　　　図１
2004064440.tif 000002
【特許請求の範囲】
【請求項１】
移動体に取付けられた撮像装置から所定時間間隔で出力される画像フレームを表示装置に表示する撮像表示システムにおいて、
連続する画像フレームの差異を検出する差異検出手段と、
差異が検出されない場合、撮像装置から出力される画像フレームが変化していないことを報知する報知手段と
を備えることを特徴とする撮像表示システム。
【請求項２】
移動体に取付けられた複数の各撮像装置から所定時間間隔で出力される画像フレームを表示装置に表示する撮像表示システムにおいて、
連続する画像フレームの差異を撮像装置毎に検出する差異検出手段と、
一部の撮像装置で差異が検出されない場合、前記一部の撮像装置から出力される画像フレームが変化していないことを報知する報知手段と
を備えることを特徴とする撮像表示システム。
【請求項３】
前記移動体の移動速度を検出する速度検出手段を備え、
前記差異検出手段は、移動体の移動速度が所定速度以下の場合、差異の検出を中止すべくなしてあることを特徴とする請求項１又は２記載の撮像表示システム。
【請求項４】
前記報知手段は、報知画像及び該報知画像の表示指示を前記表示装置へ出力すべくなしてあることを特徴とする請求項１〜３の何れかに記載の撮像表示システム。
【請求項５】
前記表示装置は、画像フレームに文字を重ねて表示する合成表示が可能であり、
前記報知手段は、報知メッセージ及び該報知メッセージの合成表示指示を前記表示装置へ出力すべくなしてあることを特徴とする請求項１〜３の何れかに記載の撮像表示システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、移動体に取付けられた撮像装置から所定時間間隔で出力される画像フレームを表示装置に表示する撮像表示システムに関する。
【０００２】
【従来の技術】
自動車等の車両の運転を支援する装置として、車載カメラと、車載カメラで撮影した映像が表示される車載表示装置とが用いられている。例えば、車両後方を車載カメラで撮影し、車載表示装置で車両後方を確認しながら車庫入れを行う。また、車両の左右前方及び／又は左右後方を車載カメラで撮影し、車載表示装置で左右前方及び／又は左右後方を確認しながら進路変更等を行う。
【０００３】
【発明が解決しようとする課題】
車載カメラ又は車載表示装置は、不具合が生じて、車載表示装置に表示されている映像が変化せずに固定した状態（以下、フリーズと呼ぶ）になる場合がある。車載表示装置の表示がフリーズした場合、車両が移動していても、表示される映像は変化しないため、運転を支援できなくなる。しかし、フリーズを検出する方法は無く、フリーズの発生を報知する方法も無いため、運転者は、フリーズに気付かずに運転を続ける場合がある。
【０００４】
本発明は斯かる事情に鑑みてなされたものであり、撮像装置の出力画像が変化していないこと（フリーズ）を検出して報知することができる撮像表示システムを提供することを目的とする。
【０００５】
また、本発明は、他の撮像装置の状態を考慮に入れて、フリーズの報知をより正確に行うことができる撮像表示システムを提供することを他の目的とする。
【０００６】
また、本発明は、移動体の停止を検出して、フリーズの報知をより正確に行うことができる撮像表示システムを提供することを他の目的とする。
【０００７】
また、本発明は、表示装置に報知画像を出力してフリーズを迅速に報知することができる撮像表示システムを提供することを他の目的とする。
【０００８】
また、本発明は、表示装置に報知メッセージを合成表示して、撮像装置の出力画像を表示したままの状態でフリーズを迅速に報知することができる撮像表示システムを提供することを他の目的とする。
【０００９】
【課題を解決するための手段】
第１発明に係る撮像表示システムは、移動体に取付けられた撮像装置から所定時間間隔で出力される画像フレームを表示装置に表示する撮像表示システムにおいて、連続する画像フレームの差異を検出する差異検出手段と、差異が検出されない場合、撮像装置から出力される画像フレームが変化していないことを報知する報知手段とを備えることを特徴とする。
【００１０】
第２発明に係る撮像表示システムは、移動体に取付けられた複数の各撮像装置から所定時間間隔で出力される画像フレームを表示装置に表示する撮像表示システムにおいて、連続する画像フレームの差異を撮像装置毎に検出する差異検出手段と、一部の撮像装置で差異が検出されない場合、前記一部の撮像装置から出力される画像フレームが変化していないことを報知する報知手段とを備えることを特徴とする。
【００１１】
第３発明に係る撮像表示システムは、第１又は第２発明において、前記移動体の移動速度を検出する速度検出手段を備え、前記差異検出手段は、移動体の移動速度が所定速度以下の場合、差異の検出を中止すべくなしてあることを特徴とする。
【００１２】
第４発明に係る撮像表示システムは、第１〜第３発明の何れかにおいて、前記報知手段は、報知画像及び該報知画像の表示指示を前記表示装置へ出力すべくなしてあることを特徴とする。
【００１３】
第５発明に係る撮像表示システムは、第１〜第３発明の何れかにおいて、前記表示装置は、画像フレームに文字を重ねて表示する合成表示が可能であり、前記報知手段は、報知メッセージ及び該報知メッセージの合成表示指示を前記表示装置へ出力すべくなしてあることを特徴とする。
【００１４】
第１発明においては、差異検出手段により、撮像装置から出力された連続する画像フレームの差異を検出する。例えば、撮像装置から画像フレームが出力される都度、前回出力された画像フレームとの差異を検出する。差異の検出は、例えば画像フレーム上に設定したサンプリング点に対応する画素の輝度値の差異を検出する。差異が検出されない場合、表示装置の表示が変化せずに固定した状態（以下、フリーズと呼ぶ）になっている可能性があるため、報知手段により、撮像装置から出力される画像フレームが変化していないことを報知する。例えば、表示装置に報知メッセージを表示したり、スピーカから報知音を出力する。
【００１５】
第２発明においては、差異検出手段により、各撮像装置から夫々出力された連続する画像フレームの差異を検出する。差異が検出されない撮像装置は、フリーズしている可能性がある。しかし、例えば撮像装置が車両（移動体）に取付けられており、車両が停車している場合は、全ての撮像装置において、差異が全く検出されないと考えられる。一部の撮像装置で差異が検出されない場合、前記一部の撮像装置はフリーズしている可能性が高いため、報知手段により、一部の撮像装置から出力される画像フレームが変化していないことを報知する。例えば、３台の撮像装置のうち、１台だけ差異が検出されていない場合、この１台の画像フレームが変化していないことを報知する。
【００１６】
第３発明においては、速度検出手段により、移動体の移動速度を検出する。例えば撮像装置が車両（移動体）に取付けられている場合、スピードメータに送られる車速パルス又は車速パルスに基づく速度データ等から車両の移動速度を検出する。車両の移動速度が所定速度以下の場合、差異検出手段による差異の検出を中止する。例えば車両が停止している場合、連続する画像フレームの差異が検出されない場合が多く、フリーズとの区別が困難である。しかし、車両が移動している場合は、連続する画像フレームの差異が検出されるはずであり、フリーズを確実に検出できる。第２発明においては、停止している移動体の近くを通行人が通過したこと等により画像フレームの差異が検出された場合、移動体は移動していると見なされるが、第３発明では、移動速度に基づいて確実に移動体の停止を検出できる。前記所定速度は、速度がゼロの場合に限定はされず、画像フレームの変化が少ない低速度も含まれる。
【００１７】
第４発明においては、連続する画像フレームの差異が検出されない場合、報知手段により、報知画像及び該報知画像の表示指示が表示装置へ出力され、表示装置に報知画像が表示される。車両（移動体）内にスピーカが設置又は計器盤等に報知用ＬＥＤ（ｌｉｇｈｔ　ｅｍｉｔｔｉｎｇ　ｄｉｏｄｅ）が設置されている場合は、報知手段により、スピーカから報知音を出力したり、報知用ＬＥＤを点灯させることも可能である。報知によりフリーズに気付いた車両（移動体）の運転者等は、撮像装置の電源又は撮像表示システムの電源を入れ直す等のリセット操作を行う。リセット操作の指示を報知画像に含ませることも可能である。
【００１８】
第５発明においては、連続する画像フレームの差異が検出されない場合、報知手段により、報知メッセージ及び該報知メッセージの合成表示指示が表示装置へ出力され、表示装置には、画像フレーム上に報知メッセージが重ねて表示される。車両（移動体）の運転者等は、画像フレームを見ながら報知メッセージを見ることになる。フリーズの誤検出又はフリーズが一時的なものであった場合でも、撮像装置から出力される画像フレームを見続けることが可能である。
【００１９】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。本説明においては、４つのカメラ（撮像装置）と、カメラで撮影された映像を表示する表示装置とを備えた自動車（移動体）を例にして説明する。カメラで撮影される映像は、例えば１秒間に３０個の画像フレームを含んでいる。
【００２０】
図１に、本発明に係る撮像表示システムの例を示す。撮像表示システムは、ＣＣＤ（ｃｈａｒｇｅ　ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ）等を用いた４つのカメラ（撮像装置）１０，２０，３０，４０と、液晶ディスプレイ又はＣＲＴ（ｃａｔｈｏｄｅ−ｒａｙ　ｔｕｂｅ）ディスプレイ等の表示装置６０と、カメラ１０，２０，３０，４０及び表示装置６０が接続される監視ユニット５０とを備える。カメラ１０，２０，３０，４０と、表示装置６０と、監視ユニット５０とは、独自の配線で接続したり、車載ＬＡＮ（ｌｏｃａｌ　ａｒｅａ　ｎｅｔｗｏｒｋ）を介して接続することが可能である。
【００２１】
監視ユニット５０は、カメラ１０，２０，３０，４０から入力される画像フレームのデータ（以下、フレームデータ）を夫々一時的に記憶する第１及び第２フレームバッファ１２及び１４，２２及び２４，３２及び３４，４２及び４４を備える。第１フレームバッファ１２，２２，３２，４２は、夫々カメラ１０，２０，３０，４０及び第２フレームバッファ１４，２４，３４，４４と接続され、第２フレームバッファ１４，２４，３４，４４は表示装置６０と接続されている。
【００２２】
第１フレームバッファ１２，２２，３２，４２には、夫々カメラ１０，２０，３０，４０から新しく入力されたフレームデータ（以下、今回のフレームデータ）が記憶され、第２フレームバッファ１４，２４，３４，４４には、夫々カメラ１０，２０，３０，４０から前回入力され、夫々第１フレームバッファ１２，２２，３２，４２に記憶されていたフレームデータ（以下、前回のフレームデータ）が記憶される。第２フレームバッファ１４，２４，３４，４４に前回記憶されていたフレームデータは、表示装置６０に送られ表示される。
【００２３】
第１及び第２フレームバッファ１２及び１４，２２及び２４，３２及び３４，４２及び４４は、夫々比較部１６，２６，３６，４６と接続されている。比較部１６，２６，３６，４６は、第１及び第２フレームバッファ１２及び１４，２２及び２４，３２及び３４，４２及び４４に夫々記憶されている今回及び前回のフレームデータを比較して、両者の差異を検出する手段（差異検出手段）として動作する。例えば、今回及び前回の画像フレームの各画素の輝度値を比較して両画像フレームの差異を検出する。本説明においては、フレーム上に設定したサンプリング点に対応する画素の輝度値を比較する。
【００２４】
第１フレームバッファ１２，２２，３２，４２及び第２フレームバッファ１４，２４，３４，４４の更新と、比較部１６，２６，３６，４６による比較は、カメラ１０，２０，３０，４０からのフレームデータの入力に応じて実行される。
【００２５】
比較部１６，２６，３６，４６は判定部５２に接続されており、今回及び前回のフレームデータの差異の検出結果を判定部５２に送る。フレームデータの差異が検出されなかった場合、フリーズが発生している可能性がある。判定部５２は、全カメラについて、差異が検出されているか確認する。判定部５２は、全カメラについて、差異が検出されていない場合、車両が停止しているために差異が検出されていないと判定する。例えば、１つのカメラのみ差異が検出されていない場合、判定部５２は、前記カメラはフリーズしていると判定する。
【００２６】
判定部５２は、表示処理部５４と接続されており、フリーズを検出した場合は、検出信号を表示処理部５４に送る。表示処理部５４は、表示装置６０と接続されており、判定部５２から検出信号を受取った場合、表示装置６０に注意メッセージ（報知メッセージ）及び注意メッセージの表示指示を出力する。注意メッセージは、表示処理部５４の図示しないＲＯＭ（ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）に記憶されている。判定部５２及び表示処理部５４は、一部のカメラで差異が検出されない場合、前記一部のカメラから出力される画像フレームが変化していないことを報知する手段（報知手段）として動作する。
【００２７】
本説明においては、表示装置６０は、画像フレームに文字（注意メッセージ）を重ねて表示する合成表示（スーパーインポーズ表示）が可能であり、表示処理部５４は、注意メッセージ及びスーパーインポーズ表示の指示を表示装置６０に送り、注意メッセージをスーパーインポーズ表示させる。判定部５２から出力される検出信号には、フリーズが検出されたカメラに関する情報が含まれており、表示装置６０に複数カメラの画像が表示されている場合、表示処理部５４は、フリーズが検出されたカメラの画像部分に注意メッセージをスーパーインポーズ表示するように指示する。例えば、図２に示すように、表示装置６０の表示画面６０ａが、カメラに合わせて４つのエリアに分かれている場合は、フリーズが検出されたカメラに対応するエリアに注意メッセージをスーパーインポーズ表示するように指示する。
【００２８】
次に、本発明に係る撮像表示システムを用いたフリーズの検出及び注意の表示について説明する。フリーズの検出手順の例を図３に、注意の表示手順の例を図４に示す。
【００２９】
カメラからの今回のフレームデータの入力（Ｓ１０）後、今回及び前回のフレームデータを比較部で比較する（Ｓ１２）。図１の例では、カメラ１０，２０，３０，４０から入力された今回のフレームデータが、夫々第１フレームバッファ１２，２２，３２，４２に記憶される。また、前回のフレームデータが第２フレームバッファ１４，２４，３４，４４に記憶される。比較部１６，２６，３６，４６により、第１及び第２フレームバッファ１２及び１４，２２及び２４，３２及び３４，４２及び４４に夫々記憶されている今回及び前回のフレームデータを比較する。
【００３０】
比較部１６，２６，３６，４６は、今回及び前回のフレームデータの差異が無い場合（Ｓ１４：ＮＯ）、表示装置６０に表示される映像の固定（フリーズ）を検出し（Ｓ１６）、今回及び前回のフレームデータの差異がある場合（Ｓ１４：ＹＥＳ）、映像は固定していないと判定する。映像の固定の検出結果は、判定部５２に送られる。
【００３１】
判定部５２は、映像の固定が検出されたカメラがあり（図４のＳ３０：ＹＥＳ）、かつ、全カメラについて、映像の固定が検出されていない場合（Ｓ３２：ＮＯ）、映像の固定が検出されたカメラはフリーズしていると判定し、表示処理部５４に注意メッセージの表示を指示し、表示装置６０に注意メッセージを表示させる（Ｓ３４）。
【００３２】
また、判定部５２は、映像の固定が検出されたカメラがあり（Ｓ３０：ＹＥＳ）、かつ、全カメラの映像の固定が検出されている場合（Ｓ３２：ＹＥＳ）、車両が停止しているために映像が固定されていると判定し、注意メッセージは表示しない。また、判定部５２は、映像の固定が検出されたカメラが無い場合（Ｓ３０：ＮＯ）、注意メッセージは表示しない。
【００３３】
以後、フレームデータがカメラ１０，２０，３０，４０から監視ユニット５０に入力される都度、図３及び図４に示した処理を繰り返す。ただし、フレームデータが、例えば３回入力される都度、図３及び図４に示した処理を繰り返すことも可能である。
【００３４】
上述した実施の形態においては、カメラ１０，２０，３０，４０の出力画像フレームに基づいてフリーズを検出したが、車両の移動速度を考慮に入れて、フリーズを検出することも可能である。車両の移動速度を考慮に入れて、フリーズを検出する撮像表示システムの例を図５に示す。図５に示す撮像表示システムは、図１に示した撮像表示システムに、車両（移動体）の移動速度を検出する車速センサ６２を接続したものである。車速センサ６２は、判定部５２に接続され、車輪の回転に応じた車速パルス又は車速パルスに基づく速度データを判定部５２に送る。本説明では、速度データを判定部５２に送る。判定部５２は、速度データがゼロ又は所定速度以下の場合、車両が停止していると判定し、フリーズの検出を中止する。
【００３５】
注意の表示手順の例を図６（ａ）に示す。判定部５２は、車速センサ６２から送られる速度データに基づいて、車両の停止を検出する（Ｓ２０）。車両が停止している場合（Ｓ２０：ＹＥＳ）は、カメラ１０，２０，３０，４０の出力画像が変動せずに固定していても当然なので、フリーズの検出は行わない。このとき、図３に示した処理（Ｓ１２、Ｓ１４、Ｓ１６）を中止することも勿論可能である。車両が移動している場合（Ｓ２０：ＮＯ）は、図４と同様に注意の表示処理を行う（Ｓ３０，Ｓ３２，Ｓ３４）。
【００３６】
上述した実施の形態においては、複数のカメラ１０，２０，３０，４０を用いたが、例えば図５に示した車速センサ６２を用いた撮像表示システムのカメラを１台にすることも可能である。カメラを１台にした場合の注意の表示手順の例を図６（ｂ）に示す。図６（ｂ）の例では、図６（ａ）に示した全カメラの映像の固定の検出（Ｓ３２）は行わず、車両が移動中（Ｓ２０：ＮＯ）に映像の固定が検出された場合（Ｓ３０：ＹＥＳ）、注意メッセージを表示する（Ｓ３４）。
【００３７】
また、上述した実施の形態においては、１つのカメラで１方向の撮影を行っているが、例えばプリズム等の光学素子を用いて、１つのカメラで左右２方向の撮影を行う場合もある。この場合は、画像フレームのサンプリング点を左用及び右用の２エリアに分け、エリア毎に表示画像の固定を検出することが可能である。また、第１及び第２フレームバッファを左用バッファ及び右用バッファの２つに分け、バッファ毎に表示画像の固定を検出することが可能である。あるいは、左右２方向の画像を１つの画像として処理することも勿論可能である。
【００３８】
上述した実施の形態においては、監視ユニット５０にカメラ１０，２０，３０，４０及び表示装置６０を接続したが、監視ユニット５０を表示装置６０内部に設け、カメラ１０，２０，３０，４０を表示装置５０に接続する構成にすることも可能である。また、第２フレームバッファ１４，２４，３４，４４を表示装置６０に直接接続せずに、表示処理部５４に接続し、表示処理部５４で注意メッセージのスーパーインポーズ表示処理を行い、注意メッセージがスーパーインポーズ表示された画像フレームを表示装置６０に出力することも可能である。
【００３９】
また、上述した実施の形態においては、移動体の例として自動車を例にして説明したが、電車等の車両，船又は飛行機等の任意の移動体に適用することが可能である。
【００４０】
【発明の効果】
第１発明によれば、撮像装置から出力された連続する画像フレームの差異が検出されない場合、表示画面がフリーズしている可能性があることを報知することができる。表示画面のフリーズを迅速に報知できると共に、フリーズからの回復処理を迅速に促すことができる。
【００４１】
第２発明によれば、一部の撮像装置から出力された連続する画像フレームの差異が検出されない場合にフリーズの報知を行うことにより、移動体の停止により差異が全く検出されない場合のフリーズの誤報知を防止することができる。フリーズの報知をより正確に行うことができる。
【００４２】
第３発明によれば、移動体の移動速度が所定速度以下になった場合に画像フレームの差異の検出を中止することにより、例えば移動体の停止により差異が検出されない場合のフリーズの誤報知を防止することができる。フリーズの報知をより正確に行うことができる。
【００４３】
第４発明によれば、表示装置に報知画像を表示することにより、車両の運転者等に迅速にフリーズを報知することができる。
【００４４】
第５発明によれば、表示装置に報知メッセージを合成表示することにより、画像フレームを表示したままの状態で、車両の運転者等に迅速にフリーズを報知することができる。
【図面の簡単な説明】
【図１】本発明に係る撮像表示システムの例を示すブロック図である。
【図２】表示装置の表示画面の例を示す図である。
【図３】フリーズの検出手順の例を示すフローチャートである。
【図４】注意の表示手順の例を示すフローチャートである。
【図５】本発明に係る撮像表示システムの他の例を示すブロック図である。
【図６】注意の表示手順の他の例を示すフローチャートである。
【符号の説明】
１０，２０，３０，４０　カメラ（撮像装置）
１６，２６，３６，４６　比較部（差異検出手段）
５０　監視ユニット
５２　判定部（報知手段）
５４　表示処理部（報知手段）
６０　表示装置
６２　車速センサ（速度検出手段）
【図１】
2004064440.tif 000003
【図２】
2004064440.tif 000004
【図３】
2004064440.tif 000005
【図４】
2004064440.tif 000006
【図５】
2004064440.tif 000007
【図６】
2004064440.tif 000008