(57)【要約】【課題】表示部に表示される範囲外に障害物が存在する場合にも、表示部に表示される表示画像の画角を変更することなく警告を行う。【解決手段】カメラ装置１０は、移動体の所定位置に取り付けられ、移動体外部の撮像画像を生成するカメラ１１と、撮像画像の一部の画像である表示画像を決定するとともに、前記撮像画像内に存在する障害物を検出し、該障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、該障害物が前記表示画像内に存在する場合とで、異なる警告を発生させる制御部１２と、を備える。【選択図】図１
2015008453.tif 000002
【特許請求の範囲】
【請求項１】
移動体の所定位置に取り付けられ、移動体外部の撮像画像を生成するカメラと、
前記撮像画像の一部の画像である表示画像を決定するとともに、前記撮像画像内に存在する障害物を検出し、該障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、該障害物が前記表示画像内に存在する場合とで、異なる警告を発生させる制御部と、
を備えることを特徴とするカメラ装置。
【請求項２】
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用画像を前記表示画像に重畳させることを特徴とする、請求項１に記載のカメラ装置。
【請求項３】
前記制御部は、時間経過による前記移動体および前記障害物の相対距離の変化を判別し、前記相対距離の変化が相対距離の増加である場合と相対距離の減少である場合とで異なる警告を発生させることを特徴とする、請求項１または２に記載のカメラ装置。
【請求項４】
前記制御部は、前記カメラによる生成時期の異なる複数の撮像画像に基づいて、前記相対距離の変化を判別することを特徴とする、請求項３に記載のカメラ装置。
【請求項５】
前記制御部は、前記移動体から取得する運転情報、および前記撮像画像における前記障害物の位置に基づいて、前記相対距離の変化を判別することを特徴とする、請求項３に記載のカメラ装置。
【請求項６】
前記制御部は、
前記障害物が前記非表示画像内に存在する場合には、前記表示画像のうち該障害物が存在する方向の画像端に第１の警告用画像を重畳させ、
前記障害物が前記表示画像内に存在する場合には、該障害物の位置に応じて第２の警告用画像を重畳させることを特徴とする、請求項２に記載のカメラ装置。
【請求項７】
前記制御部は、
前記障害物が前記非表示画像内に存在する場合には、前記表示画像のうち該障害物が存在する方向の画像端または画像隅に第１の警告用画像を重畳させ、
前記障害物が前記表示画像内に存在する場合には、第１の警告用画像の色または形状を変化させた画像を第２の警告用画像として重畳させることを特徴とする、請求項２に記載のカメラ装置。
【請求項８】
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用音声を出力させることを特徴とする、請求項１から７のいずれか一項に記載のカメラ装置。
【請求項９】
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用振動を発生させることを特徴とする、請求項１から８のいずれか一項に記載のカメラ装置。
【請求項１０】
移動体の所定位置に取り付けられたカメラの撮像画像から、前記撮像画像内に存在する障害物を検出するカメラ装置であって、
前記障害物が前記撮像画像において表示部にて表示されない領域である非表示画像内に存在する場合と、該障害物が前記撮像画像において表示部にて表示される領域である表示画像内に存在する場合とで、異なる警告を行う制御部と、
を備えることを特徴とするカメラ装置。
【請求項１１】
移動体の所定位置に取り付けられたカメラにより、移動体外部の撮像画像を生成するステップと、
前記撮像画像の一部の画像である表示画像を決定するステップと、
前記撮像画像内に存在する障害物を検出するステップと、
前記障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、前記障害物が前記表示画像内に存在する場合とで、異なる警告を行うステップと、
を含むことを特徴とする警告方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体周辺に障害物が存在する場合に運転者に警告を行うカメラ装置および警告方法に関する。
【背景技術】
【０００２】
従来、車両に搭載された魚眼カメラにより撮影された魚眼画像を俯瞰画像に変換して表示するとともに、俯瞰画像から障害物を認識することにより、車両の周辺を監視する装置が知られている（例えば、特許文献１参照）。
【０００３】
また、車両に搭載された広角カメラにより撮影された画像から障害物を検出し、障害物が検出されたと判定された場合、広角カメラにより撮影された画像の全体を表示し、障害物が検出されていないと判定された場合には、広角カメラの撮影画像に対して所定の処理を施した画像を表示することにより、車両周辺の画像を表示する装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−４８４５１号公報
【特許文献２】特開２００８−２３８９２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の装置では、俯瞰画像から障害物を認識処理するので、表示部に表示される範囲内における障害物に対してしか警告を行うことはできなかった。また、特許文献２に記載の装置では、障害物を検出したときに表示画角ごと変更するので、障害物を検出した場合と検出しなかった場合とで頻繁に表示画角が変更されて煩わしいという問題があった。
【０００６】
かかる事情に鑑みてなされた本発明の目的は、表示部に表示される範囲外に障害物が存在する場合にも、表示部に表示される表示画像の画角を変更することなく警告を行うことが可能なカメラ装置および警告方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係るカメラ装置は、
移動体の所定位置に取り付けられ、移動体外部の撮像画像を生成するカメラと、
前記撮像画像の一部の画像である表示画像を決定するとともに、前記撮像画像内に存在する障害物を検出し、該障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、該障害物が前記表示画像内に存在する場合とで、異なる警告を発生させる制御部と、
を備えることを特徴とする。
【０００８】
さらに、本発明に係るカメラ装置において、
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用画像を前記表示画像に重畳させることを特徴とする。
【０００９】
さらに、本発明に係るカメラ装置において、
前記制御部は、時間経過による前記移動体および前記障害物の相対距離の変化を判別し、前記相対距離の変化が相対距離の増加である場合と相対距離の減少である場合とで異なる警告を発生させることを特徴とする。
【００１０】
さらに、本発明に係るカメラ装置において、
前記制御部は、前記カメラによる生成時期の異なる複数の撮像画像に基づいて、前記相対距離の変化を判別することを特徴とする。
【００１１】
さらに、本発明に係るカメラ装置において、
前記制御部は、前記移動体から取得する運転情報、および前記撮像画像における前記障害物の位置に基づいて、前記相対距離の変化を判別することを特徴とする。
【００１２】
さらに、本発明に係るカメラ装置において、
前記制御部は、
前記障害物が前記非表示画像内に存在する場合には、前記表示画像のうち該障害物が存在する方向の画像端に第１の警告用画像を重畳させ、
前記障害物が前記表示画像内に存在する場合には、該障害物の位置に応じて第２の警告用画像を重畳させることを特徴とする。
【００１３】
さらに、本発明に係るカメラ装置において、
前記制御部は、
前記障害物が前記非表示画像内に存在する場合には、前記表示画像のうち該障害物が存在する方向の画像端または画像隅に第１の警告用画像を重畳させ、
前記障害物が前記表示画像内に存在する場合には、第１の警告用画像の色または形状を変化させた画像を第２の警告用画像として重畳させることを特徴とする。
【００１４】
さらに、本発明に係るカメラ装置において、
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在する場合とで、異なる警告用音声を出力させることを特徴とする。
【００１５】
さらに、本発明に係るカメラ装置において、
前記制御部は、前記障害物が前記非表示画像内に存在する場合と前記表示画像内に存在
する場合とで、異なる警告用振動を発生させることを特徴とする。
【００１６】
また、上記課題を解決するため、本発明に係るカメラ装置は、
移動体の所定位置に取り付けられたカメラの撮像画像から、前記撮像画像内に存在する障害物を検出するカメラ装置であって、
前記障害物が前記撮像画像において表示部にて表示されない領域である非表示画像内に存在する場合と、該障害物が前記撮像画像において表示部にて表示される領域である表示画像内に存在する場合とで、異なる警告を行う制御部と、
を備えることを特徴とする。
【００１７】
また、上記課題を解決するため、本発明に係る警告方法は、
移動体の所定位置に取り付けられたカメラにより、移動体外部の撮像画像を生成するステップと、
前記撮像画像の一部の画像である表示画像を決定するステップと、
前記撮像画像内に存在する障害物を検出するステップと、
前記障害物が前記撮像画像から前記表示画像を除いた画像である非表示画像内に存在する場合と、前記障害物が前記表示画像内に存在する場合とで、異なる警告を行うステップと、
を含むことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、表示部に表示される範囲外に障害物が存在する場合にも警告を行うことができる。また、表示部に表示される表示画像の画角を変更することなく警告を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係るカメラ装置の構成例を示すブロック図である。
【図２】カメラを後方向きに取り付けた移動体を示す図である。
【図３】本発明の第１の実施形態に係る警告方法を示すフローチャートである。
【図４】本発明の第１の実施形態に係るカメラ装置における撮像画像の一例を示す図である。
【図５】本発明の第１の実施形態に係る表示による警告の第１の例を示す図である。
【図６】本発明の第１の実施形態に係る表示による警告の第２の例を示す図である。
【図７】本発明の第１の実施形態に係る表示による警告の第３の例を示す図である。
【図８】本発明の第１の実施形態に係る音声による警告例を示す図である。
【図９】本発明の第２の実施形態に係る警告方法を示すフローチャートである。
【図１０】本発明の第３の実施形態に係るカメラ装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明による実施形態について、図面を参照して詳細に説明する。
【００２１】
図１は、本発明の第１の実施形態に係るカメラ装置の構成例を示すブロック図である。図１に示すように、カメラシステム１は、カメラ装置１０と、表示部２０と、音声出力部３０と、振動発生部４０とを備える。カメラ装置１０は、カメラ１１と、制御部１２と、記憶部１３とを備える。
【００２２】
カメラ１１は、撮像部１１１と、画像処理部１１２とを有する。なお、画像処理部１１２の一部または全部の機能を制御部１２が有するようにしてもよい。カメラ１１は、移動体の所定位置に取り付けられ、移動体外部の撮像画像を生成する。
【００２３】
撮像部１１１は、ＣＭＯＳ，ＣＣＤなどのイメージセンサを有しており、レンズを通して入射した被写体光を電気信号に変換する。撮像部１１１は広い画角（例えば、１８０度超）を有するものとする。
【００２４】
画像処理部１１２は、撮像部１１１により生成された信号に対してＡ／Ｄ変換、ノイズ低減処理、画像処理などを施して、例えばプログレッシブ形式またはインターレース形式の撮像画像を生成する。撮像画像は撮像部１１１の画角に相当する領域を有する。
【００２５】
図２は、一例としてカメラ１１を後方向きに取り付けた車両などの移動体を示す図である。本実施形態では、図２に示すように、カメラ１１は移動体１００後方のバンパー付近に取り付けられ、移動体１００の後方の映像を撮影する。図中の領域Ａは、カメラ１１によって映像が撮影される領域である。もちろん、カメラ１１が移動体の前方向きや側方向きに取り付けられる例において本発明を適用してもよいことは言うまでも無い。カメラ装置１０がカメラ１１に一体化されたモジュールとして構成されている場合には、移動体の所定位置にカメラ装置１０が取り付けられることとなる。
【００２６】
表示部２０は、運転者により例えばリバースギアに切り替えた時などをトリガとしてカメラモードが指示された場合には、カメラ装置１０によって生成された映像を表示する。カメラモードとは、例えば駐車時に移動体１００を運転する運転者から見えづらい移動体１００後方の領域Ａ内の映像を表示部２０に表示させることによって、駐車を円滑に行えるように手助けするためのモードである。また、移動体１００後方の領域Ａ内の映像に、更に移動体１００が通過する予測軌跡を重畳して表示し、より円滑に駐車を行えるようにすることもできる。
【００２７】
また、表示部２０は、運転者によりナビゲーションモードが指示された場合には、ナビゲーションシステムにより得られた目的地までのルート案内図を表示し、テレビモードが指示された場合には、テレビ受信機により得られたテレビ映像を表示することも可能である。
【００２８】
制御部１２は、画像処理部１１２により生成された撮像画像内に障害物の画像（以下、単に障害物という）が存在するか否かを判定し、障害物を検出した場合には警告を発生させる。
【００２９】
具体的には、制御部１２は、撮像画像のうち、カメラ１１の画角（例えば、１８０度超）よりも狭い画角（例えば、１３０〜１５０度）に相当する領域を切り出して表示画像を生成する。カメラモードで運転者が表示させたい画像は移動体近傍の画像であるため、広い画角により撮像された撮像画像全体を表示させる必要はない。また、撮像画像全体を表示させると運転者が注目したい領域の画像は小さく表示されることになり、さらに撮像画像は端部にいくほどレンズの特性により歪んで表示されることになる。そのため、制御部１２は、撮像画像全体ではなく、撮像画像の一部である表示画像を表示部２０に表示させる。
【００３０】
そして制御部１２は、障害物を検出した場合には、後述するように、障害物が撮像画像のうちの表示画像を除く画像である非表示画像内に存在する場合と表示画像内に存在する場合とで異なる警告を発生させる。異なる警告であることを明示するために、以下では、障害物が非表示画像内に存在する場合に行う警告を「第１の警告」と記し、障害物が表示画像内に存在する場合に行う警告を「第２の警告」と記す。
【００３１】
図１に示すように、制御部１２は、障害物検出部１２１と、表示制御部１２２と、音声制御部１２３と、振動制御部１２４とを備える。
【００３２】
障害物検出部１２１は、カメラ１１により生成された撮像画像内に障害物があるか否かを判定し、障害物を検出した場合には障害物の位置を示す情報を表示制御部１２２、音声制御部１２３、および振動制御部１２４に出力する。障害物検出部１２１は、既知の人物、物体、移動物などの検出技術により、障害物を判定する。
【００３３】
表示制御部１２２は、表示画像を表示部２０の表示デバイスに適したフォーマット（例えば、ＮＴＳＣなど）に変換し、表示部２０に出力する。また、表示制御部１２２は、障害物検出部１２１により障害物が検出された場合には、表示画像に警告用画像を重畳した画像を表示部２０に表示させる。その際、表示制御部１２２は、障害物が非表示画像内に存在する場合と表示画像内に存在する場合とで異なる警告用画像を重畳した画像を表示部２０に表示させる。
【００３４】
表示部２０は、移動体内部に取り付けられ、一般的にはカーナビゲーション装置の表示部として構成される。表示部２０は、カメラモード時には、表示制御部１２２による制御により画像を表示する。
【００３５】
音声制御部１２３は、障害物検出部１２１により障害物が検出された場合には、警告用音声を音声出力部３０から出力させる。その際、音声制御部１２３は、障害物が非表示画像内に存在する場合と表示画像内に存在する場合とで異なる警告用音声を音声出力部３０から出力させる。
【００３６】
音声出力部３０は、移動体内部の左側（例えば左ドア内側）に取り付けられて運転者の左側から音声を出力する左側音声出力部３１と、移動体内部の右側（例えば右ドア内側）に取り付けられて運転者の右側から音声を出力する右側音声出力部３２とを有し、音声制御部１２３による制御により音声を出力する。
【００３７】
振動制御部１２４は、障害物検出部１２１により障害物が検出された場合には、振動発生部４０により振動を発生させる。その際、振動制御部１２４は、障害物が非表示画像内に存在する場合と表示画像内に存在する場合とで異なる警告用振動を振動発生部４０から発生させる。
【００３８】
振動発生部４０は、振動アクチュエータまたは振動モータなどにより構成され、移動体内部の運転者が触れる場所のうち左側に取り付けられる左側振動発生部４１と右側に取り付けられる右側振動発生部４２とを有する。
【００３９】
記憶部１３は、制御部１２における処理に必要となるデータ、例えば警告用画像を記憶する。
【００４０】
カメラシステム１は、障害物検出部１２１により障害物が検出された場合、表示部２０に警告用の表示を行うか、音声出力部３０から警告用の音声を出力させるか、または振動発生部４０により振動を発生させるか、の少なくとも１つ以上の方法により警告を行う。
【００４１】
図３は、本発明の第１の実施形態に係る警告方法を示すフローチャートである。まず、障害物検出部１２１により、撮像画像内に障害物が存在するか否かを判定する（ステップＳ１０１）。撮像画像内に障害物が存在する場合において（ステップＳ１０１−Ｙｅｓ）、障害物が非表示画像内に存在するときは（ステップＳ１０２−Ｙｅｓ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により第１の警告を行う（ステップＳ１０３）。一方、障害物が非表示画像内に存在しないとき（ステップＳ１０２−Ｎｏ）、すなわち障害物が表示画像内に存在するときは、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により第２の警告を行う（ステップＳ１０４）。そして、撮像画像内に障害物が存在する間は（ステップＳ１０５−Ｙｅｓ）、第１の警告または第２の警告を継続し、撮像画像内に障害物が存在しなくなった場合に（ステップＳ１０５−Ｎｏ）、警告を終了する。
【００４２】
障害物が非表示画像から表示画像に移動する場合を考えると、カメラシステム１は、障害物が非表示画像内に存在している間は第１の警告を行い（ステップＳ１０３）、その後、障害物が表示画像内に存在している間は第２の警告を行う（ステップＳ１０４）。同様に、障害物が表示画像から非表示画像に移動する場合には、カメラシステム１は、障害物が表示画像内に存在している間は第２の警告を行い（ステップＳ１０４）、その後、障害物が非表示画像内に存在している間は第１の警告を行う（ステップＳ１０３）。
【００４３】
図４は、運転者によりカメラモードが指示された場合に、カメラ１１により生成された撮像画像の一例を示す図である。表示部２０には、撮像画像５１のうちの一部の画像である表示画像５２が表示される。ここで、障害物（人物）５４が非表示画像５３から表示画像５２へ移動する場合における警告方法について、以下に説明する。
【００４４】
図５は、表示による警告の第１の例を示す図である。この例では、障害物５４が非表示画像５３内に存在する場合、表示制御部１２２は図５（ａ）に示すように、表示画像５２のうち障害物５４が存在する方向の画像端（この例では左端）、または障害物５４が近くに存在する領域に第１の警告用画像６１を重畳することにより、第１の警告を行う。そして、表示画像５２内に障害物５４が表示された場合には、表示制御部１２２は図５（ｂ）に示すように、障害物５４を取り囲むようにして第２の警告用画像６２を重畳することにより、第２の警告を行う。第２の警告用画像６２は障害物５４の動きに追従する。なお、第２の警告用画像６２は障害物５４の位置に応じて重畳させる画像であればよく、図５（ｂ）に示すような障害物５４を取り囲むよう画像以外に、障害物５４と一部分が重なる画像や、障害物５４の上部に表示させる画像であってもよい。
【００４５】
図６は、表示による警告の第２の例を示す図である。この例では、障害物５４が非表示画像５３内に存在する場合、表示制御部１２２は図６（ａ）に示すように、表示画像５２のうち障害物５４が存在する方向の画像端、または障害物５４が近くに存在する領域に第１の警告用画像６１を重畳することにより、第１の警告を行う。図６（ａ）は、図５（ａ）と同一である。そして、表示画像５２内に障害物５４が表示された場合には、表示制御部１２２は図６（ｂ）に示すように、第２の警告用画像６３を重畳することにより、第２の警告を行う。第２の警告用画像６３は、第１の警告用画像６１に対して、位置は変更しないで、色および／または形状を変更した画像である。
【００４６】
図６の例において、障害物５４が表示画像５２の中央より右側に移動した場合には、第２の警告用画像６３の重畳位置を表示画像５２の右端に変更してもよい。また、さらに障害物５４が表示画像５２内から非表示画像５３内へ右方向に移動した場合には、第２の警告用画像６３に代えて第１の警告用画像６１を表示画像５２の右端に重畳するようにしてもよい。
【００４７】
図７は、表示による警告の第３の例を示す図である。この例では、障害物５４が非表示画像５３内に存在する場合、表示制御部１２２は図７（ａ）に示すように、表示画像５２の左上隅または右上隅のうち障害物５４が存在する側（この例では左上隅）に第１の警告用画像６４を重畳することにより、第１の警告を行う。そして、表示画像５２内に障害物５４が表示された場合には、表示制御部１２２は図７（ｂ）に示すように、第２の警告用画像６５を重畳することにより、第２の警告を行う。第２の警告用画像６５は、第１の警告用画像６４に対して、位置は変更しないで、色および／または形状を変更した画像である。
【００４８】
図７の例において、障害物５４が表示画像５２の中央より右側に移動した場合には、第２の警告用画像６５の重畳位置を表示画像５２の右上隅に変更してもよい。また、さらに障害物５４が表示画像５２内から非表示画像５３内へ右方向に移動した場合には、第２の警告用画像６５に代えて第１の警告用画像６４を表示画像５２の右上隅に重畳するようにしてもよい。また、図７の例では警告用画像６４，６５を表示画像５２の左上隅または右上隅に表示したが、表示画像５２の４隅のうち、障害物５４が最も近くに存在する箇所に警告用画像６４，６５を表示するようにしてもよい。
【００４９】
図８は、音声による警告例を示す図である。この例では、障害物５４が非表示画像５３内に存在する場合、音声制御部１２３は図８（ａ）に示すように、障害物５４が存在する方向の音声出力部から第１の警告用音声６６を出力させることにより、第１の警告を行う。すなわち、例えば障害物５４が非表示画像５３の左側に位置する場合には、左側音声出力部３１から第１の警告用音声６６を出力させる。そしてその後、表示画像５２内に障害物５４が移動した場合には、音声制御部１２３は図８（ｂ）に示すように、左側音声出力部３１から第２の警告用音声６７を出力させることにより、第２の警告を行う。第２の警告用音声６７は、例えば、第１の警告用音声６６に対して、より大きな音とするか、周波数をより高くするか、またはリズムをより早いテンポに変更した音声である。
【００５０】
その他の例として、障害物５４が非表示画像５３内に存在する場合、振動制御部１２４は障害物５４が存在する方向の左側振動発生部４１（図示せず）から第１の振動を発生させることにより、第１の警告を行う。そして、表示画像５２内に障害物５４が移動した場合には、振動制御部１２４は左側振動発生部４１（図示せず）から第２の振動を発生させることにより、第２の警告を行う。第２の警告用振動は、例えば、第１の警告用振動に対して、大きな振動とするか、周波数を高くするか、またはリズムを変更した振動である。
【００５１】
上述したように、本実施形態では、撮像画像５１から表示部２０に表示させる表示画像５２を決定するとともに、撮像画像５１内に存在する障害物５４を検出し、障害物５４が非表示画像５３内に存在する場合には第１の警告を行い、障害物５４が表示画像５２内に存在する場合には第２の警告を行う。
【００５２】
このため、本実施形態によれば、表示部２０に表示される範囲外に障害物５４が存在する場合にも警告を行うことができる。また、表示画像５２の画角を変更することなく警告を行うことができる。さらに、障害物５４が非表示画像５３内に存在する場合と表示画像５２内に存在する場合とで異なる警告を行うため、障害物５４が非表示画像５３内から表示画像５２内に移動して移動体に急接近してきた場合などの危険な場面で、異なる警告により運転者に強く注意を促すことが可能となる。
【００５３】
次に、本発明の第２の実施形態を説明する。第２の実施形態では制御部が実行する処理が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
【００５４】
第２の実施形態において、制御部１２は、第１の実施形態で実行する機能に加えて、障害物５４が移動体１００に近付いているか否かを判別し、判別結果に基づく警告を行なう機能を有する。例えば、撮像画像５１において障害物５４を検出すると、時間経過による移動体１００および障害物５４の相対距離の変化を判別する。
【００５５】
本実施形態においては、制御部１２は、カメラ１１による生成時期の異なる、例えば連続する複数のフレームの撮像画像５１に基づいて、相対距離の変化を判別する。更に詳細に説明すると、制御部１２は、生成時期の異なる撮像画像５１それぞれにおける障害物５４の位置の変化により、移動体１００および障害物５４の相対距離の変化を判別する。
【００５６】
制御部１２は、相対距離の変化が、相対距離の増加である場合と、相対距離の減少である場合とで、さらに異なる警告を発生させる。以下では、障害物５４が非表示画像５３内に存在し且つ障害物５４が移動体１００に対して近付く場合に行う警告を「接近を示す第１の警告」と記す。また、障害物５４が非表示画像５３内に存在し且つ障害物５４が移動体１００に対して遠ざかる場合に行う警告を「離反を示す第１の警告」と記す。また、障害物５４が表示画像５２内に存在し且つ障害物５４が移動体１００に対して近付く場合に行う警告を「接近を示す第２の警告」と記す。また、障害物５４が表示画像５２内に存在し且つ障害物５４が移動体１００に対して遠ざかる場合に行う警告を「離反を示す第２の警告」と記す。
【００５７】
第２の実施形態において、表示制御部１２２は、第１の実施形態で実行する機能に加えて、上述の複数の種類の警告に応じた警告用画像を重畳した画像を表示部２０に表示させる機能を有する。また、第２の実施形態において、音声制御部１２３は、第１の実施形態で実行する機能に加えて、上述の複数の種類の警告に応じた警告用音声を音声出力部３０から出力させる機能を有する。また、第２の実施形態において、振動制御部１２４は、第１の実施形態で実行する機能に加えて、上述の複数の種類の警告に応じた警告用振動を振動発生部４０から発生させる機能を有する。
【００５８】
図９は、本発明の第１の実施形態に係る警告方法を示すフローチャートである。まず、障害物検出部１２１により、撮像画像５１内に障害物５４が存在するか否かを判別する（ステップＳ２０１）。
【００５９】
撮像画像５１内に障害物５４が存在する場合において（ステップＳ２０１−Ｙｅｓ）、障害物５４が非表示画像５３内に存在し且つ移動体１００と障害物５４の相対距離が減少しているときは（ステップＳ２０２−Ｙｅｓ、ステップＳ２０３−Ｙｅｓ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により接近を示す第１の警告を行う（ステップＳ２０４）。
【００６０】
また、撮像画像５１内に障害物５４が存在する場合において（ステップＳ２０１−Ｙｅｓ）、障害物５４が非表示画像５３内に存在し且つ移動体１００と障害物５４の相対距離が増大しているときは（ステップＳ２０２−Ｙｅｓ、ステップＳ２０３−Ｎｏ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により離反を示す第１の警告を行う（ステップＳ２０５）。
【００６１】
また、撮像画像５１内に障害物５４が存在する場合において（ステップＳ２０１−Ｙｅｓ）、障害物５４が表示画像５３内に存在し且つ移動体１００と障害物５４の相対距離が減少しているときは（ステップＳ２０２−Ｎｏ、ステップＳ２０６−Ｙｅｓ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により接近を示す第２の警告を行う（ステップＳ２０７）。
【００６２】
また、撮像画像５１内に障害物５４が存在する場合において（ステップＳ２０１−Ｙｅｓ）、障害物５４が表示画像５３内に存在し且つ移動体１００と障害物５４の相対距離が増大しているときは（ステップＳ２０２−Ｎｏ、ステップＳ２０６−Ｎｏ）、表示部２０、音声出力部３０、または振動発生部４０のうち少なくとも１つ以上により離反を示す第２の警告を行う（ステップＳ２０８）。
【００６３】
そして、撮像画像５１内に障害物５４が存在する間は（ステップＳ２０９−Ｙｅｓ）、接近を示す第１の警告、離反を示す第１の警告、接近を示す第２の警告、および離反を示す第２の警告の何れかを継続し、撮像画像５１内に障害物５４が存在しなくなった場合に（ステップＳ２０９−Ｎｏ）、警告を終了する。
【００６４】
接近を示す第１の警告および離反を示す第１の警告は、例えば、表示画像５２における、第１の警告用画像６１の大きさを変えることにより、示される。例えば、第１の警告用画像６１を、接近を示す場合には大きくし、離反を示す場合には小さくすることによって示される。また、接近を示す第１の警告および離反を示す第１の警告は、例えば、第１の警告用音声６６の大きさ、周波数、リズムを、接近を示す場合と離反を示す場合とで変えることによって示される。また、接近を示す第１の警告および離反を示す第１の警告は、例えば、第１の警告用振動の大きさ、周波数、リズムを、接近を示す場合と離反を示す場合とで変えることによって示される。
【００６５】
接近を示す第２の警告および離反を示す第２の警告の警告は、上述の第１の警告の例として例示したいずれかの方法、または更に異なる方法で示すことが可能である。
【００６６】
以上のような第２の実施形態においては、第１の実施形態と同様に、表示画像５２の画角を変更することなく、表示部２０に表示される範囲内および範囲外に障害物５４が存在する場合に、いずれの場合かに判別させ得る警告を行うことができる。また、第２の実施形態においては、存在が確認された障害物５４が移動体１００に接近中であるか、離反中であるかを判別可能に警告可能である。
【００６７】
次に、本発明の第３の実施形態を説明する。第３の実施形態では移動体１００と障害物５４の相対距離の変化の判別方法が第２の実施形態と異なっている。以下に、第２の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態または第２の実施形態と同じ構成を有する部位には同じ符号を付す。
【００６８】
第３の実施形態においては、図１０に示すように、カメラシステム１は、カメラ装置１０と、表示部２０と、音声出力部３０と、振動発生部４０と、更に車両情報取得部５０とを備える。表示部２０、音声出力部３０、および振動発生部４０の構成および機能は、第２の実施形態と同様である。車両情報取得部５０は、移動体１００から、例えばＣＡＮ通信などの通信方法により、例えば移動速度、前進／後退のいずれかを示す前進／後退情報、および躁舵角情報などの車両情報を取得する。
【００６９】
第３の実施形態において、制御部１２は、第２の実施形態と同様に、第１の実施形態で実行する機能に加えて、障害物５４が移動体１００に近付いているか、すなわち相対距離の変化を判別し、判別結果に基づく警告を行なう機能を有する。第３の実施形態では、第２の実施形態と異なり、少なくとも１つのフレームの撮像画像５１における障害物５４の位置、および取得した車両情報に基づいて、相対距離の変化を判別する。
【００７０】
例えば、図４に示すように、撮像画像５１における障害物５４の位置が、画像の左側の辺部近傍である場合において、移動体１００が左方に移動することを示す車両情報、例えば移動体１００が左方に進行することを示す躁舵角情報および前進／後退情報を取得するときに、相対距離が減少していると判別可能である。
【００７１】
第３の実施形態では、第２の実施形態と同様に、障害物５４が非表示画像５３および表示画像５２内のいずれに位置するか、および相対距離の増加および減少の何れであるかに応じて、異なる警告を行う。
【００７２】
以上のような第３の実施形態においても、第２の実施形態と同様の効果を奏することが可能である。
【００７３】
上述の実施形態は、代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、図１、１０に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。また、第２の実施形態および第３の実施形態において、障害物５４の接近および離反の何れかの判別可能な警告は、表示画像５２内および非表示画像５３内の何れか一方に障害物５４が存在するときのみに実行されてもよい。
【符号の説明】
【００７４】
１      カメラシステム
１０    カメラ装置
１１    カメラ
１２    制御部
１３    記憶部
２０    表示部
３０    音声出力部
３１    左側音声出力部
３２    右側音声出力部
４０    振動発生部
４１    左側振動発生部
４２    右側振動発生部
５０    車両情報取得部
５１    撮像画像
５２    表示画像
５３    非表示画像
５４    障害物
６１，６４  第１の警告用画像
６２，６３，６５  第２の警告用画像
６６    第１の警告用音声
６７    第２の警告用音声
１００  移動体
１１１  撮像部
１１２  画像処理部
１２１  障害物検出部
１２２  表示制御部
１２３  音声制御部
１２４  振動制御部
【図１】
2015008453.tif 000003
【図２】
2015008453.tif 000004
【図３】
2015008453.tif 000005
【図４】
2015008453.tif 000006
【図５】
2015008453.tif 000007
【図６】
2015008453.tif 000008
【図７】
2015008453.tif 000009
【図８】
2015008453.tif 000010
【図９】
2015008453.tif 000011
【図１０】
2015008453.tif 000012