(57)【要約】【課題】搭載するセンサの数が増加することなく、車窓から飛び出した物体を検出する。【解決手段】移動物検出装置（１）は、車両（１０）に搭載され且つ車両の側面を撮像する第１撮像部（１２）によって撮像された画像を示す画像データ（１０１、１０２）を取得する画像データ取得部（３１）と、画像データに対応する画像の所定の検出領域（１２０）の中に移動物（１３０）があるか否かを判定する移動物判定部（３２）と、検出領域（１２０）に移動物（１３０）があると判定されたときに、警報信号を出力する警報信号出力部３３とを有する。【選択図】図１
2017211935.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され且つ車両の側面を撮像する第１撮像部によって撮像された画像を示す画像データを取得する画像データ取得部と、
前記画像データに対応する画像の所定の検出領域の中に移動物があるか否かを判定する移動物判定部と、
前記検出領域に移動物があると判定されたときに、警報信号を出力する警報信号出力部と、
を有することを特徴とする移動物検出装置。
【請求項２】
画像データ取得部は、車両が後方に進むことを示すリバース信号を取得していないと判定されたときに、前記第１撮像部によって撮像された第１側面画像及び前記第１側面画像が撮像された後に前記第１撮像部によって撮像された第２側面画像のそれぞれを示す画像データを取得し、
前記移動物判定部は、前記第１側面画像の前記検出領域の中の画像と、前記第２側面画像の前記検出領域の中の画像とが一致しなかったときに、検出領域に移動物があると判定する画像比較部を有する、請求項１に記載の移動物検出装置。
【請求項３】
前記リバース信号を取得していると判定されたときに、車両の後方を撮像する第２撮像部によって撮像された第１後方画像及び前記第１後方画像が撮像された後に前記第２撮像部によって撮像された第２後方画像に基づいて、前記第１後方画像が撮像されてから前記第２後方画像が撮像されるまでの間の車両の移動量を推定する移動量推定部を更に有し、
画像データ取得部は、前記リバース信号を取得していると判定されたときに、前記第１後方画像及び前記第２後方画像のそれぞれを示す画像データを取得し、
前記移動物判定部は、
前記第１後方画像を、前記移動量に応じて補正して第１補正後方画像を生成する画像補正部と、
前記第１補正後方画像と、前記第２後方画像とが一致しなかったときに、車両の後方に移動物があると判定する画像比較部と、を有する、請求項２に記載の移動物検出装置。
【請求項４】
前記リバース信号を取得していないと判定されたときに、
前記移動量推定部は、前記移動量をゼロに設定し、
前記画像補正部は、前記移動量がゼロであるとして、前記第１側面画像から第１補正側面画像を生成し、
前記画像比較部は、前記第１補正側面画像の前記検出領域の中の画像と、前記第２側面画像の前記検出領域の中の画像とが一致しなかったときに、前記検出領域に移動物があると判定する、請求項３に記載の移動物検出装置。
【請求項５】
車両に搭載され且つ車両の側面を撮像するサイドカメラによって撮像された画像を示す画像データを取得し、
前記画像データに対応する画像の所定の検出領域の中に移動物があるか否かを判定し、
前記検出領域に移動物があると判定されたときに、警報信号を出力する、
ことを含むことを特徴とする移動物検出方法。
【請求項６】
車両に搭載され且つ車両の側面を撮像するサイドカメラによって撮像された画像を示す画像データを取得し、
前記画像データに対応する画像の所定の検出領域の中に移動物があるか否かを判定し、
前記検出領域に移動物があると判定されたときに、警報信号を出力する、
処理をコンピュータに実行させることを特徴とする移動物検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物検出装置、移動物検出プログラム及びその方法に関する。
【背景技術】
【０００２】
自動車等の車両を運転する運転手を支援する様々な技術が知られている。例えば、特許文献１には、走行中の車両の窓から飛び出した手及び顔等の物体を検出すると共に検出した物体までの距離を測定するカーテンセンサを使用して、物体が車両の窓から飛び出していることを運転手に報知する車両用安全装置が記載されている。特許文献１に記載される車両用安全装置によれば、車両の窓から物体が飛び出した状態で車両の走行を運転手が開始することを防止することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３４４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載される車両用安全装置は、自動運転等の運転支援システムのための種々のセンサとは別に、車窓から飛び出した物体を検出するための専用センサを車両に搭載する必要があるため、搭載するセンサの数が増加するという課題がある。
【０００５】
本発明は、このような課題を解決するものであり、搭載するセンサの数を増加させることなく、車両の窓から飛び出した物体を検出可能な移動物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を実現するため、本発明に係る移動物検出装置は、車両に搭載され且つ車両の側面を撮像する第１撮像部によって撮像された画像を示す画像データを取得する画像データ取得部と、画像データに対応する画像の所定の検出領域の中に移動物があるか否かを判定する移動物判定部と、検出領域に移動物があると判定されたときに、警報信号を出力する警報信号出力部とを有することを特徴とする。
【０００７】
また、本発明に係る移動物検出装置では、画像データ取得部は、車両が後方に進むことを示すリバース信号を取得していないと判定されたときに、第１撮像部によって撮像された第１側面画像及び第１側面画像が撮像された後に第１撮像部によって撮像された第２側面画像のそれぞれを示す画像データを取得し、移動物判定部は、第１側面画像の検出領域の中の画像と、第２側面画像の検出領域の中の画像とが一致しなかったときに、検出領域に移動物があると判定する画像比較部を有することが好ましい。
【０００８】
また、本発明に係る移動物検出装置は、リバース信号を取得していると判定されたときに、車両の後方を撮像する第２撮像部によって撮像された第１後方画像及び第１後方画像が撮像された後に第２撮像部によって撮像された第２後方画像に基づいて、第１後方画像が撮像されてから第２後方画像が撮像されるまでの間の車両の移動量を推定する移動量推定部を更に有し、画像データ取得部は、リバース信号を取得していると判定されたときに、第１後方画像及び第２後方画像のそれぞれを示す画像データを取得し、移動物判定部は、第１後方画像を、移動量に応じて補正して第１補正後方画像を生成する画像補正部と、第１補正後方画像と、第２後方画像とが一致しなかったときに、車両の後方に移動物があると判定する画像比較部と、を有することが好ましい。
【０００９】
また、本発明に係る移動物検出装置では、リバース信号を取得していないと判定されたときに、移動量推定部は、移動量をゼロに設定し、画像補正部は、移動量がゼロであるとして、第１側面画像から第１補正側面画像を生成し、画像比較部は、第１補正側面画像の前記検出領域の中の画像と、第２側面画像の検出領域の中の画像とが一致しなかったときに、検出領域に移動物があると判定することが好ましい。
【００１０】
さらに、本発明に係る移動物検出方法は、車両に搭載され且つ車両の側面を撮像するサイドカメラによって撮像された画像を示す画像データを取得し、画像データに対応する画像の所定の検出領域の中に移動物があるか否かを判定し、検出領域に移動物があると判定されたときに、警報信号を出力する、を含むことを特徴とする。
【００１１】
さらに、本発明に係る移動物検出プログラムは、車両に搭載され且つ車両の側面を撮像するサイドカメラによって撮像された画像を示す画像データを取得し、画像データに対応する画像の所定の検出領域の中に移動物があるか否かを判定し、検出領域に移動物があると判定されたときに、警報信号を出力する、処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、搭載するセンサの数を増加させることなく、車窓から飛び出した物体を検出することが可能になった。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る移動物検出装置の動作を説明するための図であり、（ａ）は車両の左側面を撮像可能なカメラによって撮像された第１左側画像を示し、（ｂ）は第１左側画像に次いで撮像された第２左側画像を示し、（ｃ）は第２左側画像に次いで撮像された第３左側画像を示す。
【図２】第１実施形態に係る移動物検出装置を搭載する車両の構成を示す図である。
【図３】図２に示す車両の平面図である。
【図４】図２に示す移動物検出装置による移動物検出処理のフローチャートである。
【図５】第２実施形態に係る移動物検出装置を搭載する車両の構成を示す図である。
【図６】図５に示す移動物検出装置による移動物検出処理のフローチャートである。
【図７】図６に示すＳ２０３の処理を説明するための図であり、（ａ）は図５に示すバックカメラが撮像した後方画像の一例を示し、（ｂ）は（ａ）に示す後方画像における撮像された静止物の相対的な動きを示し、（ｃ）は図５に示すバックカメラから見た（ａ）に示す静止物の相対的な動きを示す。
【図８】図６に示すＳ２０６の処理のより詳細な処理を示すフローチャートである。
【図９】図６に示すＳ３０３の処理を説明するための図であり、（ａ）は第１補正後方画像データに対応する第１補正後方画像の一例を示し、（ｂ）は第２後方画像データに対応する第２後方画像の一例を示し、（ｃ）は（ａ）に示す画像と（ｂ）に示す画像との差分を示す。
【図１０】図６に示すＳ２１３の処理のより詳細な処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下の図面を参照して、本発明に係る移動物検出装置、移動物検出プログラム及びその方法について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明との均等物に及ぶ点に留意されたい。
【００１５】
（実施形態に係る移動物検出装置の概要）
図１は、実施形態に係る移動物検出装置の動作を説明するための図である。図１（ａ）は車両の左側面を撮像可能なカメラによって撮像された第１左側画像を示し、図１（ｂ）は第１左側画像に次いで撮像された第２左側画像を示し、図１（ｃ）は第２左側画像に次いで撮像された第３左側画像を示す。第１左側画像、第２左側画像及び第３左側画像のそれぞれは、車両の左サイドミラーに配置された左サイドカメラによって撮像された画像である。図１（ａ）、１（ｂ）及び１（ｃ）において、破線は、実施形態に係る移動物検出装置が移動物を検出可能な検出領域１２０を示す。
【００１６】
第１左側画像１０１、第２左側画像１０２及び第３左側画像１０３のそれぞれは、車両１０の左側の画像である。車両１０は、一例ではワンボックス型の車両であり、リアウィンドウ１１０が開いている。第１左側画像１０１においては、車両１０は、街路樹５１の横を通過しており、車両１０の後方には他の車両５２が走行している。第２左側画像１０２においては、車両１０は、車両１０の後方には他の車両５２が接近しており、街路樹５１は、他の車両５２の後方に位置する。第３左側画像１０３においては、車両１０は、車両１０の後方には他の車両５２が更に接近しており、街路樹５１は、他の車両５２の更に後方に位置する。第３左側画像１０３においては、後部座席に着席した同乗者の腕１３０がリアウィンドウ１１０から車両１０の外側に飛び出している。
【００１７】
実施形態に係る移動物検出装置は、車両１０の左サイドミラーに搭載され且つ車両１０の側面を撮像する左サイドカメラによって撮像された画像を示す左側画像データを所定の周期で取得する。実施形態に係る移動物検出装置は、前回の処理で取得した左側画像データに対応する左側画像の検出領域の画像と、今回の処理で取得した左側画像データに対応する左側画像の検出領域の中の画像とが一致しないとき、移動物を検出したと判定する。例えば、第３左側画像１０３の検出領域１２０には、第２左側画像１０２の検出領域１２０に存在しない腕１３０が存在するため、実施形態に係る移動物検出装置は、第３左側画像１０３の所定の検出領域の中に移動物があると判定する。実施形態に係る移動物検出装置は、第３左側画像１０３の取得に応じて、所定の検出領域の中に移動物があると判定すると、警報信号を出力する。
【００１８】
一方、実施形態に係る移動物検出装置は、前回の処理で取得した画像データ及び今回の処理で取得した画像データの検出領域１２０の中の画像が一致していれば、検出領域１２０の外の画像が一致していなくても警報信号を出力しない。例えば、街路樹５１及び車両５２のそれぞれは、第１左側画像１０１と第２左側画像１０２との間で大きさ及び位置が相違するため、第１左側画像１０１及び第２左側画像１０２の検出領域１２０の外の画像が一致しない。実施形態に係る移動物検出装置は、検出領域１２０の外の画像の検出領域の外の画像の不一致は判定しないので、第２左側画像１０２の取得に応じて、警報信号を出力しない。
【００１９】
実施形態に係る移動物検出装置は、他の処理を実行する車載装置と共用可能なサイドカメラが撮像した画像を使用して車窓から飛び出した物体の有無を検出するので、車両に搭載するセンサの数を増加させることなく、車両の窓から飛び出した物体を検出できる。
【００２０】
（第１実施形態に係る移動物検出装置の構成及び機能）
図２は、第１実施形態に係る移動物検出装置を搭載する車両の構成を示す図である。
【００２１】
車両１０は、移動物検出装置１と、フロントカメラ１１と、左サイドカメラ１２と、右サイドカメラ１３と、バックカメラ１４と、表示装置１５と、スピーカ１６と、車載装置１７とを有する。移動物検出装置１、フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、バックカメラ１４、表示装置１５、スピーカ１６及び車載装置１７は、ＣＡＮ（Controller  Area  Network）１９を介して相互通信可能に接続されている。なお、相互通信を可能にネットワークは、ＣＡＮのほかＬＩＮ（Local Interconnect Network）等のネットワークでもよい。
【００２２】
フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３及びバックカメラ１４は、ＣＣＤ又はＣＭＯＳ等の複数の撮像素子と、魚眼レンズ等の高角レンズとを備え、視野角内の風景を、高角レンズを介して電子的に画像を取得する単眼カメラである。フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３及びバックカメラ１４は、高角レンズを有するので、視野角αは１８０度以上になる。フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３及びバックカメラ１４は、取得した画像を示す画像データを移動物検出装置１及び車載装置１７にＣＡＮ１９を介して送信する。
【００２３】
図３は、車両１０の平面図である。図３において、方向及び向きを示す３次元の直交座標が示される。図３に示す直交座標の座標軸は、車両１０に対して固定される。Ｘ軸方向は車両１０の直進方向に直交し且つ水平方向に平行な左右方向に沿って延伸する方向であり、Ｙ軸方向は車両１０の直進方向に沿って延伸する方向であり、Ｚ軸方向は鉛直方向に沿って延伸する方向である。図３において、＋Ｘ方向は車両１０の正面方向を向いたときの右方向であり、＋Ｙ方向は車両１０の後方向であり、＋Ｚ方向は車両１０の上方向である。
【００２４】
フロントカメラ１１は、車両１０の前端にあるナンバープレートの取付位置の近傍に配置される。フロントカメラ１１の光軸１１ａは、車両１０の直進方向すなわち−Ｙ方向に延伸する。左サイドカメラ１２は、左ドアミラー１１２に配置され、一例では、左ドアミラー１１２の下端に配置される。左サイドカメラ１２の光軸１２ａは車両１０の左方向すなわち−Ｘ軸方向に延伸する。右サイドカメラ１３は、右ドアミラー１１３に配置され、一例では、右ドアミラー１１３の下端に配置される。右サイドカメラ１３の光軸１３ａは車両１０の右方向すなわち＋Ｘ軸方向に延伸する。バックカメラ１４は、車両１０の後端リアスポイラ１１４の中央部分に配置される。バックカメラ１４の光軸１４ａは車両１０の直進方向の反対方向すなわち＋Ｙ方向に延伸する。なお、バックカメラ１４は、車両１０の後端リアスポイラ１１４のほか、ボディー等に配置されればよい。
【００２５】
フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３及びバックカメラ１４の視野角αは何れも１８０度以上なので、フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３及びバックカメラ１４を利用して車両１０の全周囲が撮像可能である。
【００２６】
表示装置１５は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機ＥＬ（Electro−Luminescence）ディスプレイ等である。表示装置１５は、移動物検出装置１及び車載装置１７から入力される信号に対応する画像を表示する。
【００２７】
スピーカ１６は、移動物検出装置１及び車載装置１７から入力される信号に対応する音声を出力する音声出力装置である。例えば、スピーカ１６は、移動物検出装置１から入力される警報信号に応じて、車両１０の周囲に移動物等があることを示す音声を出力する。また、スピーカ１６は、車載装置１７から入力される信号に応じて、現在位置から目的地に至る経路の案内等を示す音声を出力する。
【００２８】
車載装置１７は、フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３及びバックカメラ１４から送信された画像データに対応する画像を取得する。車載装置１７は、取得した画像に基づいて、視界が悪い交差点、狭い路地、駐車時等の運転が難しい状況において運転手をサポートするための指示又は警報を示す信号を表示装置１５及びスピーカ１６に送信する。指示又は警報を示す信号が送信された表示装置１５及びスピーカ１６は、送信された信号に対応する指示又は警報を出力する。また、車載装置１７は、不図示のＧＰＳ装置から受信した位置情報、及び不図示の地図情報から取得した道路情報等に基づいて現在位置から目的地までの経路を示す経路信号を生成し、生成した経路信号を表示装置１５に送信するナビゲーション機能を有する。経路信号が送信された表示装置１５は、経路信号に対応する経路を表示する。また、車載装置１７は、現在位置から目的地までの経路に応じた指示又は警報を示す信号をスピーカ１６に送信する。スピーカ１６は、送信された信号に対応する指示又は警報を出力する。
【００２９】
移動物検出装置１は、通信部２１と、記憶部２２と、制御部３０とを有し、左サイドカメラ１２又は右サイドカメラ１３から送信された画像データに対応する画像に基づいて、車両１０の側面から同乗者の腕等の移動物が飛び出しているか否かを判定する。
【００３０】
通信部２１は、フロントカメラ１１、左サイドカメラ１２、右サイドカメラ１３、バックカメラ１４、表示装置１５、スピーカ１６及び車載装置１７とＣＡＮ１９を介して接続される。通信部２１は、左サイドカメラ１２及び右サイドカメラ１３のそれぞれが撮像した画像を示す左側画像データ及び右側画像データを、左サイドカメラ１２及び右サイドカメラ１３のそれぞれから受信する。また、通信部２１は、制御部３０から出力される警報を示す警報信号を表示装置１５及びスピーカ１６に送信する。
【００３１】
記憶部２２は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置の内の少なくとも１つを有する。記憶部２２は、制御部３０による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部２２は、ドライバプログラムとして、通信部２１を制御する通信デバイスドライバプログラム等を記憶する。また、記憶部２２は、左検出領域情報２２１と、右検出領域情報２２２とを記憶する。左検出領域情報２２１は、左サイドカメラ１２が撮像した画像の中で移動物があるか否かが検出される検出領域を示す座標情報を含む。また、右検出領域情報２２２は、右サイドカメラ１３が撮像した画像の中で移動物があるか否かが検出される検出領域を示す座標情報を含む。コンピュータプログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部２２にインストールされてもよい。
【００３２】
制御部３０は、一又は複数個のプロセッサ及びその周辺回路を備える。制御部３０は、移動物検出装置１の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。制御部３０は、移動物検出装置１の各種処理が記憶部２２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部２１等の動作を制御する。制御部３０は、記憶部２２に記憶されているオペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等のプログラムに基づいて処理を実行する。また、制御部３０は、アプリケーションプログラム等の複数のプログラムを並列に実行することができる。
【００３３】
制御部３０は、画像データ取得部３１と、移動物判定部３２と、警報信号出力部３３と、表示制御部３４とを有する。制御部３０が有するこれらの各部は、制御部３０が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、制御部３０が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして移動物検出装置１に実装されてもよい。
【００３４】
（第１実施形態に係る移動物検出装置よる移動物検出処理）
図４は、移動物検出装置１による移動物検出処理のフローチャートである。図４に示す移動物検出処理は、予め記憶部２２に記憶されているプログラムに基づいて、主に制御部３０により、移動物検出装置１の各要素と協働して実行される。また、図４に示す処理フローは制御部３０において予め定められた設定時間毎に実行される。
【００３５】
まず、画像データ取得部３１は、左サイドカメラ１２によって撮像された画像を示す左側画像データを左サイドカメラ１２から取得し（Ｓ１０１）、取得した左側画像データを記憶部２２に記憶する。記憶部２２は、前回の移動物検出処理で記憶された左側画像データを第１左側画像データとして記憶し、今回の移動物検出処理で記憶された左側画像データを第２左側画像データとして記憶する。
【００３６】
次いで、画像データ取得部３１は、右サイドカメラ１３によって撮像された画像を示す右側画像データを右サイドカメラ１３から取得し（Ｓ１０２）、取得した右側画像データを記憶部２２に記憶する。記憶部２２は、前回の移動物検出処理で記憶された右側画像データを第１右側画像データとして記憶し、今回の移動物検出処理で記憶された右側画像データを第２右側画像データとして記憶する。
【００３７】
次いで、移動物判定部３２は、左側画像データに対応する左側画像の所定の検出領域の中に移動物があるか否かを判定する（Ｓ１０３）。すなわち、移動物判定部３２は、左側画像データに対応する左側画像において左検出領域情報２２１に対応する左側検出領域の中に、同乗者の腕等の移動物があるか否かを判定する。移動物判定部３２は、記憶部２２に記憶された第１左側画像データ及び第２左側画像データに対応する第１左側画像及び第２左側画像の左検出領域の画像が一致しなかったとき、左側検出領域の中に移動物があると判定する（Ｓ１０３−ＹＥＳ）。一方、移動物判定部３２は、第１左側画像データ及び第２左側画像データに対応する第１左側画像及び第２左側画像の左検出領域の画像が一致したとき、左側検出領域の中に移動物がないと判定する（Ｓ１０３−ＮＯ）。一例では、移動物判定部３２は、第１左側画像データ及び第２左側画像データに対応する第１左側画像及び第２左側画像の左検出領域の画像の輝度分布に基づいて、左検出領域の画像が一致するか否かを判定する。
【００３８】
Ｓ１０３において、左側検出領域の中に、移動物があると判定されると、警報信号出力部３３は、車体の左側面に移動物があることを示す警報信号をスピーカ１６に出力する（Ｓ１０４）。警報信号が入力されると、スピーカ１６は、車体の左側面に移動物があることを示す音声を出力する。次いで、表示制御部３４は、車体の左側面に移動物があることを表示するように表示装置１５を制御し（Ｓ１０５）、処理はＳ１０６に進む。また、Ｓ１０２において左側検出領域の中に、移動物がないと判定されると、処理はＳ１０６に進む。
【００３９】
処理がＳ１０６に進むと、移動物判定部３２は、右側画像データに対応する右側画像の所定の右側検出領域の中に移動物があるか否かを判定する（Ｓ１０６）。より詳細には、移動物判定部３２は、右側画像データに対応する右側画像において右側検出領域の中に、同乗者の腕等の移動物があるか否かを判定する。移動物判定部３２は、記憶部２２に記憶される第１右側画像データ及び第２右側画像データに対応する第１右側画像及び第２右側画の右検出領域の画像が一致しなかったとき、右側検出領域の中に移動物があると判定する（Ｓ１０６−ＹＥＳ）。一方、移動物判定部３２は、第１右側画像データ及び第２右側画像データに対応する第１右側画像及び第２右側画の右検出領域の画像が一致したとき、右側検出領域の中に移動物がないと判定する（Ｓ１０６−ＮＯ）。
【００４０】
Ｓ１０６において、右側検出領域の中に、移動物があると判定されると、警報信号出力部３３は、車体の右側面に移動物があることを示す警報信号をスピーカ１６に出力する（Ｓ１０７）。警報信号が入力されると、スピーカ１６は、車体の右側面に移動物があることを示す音声を出力する。次いで、表示制御部３４は、車体の右側面に移動物があることを表示するように表示装置１５を制御し（Ｓ１０８）、処理は終了する。Ｓ１０６において、右側検出領域の中に、移動物がないと判定されると、処理は終了する。
【００４１】
（第２実施形態に係る移動物検出装置の構成及び機能）
図５は、第２実施形態に係る移動物検出装置を搭載する車両の構成を示す図である。
【００４２】
車両２０は、移動物検出装置２が移動物検出装置１の代わりに配置されることが車両１０と相違する。また、車両２０は、シフトレバーセンサ１８を有することが車両１０と相違する。移動物検出装置２及びシフトレバーセンサ１８以外の車両２０の構成要素の構成及び機能は、同一符号が付された車両１０の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。
【００４３】
シフトレバーセンサ１８は、不図示のシフトレバーの位置を検知する。シフトレバーセンサ１８は、車両が前方に進むことを示すＤ（Drive、ドライブ）ポジションにシフトレバーが切替えられると、ドライブ信号を移動物検出装置２に送信する。また、シフトレバーセンサ１８は、車両が後方に進むことを示すＲ（Reverse、リバース）ポジションにシフトレバーが切替えられると、リバース信号を移動物検出装置２に送信する。また、シフトレバーセンサ１８は、車両が停止することを示すＰ（Parking、パーキング）ポジションにシフトレバーが切替えられると、パーキング信号を移動物検出装置２に送信する。
【００４４】
移動物検出装置２は、制御部４０が制御部３０の代わりに配置されることが移動物検出装置１と相違する。制御部４０以外の移動物検出装置２の構成要素の構成及び機能は、同一符号が付された移動物検出装置１の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。
【００４５】
制御部４０は、一又は複数個のプロセッサ及びその周辺回路を備える。制御部４０は、移動物検出装置２の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。制御部４０は、移動物検出装置２の各種処理が記憶部２２に記憶されているプログラム等に基づいて適切な手順で実行されるように、通信部２１等の動作を制御する。制御部４０は、記憶部２２に記憶されているオペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等のプログラムに基づいて処理を実行する。また、制御部４０は、アプリケーションプログラム等の複数のプログラムを並列に実行することができる。
【００４６】
制御部４０は、リバース信号判定部４１と、画像データ取得部４２と、静止物判定部４３と、移動物判定部４４と、警報信号出力部４５と、表示制御部４６とを有する。移動物判定部４４は、車両移動量取得部４４１と、画像補正部４４２と、画像比較部４４３とを有する。制御部４０が有するこれらの各部は、制御部４０が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、制御部４０が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして移動物検出装置２に実装されてもよい。
【００４７】
（第２実施形態に係る移動物検出装置よる物体検出処理）
図６は、移動物検出装置２による物体処理のフローチャートである。図６に示す物体検出処理は、予め記憶部２２に記憶されているプログラムに基づいて、主に制御部４０により、移動物検出装置２の各要素と協働して実行される。また、図６に示す処理フローは制御部４０において予め定められた設定時間毎に実行される。
【００４８】
まず、リバース信号判定部４１は、シフトレバーセンサ１８からリバース信号が送信されているか否かを判定する（Ｓ２０１）。
【００４９】
シフトレバーセンサ１８からリバース信号が送信されていると判定される（Ｓ２０１−ＹＥＳ）と、画像データ取得部４２は、バックカメラ１４によって撮像された画像を示す後方画像データをバックカメラ１４から取得する（Ｓ２０２）。画像データ取得部４２は、取得した後方画像データを記憶部２２に記憶する。記憶部２２は、前回の物体検出処理で記憶された後方画像データを第１後方画像データとして記憶し、今回の物体検出処理で記憶された後方画像データを第２後方画像データとして記憶する。
【００５０】
次いで、静止物判定部４３は、後方画像データに対応する後方画像の中に静止物があるか否かを判定する（Ｓ２０３）。静止物判定部４３は、第１後方画像データ及び第２後方画像データに対応する後方画像から複数の特徴点を検出し、検出した複数の特徴点の中で、地表に位置する特徴点を決定する。静止物判定部４３は、バックカメラ１４によって撮像された第１後方画像、及び第１後方画像の後にバックカメラ１４によって撮像された第２後方画像に基づいて、第１後方画像が撮像されて第２後方画像が撮像されるまでの間の車両１０の移動量を推定する。静止物判定部４３は、検出した複数の特徴点の全ての画像間の車両の移動量を推定し、検出した複数の特徴点の中で、地表に位置する特徴点の移動量と移動量が異なる特徴点があるか否かを判定する。静止物判定部４３は、地表に位置する特徴点の移動量と移動量が異なる特徴点がある判定したときに、車両２０の後方に静止物があると判定する。
【００５１】
図７は、Ｓ２０３の処理を説明するための図である。図７（ａ）はバックカメラ１４が撮像した後方画像の一例を示し、図７（ｂ）は図７（ａ）に示す後方画像における撮像された静止物の相対的な動きを示し、図７（ｃ）はバックカメラ１４から見た図７（ａ）に示す静止物の相対的な動きを示す。
【００５２】
後方画像７０１の中央には、静止物７１０が配置される。車両２０が後方に進むに従って、静止物７１０は車両２０に近づく。静止物７１０が車両２０に近づく状態を静止物７１０の横方向から見たとき、図７（ｂ）の矢印Ａ及びＢに示すように、静止物７１０の上方の部分及び静止物の地表に接した部分の双方の移動量は同一である。しかしながら、静止物７１０が車両２０に近づく状態をバックカメラ１４から見たとき、図７（ｃ）の矢印Ｃに示すように、静止物７１０の上方の部分の移動量は、静止物の地表に接した部分の移動量も大きくなる。静止物判定部４３は、地表に位置する特徴点の移動量と地表より高い場所に位置する特徴点の移動量が異なることを利用して、車両２０の後方に位置する静止物の有無を判定する。Ｓ２０３の処理は、移動ステレオ方式処理とも称される。
【００５３】
静止物判定部４３は、車両２０の後方に静止物があると判定する（Ｓ２０３−ＹＥＳ）と、記憶部２２に静止物があることを記憶する（Ｓ２０４）。一方、静止物判定部４３は、車両２０の後方に静止物がないと判定する（Ｓ２０３−ＮＯ）と、記憶部２２に静止物があることを記憶する（Ｓ２０５）。そして、処理はＳ２０６に進む。
【００５４】
次いで、移動物判定部４４は、後方画像データに対応する後方画像の中に移動物があるか否かを判定する（Ｓ２０６）。
【００５５】
図８は、Ｓ２０６の処理のより詳細な処理を示すフローチャートである。
【００５６】
まず、車両移動量取得部４４１は、静止物判定部４３が推定した車両２０の移動量を取得する（Ｓ３０１）。次いで、画像補正部４４２は、Ｓ３０１の処理で取得した移動量に基づいて、前回の物体検出処理で記憶された第１後方画像データを補正して第１補正後方画像データを生成する（Ｓ３０２）。第１補正後方画像データに対応する第１補正後方画像は、第１後方画像データに対応する第１後方画像を補正して現在の画像を推定するものである。
【００５７】
次いで、画像比較部４４３は、第１補正後方画像データに対応する第１補正後方画像と、第２後方画像データに対応する第２後方画像とが一致するか否かを判定する（Ｓ３０３）。すなわち、画像比較部４４３は、後方画像データに対応する後方画像の中に、移動物があるか否かを判定する。画像比較部４４３は、第１補正後方画像データ及び第２後方画像データに対応する第１後方画像及び第２後方画像が一致しなかったとき、後方画像データに対応する後方画像の中に移動物があると判定する（Ｓ３０３−ＹＥＳ）。一方、移動物判定部３２は、第１補正後方画像データ及び第２後方画像データに対応する第１後方画像及び第２後方画像が一致したとき、後方画像データに対応する後方画像の中に移動物がないと判定する（Ｓ３０３−ＮＯ）。
【００５８】
図９は、Ｓ３０３の処理を説明するための図である。図９（ａ）は第１補正後方画像データに対応する第１補正後方画像の一例を示し、図９（ｂ）は第２後方画像データに対応する第２後方画像の一例を示し、図９（ｃ）は図９（ａ）に示す画像と図９（ｂ）に示す画像との差分を示す。
【００５９】
第１補正後方画像データ９０１では、車両９１１と車両９１２との間に移動物は存在しないが、第２後方画像データ９０２では、車両９１１と車両９１２との間に移動物である人物９１３が存在する。画像比較部４４３は、第１補正後方画像データ９０１及び第２後方画像データに対応する第１後方補正画像及び第２後方画像の中で輝度が一致しない画素を抽出して、人物９１３に対応する検出物９２３を抽出する。画像比較部４４３は、検出物９２３を抽出したときに、画像の中に移動物があると判定する。Ｓ３０３の処理は、背景差分方式処理とも称される。
【００６０】
画像比較部４４３は、車両２０の後方に移動物があると判定する（Ｓ３０３−ＹＥＳ）と、記憶部２２に移動物があることを記憶する（Ｓ３０４）。一方、静止物判定部４３は、車両２０の後方に移動物がないと判定する（Ｓ３０３−ＮＯ）と、記憶部２２に移動物があることを記憶する（Ｓ３０５）。
【００６１】
次いで、警報信号出力部４５は、静止物又は移動物の少なくとも一方が車両２０の後方にあることが記憶部２２に記憶されているか否かを判定する（Ｓ２０７）。警報信号出力部４５は、静止物又は移動物の少なくとも一方が車両２０の後方にあることが記憶部２２に記憶されていると判定する（Ｓ２０７−ＹＥＳ）と、車体の後方に物体があることを示す警報信号をスピーカ１６に出力する（Ｓ２０８）。警報信号が入力されると、スピーカ１６は、車体の後方に物体があることを示す音声を出力する。次いで、表示制御部３４は、車体の後方に物体があることを表示するように表示装置１５を制御して（Ｓ２０９）、処理は終了する。また、静止物及び移動物が車両２０の後方にないことが記憶部２２に記憶されていると判定される（Ｓ２０７−ＮＯ）と、処理は終了する。
【００６２】
一方、シフトレバーセンサ１８からリバース信号が送信されていないと判定される（Ｓ２０１−ＮＯ）と、画像データ取得部４２は、左サイドカメラ１２によって撮像された画像を示す左側画像データを左サイドカメラ１２から取得（Ｓ２１０）する。画像データ取得部４２は、取得した左側画像データを記憶部２２に記憶する。記憶部２２は、前回の物体検出処理で記憶された左側画像データを第１左側画像データとして記憶し、今回の物体検出処理で記憶された左側画像データを第２左側画像データとして記憶する。
【００６３】
次いで、画像データ取得部４２は、右サイドカメラ１３によって撮像された画像を示す右側画像データを右サイドカメラ１３から取得し（Ｓ２１１）、取得した右側画像データを記憶部２２に記憶する。記憶部２２は、前回の物体検出処理で記憶された右側画像データを第１右側画像データとして記憶し、今回の物体検出処理で記憶された右側画像データを第２右側画像データとして記憶する。
【００６４】
次いで、静止物判定部４３は、第１左側画像データ及び第２左側画像データに対応する第１左側画像及び第２左側画像の間の車両の移動量をゼロに設定する（Ｓ２１２）。併せて、静止物判定部４３は、第１右側画像データ及び第２右側画像データに対応する第１右側画像及び第２右側画像の間の車両の移動量をゼロに設定する。
【００６５】
次いで、移動物判定部４４は、左側画像データに対応する左側画像の中に移動物があるか否かを判定する（Ｓ２１３）。
【００６６】
図１０は、Ｓ２１３の処理のより詳細な処理を示すフローチャートである。
【００６７】
まず、車両移動量取得部４４１は、静止物判定部４３が推定した車両２０の移動量を取得する（Ｓ４０１）。ここでは、Ｓ２１１の処理でゼロに設定された移動量を取得する。次いで、画像補正部４４２は、ゼロに設定された移動量に基づいて、前回の物体検出処理で記憶された第１左側画像データを補正して第１補正左側画像データを生成する（Ｓ４０２）。Ｓ４０１の処理で取得した移動量はゼロであるので、第１補正左側画像データに対応する第１補正左側画像は、第１左側画像データに対応する第１左側画像と同一のものである。
【００６８】
次いで、画像比較部４４３は、車両２０の左側の左検出領域の中に移動物があるか否かを判定する（Ｓ４０３）。Ｓ４０３の処理は、Ｓ１０３の処理と同様なので、ここでは詳細な説明は省略する。
【００６９】
画像比較部４４３は、車両２０の左側に移動物があると判定する（Ｓ４０３−ＹＥＳ）と、記憶部２２に移動物があることを記憶する（Ｓ４０４）。一方、静止物判定部４３は、車両２０の左側に移動物がないと判定する（Ｓ４０３−ＮＯ）と、記憶部２２に移動物があることを記憶する（Ｓ４０５）。
【００７０】
次いで、警報信号出力部４５は、車両２０の左側に移動物があることが記憶部２２に記憶されているか否かを判定する（Ｓ２１４）。警報信号出力部４５は、車両２０の左側に移動物があることが記憶部２２に記憶されていると判定する（Ｓ２１４−ＹＥＳ）と、車両２０の左側に移動物があることを示す警報信号をスピーカ１６に出力する（Ｓ２１５）。警報信号が入力されると、スピーカ１６は、車両２０の左側に移動物があることを示す音声を出力する。次いで、表示制御部３４は、車両２０の左側に移動物があることを表示するように表示装置１５を制御する（Ｓ２１６）。
【００７１】
次いで、移動物判定部４４は、右側画像データに対応する右側画像の中に移動物があるか否かを判定する（Ｓ２１７）。Ｓ２１７の処理は、Ｓ２１２の処理と同様なので、ここでは詳細な説明は省略する。
【００７２】
次いで、警報信号出力部４５は、車両２０の右側に移動物があることが記憶部２２に記憶されているか否かを判定する（Ｓ２１８）。警報信号出力部４５は、車両２０の右側に移動物があることが記憶部２２に記憶されていると判定する（Ｓ２１８−ＹＥＳ）と、車両２０の右側に移動物があることを示す警報信号をスピーカ１６に出力する（Ｓ２１９）。警報信号が入力されると、スピーカ１６は、車両２０の右側に移動物があることを示す音声を出力する。次いで、表示制御部３４は、車両２０の右側に移動物があることを表示するように表示装置１５を制御する（Ｓ２２０）。
【００７３】
（実施形態に係る移動物検出装置の作用効果）
移動物検出装置１及び２は、車載装置１７と共用可能なサイドカメラによって撮像された画像を使用して車両の窓から飛び出した物体の有無を検出するため、搭載するセンサの数を増加させることなく、車両の窓から飛び出した物体を検出することが可能になる。
【００７４】
また、移動物検出装置１及び２は、サイドカメラによって撮像された第１側面画像の検出領域の中の画像と、第１側面画像が撮像された後に撮像された第２側面画像の検出領域の中の画像とが一致しなかったときに、検出領域に移動物があると判定する。移動物検出装置１及び２は、第１側面画像及び第２側面画像の検出領域の中の画像に基づいて移動物の有無を判定するので、移動物とカメラとの間の距離を測定する必要がないので、サイドカメラとして単眼カメラを使用することができる。
【００７５】
また、移動物検出装置２は、バックカメラから取得した画像から推定された車両の移動量に応じて第１後方画像を補正した第１補正画像と、第１後方画像が撮像された後に撮像された第２後方画像とを比較して、車両の後方に物体があるか否かを判定する。移動物検出装置２は、第１後方画像及び第２後方画像に基づいて移動物の有無を判定するので、移動物とカメラとの間の距離を測定する必要がないので、バックカメラとして単眼カメラを使用することができる。
【００７６】
また、移動物検出装置２では、リバース信号を取得していると判定されたときに、静止物判定部４３が移動量を推定し且つ画像補正部４４２は推定された移動量に応じて第１後方画像から第１補正後方画像を生成する。一方、リバース信号を取得していないと判定されたときに、静止物判定部４３が移動量をゼロに設定し且つ画像補正部４４２は移動量がゼロであるとして第１側面画像から第１補正側面画像を生成する。移動物検出装置２は、リバース信号を取得しているか否かに応じて、静止物判定部４３及び画像補正部４４２が異なる処理を実行することで、シフトレバーの状態に応じて、２つの異なる処理を実行することができる。
【００７７】
（実施形態に係る移動物検出装置の変形例）
移動物検出装置１及び２は、車載用の移動物検出装置であるが、実施形態に係る移動物検出装置は、車載装置１７とサーバ装置とを含むナビゲーションシステムの一部であってもよい。また、実施形態に係る移動物検出装置は、車載装置１７と、スマートフォンとも称される多機能携帯電話等の携帯情報処理装置とを含むナビゲーションシステムの一部であってもよい。
【００７８】
また、移動物検出装置１及び２では、車両の側面は左サイドカメラ１２及び右サイドカメラ１３によって撮像されるが、実施形態に係る移動物検出装置では、左サイドカメラ１２及び右サイドカメラ１３の代わりに車両の側面を撮像可能なカメラが配置されてもよい。また、移動物検出装置１及び２では、車両の後方はバックカメラ１４によって撮像されるが、実施形態に係る移動物検出装置では、バックカメラ１４の代わりに車両の後方を撮像可能なカメラが配置されてもよい。
【符号の説明】
【００７９】
１、２    移動物検出装置
１０、２０    車両
１１    フロントカメラ
１２    左サイドカメラ（第１撮像部）
１３    右サイドカメラ（第１撮像部）
１４    バックカメラ（第２撮像部）
１５    表示装置
１６    スピーカ
１７    車載装置
１８    シフトレバーセンサ
３０、４０    制御部
３１、４２    画像データ取得部
３２、４４    移動物判定部
３３、４５    警報信号出力部
３４、４６    表示制御部
４３    静止物判定部（移動量推定部）
【図１】
2017211935.tif 000003
【図２】
2017211935.tif 000004
【図３】
2017211935.tif 000005
【図４】
2017211935.tif 000006
【図５】
2017211935.tif 000007
【図６】
2017211935.tif 000008
【図７】
2017211935.tif 000009
【図８】
2017211935.tif 000010
【図９】
2017211935.tif 000011
【図１０】
2017211935.tif 000012