(57)【要約】【課題】  障害物が存在した場合、障害物が存在しても移動体が通行可能であるか否かを判定することができる走行可否判定装置などを提供する。【解決手段】  移動体の周囲を撮影する撮像手段１０１と、第１の画像領域に物体があるか判断する第１の判断手段１０３と、撮像手段から物体までの距離を計測する距離計測手段１０４と、計測された距離と画像上の撮像手段から物体までの距離とから第１の判定値を算出する第１の算出手段１０３と、第１の判定値から移動体が通行可能かを判定する判定手段１０６と、第２の画像領域に移動体からの突出物体があるか判断する第２の判断手段１０５と、計測される撮像手段から突出物体までの距離と画像上の撮像手段から突出物体までの距離とから、第２の判定値を算出する第２の算出手段１０５と、第２及び第１の判定値に基づき、移動体が通行可能かを判定し通行不可の場合警報を発する警報手段１０７とを備える。【選択図】  図１
2006285440.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載され、前記移動体の周囲を撮影する撮像手段と、
前記撮影された画像領域の第１の画像領域に前記移動体の走行の障害となり得る物体が存在するか否かを判断する第１の判断手段と、
前記第１の判断手段によって走行の障害となり得る物体が存在すると判断された場合に、前記撮像手段から前記物体までの直線距離を計測する距離計測手段と、
前記距離計測手段によって計測された前記直線距離と、撮影された画像上における前記撮像手段から前記物体までの距離とに基づいて、前記移動体の通行可否を判定するための第１の判定値を算出する第１の算出手段と、
算出された前記第１の判定値に基づいて前記移動体が前記物体の存在によっても通行可能か否かを判定する判定手段と、
前記判定手段によって通行可能と判定された場合に、前記撮影された画像領域の第２の画像領域に前記移動体から突出する突出物体が存在するか否かを判断する第２の判断手段と、
前記第２の判断手段によって突出物体が存在すると判断された場合に、前記距離計測手段によって計測される前記撮像手段から前記突出物体までの直線距離と、撮影された画像上における前記撮像手段から前記突出物体までの距離とに基づいて、前記移動体の通行可否を判定するための第２の判定値を算出する第２の算出手段と、
算出された前記第２の判定値と前記第１の判定値とに基づいて、前記判定手段が前記突出物体の存在によっても前記移動体が通行可能であるか否かを判定し、通行可能でないと判断した場合にユーザに警報を発する警報手段とを、
備える走行可否判定装置。
【請求項２】
前記距離計測手段は、前記距離を計測する際、前記物体が前記撮像手段に接触する場合には、前記距離を計測せず前記警報手段に警報を発する指示の情報を送信する請求項１に記載の走行可否判定装置。
【請求項３】
前記撮像手段は、全方位カメラである請求項１又は２に記載の走行可否判定装置。
【請求項４】
前記第１の判断手段及び第２の判断手段は、オプティカルフローを用いて前記物体又は前記突出物体が存在するか否かを判断する請求項１から３のいずれか１つに記載の走行可否判定装置。
【請求項５】
前記第２の判定値は、前記突出物体が前記移動体から突出可能な範囲内において、前記撮像手段から最も遠い位置に存在するとした場合の値である請求項１から４のいずれか１つに記載の走行可否判定装置。
【請求項６】
撮像手段により移動体の周囲を撮影するステップと、
前記撮影された画像領域の第１の画像領域に前記移動体の走行の障害となり得る物体が存在するか否かを判断するステップと、
走行の障害となり得る物体が存在すると判断された場合に、前記撮像手段から前記物体までの直線距離を計測するステップと、
計測された前記直線距離と、撮影された画像上における前記撮像手段から前記物体までの距離とに基づいて、前記移動体の通行可否を判定するための第１の判定値を算出するステップと、
算出された前記第１の判定値に基づいて前記移動体が前記物体の存在によっても通行可能か否かを判定するステップと、
通行可能と判定された場合に、前記撮影された画像領域の第２の画像領域に前記移動体から突出する突出物体が存在するか否かを判断するステップと、
突出物体が存在すると判断された場合に、計測される前記撮像手段から前記突出物体までの直線距離と、撮影された画像上における前記撮像手段から前記突出物体までの距離とに基づいて、前記移動体の通行可否を判定するための第２の判定値を算出するステップと、
算出された前記第２の判定値と前記第１の判定値とに基づいて、前記突出物体の存在によっても前記移動体が通行可能であるか否かを判定し、通行可能でないと判断した場合にユーザに警報を発するステップとを、
有する走行可否判定方法。
【請求項７】
実環境における前記撮像手段から前記物体までの距離を計測するステップにおいて、前記距離を計測する際、前記物体が前記撮像手段に接触する場合には、前記距離を計測せず前記警報手段に警報を発する指示の情報を送信するステップをさらに有する請求項６に記載の走行可否判定方法。
【請求項８】
前記撮像手段は、全方位カメラである請求項６又は７に記載の走行可否判定方法。
【請求項９】
オプティカルフローを用いて前記物体又は前記突出物体が存在するか否かを判断する請求項６から８のいずれか１つに記載の走行可否判定方法。
【請求項１０】
前記第２の判定値は、前記突出物体が前記移動体から突出可能な範囲内において、前記撮像手段から最も遠い位置に存在するとした場合の値である請求項６から９のいずれか１つに記載の走行可否判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲に存在する物体を検知し、周囲の状況を監視する走行可否判定装置及び走行可否判定方法に関する。
【背景技術】
【０００２】
近年、移動体にカメラを取り付け、移動体の周囲を撮影し、周囲の物体（障害物）などを検知する技術が広まっている。これにより、周囲の物体に衝突することなく安全に移動することができる。例えば、移動ロボットの周辺を撮影し移動可能な領域を求める技術が下記の非特許文献１及び２に開示されている。非特許文献１及び２に開示されている技術は、撮影された画像に基づいて障害物を回避して移動体を安全に移動させるものである。
【非特許文献１】「実時間全方位ステレオ画像を用いたロボットナビゲーションのための障害物認識」Journal of Robotics and Mechatronics,Vol.14 No.2,pp.147-156.2002（大阪大）
【非特許文献２】「全方位画像上の床領域に基づく移動ロボットの高速な障害物回避と自己位置推定」情報処理学会論文誌：コンピュータビジョンとイメージメディア、Vol.42 No.SIG13(CVIM3),pp.110-118,Dec.2001（明石高専、大阪大）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１及び２に開示されている技術では、移動体の進路上の上方や側方に障害物が突出している場合、移動体の上部や側部と障害物との位置関係を比較して通行可否の判定を行っておらず、その場合には比較もせずに前方に障害物があるということで進路を変更して障害物を回避する場合があり、通行可能であるにもかかわらず無駄な進路変更をする場合があった。また、非特許文献１では、複数のカメラを用いることとなり、移動ロボット（移動体）の振動によりカメラの位置がずれることもあり、すべてのカメラ間で常に高い精度のキャリブレーションを保つためには高度な技術が必要であり、複数のカメラを使用するためのコストもかかる。一方、非特許文献２に開示された技術では、一枚の全方位画像から移動可能な領域（物体の存在しない領域）を求めているが、撮影された画像中の床面領域がほぼ同一の輝度値であることを前提として移動可能領域を導出しているため、ＩＴＳ（Intelligent Transport Systems）への適用は困難である。
【０００４】
本発明は、上記問題を解決するためのものであり、障害物が存在した場合、障害物が存在しても移動体が通行可能であるか否かを判定することができ、また、移動体の振動によるキャリブレーションを保つための高度な技術が不要で、また複数のカメラを使用することによるコストを抑えることができる走行可否判定装置及び走行可否判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明によれば、移動体に搭載され、前記移動体の周囲を撮影する撮像手段と、前記撮影された画像領域の第１の画像領域に前記移動体の走行の障害となり得る物体が存在するか否かを判断する第１の判断手段と、前記第１の判断手段によって走行の障害となり得る物体が存在すると判断された場合に、前記撮像手段から前記物体までの直線距離を計測する距離計測手段と、前記距離計測手段によって計測された前記直線距離と、撮影された画像上における前記撮像手段から前記物体までの距離とに基づいて、前記移動体の通行可否を判定するための第１の判定値を算出する第１の算出手段と、算出された前記第１の判定値に基づいて前記移動体が前記物体の存在によっても通行可能か否かを判定する判定手段と、前記判定手段によって通行可能と判定された場合に、前記撮影された画像領域の第２の画像領域に前記移動体から突出する突出物体が存在するか否かを判断する第２の判断手段と、前記第２の判断手段によって突出物体が存在すると判断された場合に、前記距離計測手段によって計測される前記撮像手段から前記突出物体までの直線距離と、撮影された画像上における前記撮像手段から前記突出物体までの距離とに基づいて、前記移動体の通行可否を判定するための第２の判定値を算出する第２の算出手段と、算出された前記第２の判定値と前記第１の判定値とに基づいて、前記判定手段が前記突出物体の存在によっても前記移動体が通行可能であるか否かを判定し、通行可能でないと判断した場合にユーザに警報を発する警報手段とを備える走行可否判定装置が提供される。この構成により、障害物が存在した場合、障害物が存在しても移動体が通行可能であるか否かを判定することができ、また、移動体の振動によるキャリブレーションを保つための高度な技術が不要で、また複数のカメラを使用することによるコストを抑えることができる。
【０００６】
また、本発明において、前記距離計測手段が、前記距離を計測する際、前記物体が前記撮像手段に接触する場合には、前記距離を計測せず前記警報手段に警報を発する指示の情報を送信することは、本発明の好ましい態様である。この構成により、無駄な処理をせずに走行可否の判定をすることができる。
【０００７】
また、本発明において、前記撮像手段が全方位カメラであることは、本発明の好ましい態様である。この構成により、キャリブレーションを保つための高度な技術が不要で、また複数のカメラを使用することによるコストを抑えることができる。
【０００８】
また、本発明において、前記第１の判断手段及び第２の判断手段が、オプティカルフローを用いて前記物体又は前記突出物体が存在するか否かを判断することは、本発明の好ましい態様である。この構成により、適切に物体の存在を判断することができる。
【０００９】
また、本発明において、前記第２の判定値が、前記突出物体が前記移動体から突出可能な範囲内において、前記撮像手段から最も遠い位置に存在するとした場合の値であることは、本発明の好ましい態様である。この構成により、余裕をもって安全に移動体を通過させることができる。
【００１０】
また、本発明によれば、撮像手段により移動体の周囲を撮影するステップと、前記撮影された画像領域の第１の画像領域に前記移動体の走行の障害となり得る物体が存在するか否かを判断するステップと、走行の障害となり得る物体が存在すると判断された場合に、前記撮像手段から前記物体までの直線距離を計測するステップと、計測された前記直線距離と、撮影された画像上における前記撮像手段から前記物体までの距離とに基づいて、前記移動体の通行可否を判定するための第１の判定値を算出するステップと、算出された前記第１の判定値に基づいて前記移動体が前記物体の存在によっても通行可能か否かを判定するステップと、通行可能と判定された場合に、前記撮影された画像領域の第２の画像領域に前記移動体から突出する突出物体が存在するか否かを判断するステップと、突出物体が存在すると判断された場合に、計測される前記撮像手段から前記突出物体までの直線距離と、撮影された画像上における前記撮像手段から前記突出物体までの距離とに基づいて、前記移動体の通行可否を判定するための第２の判定値を算出するステップと、算出された前記第２の判定値と前記第１の判定値とに基づいて、前記突出物体の存在によっても前記移動体が通行可能であるか否かを判定し、通行可能でないと判断した場合にユーザに警報を発するステップとを有する走行可否判定方法が提供される。この構成により、障害物が存在した場合、障害物が存在しても移動体が通行可能であるか否かを判定することができ、また、移動体の振動によるキャリブレーションを保つための高度な技術が不要で、また複数のカメラを使用することによるコストを抑えることができる。
【００１１】
また、本発明において、実環境における前記撮像手段から前記物体までの距離を計測するステップにおいて、前記距離を計測する際、前記物体が前記撮像手段に接触する場合には、前記距離を計測せず前記警報手段に警報を発する指示の情報を送信するステップをさらに有することは、本発明の好ましい態様である。この構成により、無駄な処理をせずに走行可否の判定をすることができる。
【００１２】
また、本発明において、前記撮像手段が全方位カメラであることは、本発明の好ましい態様である。この構成により、キャリブレーションを保つための高度な技術が不要で、また複数のカメラを使用することによるコストを抑えることができる。
【００１３】
また、本発明において、オプティカルフローを用いて前記物体又は前記突出物体が存在するか否かを判断することは、本発明の好ましい態様である。この構成により、適切に物体の存在を判断することができる。
【００１４】
また、本発明において、前記第２の判定値が、前記突出物体が前記移動体から突出可能な範囲内において、前記撮像手段から最も遠い位置に存在するとした場合の値であることは、本発明の好ましい態様である。この構成により、余裕をもって安全に移動体を通過させることができる。
【発明の効果】
【００１５】
本発明の走行可否判定装置及び走行可否判定方法は、上記構成を有し、障害物が存在した場合、障害物が存在しても移動体が通行可能であるか否かを判定することができ、また、移動体の振動によるキャリブレーションを保つための高度な技術が不要で、また複数のカメラを使用することによるコストを抑えることができる。
【発明を実施するための最良の形態】
【００１６】
＜第１の実施の形態＞
以下、本発明の第１の実施の形態について図１から図８を用いて説明する。図１は本発明の第１の実施の形態に係る走行可否判定装置の構成を示す構成図である。図２は本発明の第１の実施の形態に係る走行可否判定装置における画像取得部を搭載した車両の様子を示す図である。図３は本発明の第１の実施の形態に係る走行可否判定装置における全方位カメラによって撮影された全方位画像を示す図である。図４Ａは本発明の第１の実施の形態に係る走行可否判定装置における距離計測部がミリ波レーダーを用いて計測する例について説明するための図である。図４Ｂは本発明の第１の実施の形態に係る走行可否判定装置における全方位画像を示す図である。図４Ｃは本発明の第１の実施の形態に係る走行可否判定装置における全方位画像内の破線に対応する全方位カメラの高さ面を示す破線について説明するための図である。図５Ａは本発明の第１の実施の形態に係る走行可否判定装置を搭載する車両が通行不可能である場合の物体と車両との位置関係を説明するための図である。図５Ｂは本発明の第１の実施の形態に係る走行可否判定装置における全方位画像を示す図である。図６は本発明の第１の実施の形態に係る走行可否判定装置における全方位カメラから突出物体までの実環境における距離について説明するための図である。図７は本発明の第１の実施の形態に係る走行可否判定装置における後方物体領域上における全方位カメラから突出物体（人）までの距離を説明するための図である。図８は本発明の第１の実施の形態に係る走行可否判定装置における車両の通行可否判定の処理フローについて説明するためのフローチャートである。
【００１７】
まず、本発明の第１の実施の形態に係る走行可否判定装置の構成について図１を用いて説明する。図１に示すように、走行可否判定装置１００は、画像取得部１０１、画像記録部１０２、前方画像処理部１０３、距離計測部１０４、後方画像処理部１０５、通行可否判定部１０６、警報部１０７から構成されている。画像取得部１０１は、上述した撮像手段に相当し、移動体に搭載され、移動体の周囲を撮影するものである。なお、以下では移動体を車両として説明するが、移動体は車両に限られるものではない。画像取得部１０１は、例えば全方位カメラなどの視野の広いカメラなどであり、車両の上部、例えば屋根などに設置されるものである。また、画像取得部１０１は１つに限られるものではなく、複数設置するようにしてもよい。
【００１８】
ここで、車両に設置された画像取得部１０１の様子を図２に示す。なお、以下では画像取得部１０１を全方位カメラ１０１として説明する。図２では、全方位カメラ１０１は車両２００の屋根に設置されており、車両２００が高架２０１の下を通過しようとしている様子が示されている。このように、全方位カメラ１０１を車両２００の屋根に設置させることにより、車両２００の周囲の状況を撮影することが可能となる。ここで、図２における全方位カメラ１０１によって撮影された全方位画像を図３に示す。図３に示すように、全方位画像３００の中心は全方位カメラ１０１となり、全方位カメラ１０１は自身（全方位カメラ１０１）を中心に所定の範囲内で車両２００の周囲を示す画像を取得する。図３に示す境界線３０１を境に向かって左側に位置する画像領域を前方物体領域、境界線３０１を境に向かって右側に位置する画像領域を後方物体領域とすると、前方物体領域側が車両２００の進行方向となる。前方物体領域には図２に示す高架２０１が写し出されている。なお、前方物体領域は上述した第１の画像領域であり、後方物体領域は上述した第２の画像領域である。
【００１９】
また、全方位カメラ１０１における撮影のタイミングは、連続的に取得するものでもよく、また所定の間隔おきに取得するものでもよい。また、ユーザの要求に応じて取得するようにしてもよい。画像記録部１０２は、全方位カメラ１０１によって取得された画像の情報を格納しておくものであり、例えばメモリなどに相当する。また、画像記録部１０２は、走行可否判定装置１００の動作を制御するための制御プログラムや走行可否判定装置１００内の処理で用いられる情報などを格納していてもよい。
【００２０】
前方画像処理部１０３は、全方位カメラ１０１によって撮影された画像領域のうちの前方物体領域に物体が存在するか否かを判断するもので、上述した第１の判断手段及び第１の算出手段に相当するものである。撮影された画像から物体を検出する方法としては、例えばオプティカルフローなどがある。なお、オプティカルフローによる物体の検出は公知の技術であり、ここでは説明を省略する。
【００２１】
距離計測部１０４は、前方画像処理部１０３によって物体（図２の場合であれば高架２０１）が存在すると判断された場合に、実環境における全方位カメラ１０１から物体までの距離を計測するもので、上述した距離計測手段に相当するものである。この距離を計測する手段としては、例えばミリ波レーダーなどがある。ここで、ミリ波レーダーを用いて計測する例について図４Ａを用いて説明する。実環境における全方位カメラ１０１から物体までの距離とは、図４Ａに示すように、全方位カメラ１０１から物体（高架２０１）までの直線距離４００を言う。距離計測部１０４は、ミリ波レーダーなどにより直線距離４００を計測する。なお、直線距離を結ぶ各点は図４Ａに示す点に限られるものではない。
【００２２】
また、距離を計測する手段であるミリ波レーダーを出力する装置と全方位カメラ１０１が一体となっている場合には、上述したように計測される距離は全方位カメラ１０１から物体までの距離となる。しかし、距離を計測する手段であるミリ波レーダーを出力する装置が全方位カメラ１０１と一体でない場合には、ミリ波レーダーを出力する装置から物体までの距離を算出し、算出された距離を用いて全方位カメラ１０１から物体までの距離に変換するようにしてもよい。また、距離を計測する際、物体が図３に示すような破線円内にある場合には、距離を計測せず、後述する警報部１０７に警報を発する指示の情報を送信するようにしてもよい。図３の破線の円は、図４Ｃに示すような全方位カメラの高さを示す水平面の破線に対応する。物体の空間上における位置が全方位カメラ１０１の空間上における位置よりも低いか否かは、その物体が図３の破線円内にあるかどうかで判定できる。図３の破線円内にある物体は、物体の空間上における位置が全方位カメラ１０１の空間上における位置よりも低いことを意味する。
【００２３】
そして、前方画像処理部１０３は、距離計測部１０４によって計測された直線距離４００と、前方物体領域上における全方位カメラ１０１から物体（図２では高架２０１）までの距離とに基づいて、車両２００の通行可否を判定するための第１の判定値を算出するものである。ここで、前方物体領域上における全方位カメラ１０１から物体までの距離とは、図３に示す（水平）距離３０２に相当する距離を言うが、第１の判定値を算出する際には距離３０２の値を変換をする必要がある。また、第１の判定値とは、図４Ａに示す物体から全方位カメラ１０１までの距離（高さ）４０１を言う。よって、第１の判定値４０１は、直線距離４００と距離３０２とから算出することができる。
【００２４】
通行可否判定部１０６は、算出された第１の判定値４０１に基づいて車両２００が物体（図２では高架２０１）の存在によっても通行可能か否かを判定するもので、上述した判定手段に相当するものである。すなわち、図４Ａの場合であれば、第１の判定値４０１が０よりも大きい値であれば高架２０１の存在があっても車両２００は通行することができるため、通行可否判定部１０６は通行可能と判定する。なお、第１の判定値４０１が０以下の場合には、通行可否判定部１０６は通行不可能と判定する。通行可否判定部１０６によって通行不可能と判定された場合には、後述する警報部１０７がユーザに対して警報を発する。警報部１０７の詳細については後述する。
【００２５】
ここで、車両２００が通行不可能である場合の物体（高架２０１）と車両２００との位置関係を図５Ａに示す。図５Ａに示す場合であっても第１の判定値４０１は算出される。そこで、前方画像処理部１０３は、図４Ａの場合における全方位画像と図５Ａの場合における全方位画像とでは写り方が相違するので、写り方が相違する場合には算出された第１の判定値４０１に負の符号を付けるなどの処理を行う。ここで、図４Ａに示す場合の全方位画像を図４Ｂ、図５Ａに示す場合の全方位画像を図５Ｂに示し、写り方の相違について説明する。図４Ｂ及び図５Ｂの全方位画像内に示された破線の円は、図４Ｃに示すような全方位カメラの高さ面を示す水平面の破線に対応する。このことから、図４Ｂ及び図５Ｂの全方位画像内に示された破線の円より内側に位置する物体（高架２０１）は車両２００と衝突し、外側であれば衝突しない。
【００２６】
後方画像処理部１０５は、通行可否判定部１０６によって通行可能と判定された場合に、全方位画像領域のうちの後方物体領域に車両２００から突出する突出物体が存在するか否かを判断するもので、上述した第２の判断手段及び第２の算出手段に相当するものである。ここで、突出物体とは、例えば車両の窓などから出ている体の一部や荷物などを言う。そして、後方画像処理部１０５は、突出物体が存在すると判断すると、上述した距離計測部１０４によって計測される全方位カメラ１０１から突出物体までの実環境における距離と、後方物体領域上における全方位カメラ１０１から突出物体までの距離とに基づいて、車両２００の通行可否を判定するための第２の判定値を算出する。
【００２７】
ここで、全方位カメラ１０１から突出物体までの実環境における距離について図６を用いて説明する。車両２００から乗員（実際の乗員）６００が身を出している場合において、全方位カメラ１０１から乗員６００の体のうち最も車両２００から出ている部分（図６の場合、乗員６００の頭頂部）に対して仮想の直線６０１を延ばす。一方、車両２００の上部で物体（人など）が存在し得る位置、すなわち車両２００の上部の最後部に物体（人など）が存在すると仮定し、その位置における仮想の直線６０２と仮想の直線６０１の延長線上との交わる点を仮想点６０３とする。これより、全方位カメラ１０１から突出物体までの実環境における距離とは、全方位カメラ１０１から上述の仮想点６０３までの距離を言う。
【００２８】
また、後方物体領域上における全方位カメラ１０１から突出物体までの距離とは、図３で説明したように、全方位画像上における距離を言う。後方物体領域上における全方位カメラ１０１から突出物体（人）までの距離を図７を用いて説明する。図７は、車両２００から身を出した乗員６００を示す像７０１を含む全方位画像７００を示す図である。後方物体領域上における全方位カメラ１０１から突出物体までの距離とは図７に示す距離７０２を言う。また、算出される車両２００の通行可否を判定するための第２の判定値とは図６に示す距離６０４を言う。
【００２９】
通行可否判定部１０６は、算出された第２の判定値６０４と第１の判定値４０１とに基づいて、車両２００が通行可能であるか否かを判定する。具体的には、第２の判定値６０４が第１の判定値４０１より大きいか否かを判定する。第２の判定値６０４のほうが第１の判定値４０１より大きい場合には車両２００は通行不可能であり、第２の判定値６０４のほうが第１の判定値４０１より小さい場合には車両２００は通行可能である。警報部１０７は、算出された第２の判定値６０４と第１の判定値４０１とに基づいて、通行可否判定部１０６によって車両２００が通行可能でないと判断された場合にユーザに警報を発するもので、上述した警報手段に相当するものである。ここで、警報部１０７は、例えば音声や座席に備えられた振動子を介してユーザに警報を発するものである。
【００３０】
次に、本発明の第１の実施の形態に係る走行可否判定装置における車両の通行可否判定の処理フローについて図８を用いて説明する。まず、全方位カメラ１０１は、全方位画像を取得する（ステップＳ８０１）。そして、取得された全方位画像を画像記録部１０２に格納する（ステップＳ８０２）。次に、前方画像処理部１０３は、画像記録部１０２に格納された画像領域のうちの前方物体領域に物体が存在するか否かを判断する（ステップＳ８０３）。そして、前方物体領域に物体が存在すると判断された場合に、距離計測部１０４は、実環境における全方位カメラ１０１から物体までの距離を計測する（ステップＳ８０４）。次に、前方画像処理部１０３は、距離計測部１０４によって計測された直線距離４００と、前方物体領域上における全方位カメラ１０１から物体（図２では高架２０１）までの距離とに基づいて、車両２００の通行可否を判定するための第１の判定値を算出する（ステップＳ８０５）。
【００３１】
次に、通行可否判定部１０６は、算出された第１の判定値に基づいて車両２００が物体（図２では高架２０１）の存在によっても通行可能か否かを判定する（ステップＳ８０６）。通行可能であると判定された場合に、後方画像処理部１０５は、全方位画像領域のうちの後方物体領域に車両２００から突出する突出物体が存在するか否かを判断する（ステップＳ８０７）。突出物体が存在すると判断された場合に、距離計測部１０４は、実環境における全方位カメラ１０１から突出物体までの距離を計測する（ステップＳ８０８）。
【００３２】
次に、後方画像処理部１０５は、距離計測部１０４によって計測された全方位カメラ１０１から突出物体までの実環境における距離と、後方物体領域上における全方位カメラ１０１から突出物体までの距離とに基づいて、車両２００の通行可否を判定するための第２の判定値を算出する（ステップＳ８０９）。次に、通行可否判定部１０６は、算出された第２の判定値と第１の判定値とに基づいて、車両２００が通行可能であるか否かを判定する（ステップＳ８１０）。通行不可能であると判定された場合に、警報部１０７はユーザに警報を発する（ステップＳ８１１）。なお、ステップＳ８０３、８０７、８１０において、存在しない又は通行可能と判断された場合には、ステップＳ８０１に戻る。また、ステップＳ８０６において、通行不可能であると判定された場合にはステップＳ８１１に進む。
【００３３】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態について図９から図１５を用いて説明する。図９は本発明の第２の実施の形態に係る走行可否判定装置の構成を示す構成図である。図１０は本発明の第２の実施の形態に係る走行可否判定装置における画像取得部を搭載した車両の様子を示す図である。図１１Ａは本発明の第２の実施の形態に係る走行可否判定装置における全方位カメラを搭載した車両が走行する様子の一例を示す図である。図１１Ｂは本発明の第２の実施の形態に係る走行可否判定装置における全方位カメラを搭載した車両が走行する様子の他の一例を示す図である。図１２は本発明の第２の実施の形態に係る走行可否判定装置における全方位カメラによって撮影された全方位画像を示す図である。図１３は本発明の第２の実施の形態に係る走行可否判定装置における全方位カメラから突出物体までの実環境における距離について説明するための図である。図１４は本発明の第２の実施の形態に係る走行可否判定装置における後方物体領域上における全方位カメラから突出物体（人）までの距離を説明するための図である。図１５は本発明の第２の実施の形態に係る走行可否判定装置における車両の通行可否判定の処理フローについて説明するためのフローチャートである。
【００３４】
まず、本発明の第２の実施の形態に係る走行可否判定装置の構成について図９を用いて説明する。図９に示すように、走行可否判定装置９００は、画像取得部９０１、画像記録部９０２、前方画像処理部９０３、距離計測部９０４、後方画像処理部９０５、通行可否判定部９０６、警報部９０７から構成されている。画像取得部９０１は、上述した撮像手段に相当し、移動体に搭載され、移動体の周囲を撮影するものである。なお、以下では移動体を車両として説明するが、移動体は車両に限られるものではない。画像取得部９０１は、例えば全方位カメラなどの視野の広いカメラなどであり、車両の側面部、例えばドアやドアミラーなどに設置されるものである。
【００３５】
ここで、車両の側面に設置された画像取得部９０１の様子を図１０に示す。なお、以下では画像取得部９０１を全方位カメラ９０１として説明する。図１０では、全方位カメラ９０１は車両２００の側面に設置されている様子が示されている。このように、全方位カメラ９０１を車両２００の側面に設置させることにより、車両２００の周囲（特に車両２００の両側）の状況を撮影することが可能となる。図１０では車両２００の片側の側面の場合についてのみ説明したが、反対側の側面にも同様の全方位カメラを設置させている。
【００３６】
ここで、全方位カメラ９０１を搭載した車両２００が走行する様子の一例を図１１Ａ、１１Ｂに示す。図１１Ａに示すように、車両２００は側壁１１００の脇を通行しようとしている。このとき全方位カメラ９０１によって撮影された全方位画像１２００を図１２に示す。図１２に示すように、全方位画像１２００には、全方位カメラ９０１を中心に、車両２００の側面と図１１Ａ、１１Ｂに示す側壁１１００が写し出されている。全方位画像１２００では、側壁１１００のＢ点が車両２００側になりＡ点が車両２００から遠ざかる側になる。なお、図１１Ｂは車両２００がこのまま直進して走行した場合に側壁１１００に衝突する様子を示す図である。この場合、全方位カメラ９０１によって撮影される全方位画像は図１２に示す全方位画像と相違する。
【００３７】
全方位カメラ９０１における撮影のタイミングは、連続的に取得するものでもよく、また所定の間隔おきに取得するものでもよい。また、ユーザの要求に応じて取得するようにしてもよい。画像記録部９０２は、全方位カメラ９０１によって取得された画像の情報を格納しておくものであり、例えばメモリなどに相当する。また、画像記録部９０２は、走行可否判定装置９００の動作を制御するための制御プログラムや走行可否判定装置９００内の処理で用いられる情報などを格納していてもよい。
【００３８】
前方画像処理部９０３は、全方位カメラ９０１によって撮影された画像領域のうちの前方物体領域に物体が存在するか否かを判断するもので、上述した第１の判断手段及び第１の算出手段に相当するものである。なお、前方物体領域及び後方物体領域の定義については、第１の実施の形態で説明したものと同様であるため説明を省略する。撮影された画像から物体を検出する方法としては、例えばオプティカルフローなどがある。オプティカルフローについては第１の実施の形態と同様、公知の技術であるため説明を省略する。
【００３９】
距離計測部９０４は、前方画像処理部９０３によって物体（図１１Ａの場合であれば側壁１１００）が存在すると判断された場合に、実環境における全方位カメラ９０１から物体までの距離を計測するもので、上述した距離計測手段に相当するものである。この距離を計測する手段としては、例えばミリ波レーダーなどがある。ここで、ミリ波レーダーを用いて計測する例について図１１Ａ、１１Ｂを用いて説明する。実環境における全方位カメラ９０１から物体までの距離とは、図１１Ａ、１１Ｂに示すように、全方位カメラ９０１から物体（側壁１１００）までの直線距離１１０１を言う。距離計測部９０４は、ミリ波レーダーなどにより直線距離１１０１を計測する。なお、直線距離を結ぶ各点は図１１Ａ、１１Ｂに示す点に限られるものではない。
【００４０】
また、距離を計測する手段であるミリ波レーダーを出力する装置と全方位カメラ９０１が一体となっている場合には、上述したように計測される距離は全方位カメラ９０１から物体までの距離となる。しかし、距離を計測する手段であるミリ波レーダーを出力する装置が全方位カメラ９０１と一体でない場合には、ミリ波レーダーを出力する装置から物体までの距離を算出し、算出された距離を用いて全方位カメラ９０１から物体までの距離に変換するようにしてもよい。また、距離を計測する際、物体が全方位カメラ９０１又は車両２００に接触する場合には、距離を計測せず、後述する警報部９０７に警報を発する指示の情報を送信するようにしてもよい。
【００４１】
そして、前方画像処理部９０３は、距離計測部９０４によって計測された直線距離１１０１と、前方物体領域上における全方位カメラ９０１から物体（図１１では側壁１１００のＡ点）までの距離とに基づいて、車両２００の通行可否を判定するための第１の判定値を算出するものである。ここで、前方物体領域上における全方位カメラ９０１から物体までの距離とは、図１２に示す距離１２０１を言う。また、第１の判定値とは、図１１Ａ、１１Ｂに示す物体から全方位カメラ９０１までの距離１１０２を言う。よって、第１の判定値１１０２は、直線距離１１０１と距離１２０１とから算出することができる。
【００４２】
通行可否判定部９０６は、算出された第１の判定値１１０２に基づいて車両２００が物体（図１１Ａでは側壁１１００）の存在によっても通行可能か否かを判定するもので、上述した判定手段に相当するものである。すなわち、図１１Ａの場合であれば、第１の判定値１１０２が０よりも大きい値であれば物体（側壁１１００）の存在があっても車両２００は通行することができるため、通行可否判定部９０６は通行可能と判定する。なお、第１の判定値１１０２が０以下の場合、すなわち図１１Ｂに示すような場合には、通行可否判定部９０６は通行不可能と判定する。通行可否判定部９０６によって通行不可能と判定された場合には、後述する警報部９０７がユーザに対して警報を発する。警報部９０７の詳細については後述する。
【００４３】
後方画像処理部９０５は、通行可否判定部９０６によって通行可能と判定された場合に、全方位画像領域のうちの後方物体領域に車両２００から突出する突出物体が存在するか否かを判断するもので、上述した第２の判断手段及び第２の算出手段に相当するものである。ここで、突出物体とは、例えば車両の窓などから出ている体の一部や荷物などを言う。そして、後方画像処理部９０５は、突出物体が存在すると判断すると、上述した距離計測部９０４によって計測される全方位カメラ９０１から突出物体までの実環境における距離と、後方物体領域上における全方位カメラ９０１から突出物体までの距離とに基づいて、車両２００の通行可否を判定するための第２の判定値を算出する。
【００４４】
ここで、全方位カメラ９０１から突出物体までの実環境における距離について図１３を用いて説明する。図１３は車両２００を上部から見た図である。車両２００から乗員（実際の乗員）１３００が身を出している場合において、全方位カメラ９０１から乗員１３００の体のうち最も車両２００から出ている部分（図１３の場合、乗員１３００の頭頂部）に対して仮想の直線１３０１を延ばす。一方、車両２００の側面部で物体（人など）が存在し得る位置、すなわち車両２００の側面部の最後部に物体（人など）が存在すると仮定し、その位置における仮想の直線１３０２と仮想の直線１３０１の延長線上との交わる点を仮想点１３０３とする。これより、全方位カメラ９０１から突出物体までの実環境における距離とは、全方位カメラ９０１から上述の仮想点１３０３までの距離を言う。
【００４５】
また、後方物体領域上における全方位カメラ９０１から突出物体までの距離とは、第１の実施の形態で説明したように、全方位画像上における距離を言う。後方物体領域上における全方位カメラ９０１から突出物体（人）までの距離を図１４を用いて説明する。図１４は、車両２００から身を出した乗員１３００を示す像１４０１を含む全方位画像１４００を示す図である。後方物体領域上における全方位カメラ９０１から突出物体までの距離とは図１４に示す距離１４０２を言う。また、算出される車両２００の通行可否を判定するための第２の判定値とは図１３に示す距離１３０４を言う。
【００４６】
通行可否判定部９０６は、算出された第２の判定値１３０４と第１の判定値１１０２とに基づいて、車両２００が通行可能であるか否かを判定する。具体的には、第２の判定値１３０４が第１の判定値１１０２より大きいか否かを判定する。第２の判定値１３０４のほうが第１の判定値１１０２より大きい場合には車両２００は通行不可能であり、第２の判定値１３０４のほうが第１の判定値１１０２より小さい場合には車両２００は通行可能である。警報部９０７は、算出された第２の判定値１３０４と第１の判定値１１０２とに基づいて、通行可否判定部９０６によって車両２００が通行可能でないと判断された場合にユーザに警報を発するもので、上述した警報手段に相当するものである。ここで、警報部９０７は、例えば音声や座席に備えられた振動子を介してユーザに警報を発するものである。
【００４７】
次に、本発明の第２の実施の形態に係る走行可否判定装置における車両の通行可否判定の処理フローについて図１５を用いて説明する。まず、全方位カメラ９０１は、全方位画像を取得する（ステップＳ１５０１）。そして、取得された全方位画像を画像記録部９０２に格納する（ステップＳ１５０２）。次に、前方画像処理部９０３は、画像記録部９０２に格納された画像領域のうちの前方物体領域に物体が存在するか否かを判断する（ステップＳ１５０３）。そして、前方物体領域に物体が存在すると判断された場合に、距離計測部９０４は、実環境における全方位カメラ９０１から物体までの距離を計測する（ステップＳ１５０４）。
【００４８】
ここで、ステップＳ１５０４において、前方物体領域に物体が存在すると判断された場合に、即座に実環境における全方位カメラ９０１から物体までの距離を距離計測部９０４に計測させるのではなく、あらかじめ車両が物体に衝突する場合の全方位画像のパターンを複数用意しておき、取得された全方位画像が用意された全方位画像のパターンと同じか若しくは類似しているか否かを判断するステップがあってもよい。同じ若しくは類似していると判断された場合には、距離計測部９０４による距離計測をするまでもなく警報部９０７によってユーザに警報を発するようにしてもよい。なお、この場合の判断する主体は別途判断手段を設けてもよく、また前方画像処理部９０３などに判断させるようにしてもよい。また、複数の全方位画像のパターンは、例えば画像記録部９０２に格納しておいてもよい。次に、前方画像処理部９０３は、距離計測部９０４によって計測された直線距離１１０１と、前方物体領域上における全方位カメラ９０１から物体（図１１Ａでは側壁１１００）までの距離とに基づいて、車両２００の通行可否を判定するための第１の判定値を算出する（ステップＳ１５０５）。
【００４９】
次に、通行可否判定部９０６は、算出された第１の判定値に基づいて車両２００が物体（図１１Ａでは側壁１１００）の存在によっても通行可能か否かを判定する（ステップＳ１５０６）。通行可能であると判定された場合に、後方画像処理部９０５は、全方位画像領域のうちの後方物体領域に車両２００から突出する突出物体が存在するか否かを判断する（ステップＳ１５０７）。突出物体が存在すると判断された場合に、距離計測部９０４は、実環境における全方位カメラ９０１から突出物体までの距離を計測する（ステップＳ１５０８）。
【００５０】
次に、後方画像処理部９０５は、距離計測部９０４によって計測された全方位カメラ９０１から突出物体までの実環境における距離と、後方物体領域上における全方位カメラ９０１から突出物体までの距離とに基づいて、車両２００の通行可否を判定するための第２の判定値を算出する（ステップＳ１５０９）。次に、通行可否判定部９０６は、算出された第１の判定値と第２の判定値とに基づいて、車両２００が通行可能であるか否かを判定する（ステップＳ１５１０）。通行不可能であると判定された場合に、警報部９０７はユーザに警報を発する（ステップＳ１５１１）。なお、ステップＳ１５０３、１５０７、１５１０において、存在しない又は通行可能と判断された場合には、ステップＳ１５０１に戻る。また、ステップＳ１５０６において、通行不可能であると判定された場合にはステップＳ１５１１に進む。
【００５１】
なお、上述した第１及び第２の実施の形態における全方位カメラを用いて安全な車間間隔を保たせる車間間隔安全確認装置を提供することも可能である。この車間間隔安全確認装置について図１６から図１９を用いて説明する。図１６は車間間隔安全確認装置の構成を示す構成図である。図１７は車間間隔安全確認装置における画像取得部を搭載した車両の様子を示す図である。図１８は車間間隔安全確認装置における全方位カメラによって撮影された全方位画像を示す図である。図１９は車間間隔安全確認装置における車間間隔判定の処理フローについて説明するためのフローチャートである。
【００５２】
まず、車間間隔安全確認装置の構成について図１６を用いて説明する。図１６に示すように、車間間隔安全確認装置１６００は、画像取得部１６０１、画像記録部１６０２、物体有無判定部１６０３、距離計測部１６０４、安全判定部１６０５、警報部１６０６から構成されている。画像取得部１６０１は、移動体に搭載され、移動体の周囲を撮影するものである。なお、以下では移動体を車両として説明するが、移動体は車両に限られるものではない。画像取得部１６０１は、例えば全方位カメラなどの視野の広いカメラなどであり、例えば車両の下面などに設置されるものである。
【００５３】
ここで、車両の下面に設置された画像取得部１６０１の様子を図１７に示す。なお、以下では画像取得部１６０１を全方位カメラ１６０１として説明する。図１７では、全方位カメラ１６０１は車両２００の下面に設置されている様子が示されている。このように、全方位カメラ１６０１を車両２００の下面に設置させることにより、車両２００の周囲の状況（後続の他の車両１７００など）を撮影することが可能となる。なお、図１７では全方位カメラ１６０１は１つのみ図示されているが複数あってもよい。
【００５４】
図１７に示す状況において、全方位カメラ１６０１によって撮影された全方位画像１８００を図１８に示す。図１８に示すように、全方位画像１８００には車両２００の後続の他の車両１７００の像１８０１が写し出されている。全方位カメラ１６０１における撮影のタイミングは、連続的に取得するものでもよく、また所定の間隔おきに取得するものでもよい。また、ユーザの要求に応じて取得するようにしてもよい。画像記録部１６０２は、全方位カメラ１６０１によって取得された画像の情報を格納しておくものであり、例えばメモリなどに相当する。また、画像記録部１６０２は、車間間隔安全確認装置１６００の動作を制御するための制御プログラムや車間間隔安全確認装置１６００内の処理で用いられる情報などを格納していてもよい。
【００５５】
物体有無判定部１６０３は、画像記憶部１６０２に格納された画像領域（全方位画像１８００）に物体が存在するか否かを判断するものである。距離計測部１６０４は、物体有無判定部１６０３によって物体が存在すると判断された場合に、実環境における全方位カメラ１６０１から物体までの距離を計測するものである。この距離を計測する手段としては、例えばミリ波レーダーなどがある。実環境における全方位カメラ１６０１から物体までの距離とは、全方位カメラ１６０１から物体までの直線距離で、図１７に示す距離１７０１を言う。また、距離計測部１６０４は、車両１７００の車両２００に対する相対速度を求め、距離１７０１と相対速度により衝突までの時間を求める。
【００５６】
安全判定部１６０５は、計算された衝突までの時間と、車両２００に対する物体（他の車両１７００）の方向によってあらかじめ設定された基準値とに基づいて、車両間隔が保たれているか否かを判断するものである。具体的には、計算された衝突までの時間の値が基準値より小さい場合に車間間隔が保たれていないと判断する。計算された衝突までの時間が１秒で基準値が２秒の場合には、車間間隔が短すぎると判断される。ここで、車両２００に対する物体の方向によってあらかじめ設定された基準値について説明する。例えば、車両２００の前方や後方に対する基準値は大きい。これは、急停車などにより衝突する可能性が高いからである。一方、車両２００の斜め前方や斜め後方に対する基準値は、車両２００の前方や後方に対する基準値より小さい。これは、急停車などによって衝突する可能性があまり高くないからである。なお、基準値はこのような基準に限られるものではなく、適切な基準によって設定されることが望ましい。
【００５７】
警報部１６０６は、安全判定部１６０５によって車間間隔が保たれていないと判断された場合にユーザに警報を発するものである。ここで、警報部１６０６は、例えば音声や座席に備えられた振動子を介してユーザに警報を発するものである。
【００５８】
次に、車間間隔安全確認装置における車間間隔判定の処理フローについて図１９を用いて説明する。まず、全方位カメラ１６０１は、全方位画像を取得する（ステップＳ１９０１）。そして、取得された全方位画像を画像記録部１６０２に格納する（ステップＳ１９０２）。次に、物体有無判定部１６０３は、画像記憶部１６０２に格納された画像領域（全方位画像１８００）に物体が存在するか否かを判断する（ステップＳ１９０３）。距離計測部１６０４は、物体有無判定部１６０３によって物体が存在すると判断された場合に、実環境における全方位カメラ１６０１から物体までの距離を計測する（ステップＳ１９０４）。さらに、物体の自車両に対する相対速度を計測する。そして、計測した物体までの距離と、物体の相対速度から、警報判断基準とする衝突までの時間を求める。
【００５９】
安全判定部１６０５は、計測された距離１７０１と、車両２００に対する物体（他の車両１７００）の方向によってあらかじめ設定された基準値とに基づいて、車間間隔が保たれているか否かを判断する（ステップＳ１９０５）。警報部１６０６は、安全判定部１６０５によって車間間隔が保たれていないと判断された場合にユーザに対して、例えば音声や座席に備えられた振動子を介して警報を発する（ステップＳ１９０６）。
【００６０】
また、上述した第１及び第２の実施の形態における全方位カメラを用いて車両の発進時の周囲の安全確認ができる安全確認装置を提供することも可能である。この安全確認装置について図２０から図２３を用いて説明する。図２０は安全確認装置の構成を示す構成図である。図２１は安全確認装置における画像取得部を搭載した車両の様子を示す図である。図２２Ａは安全確認装置における全方位カメラによって走行していた車両が停車した際に撮影された全方位画像の一例を示す図である。図２２Ｂは安全確認装置における全方位カメラによって停車した状態から車両が発進する際に撮影された全方位画像の一例を示す図である。図２３は安全確認装置における物体（人物）有無の判定の処理フローについて説明するためのフローチャートである。
【００６１】
まず、本発明の安全確認装置の構成について図２０を用いて説明する。図２０に示すように、安全確認装置２０００は、画像取得部２００１、画像記録部２００２、物体有無判定部２００３、警報部２００４から構成されている。画像取得部２００１は、移動体に搭載され、移動体の周囲を撮影するものである。なお、以下では移動体を車両として説明するが、移動体は車両に限られるものではない。画像取得部２００１は、例えば全方位カメラなどの視野の広いカメラなどであり、例えば車両の下面などに設置されるものである。
【００６２】
ここで、車両の下面に設置された画像取得部２００１の様子を図２１に示す。なお、以下では画像取得部２００１を全方位カメラ２００１として説明する。図２１では、全方位カメラ２００１は車両２００の下面に設置されている様子が示されている。このように、全方位カメラ２００１を車両２００の下面に設置させることにより、車両２００の周囲の状況（車両２００のユーザの視界の死角となる領域にいる人物など）を撮影することが可能となる。なお、図２１では全方位カメラ２００１は１つのみ図示されているが複数あってもよい。
【００６３】
ここで、走行していた車両２００が停車した際に全方位カメラ２００１によって撮影された全方位画像２２００の一例を図２２Ａに示す。図２２Ａでは全方位画像２２００には車両２００の周囲に何も写し出されていない。これは車両２００の停車時には周囲に何も存在しないことを示している。一方、停車した状態から車両２００が発進する際に全方位カメラ２００１によって撮影された全方位画像２２０１の一例を図２２Ｂに示す。図２２Ｂでは全方位画像２２０１には車両２００の後方に人物の足の像２２０２が写し出されている。これは車両２００の後方に人物が存在することを示している。なお、全方位カメラ２００１における撮影のタイミングは、車両２００の停車時（エンジンが停止したとき）、車両２００の発進時（エンジンが始動したとき）が望ましいが、これに限られるものではなく、連続的に取得するものでもよい。また、ユーザの要求に応じて取得するようにしてもよい。画像記録部２００２は、全方位カメラ２００１によって取得された画像の情報を格納しておくものであり、例えばメモリなどに相当する。また、画像記録部２００２は、安全確認装置２０００の動作を制御するための制御プログラムや安全確認装置２０００内の処理で用いられる情報などを格納していてもよい。
【００６４】
物体有無判定部２００３は、全方位カメラ２００１によって時間間隔をあけて撮影された画像同士を対比し、対比された画像間において相違する画像領域があるか否かを判断し、相違する画像領域がある場合に、後に撮影された画像の画像領域うちの相違する画像領域に物体が存在するか否かを判断するものである。ここで、時間間隔をあけて撮影された画像同士とは、例えば上述した車両２００が停車時に撮影した全方位画像２２００と車両２００が発進時に撮影した全方位画像２２０１とを言う。物体有無判定部２００３は、全方位画像２２００と全方位画像２２０１と対比し、これらの全方位画像間で相違する画像領域があるか判断をする。相違する画像領域とは、この場合、図２２Ｂに示すように全方位画像２２００の画像領域と全方位画像２２０１の画像領域とのうちの相違する部分を言う。物体有無判定部２００３は、相違する画像領域がある場合に、後に撮影された全方位画像２２０１の画像領域うちの相違する画像領域に物体（人物）が存在するか否かを判断する。この場合、物体有無判定部２００３は物体（人物）が存在すると判断する。
【００６５】
警報部２００４は、物体有無判定部２００３によって物体（人物）が存在すると判断された場合に、車両２００に対する物体（人物）の存在する方向をユーザに知らせるものである。ここで、警報部２００４は、例えば音声や座席に備えられた振動子を介してユーザに物体（人物）の存在を知らせるものである。
【００６６】
次に、安全確認装置における物体（人物）有無の判定の処理フローについて図２３を用いて説明する。まず、全方位カメラ２００１は、車両２００が停車した時点で全方位画像を取得する（ステップＳ２３０１）。そして、取得された全方位画像を画像記録部２００２に格納する（ステップＳ２３０２）。次に、全方位カメラ２００１は、車両２００の発進する時点で全方位画像を取得する（ステップＳ２３０３）。そして、物体有無判定部２００３は、車両２００の停車時に取得された全方位画像と車両２００の発進時に取得された全方位画像とを対比し、これらの全方位画像間で相違する画像領域があるか判断する（ステップＳ２３０４）。相違する画像領域が存在する場合に、警報部２００４は、車両２００に対する物体（人物）の存在する方向をユーザに知らせる（ステップＳ２３０５）。
【００６７】
また、上述した第１及び第２の実施の形態における全方位カメラを用いて車両の周辺を監視する車両周辺監視装置を提供することも可能である。この車両周辺監視装置について図２４から図２７を用いて説明する。図２４は車両周辺監視装置の構成を示す構成図である。図２５は車両周辺監視装置における画像取得部を搭載した車両の様子を示す図である。図２６は車両周辺監視装置における全方位カメラによって撮影された全方位画像の一例を示す図である。図２７は車両周辺監視装置における物体（人物）有無の判定及び不審者か否かの判定の処理フローについて説明するためのフローチャートである。
【００６８】
まず、本発明の車両周辺監視装置の構成について図２４を用いて説明する。図２４に示すように、車両周辺監視装置２４００は、画像取得部２４０１、情報記録部２４０２、物体有無判定部２４０３、距離計測部２４０４、特徴抽出部２４０５、特徴照合部２４０６、警報部２４０７とから構成されている。画像取得部２４０１は、移動体に搭載され、移動体の周囲を撮影するものである。なお、以下では移動体を車両として説明するが、移動体は車両に限られるものではない。画像取得部２４０１は、例えば全方位カメラなどの視野の広いカメラなどであり、例えば車両の下面などに設置されるものである。
【００６９】
ここで、車両の下面に設置された画像取得部２４０１の様子を図２５に示す。なお、以下では画像取得部２４０１を全方位カメラ２４０１として説明する。図２５では、全方位カメラ２４０１は車両２００の下面に設置されている様子が示されている。このように、全方位カメラ２４０１を車両２００の下面に設置させることにより、車両２００の周囲の状況（車両２００周辺の不審者など）を撮影することが可能となる。なお、図２５では全方位カメラ２４０１は１つのみ図示されているが複数あってもよい。全方位カメラ２４０１によって撮影された全方位画像の一例を図２６に示す。図２６に示すように、全方位画像２６００には車両２００の後方に人物が写し出されている。なお、全方位カメラ２４０１によって撮影されるタイミングは、連続的であってもよく、所定の間隔であってもよい。
【００７０】
情報記録部２４０２は、車両２００への接近を許可する者の特徴を示す特徴情報や全方位カメラ２４０１によって撮影された画像などを格納するものである。ここで、車両２００への接近を許可する者とは、例えば車両２００の持ち主やその家族、友人その他車両２００の持ち主が車両２００へ近づいてもよいとされた者を言う。また、特徴情報とは、車両２００への接近を許可された者の特徴を示す情報であって、例えば許可された者の顔画像や歩行パターンなどを言う。なお、車両２００への接近を許可する者の特徴を示す特徴情報と全方位カメラ２４０１によって撮影された画像とを別々の記録部に格納するようにしてもよい。
【００７１】
物体有無判定部２４０３は、撮影された全方位画像２６００の画像領域に物体が存在するか否かを判断するものである。距離計測部２４０４は、物体有無判定部２４０３によって物体が存在すると判断された場合に、実環境における全方位カメラ２４０１から物体までの距離を計測するものである。この距離を計測する手段としては、例えばミリ波レーダーなどがある。なお、実環境における全方位カメラ２４０１から物体（人物）までの距離とは、全方位カメラ２４０１から物体までの直線距離を言う。また、物体までの距離を計測する際、物体が存在する方向の周辺のみに限定して距離を測定してもよい。
【００７２】
特徴抽出部２４０５は、例えば人物の特徴を抽出することができる距離に人物が入ったら人物の特徴を抽出する。特徴抽出できない距離（例えば、顔が見えなくなる距離）まで近づいてきたら、トラッキングするなどしてもよい。また、物体が人物であるか否かの判断は、例えば、以前に撮影された全方位画像との差分などによって判断する。また、人物の特徴を抽出するとは、例えば情報記録部２４０２に格納されている特徴情報が顔画像の場合には、人物の顔の領域部分を抽出し、情報記録部２４０２に格納されている特徴情報が歩行パターンの場合には、現在の画像のフレームから過去に遡った数フレームから歩行パターンを抽出する。なお、歩行パターン認識に関する技術は公知の技術を用いることにより可能である。
【００７３】
特徴照合部２４０６は、特徴抽出部２４０５によって抽出された人物の特徴と情報記録部２４０２に格納されている特徴情報とを照合するものである。具体的に特徴照合部２４０６は、特徴抽出部２４０５によって抽出された人物の特徴と情報記録部２４０２に格納されている特徴情報との一致度を評価し、その一致度が所定の値より大きい場合には車両２００への接近を許可された者とし、一致度が所定の値より小さい場合には車両２００への接近を許可されていない者（不審者）とされる。
【００７４】
警報部２４０７は、特徴照合部２４０６によって照合された結果、人物が車両２００への接近を許可する者でない（不審者）場合には警報を発するものである。ここで、警報部２４０７は、例えばブザーなどによって車両２００の周囲に不審者の存在を知らせるものである。また、警報部２４０７は、ブザーを鳴らすだけでなく、車両２００の持ち主に対して不審者が近づいていることを示す信号を、例えば携帯電話や車両２００の鍵などに取り付けられたセンサに送信するようにしてもよい。また、警報部２４０７は、不審者が車両２００に一定時間触れることによりブザーを鳴らしたり、車両２００の持ち主に不審者が近づいていることを示す信号を、携帯電話や車両２００の鍵などに取り付けられたセンサに送信するようにしてもよい。
【００７５】
次に、車両周辺監視装置における物体（人物）有無の判定及び不審者か否かの判定の処理フローについて図２７を用いて説明する。まず、全方位カメラ２４０１は、全方位画像を取得する（ステップＳ２７０１）。そして、取得された全方位画像を情報記録部２７０２に格納する（ステップＳ２７０２）。次に、物体有無判定部２４０３は、撮影された全方位画像の画像領域に物体が存在するか否かを判断する（ステップＳ２７０３）。距離計測部２４０４は、物体有無判定部２４０３によって物体が存在すると判断された場合に、実環境における全方位カメラ２４０１から物体までの距離を計測する（ステップＳ２７０４）。
【００７６】
特徴抽出部２４０５は、計測された距離が所定の範囲内にあるか否かを判断し（ステップＳ２７０５）、所定の範囲内にある場合に、全方位カメラ２４０１によって撮影された画像から物体が人物である場合には、人物の特徴を抽出する（ステップＳ２７０６）。特徴照合部２４０６は、特徴抽出部２４０５によって抽出された人物の特徴と情報記録部２４０２に格納されている特徴情報とを照合して不審者であるか否かを判断する（ステップＳ２７０７）。警報部２４０７は、特徴照合部２４０６によって照合された結果、人物が車両２００への接近を許可する者でない（不審者）場合には警報を発する（ステップＳ２７０８）。
【産業上の利用可能性】
【００７７】
本発明に係る走行可否判定装置及び周囲監視方法は、障害物が存在した場合、障害物が存在しても移動体が通行可能であるか否かを判定することができ、また、移動体の振動によるキャリブレーションを保つための高度な技術が不要で、また複数のカメラを使用することによるコストを抑えることができるため、周囲に存在する物体を検知し、周囲の状況を監視する走行可否判定装置及び周囲監視方法などに有用である。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施の形態に係る走行可否判定装置の構成を示す構成図である。
【図２】本発明の第１の実施の形態に係る走行可否判定装置における画像取得部を搭載した車両の様子を示す図である。
【図３】本発明の第１の実施の形態に係る走行可否判定装置における全方位カメラによって撮影された全方位画像を示す図である。
【図４Ａ】本発明の第１の実施の形態に係る走行可否判定装置における距離計測部がミリ波レーダーを用いて計測する例について説明するための図である。
【図４Ｂ】本発明の第１の実施の形態に係る走行可否判定装置における全方位画像を示す図である。
【図４Ｃ】本発明の第１の実施の形態に係る走行可否判定装置における全方位画像内の破線に対応する全方位カメラの高さ面を示す破線について説明するための図である。
【図５Ａ】本発明の第１の実施の形態に係る走行可否判定装置を搭載する車両が通行不可能である場合の物体と車両との位置関係を説明するための図である。
【図５Ｂ】本発明の第１の実施の形態に係る走行可否判定装置における全方位画像を示す図である。
【図６】本発明の第１の実施の形態に係る走行可否判定装置における全方位カメラから突出物体までの実環境における距離について説明するための図である。
【図７】本発明の第１の実施の形態に係る走行可否判定装置における後方物体領域上における全方位カメラから突出物体（人）までの距離を説明するための図である。
【図８】本発明の第１の実施の形態に係る走行可否判定装置における車両の通行可否判定の処理フローについて説明するためのフローチャートである。
【図９】本発明の第２の実施の形態に係る走行可否判定装置の構成を示す構成図である。
【図１０】本発明の第２の実施の形態に係る走行可否判定装置における画像取得部を搭載した車両の様子を示す図である。
【図１１Ａ】本発明の第２の実施の形態に係る走行可否判定装置における全方位カメラを搭載した車両が走行する様子の一例を示す図である。
【図１１Ｂ】本発明の第２の実施の形態に係る走行可否判定装置における全方位カメラを搭載した車両が走行する様子の他の一例を示す図である。
【図１２】本発明の第２の実施の形態に係る走行可否判定装置における全方位カメラによって撮影された全方位画像を示す図である。
【図１３】本発明の第２の実施の形態に係る走行可否判定装置における全方位カメラから突出物体までの実環境における距離について説明するための図である。
【図１４】本発明の第２の実施の形態に係る周囲監視装置における後方物体領域上における全方位カメラから突出物体（人）までの距離を説明するための図である。
【図１５】本発明の第２の実施の形態に係る走行可否判定装置における車両の通行可否判定の処理フローについて説明するためのフローチャートである。
【図１６】車間間隔安全確認装置の構成を示す構成図である。
【図１７】車間間隔安全確認装置における画像取得部を搭載した車両の様子を示す図である。
【図１８】車間間隔安全確認装置における全方位カメラによって撮影された全方位画像を示す図である。
【図１９】車間間隔安全確認装置における車間間隔判定の処理フローについて説明するためのフローチャートである。
【図２０】安全確認装置の構成を示す構成図である。
【図２１】安全確認装置における画像取得部を搭載した車両の様子を示す図である。
【図２２Ａ】安全確認装置における全方位カメラによって走行していた車両が停車した際に撮影された全方位画像の一例を示す図である。
【図２２Ｂ】安全確認装置における全方位カメラによって停車した状態から車両が発進する際に撮影された全方位画像の一例を示す図である。
【図２３】安全確認装置における物体（人物）有無の判定の処理フローについて説明するためのフローチャートである。
【図２４】車両周辺監視装置の構成を示す構成図である。
【図２５】車両周辺監視装置における画像取得部を搭載した車両の様子を示す図である。
【図２６】車両周辺監視装置における全方位カメラによって撮影された全方位画像の一例を示す図である。
【図２７】車両周辺監視装置における物体（人物）有無の判定及び不審者か否かの判定の処理フローについて説明するためのフローチャートである。
【符号の説明】
【００７９】
１００、９００  走行可否判定装置
１０１、９０１  画像取得部（撮像手段、全方位カメラ）
１０２、９０２、１６０２、２００２  画像記録部
１０３、９０３  前方画像処理部（第１の判断手段、第１の算出手段）
１０４、９０４  距離計測部（距離計測手段）
１０５、９０５  後方画像処理部（第２の判断手段、第２の算出手段）
１０６、９０６  通行可否判定部（判定手段）
１０７、９０７  警報部（警報手段）
２００  車両
２０１  高架
３００、７００、１２００、１４００、１８００、２２００、２２０１、２６００  全方位画像
３０１  境界線
３０２、６０４、７０２、１２０１、１３０４、１４０２、１７０１  距離
４００、１１０１  物体までの直線距離
４０１、１１０２  物体から全方位カメラまでの距離（高さ）
６００、１３００  実際の乗員
６０１、６０２、１３０１、１３０２  仮想の直線
６０３、１３０３  仮想点
７０１、１４０１  乗員を示す像
１１００  側壁
１６００  車間間隔安全確認装置
１６０１、２００１、２４０１  画像取得部（全方位カメラ）
１６０３、２００３、２４０３  物体有無判定部
１６０４、２４０４  距離計測部
１６０５  安全判定部
１６０６、２００４、２４０７  警報部
１７００  他の車両
１８０１  他の車両の像
２０００  安全確認装置
２２０２  人物の足の像
２４００  車両周辺監視装置
２４０２  情報記録部
２４０５  特徴抽出部
２４０６  特徴照合部
【図１】
2006285440.tif 000003
【図２】
2006285440.tif 000004
【図３】
2006285440.tif 000005
【図４Ａ】
2006285440.tif 000006
【図４Ｂ】
2006285440.tif 000007
【図４Ｃ】
2006285440.tif 000008
【図５Ａ】
2006285440.tif 000009
【図５Ｂ】
2006285440.tif 000010
【図６】
2006285440.tif 000011
【図７】
2006285440.tif 000012
【図８】
2006285440.tif 000013
【図９】
2006285440.tif 000014
【図１０】
2006285440.tif 000015
【図１１Ａ】
2006285440.tif 000016
【図１１Ｂ】
2006285440.tif 000017
【図１２】
2006285440.tif 000018
【図１３】
2006285440.tif 000019
【図１４】
2006285440.tif 000020
【図１５】
2006285440.tif 000021
【図１６】
2006285440.tif 000022
【図１７】
2006285440.tif 000023
【図１８】
2006285440.tif 000024
【図１９】
2006285440.tif 000025
【図２０】
2006285440.tif 000026
【図２１】
2006285440.tif 000027
【図２２Ａ】
2006285440.tif 000028
【図２２Ｂ】
2006285440.tif 000029
【図２３】
2006285440.tif 000030
【図２４】
2006285440.tif 000031
【図２５】
2006285440.tif 000032
【図２６】
2006285440.tif 000033
【図２７】
2006285440.tif 000034