(57)【要約】【課題】歩行者位置が衝突危険ゾーン内にあることを条件として、警告要請がなされると、警告に対する信頼性が薄れてしまう。【解決手段】顔向きｖｆ及び信号機方向ｖｓは単位ベクトルである。内積ｖｆ・ｖｓが「１」であれば、顔向きｖｆ及び信号機方向ｖｓのなす角は０度である。すなわち、顔向きｖｆ及び信号機方向ｖｓは、一致する。内積ｖｆ・ｖｓは「１」であるとの判定がなされると、警告出力命令がなされる。警告出力命令がなされると、出力装置１２は、ＲＯＭ１４に記憶された警告音を出力する。【選択図】図７
2008102579.tif 000002
【特許請求の範囲】
【請求項１】
出力装置に対して警告を出力させるか否かを、カメラ画像から得られる人の位置を始点とし前記カメラ画像から得られる信号機の位置を終点とする信号機方向及び前記カメラ画像から得られる前記人に係る顔向きを用いて制御する処理部を備える警告装置。
【請求項２】
前記処理部は、前記信号機方向と前記顔向きとが一致することを条件として、前記出力装置に対して警告を出力させることを特徴とする請求項１に記載の警告装置。
【請求項３】
出力装置に対して警告を出力させるか否かを、カメラ画像から得られる道路の位置及び前記カメラ画像から得られる人に係る顔向きの関係並びに前記カメラ画像から得られる前記人に係る手の位置及び前記カメラ画像から得られる前記人に係る顔の位置の関係を用いて制御する処理部を備える警告装置。
【請求項４】
前記処理部は、前記道路の位置が前記顔向き上に存在し、かつ、前記手の位置が前記顔の位置に同一又はそれ以上であることを条件として、前記出力装置に対して警告を出力させることを特徴とする請求項３に記載の警告装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者に対して警告するか否かを車両周辺の状況に応じて制御する警告装置に関する。
【背景技術】
【０００２】
背景技術として、歩行者位置が衝突危険ゾーン内にあることを条件として警報出力を要請するが知られている（特許文献１）。この技術によれば、歩行者が突発的な動きを行った場合であっても、歩行者との衝突を良好に抑止することができる。
【特許文献１】特開２００４−２６８８２９号公報（段落００１１及び段落００４８参照）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
背景技術によれば、歩行者位置が衝突危険ゾーン内にあれば、その歩行者が突発的な動きを行うとみなされ、警告要請がなされる。ところが、歩行者位置が衝突危険ゾーン内にある場合であっても、その歩行者が突発的な動きを行うとは限らない。このような場合に、警告要請がなされると、警告に対する信頼性が薄れてしまうという課題があった。
【課題を解決するための手段】
【０００４】
本発明に係る警告装置は、出力装置に対して警告を出力させるか否かを、カメラ画像から得られる人の位置を始点とし前記カメラ画像から得られる信号機の位置を終点とする信号機方向及び前記カメラ画像から得られる前記人に係る顔向きを用いて制御する処理部を備えるものである。本発明における字句の解釈は、次のとおりである。
【０００５】
「警告」とは、運転者に対して注意を促すものであれば足りる。例えば、ブザー音、案内音声、振動や光等がある。
【０００６】
「出力装置」は、前述の「警告」を出力するものであれば足りる。
【０００７】
「カメラ画像から得られる」とは、カメラ画像を源泉とすることを意味する。カメラ画像のみを源泉とすること（例えば、ステレオカメラで２つの画像を得る方法）が好ましいが、測距センサ（赤外センサ等）の出力値が併用されてもよい。
【０００８】
「信号機方向」及び「顔向き」は、奥行方向に係る成分（例えば、撮影方向又は進行方向に相当するｚ値）を有するベクトルで表される。
【０００９】
「処理部」は、前記信号機方向と前記顔向きとが一致することを条件として、前記出力装置に対して警告を出力させるものである。
【００１０】
「一致する」とは、両者が完全に一致すること及び両者の差が誤差の範囲内であることを意味する。
【００１１】
「前記信号機方向と前記顔向きとが一致する」場合、人は信号機を見ているとみなされる。信号機を見ている人は道路を横切る意思を有している蓋然性が高いので、警告の必要性は高い。
【００１２】
「処理部」とは、ハードウエア又はハードウエア及びソフトウエアの協働によって特定の制御及び演算を実現する部位である。
【００１３】
本発明に係る警告装置は、出力装置に対して警告を出力させるか否かを、カメラ画像から得られる道路の位置及び前記カメラ画像から得られる人に係る顔向きの関係並びに前記カメラ画像から得られる前記人に係る手の位置及び前記カメラ画像から得られる前記人に係る顔の位置の関係を用いて制御する処理部を備えるものである。本発明における字句の解釈は、次のとおりである。
【００１４】
「道路の位置」は、奥行方向に係る成分（例えば、撮影方向に係る成分や進行方向に係る成分に相当するもの）を含む。
【００１５】
「手の位置」及び「顔の位置」は、奥行方向に係る成分（例えば、撮影方向に係る成分や進行方向に係る成分に相当するもの）を含まなくてもよい。例えば、表示座標系の値があれば足りる。
【００１６】
「処理部」は、前記道路の位置が前記顔向き上に存在し、かつ、前記手の位置が前記顔の位置に同一又はそれ以上であることを条件として、前記出力装置に対して警告を出力させるものである。
【００１７】
「顔向き上」とは、顔向きをなすベクトルをｋ（ｋ＞０）倍したものである。したがって、「前記道路の位置が前記顔向き上に存在」するとは、道路の位置が顔向きをなすベクトルをｋ（ｋ＞０）倍したもので表されることを意味する。
【００１８】
「前記道路の位置が前記顔向き上に存在」する場合、人は道路を見ているとみなされる。また、「前記手の位置が前記顔の位置に同一又はそれ以上である」場合、人は他人に対して合図を送っているとみなされる。したがって、「前記道路の位置が前記顔向き上に存在し、かつ、前記手の位置が前記顔の位置に同一又はそれ以上である」場合、人は道路を横切る意思を有している蓋然性が高いので、警告の必要性は高い。
【発明の効果】
【００１９】
本発明によれば、カメラに写っている人が道路を横断する意思を有していなければ、警告はなされないので、警告に対する信頼性を確保することができる。
【発明を実施するための最良の形態】
【００２０】
本発明に係る警告装置を実施するための最良の形態は、図１乃至図７で示される。
【００２１】
＜前提とする道路状況＞本実施の形態が前提とする道路状況は、図１で示される。道路１及び道路２が交差する交差点３に対して、車両４及び人５が近づいている。車両４は、交差点３から数十メートル離れており、交差点３に到達するまでに少なくとも数秒かかる。他方、人５は、信号機６を見て横断歩道７を渡ろうとしているものの、交差点３及び横断歩道７に到達していない。ここで、人５に係る顔が信号機６の方向を向いている場合、人５は、車両４が交差点３に到達する段階で交差点３又は横断歩道７を渡ろうとしている蓋然性が高い。そこで、本実施形態では、交差点３又は横断歩道７を渡ろうとする人５の行動意思が警告に反映されている。
【００２２】
＜警告システムの構成＞本実施の形態に係る警告システムの構成は、図２で示される。警告システム８は、カメラ９、警告装置１０、走行状態検出装置１１（本実施の形態では、ＧＰＳレシーバ、車速センサ及び自立航法用ジャイロセンサが用いられる）及び出力装置１２（本実施の形態では、スピーカが用いられる）を備える。
【００２３】
＜カメラの構成＞本実施の形態では、カメラ９は、一般的なカメラに用いられる通常のレンズにＨｉＲＩＳＥの高解像度（２００００×４００００ピクセル）ＣＣＤ及び制御回路を組み合わせたもので構成される。また、カメラ９は、２つのカメラからなり、いわゆるステレオカメラを構成する。
【００２４】
カメラ９は、その各光軸が互いに平行であり、かつ、各光軸の路面からの高さが互いに等しくなるように、車両４に固定されている（以下、撮影された画像を「カメラ画像」という）。
【００２５】
カメラ９によれば、車両４の進行方向が撮影される。例えば、車両４から５０ｍ離れた所にいる身長１．７ｍ程度の人５が撮影される場合（図３を参照）、人５は約１２００ピクセルで表される。また、その顔が３０ｃｍ程度であった場合、その顔は約３００ピクセルで表される。したがって、人５に係る顔向きを算出するために、カメラ画像に対して拡大処理を施す必要はない。
【００２６】
＜警告装置のハードウエア構成＞警告装置１０は、ＣＰＵ１３、ＲＯＭ１４、ＲＡＭ１５、バス１６及びＩ／Ｏポート１７で構成される。Ｉ／Ｏポート１７には、カメラ９、走行状態検出装置１１及び出力装置１２が接続される。
【００２７】
ＲＯＭ１４には、ＣＰＵ１３を「制御部」として機能させるためのプログラムや警告音などが記憶されている。
【００２８】
＜処理の概略＞ＣＰＵ１３が、ＲＯＭ１４からＲＡＭ１５に展開されたプログラムを実行し、出力装置１２に対して警告を出力させるか否かを、カメラ画像から得られる人５の位置を始点としカメラ画像から得られる信号機６の位置を終点とする信号機方向及びカメラ画像から得られる人５に係る顔向きを用いて制御する。
【００２９】
＜座標系の定義＞本実施の形態では、カメラ画像（図４参照）の奥行方向（すなわち、進行方向）がｚ軸に定義される。また、ｘ軸及びｙ軸は、それぞれｚ軸に直交する方向に定義される。さらに、ｘ軸及びｙ軸は、互いに直交する（図５参照）。
【００３０】
＜前提処理＞信号機６の位置をカメラ画像から得るための処理として、特開１０−３４１４５８号公報に開示されたものがある。この処理によれば、信号機６の位置Ｐｓ（ｘｙｚ座標系）がＲＡＭ１５に記憶される。
【００３１】
人５の位置及び人５に係る顔向きをカメラ画像から得るための処理として、特開１１−２８１６６１号公報に開示されたものがある。この処理によれば、人５の位置Ｐｈ（ｘｙｚ座標系）及び顔向きｖｆ（ｘｚ座標系）がＲＡＭ１５に記憶される。本実施の形態では、人５の位置Ｐｈは、顔の重心の位置に相当する。また、顔向きｖｆは、顔向きＶｆ（ｘｙｚ座標系）をｘｚ平面に射影し、かつ、単位ベクトルに変換したものである（図５及び図６参照）。
【００３２】
＜警告処理＞本実施の形態に係る警告処理は、図７で示される。以下で説明される各「演算」は、ライブラリとして用意された周知のプログラムによって実現される。
【００３３】
信号機方向ｖｓは、ＲＡＭ１５に記憶される人５の位置Ｐｈ及びＲＡＭ１５に記憶される信号機６の位置Ｐｓを用いて演算される（ステップＳ１）。具体的には、人５の位置Ｐｈ及び信号機６の位置Ｐｓをそれぞれ始点及び終点とするベクトルＶｓ（ｘｙｚ座標系）が演算される（図５参照）。信号機方向ｖｓは、ベクトルＶｓをｘｚ平面に射影し、かつ、単位ベクトルに変換したものである（図６参照）。演算結果である信号機方向ｖｓは、ＲＡＭ１５に記憶される。
【００３４】
ステップＳ１で信号機方向ｖｓが演算されると、内積ｖｆ・ｖｓがＲＡＭ１５に記憶される顔向きｖｆ及びＲＡＭ１５に記憶される信号機方向ｖｓを用いて演算される（ステップＳ２）。演算結果である内積ｖｆ・ｖｓは、ＲＡＭ１５に記憶される。
【００３５】
ステップＳ２で内積ｖｆ・ｖｓが演算されると、ＲＡＭ１５に記憶される内積ｖｆ・ｖｓは「１」であるか否かが判定される（ステップＳ３）。ここで、顔向きｖｆ及び信号機方向ｖｓは単位ベクトルであるので、内積ｖｆ・ｖｓが「１」であれば、顔向きｖｆ及び信号機方向ｖｓのなす角は０度である。すなわち、顔向きｖｆ及び信号機方向ｖｓは、一致する。もちろん、内積ｖｆ・ｖｓと「１」との差分が誤差の範囲内であれば、内積ｖｆ・ｖｓは「１」であるとみなされてよい。
【００３６】
ステップＳ３で内積ｖｆ・ｖｓは「１」であるとの判定がなされると（Ｓ３のＹｅｓ）、警告出力命令がなされる（ステップＳ４）。警告出力命令がなされると、出力装置１２は、ＲＯＭ１４に記憶された警告音を出力する。例えば、「気をつけてください」や「ピーピーピー」等の音が出力される。
【００３７】
ステップＳ４で警告出力命令がなされる又はステップＳ３で内積ｖｆ・ｖｓは「１」であるとの判定がなされない（Ｓ３のＮｏ）と、警告処理は終了する。
【００３８】
＜本実施の形態における効果＞本実施の形態によれば、「顔向きｖｆ及び信号機方向ｖｓが一致する」との条件が成立しなければ、カメラ９に写っている人５は、横断歩道７を渡る意思を有していないとみなされる。つまり、カメラ９に写っている人５が横断歩道７を渡る意思を有していなければ、警告音は出力されないので、警告に対する信頼性を確保することができる。
【００３９】
＜変形例１＞本実施の形態では、顔向きｖｆ及び信号機方向ｖｓの関係が用いられているが、顔向きｖｆ及び道路１の位置の関係並びに人５に係る手の位置及び人５に係る顔の位置の関係が用いられてもよい。
【００４０】
道路１の位置をカメラ画像から得るための処理として、特開２００５−０５６１２８号公報に開示されたものがある。この処理によれば、道路１の位置Ｐｒ（ｘｙｚ座標系）がＲＡＭ１５に記憶される。
【００４１】
人５に係る手の位置及び人５に係る顔の位置をカメラ画像から得るための処理として、特開２００４−２８０３７６号公報に開示されたものがある。この処理によれば、人５に係る手の位置Ｐ１及び人５に係る顔の位置Ｐ２がＲＡＭ１５に記憶される。ここで、手の位置Ｐ１及び顔の位置Ｐ２は、それぞれ、表示領域の横方向をＸとし縦方向をＹとする表示座標系で示される。
【００４２】
道路１の位置Ｐｒが顔向きｖｆ上に存在するか否かは、次の処理によって求められる。道路１に対応する直線の方程式が、道路１の位置Ｐｒを用いて演算される。演算で得られた方程式に、顔向きｖｆをｋ倍したものが代入される。この方程式で得られた解ｋが正の数であれば（ｋ＞０）、道路１の位置Ｐｒは、顔向きｖｆを短縮又は延長したもののベクトル終点に一致している。すなわち、道路１の位置Ｐｒが顔向きｖｆ上に存在することになり、カメラに写っている人５は道路１を見ているとみなされる。
【００４３】
手の位置Ｐ１が顔の位置Ｐ２に同一又はそれ以上であるか否かは、次の処理によって求められる。手の位置Ｐ１が有する縦方向成分Ｙ１及び顔の位置Ｐ２が有する縦方向成分Ｙ２が比較されて、不等式「Ｙ１≧Ｙ２」が成立すれば、手の位置Ｐ１は顔の位置Ｐ２に同一又はそれ以上である。つまり、人５が他人に対して合図を送っているとみなされる。
【００４４】
道路１の位置Ｐｒが顔向きｖｆ上に存在し、かつ、手の位置Ｐ１は顔の位置Ｐ２に同一又はそれ以上であれば、人５が向かい側の道路１にいる他人に合図を送っているとみなされる。つまり、人５は道路１を横断する意思を有している蓋然性が高い。
【００４５】
この変形例によれば、「道路１の位置Ｐｒが顔向きｖｆ上に存在し、かつ、手の位置Ｐ１は顔の位置Ｐ２に同一又はそれ以上である」との条件が成立しなければ、カメラ９に写っている人５は、道路１を横断する意思を有していないとみなされる。つまり、カメラ９に写っている人５が横断歩道７を渡る意思を有していなければ、警告音は出力されないので、警告に対する信頼性を確保することができる。
【００４６】
＜変形例２＞本実施の形態では、「顔向きｖｆ及び信号機方向ｖｓが一致する」との条件が１フレームのカメラ画像について成立すれば、警告が出力されている。この点について、次の変形例が考えられる。当該条件の成否が複数フレームについて判定される。当該条件の成立回数が所定値以上（例えば、７回／１０フレーム）であることを条件として、警告が出力される。
【００４７】
変形例１についても同様に変形が可能である。つまり、「道路１の位置Ｐｒが顔向きｖｆ上に存在し、かつ、手の位置Ｐ１は顔の位置Ｐ２に同一又はそれ以上である」との条件の成否が複数フレームについて判定される。当該条件の成立回数が所定値以上（例えば、７回／１０フレーム）であれば、警告が出力される。
【００４８】
これらの変形例によれば、人５が道路１又は信号機６を偶然に見た場合には、人５が道路１を横断する意思を有しているとみなされない。したがって、警告に対する信頼性を確保することができる。
【産業上の利用可能性】
【００４９】
本発明は、警告に対する信頼性を確保することができるという効果を有し、車両等に有用である。
【図面の簡単な説明】
【００５０】
【図１】本実施の形態における車両周辺の道路状況を示す図
【図２】本実施の形態に係る警告システムのハードウエア構成を示す図
【図３】本実施の形態におけるカメラと被写体との位置関係を示す図
【図４】本実施の形態におけるカメラ画像を示す図
【図５】本実施の形態におけるｘｙｚ空間での位置関係を示す図
【図６】本実施の形態におけるｘｚ平面での位置関係を示す図
【図７】本実施の形態における警告処理の流れを示すフロー図
【符号の説明】
【００５１】
８    警告装置
９    カメラ
１２    出力装置
１３    ＣＰＵ（処理部）
１５    ＲＡＭ（処理部）
【図１】
2008102579.tif 000003
【図２】
2008102579.tif 000004
【図３】
2008102579.tif 000005
【図４】
2008102579.tif 000006
【図５】
2008102579.tif 000007
【図６】
2008102579.tif 000008
【図７】
2008102579.tif 000009