(57)【要約】【課題】運転者が把握しにくく検知する必要性が高い対象を確実に検知するとともに、処理負荷を低減すること。【解決手段】車両の車室の内部を撮像する車室内撮像部と、車両から外部の領域を撮像する車外撮像部と、車室内撮像部が撮像した、車室の内部でのユーザの姿勢および視界情報を取得する視界情報取得部と、視界情報取得部が取得した姿勢および視界情報に基づいて、ユーザが認知可能な認知領域を抽出する視界領域算出部と、車外撮像部によって撮像された画像に基づいて物体の検知処理を実行する場合に、車外撮像部が撮像した領域から視界領域算出部が抽出した認知領域を除外して、検知処理を実行する制御部と、を備える。【選択図】図１
2020095544.tif 000002
【特許請求の範囲】
【請求項１】
車両の車室の内部を撮像する車室内撮像部と、
前記車両から外部の領域を撮像する車外撮像部と、
前記車室内撮像部が撮像した、前記車室の内部でのユーザの姿勢および視界情報を取得する視界情報取得部と、
前記視界情報取得部が取得した前記姿勢および前記視界情報に基づいて、前記ユーザが認知可能な認知領域を抽出する視界領域算出部と、
前記車外撮像部によって撮像された画像に基づいて物体の検知処理を実行する場合に、前記車外撮像部が撮像した領域から前記視界領域算出部が抽出した認知領域を除外して、前記検知処理を実行する制御部と、を備える
ことを特徴とする物体検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検知装置に関する。
【背景技術】
【０００２】
特許文献１には、車両の周囲の障害物に関する情報を周囲状況検出装置により検出し、検出された周囲状況から運転者に提示する情報を選択して、表示装置に警報を表示させる際に、視認検出装置は運転者の視線方向と表示位置などとの照合により運転者の認知状態を推定し、運転者が表示された警報の内容を認識したと推定される場合に、該警報の表示方法を変更する技術が開示されている。特許文献１には、例えば、歩行者などを検知して、検知した歩行者の視認性が悪い場合にヘッドアップディスプレイに強調して表示させたり、一旦認知したと判断した場合は警報の表示方法を変更したりすることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１３５０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来技術においては、歩行者などを検知して視認性の観点から強調するか否かを判断している。しかしながら、車両の周囲の歩行者などの物体を検知する処理の負荷が高いことから、複数の歩行者がいる場合には検知処理の遅れが発生する可能性がある。一方で運転者の視界から見えていることが明らかであって、強調する必要性が低い対象であっても処理する可能性がある。そのため、運転者が把握しにくく検知する必要性が高い対象を確実に検知するとともに、処理負荷が低減された物体検知装置の開発が望まれていた。
【０００５】
本発明は、上記に鑑みてなされたものであって、その目的は、運転者が把握しにくく検知する必要性が高い対象を確実に検知するとともに、処理負荷が低減された物体検知装置を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、上記目的を達成するために、本発明に係る物体検知装置は、車両の車室の内部を撮像する車室内撮像部と、前記車両から外部の領域を撮像する車外撮像部と、前記車室内撮像部が撮像した、前記車室の内部でのユーザの姿勢および視界情報を取得する視界情報取得部と、前記視界情報取得部が取得した前記姿勢および前記視界情報に基づいて、前記ユーザが認知可能な認知領域を抽出する視界領域算出部と、前記車外撮像部によって撮像された画像に基づいて物体の検知処理を実行する場合に、前記車外撮像部が撮像した領域から前記視界領域算出部が抽出した認知領域を除外して、前記検知処理を実行する制御部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明に係る物体検知装置によれば、運転者が把握しにくく検知する必要性が高い対象を確実に検知するとともに、処理負荷が低減することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の一実施形態による物体検知装置を搭載した車両を示すブロック図である。
【図２】図２は、本発明の一実施形態による物体検知装置による運転者の視界情報の取得方法を説明するための図である。
【図３】図３は、本発明の一実施形態による物体検知装置による運転者の視界情報の取得方法を説明するための図である。
【図４】図４は、本発明の一実施形態による物体検知装置による運転者の視界情報の取得方法を説明するための図である。
【図５】図５は、本発明の一実施形態による物体検知装置による物体検知方法を説明するためのフローチャートである。
【図６】図６は、本発明の一実施形態による物体検知装置による物体検知方法を説明するための車外カメラ情報を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。
【００１０】
まず、本発明の一実施形態による物体検知装置について説明する。図１は、この一実施形態による物体検知装置を搭載した車両４０の主たる構成を概略的に示すブロック図である。図１に示すように、車両４０は、制御部４１、記憶部４２、駆動部４３、車室内カメラ４４、車外カメラ４５、入出力部４６、センサ群４７、およびステアリングホイール４８を備える。
【００１１】
車両４０の制御部４１は、ＣＰＵ、ＲＯＭ、およびＲＡＭなどからなるマイクロコンピュータを主要構成部品として構成される。制御部４１は、車両４０に搭載される各種運転系の構成部材の動作を統括的に制御する。
【００１２】
制御部４１は、具体的に、ＣＰＵ（Central  Processing  Unit）、ＤＳＰ（Digital  Signal  Processor）、ＦＰＧＡ（Field-Programmable  Gate  Array）などのプロセッサ、およびＲＡＭ（Random  Access  Memory）やＲＯＭ（Read  Only  Memory）などの主記憶部（いずれも図示せず）を備える。
【００１３】
記憶手段としての記憶部４２は、ＥＰＲＯＭ（Erasable  Programmable  ROM）、ハードディスクドライブ（ＨＤＤ、Hard  Disk  Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal  Serial  Bus）メモリ、または、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disc）、またはＢＤ（Blu-ray（登録商標）  Disc）のようなディスク記録媒体である。記憶部４２には、制御部４１が車両４０の作動を統括的に制御するために必要な、オペレーティングシステム（Operating  System  :ＯＳ）、各種プログラム、各種テーブル、各種データベースなどが格納可能である。制御部４１は、記憶部４２に格納されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することで、所定の目的に合致した機能を実現できる。本実施形態において、制御部４１は、プログラムの実行を通じて視界情報取得部５０および視界領域算出部５１の機能を実現できる。記憶部４２は、車両情報データベース４２ａおよび個人視界情報データベース４２ｂを備える。車両情報データベース４２ａには、バッテリ充電量、燃料残量、および現在位置などを含む各種情報が、更新可能に格納されている。個人視界情報データベース４２ｂには、車両４０の運転者の視野に関する種々の情報が更新可能に格納されている。
【００１４】
駆動部４３は、走行に必要な従来公知の設備を備える。具体的には、駆動部４３は、駆動源としてのエンジンを備え、エンジンは燃料の燃焼による駆動によって電動機などを用いて発電可能に構成される。発電された電力は充電可能なバッテリに充電される。さらに、駆動部４３は、エンジンの駆動力を伝達する駆動伝達機構、および走行するための駆動輪などを備える。
【００１５】
車室内撮像部としての車室内カメラ４４は、車両４０の車室の内部における種々の状態を検知可能に構成されている。車室内カメラ４４は特に、車両４０の車室内において運転を行う運転者の頭部の動きや視線の動き（以下、視線移動と総称する）を確認可能な視線確認手段としての機能を有するセンサが好ましく、例えば撮像カメラなどから構成される。車室内カメラ４４は、連続的または所定時間ごとの断続的に、車両４０の車室内における運転者の視線移動を測定して画像処理を行う。車室内カメラ４４は、画像処理によって検知した運転者の視線に関する情報を、制御部４１に出力する。
【００１６】
車外撮像部としての車外カメラ４５は、車両４０の外部における種々の状態を撮像可能に構成された撮像装置からなる。車外カメラ４５は、車両４０の周辺領域を撮像して、撮像した画像情報を制御部４１に出力する。制御部４１は、入力された画像情報を記憶部４２に格納する。制御部４１は、入力された画像情報に対して画像処理を行って、歩行者の位置や、周辺における障害物や他車両の有無、他車両の位置などの情報を導出する。上述した制御部４１、記憶部４２、車室内カメラ４４、車外カメラ４５によって、一実施形態による物体検知装置が構成される。
【００１７】
入出力部４６は、タッチパネルディスプレイやスピーカマイクロホンなどから構成される。出力手段としての入出力部４６は、制御部４１による制御に従って、タッチパネルディスプレイの画面上に文字や図形などを表示したり、スピーカマイクロホンから音声を出力したりして、運行プラン情報などの所定の情報を外部に通知可能に構成される。また、入力手段としての入出力部４６は、ユーザなどがタッチパネルディスプレイを操作したり、スピーカマイクロホンに向けて音声を発したりすることによって、制御部４１に所定の情報を入力するように構成される。センサ群４７は、車速センサや、加速度センサなどの車両４０の走行に関するセンサなどから構成される。ステアリングホイール４８は、車両４０の操舵輪を操舵するための操作子である。
【００１８】
図示省略したが、車両４０はさらに、ＧＰＳ（Global  Positioning  System）衛星からの電波を受信して車両４０の位置を検出するＧＰＳ部や、外部と通信可能な通信部を備えてもよい。ＧＰＳ部によって検出された位置は、車両情報における位置情報として、車両情報データベース４２ａに検索可能に格納される。なお、車両４０の位置を検出する方法として、LiDAR（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）と３次元デジタル地図とを組み合わせた方法を採用してもよい。
【００１９】
（物体検知方法）
次に、本発明の一実施形態による物体検知装置による物体検知方法について説明する。一実施形態による物体検知方法を説明するにあたり、本発明者が行った鋭意検討について説明する。すなわち、従来、活用している運転者の情報は視線という方向ベクトル情報のみであったため、運転者の視線が向いている方向の情報は取得可能であるが、運転者が見えている範囲の情報は取得できていなかった。また、死角と判断可能な領域は、ピラーやドアなどの遮蔽物によって発生する静的な領域のみであって、運転者が見る方向を時々刻々と変化させる場合に生じる、動的な死角を検出することはできなかった。これらの理由によって、車外カメラ４５を用いて物体の検知を行う場合には、撮影した画像の全ての領域を画像処理する必要が生じるため、制御部４１における画像処理が高負荷になってしまい、物体を検知するリアルタイム処理を実現するためには、高価な演算装置が必要になる。
【００２０】
これらの問題点に対して、本発明者が種々検討を行ったところ、本発明者は、従来技術においては、視界という２次元情報を運転者の個人差を考慮した上で取得する方法が検討されていない点に着目するに至った。本発明者はさらに、従来技術においては、画像のどの領域を重点的に処理すべきかを判断する方法が確立されていない点にも着目するに至った。そこで、本発明者は鋭意検討を重ね、物体検知方法において「視線」という方向ベクトルの情報のみならず、「視界」という平面の２次元情報を取得して活用する方法を想到した。これにより、運転者が認識している領域、すなわち、運転者が見ている領域および見ていない領域を導出することができ、動的に変化する死角領域を検出可能になる。その上で、本発明者は、車両の外部の物体を検知する処理範囲を運転者の死角領域のみに限定することによって、画像情報のうちで画像処理を行う範囲を大幅に低減することができることを想到した。以下に説明する一実施形態による物体検知方法は、以上の本発明者による鋭意検討により案出されたものである。
【００２１】
まず、それぞれの運転者の視界情報を２次元平面情報として用いるために、運転者の視界情報の取得方法について説明する。図２、図３、および図４は、この一実施形態による物体検知装置による運転者の視界情報の取得方法を説明するための図である。図２に示すように、まず、運転者は、ステアリングホイール４８に設けられた複数のマーカー４８ａ，４８ｂ，４８ｃ，４８ｄが視界の端部にぎりぎり入る位置に頭部を移動させる。車室内カメラ４４は、運転者の頭部を撮像して、撮像した画像情報を制御部４１の視界情報取得部５０に出力する。視界情報取得部５０は、入力された画像情報に基づいて、運転者の視界領域の初期領域を導出する。これにより、運転者の視界領域のキャリブレーションが実行される。視界情報取得部５０は、導出した初期領域の情報を、運転者Ｕに固有の視界情報として記憶部４２の個人視界情報データベース４２ｂに格納する。なお、運転者Ｕに固有の視界情報は、スマートフォンなどの携帯端末やＵＳＢメモリやメモリカードなどの記録媒体に、個人データとして保存して携帯可能にしてもよい。
【００２２】
次に、車室内カメラ４４によって、運転者の視線の変化、位置の変化、および姿勢の変化を計測して、状況に応じて刻々と変化する運転者Ｕの視界領域を動的に算出する。すなわち、図３に示すように、視界領域算出部５１は、車室内カメラ４４によって撮像された画像情報から、運転者Ｕからステアリングホイール４８への視線の方向に対する、現在の運転者Ｕの視線の方向の回転角度や回転量を導出する。視界領域算出部５１は、上述したキャリブレーションによって得られた運転者Ｕの視界情報を記憶部４２の個人視界情報データベース４２ｂから読み出して、運転者Ｕの認知領域である視界領域を導出する。具体的には、運転者Ｕからステアリングホイール４８に向かう視線の場合には、運転者Ｕが認知可能な認知領域は、初期領域に基づいた視界領域６１になる。なお、図３において視界領域６１を線状に描画しているが、視界領域６１は、上述したキャリブレーションによって導出された視線の中心から横方向にも設定した少なくとも２つの直線がなす、視線の方向に対して直角の、人間の視野に対応した２次元平面であり、他の視界領域についても同様である。
【００２３】
その後、運転者Ｕがステアリングホイール４８から視線を回転させて車両４０の前方に視線を移動させた場合、運転者が認知可能な認知領域は、視界領域６１が視線の方向に移動した視界領域６２になる。運転者Ｕは車両４０の外部を見ていることから、車両４０の外部に対する運転者Ｕの認知領域は、視界領域６２を外部の距離に拡大させた視界領域６３になる。なお、視界領域６２よりも運転者Ｕ側を認知領域にする場合、視界領域６３は視界領域６２を縮小した領域になる。
【００２４】
また、図４に示すように、運転者Ｕの頭部が移動して視線の方向が変化した場合、視界領域算出部５１は、運転者Ｕの視線の変化、位置の変化、および姿勢の変化の情報を、視線の方向の並進移動および回転移動の合成として、運転者Ｕの初期領域から視界情報を導出する。これにより、視界領域算出部５１は、運転者Ｕの認知領域を、視界領域６３ｓから視界領域６３ｒに動的に算出できる。
【００２５】
以上のように、制御部４１の視界領域算出部５１は、視界情報の初期領域、および車室内カメラ４４によって計測された運転者Ｕの視線の情報に基づいて、初期領域を回転させたり拡大または縮小させたりする。これによって、視界領域算出部５１は、運転者Ｕの認知領域を、それぞれの運転者Ｕに適合した２次元平面の情報である視界領域情報として導出できる。
【００２６】
次に、上述した視界領域情報の導出および物体検知方法を運転者Ｕが運転中に行う場合について説明する。図５は、この一実施形態による物体検知装置による物体検知方法を説明するためのフローチャートである。図６は、この一実施形態による物体検知装置による物体検知方法を説明するための車外カメラ情報を示す図である。
【００２７】
図５に示すように、一実施形態による物体検知方法は、ステップＳＴ１において、上述したように、視界情報取得部５０は、車室内カメラ４４によって撮像された運転者Ｕの姿勢および視線の方向の情報を取得する。次に、ステップＳＴ２に移行して、視界領域算出部５１は、視界情報取得部５０が取得した運転者Ｕの姿勢および視線の方向の情報から、視界領域を算出する。図６の下段に示す例においては、実線で囲んだ打点部の領域である。これにより、運転者Ｕの認知領域を導出することによって、運転者Ｕが見ていない領域である不認知領域を抽出する。不認知領域は、図６の下段に示す被処理領域以外の領域である。
【００２８】
次に、図５のステップＳＴ３に移行して制御部４１は、車外カメラ４５が撮像した車両４０の外部の画像に基づいて、物体の検知を行う。車外カメラ４５が撮像した画像の一例は、図６の上段の車外カメラ画像である。制御部４１は、図６の下段に示すように、算出した認知領域である運転者Ｕの視界領域情報の領域を、物体の検知処理を実行しない非処理領域として除外する。制御部４１は、撮像された画像情報から視界領域情報を除外して抽出した不認知領域に対してのみ、物体の検知処理を実行する。その後、ステップＳＴ４において制御部４１は、運転制御系にフィードバックを行い、ステップＳＴ５において制御部４１が、フィードバック情報を運転制御に反映する。その後、上述したステップＳＴ１〜ＳＴ５を繰り返し実行して、車両４０の運転中において、低負荷で安全な物体検知方法が実現される。
【００２９】
（応用例）
上述した物体検知方法の応用例について説明する。まず、車両４０におけるウィンカーの操作運動の際には、例えば左側通行の場合、左方向のウィンカーを点滅させた際に、物体検知装置は、車外カメラ４５によって撮像された画像情報のうち、左側方の画像情報に対して例えば解像度を上げるなどの画像処理の処理負荷を変更してもよい。または、この場合に、バイク、自転車、および歩行者に限って、物体検知の精度を上げるなど、物体検知装置の処理負荷を変更してもよい。さらに、左方向のウィンカーが点滅しているにもかかわらず、運転者Ｕの視界領域情報が左側方ではない場合に、さらに画像処理の処理負荷を増加させた上で、入出力部４６から警告音などを出力してもよい。これにより、車両４０による巻き込み事故を抑制することが可能になる。
【００３０】
また、例えば左側通行の場合、車両４０において右方向のウィンカーを点滅させた際に、物体検知装置において、バイクおよび他の車両などの直進する物体に対して、画像処理の処理負荷を上げるようにしてもよい。右方向にウィンカーを点滅させた際に、運転者Ｕの視界領域情報が直進してくる他の車両やバイクの存在領域を含む場合、運転者Ｕは、これらの車両やバイクを認知している可能性が極めて高い。そのため、制御部４１は、運転者Ｕが見ていない領域である不認知領域における物体の検知に関する処理負荷を上げて、例えば横断歩道の歩行者や自転車の検知の精度を上げるようにしてもよい。これにより、いわゆる右直事故や車両４０の右折時の事故を抑制することが可能となる。
【００３１】
（変形例）
次に、上述した一実施形態による物体検知方法の変形例について説明する。変形例においては、上述した物体の検知処理を実行しない非処理領域を運転者Ｕの視野領域情報からさらに拡大する。すなわち、運転者Ｕの不認知領域において、上空部分などは車両４０の走行に影響が少ないため、上空部分も物体の検知処理における非処理領域として設定する。これは、車両４０の走行を考慮した場合、上空部分は、運転者Ｕによる認知や不認知、および運転者Ｕの判断に影響しない部分であるためである。
【００３２】
以上説明した本発明の一実施形態によれば、車室内から運転者Ｕがピラーやドアなど静的に発生する死角のみならず、刻々と変化する運転者Ｕの不認知領域を２次元平面情報である視界領域情報に基づいて動的に検出し、その上で、不認知領域に限定して物体の検知処理を実行している。これにより、安全性が高く維持された状態で、低負荷、高速、かつ安価な物体検知装置を実現できる。さらに、制御部４１は、運転者Ｕごとに個別に視界情報の初期領域を取得することができるので、より一層、堅牢で安全な物体検知装置を実現できる。
【００３３】
以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた数値はあくまでも例に過ぎず、必要に応じてこれと異なる数値を用いてもよい。
【符号の説明】
【００３４】
４０  車両
４１  制御部
４２  記憶部
４２ａ  車両情報データベース
４２ｂ  個人視界情報データベース
４４  車室内カメラ
４５  車外カメラ
４８  ステアリングホイール
４８ａ，４８ｂ，４８ｃ，４８ｄ  マーカー
５０  視界情報取得部
５１  視界領域算出部
６１，６２，６３，６３ｒ，６３ｓ  視界領域
【図１】
2020095544.tif 000003
【図２】
2020095544.tif 000004
【図３】
2020095544.tif 000005
【図４】
2020095544.tif 000006
【図５】
2020095544.tif 000007
【図６】
2020095544.tif 000008