(57)【要約】【課題】  撮影した画像を解析することによって歩行者等の対象物の検知する際の精度向上を図る。【解決手段】  車両１００に搭載したカメラ１０３で撮影した画像等を解析して歩行者等の対象物を検知する。検知は、画像内の種々の位置に種々のサイズで検知枠を配置し、検知枠内の画像に対して特徴量を算出し、予め対象物の一般的な姿勢、形状に基づいて用意された特徴量（汎用パターン）と比較することで行う。また、汎用パターンの他に、特定の歩行者についての画像情報を記憶した参照情報を用意しておき、参照情報の特徴量との比較も行う。汎用パターンとの比較においては誤差の許容範囲を大きくして検知漏れを回避しつつ、参照情報との比較を併用することによって、全体として高精度での検知を実現することができる。【選択図】  図１
2017027176.tif 000002
【特許請求の範囲】
【請求項１】
画像解析によって対象物を検知する対象物検知システムであって、
解析すべき解析対象画像を取得する画像取得部と、
特定の前記対象物に基づいて生成された画像情報、および前記対象物とは異なる非対象物を表す画像情報の少なくとも一方を格納し、随時更新されるデータである参照情報を取得する参照情報取得部と、
前記対象物を表す汎用の画像情報を予め格納したデータである汎用パターンおよび前記参照情報と、前記解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する対象物検知部とを備える対象物検知システム。
【請求項２】
請求項１記載の対象物検知システムであって、
前記対象物検知部は、
前記参照情報を用いることなく前記汎用パターンを用いて前記検知を行う１次検知と、
前記参照情報を用いて前記検知を行う２次検知と、
をそれぞれ実行する対象物検知システム。
【請求項３】
請求項２記載の対象物検知システムであって、
前記１次検知と、前記２次検知とは、異なる方法によって実行される対象物検知システム。
【請求項４】
請求項２または３記載の対象物検知システムであって、
前記１次検知による検知結果には、相対的に検知精度が高い高精度検知結果と、検知精度が低い低精度検知結果とが含まれ、
前記２次検知は、前記低精度検知結果に対して適用される対象物検知システム。
【請求項５】
請求項１〜４いずれか記載の対象物検知システムであって、
前記参照情報は、他の対象物検知システムによる検知結果に基づいて生成された情報である対象物検知システム。
【請求項６】
請求項１〜５いずれか記載の対象物検知システムであって、
前記参照情報取得部は、所定のタイミングで、前記参照情報を蓄積するサーバにアクセスして取得する対象物検知システム。
【請求項７】
請求項１〜６いずれか記載の対象物検知システムであって、
更新すべき新たなデータが前記参照情報として取得された時に、該参照情報を配信する配信システムとネットワークを介して接続されており、
前記参照情報取得部は、前記配信される参照情報を取得する対象物検知システム。
【請求項８】
対象物を表す汎用の画像情報を予め格納したデータである汎用パターンと、解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する機能を有する複数の対象物検知システムとネットワークで接続され、該対象物検知システムに対して、前記検知において前記汎用パターンと併用されるべき参照情報を、前記ネットワークを介し送信する参照情報送信システムであって、
いずれかの前記対象物検知システムにおける前記対象物の検知結果または前記対象物とは異なる非対象物の検知結果を取得する取得部と、
前記検知結果に基づいて、特定の前記対象物に基づいて生成された画像情報または前記非対象物を表す画像情報を前記参照情報として格納する参照情報データベースと、
前記検知結果を取得した対象物検知システムか否かに関わらず、いずれかの前記対象物検知システムに対して、前記参照情報データベースに格納された前記参照情報を送信する送信部とを備える参照情報送信システム。
【請求項９】
画像解析によって対象物を検知する対象物検知方法であって、
コンピュータが実行するステップとして、
解析すべき解析対象画像を取得するステップと、
特定の前記対象物に基づいて生成された画像情報、および前記対象物とは異なる非対象物を表す画像情報の少なくとも一方を格納し、随時更新されるデータである参照情報を取得するステップと、
前記対象物を表す汎用の画像情報を予め格納したデータである汎用パターンおよび前記参照情報と、前記解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知するステップとを備える対象物検知方法。
【請求項１０】
コンピュータによって画像解析によって対象物を検知するためのコンピュータプログラムであって、
解析すべき解析対象画像を取得する機能と、
特定の前記対象物に基づいて生成された画像情報、および前記対象物とは異なる非対象物を表す画像情報の少なくとも一方を格納し、随時更新されるデータである参照情報を取得する機能と、
前記対象物を表す汎用の画像情報を予め格納したデータである汎用パターンおよび前記参照情報と、前記解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する機能とを前記コンピュータによって実現するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析によって対象物を検知するシステムに関する。
【背景技術】
【０００２】
車両などの移動体において、歩行者等との衝突を回避し、安全性を向上させるため、歩行者等を検知する技術が種々提案されている。
例えば、特許文献１は、車両周辺の画像に基づいて画像解析によって歩行者を検知する技術を開示する。自車で撮影した画像だけでなく、他車が撮影した画像等を通信で取得して利用する旨の開示もある。
特許文献２は、自車で検出した歩行者の情報を、車対車通信を利用して他車にも送信することにより、情報の豊富化を図る技術を開示している。
特許文献３は、自車からは視認できない歩行者の情報を他車から受け取ることによって、認識できる歩行者の範囲を拡大する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１６３６３７号公報
【特許文献２】特開２００６−１７８６７３号公報
【特許文献３】特開２００６−３５０６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
歩行者等を画像解析によって検知する方法は、概ね次の通りである。解析対象となる画像から予め設定された検出ウィンドウに対応する画像領域を切り出し、この画像領域に対する特徴量を算出する。この特徴量が、歩行者等の一般的な姿勢や形状に基づいて用意された特徴量に近い場合には、その画像領域は歩行者等を表していると認識される。解析対象となる画像内で、検出ウィンドウの位置およびサイズを種々変化させることによって、画像内の任意の位置にある歩行者等を認識することができる。かかる方法では、ＨＯＧ(Histograms of Oriented Gradients)、ＤＰＭ（Deformable Part Model）などの特徴量が用いられることが多い。
しかし、かかる方法では、まだ検知精度を向上する余地が残されていた。例えば、撮影位置に近い歩行者等は高解像度で撮影されているため高い精度で検知可能であるが、遠方の歩行者等は小さく低解像度で撮影されることになるため、検知精度が低下することがある。また、歩行者等の一部が他の障害物で遮られている場合や、歩行者の姿勢が予め特徴量を用意する際に想定されたものとは大きく異なる場合にも、検知精度が低下することがある。
かかる課題は、検知対象が歩行者等である場合に特有の問題ではなく、どのような対象物を検知する場合であっても共通に生じる課題である。本発明は、かかる課題に鑑み、画像解析によって対象物を検知する際の精度向上を図ることを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、
画像解析によって対象物を検知する対象物検知システムであって、
解析すべき解析対象画像を取得する画像取得部と、
特定の前記対象物に基づいて生成された画像情報、および前記対象物とは異なる非対象物を表す画像情報の少なくとも一方を格納し、随時更新されるデータである参照情報を取得する参照情報取得部と、
前記対象物を表す汎用の画像情報を予め格納したデータである汎用パターンおよび前記参照情報と、前記解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する対象物検知部とを備える対象物検知システムとして構成することができる。
【０００６】
本発明によれば、対象物の検知に際して、汎用パターンだけではなく、参照情報を併用する。例えば、歩行者を対象物とする場合に即して説明すると、一般的な歩行者の姿勢や形状に基づいて用意されるのが汎用パターンとなるのに対して、参照情報には、特定の歩行者に基づいて生成された画像情報、または歩行者以外の物、例えば樹木などを表す画像情報が含まれる。特定の歩行者に基づいて生成された画像情報の場合、画像情報は、その歩行者の着用している衣服、体型、皮膚の色などが反映された個性の高い情報となる。従って、解析対象画像内に、その特定の歩行者自身またはそれに類似した特徴の歩行者が含まれていれば、汎用パターンによって検知できない場合であっても、参照情報に基づいて検知できる可能性があり、総じて歩行者の検知精度を向上させることができる。また、樹木など歩行者以外の物の画像情報を参照情報として用いる場合には、歩行者以外の画像を検知結果から除去することが可能となるため、結果として歩行者の検知精度を向上させることができる。
ここでは、歩行者を対象物とする場合を例にとって説明したが、この例は、いかなる対象物を検知する場合でも、該当する。このように、本発明によれば、汎用パターンと参照情報とを併用することにより、対象物の検知精度を大きく向上させることが可能となる。
【０００７】
本発明において、検知すべき対象物は、例えば、歩行者、自転車に乗った人物、車両、動物など移動する種々の対象、および信号機、標識、看板、樹木、建物など移動しない種々の対象から任意に設定することができる。対象物は、一種類である必要はなく、複数種類であってもよい。
参照情報は、例えば、対象物検知システムによって過去に検知された情報や、他の対象物検知システムによって現在または過去に取得された情報などを利用することができる。参照情報の授受は、対象物検知システムが接続されたネットワーク上のサーバ等を介して行うものとしてもよいし、対象物検知システム同士で確立される通信を介して行うようにしてもよい。また、参照情報の情報源は、必ずしも対象物検知システムには限られない。例えば、歩行者を検知の対象物とする場合、歩行者が自らの画像情報を、参照情報として登録可能な構成としてもよい。
汎用パターンおよび参照情報を構成する画像情報の形式は、画像データであってもよいし、画像から算出された特徴量であってもよい。画像データとして保持されている場合、データ容量が大きくなる不利益があるものの、検知方法に応じて特徴量を算出できるため、種々の検知方法に柔軟に利用可能となる利点がある。一方、特徴量の形で保持されている場合には、データ容量を抑制することができる利点がある。汎用パターンを特徴量の形式で保持し、参照情報を画像データの形式で保持するなど、双方の形式を混在させてもよい。
対象物の検知は、汎用パターンと参照情報とを同時に併用するものであってもよいし、別々に利用するものであってもよい。
対象物検知システムは、街角等に設置された防犯カメラを利用して構成するなど固定、即ち位置を変えないシステムとして構成されていてもよいが、車両などの移動体に搭載されたシステムとして構成されてもよい。また、対象物検知システムは、単体の装置によって構成されてもよいが、複数の装置をネットワーク等で接続して構成されてもよい。
【０００８】
本発明の対象物検知システムにおいて、
前記対象物検知部は、
前記参照情報を用いることなく前記汎用パターンを用いて前記検知を行う１次検知と、
前記参照情報を用いて前記検知を行う２次検知と、
をそれぞれ実行するものとしてもよい。
汎用パターンと参照情報とを別々の検知処理で用いる態様に相当する。こうすることによって、汎用パターンおよび参照情報のそれぞれの特徴を活かした対象物検知を行うことができ、検知精度の向上を図ることができる。
上記態様においては、１次検知の検知結果に対して２次検知を行うようにしてもよいし、１次検知と２次検知とを並行して行い、それぞれの検知結果の比較、論理演算などによって最終的な検知結果を得るようにしてもよい。１次検知、２次検知をさらに細分化し、または、両者に加えて、汎用パターンと参照情報とを併用する３次検知を行うようにしてもよい。
【０００９】
また、このように１次検知と２次検知とを実行する場合においては、
前記１次検知と、前記２次検知とは、異なる方法によって実行されるものとしてもよい。
例えば、両者で異なる特徴量を用いて対象物検知を行う態様などが該当する。
このように１次検知、２次検知で異なる方法を適用することにより、さらに汎用パターンおよび参照情報のそれぞれの特徴を活かした対象物検知を行うことができ、検知精度の向上を図ることができる。
それぞれの検知で用いる特徴量としては、例えば、１次検知には、画像の形状に着目した特徴量であるＨＯＧまたはＤＰＭを用い、２次検知では、画像の色に着目した特徴量であるＭＣＳＨＲ（Major Color Spectrum Histogram）を用いても良い。
【００１０】
さらに、
前記１次検知による検知結果には、相対的に検知精度が高い高精度検知結果と、検知精度が低い低精度検知結果とが含まれ、
前記２次検知は、前記低精度検知結果に対して適用されるものとしてもよい。
１次検知における検知精度は、解析対象画像の特徴量と汎用パターンの特徴量の許容誤差範囲を調整することによって変化させることができる。許容誤差範囲を小さくすれば検知精度は高く、大きくすれば低くなる。検知精度が高いことは、対象物以外のものを誤って対象物と認識してしまう誤認識を抑制できる一方、遠方の対象物のように低解像度で撮影された対象物や他の障害物に一部が隠蔽された対象物などが検知漏れとなるおそれが高くなることを意味する。逆に、検知精度が低いことは、誤認識のおそれが高まる一方、検知漏れのおそれが低いことを意味する。
上記態様によれば、１次検知の検知結果を検知精度によって分け、誤認識のおそれが低い低精度検知結果に対して、２次検知を適用することにより、その検知精度を向上させることができる。こうすることによって、高精度検知結果の精度は保持しつつ、検知漏れを低精度検知結果および２次検知によって補償して、全体として対象物の検知漏れを抑制しつつ検知精度を向上させることが可能となる。
高精度検知結果および低精度検知結果は、それぞれ特徴量の許容誤差範囲を変化させて１次検知を２回行うようにしてもよいし、１回の１次検知の処理内で許容誤差範囲を変化させて、高精度検知結果および低精度検知結果を同時に得るようにしてもよい。
【００１１】
本発明では、前記参照情報は、他の対象物検知システムによる検知結果に基づいて生成された情報であるものとすることができる。
こうすることによって、対象物検知システム同士で情報を共有することができ、精度向上を図ることができる。
この態様においては、それぞれの対象物検知システムによる検知結果を全て参照情報としてもよいが、参照情報の品質保持という観点からは、所定以上の検知精度が保証された検知結果を選択して参照情報とすることが好ましい。例えば、先に説明した１次検知における高精度検知結果のみを参照情報とすることが考えられる。
また、参照情報は、他の対象物検知システムが過去に検知したものに限らず、現時点で検知している結果であってもよい。
【００１２】
本発明においては、
前記参照情報取得部は、所定のタイミングで、前記参照情報を蓄積するサーバにアクセスして取得するものとしてもよい。
こうすることによって、不要な通信を抑制でき、参照情報が必要となった時点で、最新の情報を取得できる利点がある。また、参照情報はサーバに蓄積されているため、例えば、移動する対象物についての参照情報については、取得から長時間が経過し、その信憑性が低下した参照情報は送信対象から除外するなどの管理を行うことも可能となる。
【００１３】
本発明においては、
更新すべき新たなデータが前記参照情報として取得された時に、該参照情報を配信する配信システムとネットワークを介して接続されており、
前記参照情報取得部は、前記配信される参照情報を取得するものとしてもよい。
こうすることにより、参照情報を即時に配信できるため、リアルタイム性を向上させることができる。
【００１４】
以上で説明した本発明の特徴は、必ずしも全てを備えている必要はなく、適宜、その一部を省略したり組み合わせたりしてもよい。
また、本発明は、上述の対象物検知システムとしての構成に限らず、他の種々の構成をとることもできる。
例えば、本発明は、次に示すように、対象物検知システムに対して上述の参照情報を送信する参照情報送信システムとして構成してもよい。
即ち、対象物を表す汎用の画像情報を予め格納したデータである汎用パターンと、解析対象画像の任意の領域内の画像とを、画像の特徴を表す所定の特徴量に基づいて比較することにより、前記解析対象画像から前記対象物に相当する画像領域を検知する機能を有する複数の対象物検知システムとネットワークで接続され、該対象物検知システムに対して、前記検知において前記汎用パターンと併用されるべき参照情報を、前記ネットワークを介し送信する参照情報送信システムであって、
いずれかの前記対象物検知システムにおける前記対象物の検知結果または前記対象物とは異なる非対象物の検知結果を取得する取得部と、
前記検知結果に基づいて、特定の前記対象物に基づいて生成された画像情報または前記非対象物を表す画像情報を前記参照情報として格納する参照情報データベースと、
前記検知結果を取得した対象物検知システムか否かに関わらず、いずれかの前記対象物検知システムに対して、前記参照情報データベースに格納された前記参照情報を送信する送信部とを備える参照情報送信システムとの構成である。
かかる参照情報送信システムによれば、対象物検知システムに対して有効な参照情報を提供することが可能となり、それぞれの対象物検知システムにおける検知精度の向上を図ることができる。参照情報送信システムにおいても、先に対象物検知システムにおいて説明した種々の特徴を適宜、適用することが可能である。また、参照情報を要求する対象物検知システムの位置情報と、参照情報送信システムが取得した検知結果に付された位置情報とに基づいて、送信すべき参照情報を選択する機能を設けても良い。
【００１５】
本発明は、さらに他の態様として、コンピュータによって対象物を検知する対象物検知方法や参照情報を送信する参照情報送信方法として構成してもよい。また、これらの対象物検知方法、参照情報送信方法をコンピュータによって実現するためのコンピュータプログラム、さらには当該コンピュータプログラムを記録したＣＤ−Ｒ、ＤＶＤその他のコンピュータが読み取り可能な記録媒体として構成してもよい。
【図面の簡単な説明】
【００１６】
【図１】実施例としての歩行者検知システムの構成を示す説明図である。
【図２】参照情報データベースの構造を示す説明図である。
【図３】検知方法について示す説明図である。
【図４】歩行者検知処理のフローチャートである。
【図５】歩行者検知処理のフローチャートである。
【図６】参照情報送信処理のフローチャートである。
【図７】高精度検知処理における歩行者検知結果を示す説明図である。
【図８】低精度検知処理における歩行者検知結果を示す説明図である。
【図９】最終的な歩行者検知結果を示す説明図である。
【図１０】参照情報配信処理のフローチャートである。
【図１１】変形例（１）としての歩行者検知処理のフローチャートである。
【図１２】変形例（２）としての歩行者検知処理のフローチャートである。
【発明を実施するための形態】
【実施例１】
【００１７】
本発明について、対象物を歩行者とする歩行者検知システムとして構成した実施例を以下に説明する。歩行者検知システムは、車両に搭載されたカメラ等によって撮影された画像を解析して、歩行者を検知し、歩行者がいることを報知することで、運転の安全性向上を図ろうとするシステムである。
【００１８】
Ａ．システム構成：
図１は、実施例としての歩行者検知システムの構成を示す説明図である。歩行者検知システムは、解析装置１１０等を搭載した車両１００と、サーバ２００とを備えている。両者は、インターネットＩＮＴを介して通信可能に接続されている。歩行者検知システムは、かかる構成に限らず、スタンドアロンで稼働する装置として構成してもよいし、さらに多くのサーバ等からなる分散システムとして構成してもよい。また、車両に搭載した移動可能なシステムとしての構成の他、路肩等に固定されたシステムとして構成することも可能である。
実施例のサーバ２００には、複数台の車両１００［１］、１００［２］等が接続される。これらの車両１００［１］、１００［２］等は、サーバ２００を共有しながら、複数の歩行者検知システムを構成することになる。以下の説明では、車両１００［１］、１００［２］と記載するときは個別の車両を表し、車両１００と記載するときは、それらの車両に共通の事項を表すものとする。本実施例では、サーバ２００を介して情報を共有する例を示すが、例えば、車両１００［１］、１００［２］の間に車車間通信を確立させ、サーバ２００を介さずに両者間で情報を共有する構成をとることもできる。
【００１９】
まず、車両１００の構成について説明する。
車両には、インターネットＩＮＴと通信をするためのアンテナ１０１、車両の位置情報を取得するためのＧＰＳ（Global Positioning System）１０２、前方の画像を撮影するためのカメラ１０３、および運転者に歩行者検知の結果等を表示するためのディスプレイ１０４が搭載され、それぞれ解析装置１１０に接続されている。カメラ１０３は、動画、静止画のいずれを撮影可能なものであってもよい。
解析装置１１０は、内部にＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク等を備えたコンピュータとして構成されており、コンピュータプログラムによって図中に示された各機能ブロックを実現する。
通信部１１１は、インターネットＩＮＴとの無線通信を制御する。本実施例では、この通信を介して、画像解析に利用する参照情報の授受などが行われることになる。
参照情報取得部１１２は、サーバ２００にアクセスして、画像解析に利用する参照情報を取得する。参照情報の内容については後述する。
画像取得部１１３は、カメラ１０３で撮影された画像を、歩行者検知のための解析対象画像として取得する。画像取得部１１３は、過去にカメラ１０３で撮影された画像を解析対象画像として利用できるようにしてもよい。
汎用パターン記憶部１１５は、画像解析に利用する汎用パターンを記憶する。汎用パターンとは、対象物である歩行者の一般的な姿勢や形状を表す特徴量を格納したデータである。汎用パターンは、画像データの形で用意することもできるが、本実施例では、汎用パターンに基づく歩行者検知で用いられる特徴量、即ちＨＯＧ、ＤＰＭなどの形で用意するものとした。こうすることにより、汎用パターンのデータ容量を抑制することができる。
歩行者検知部１１４は、汎用パターン、参照情報を用いて、解析対象画像の解析を行い、歩行者を検知する。検知方法については、後述する。検知された結果の一部は、新たな参照情報として通信部１１１を介してサーバ２００に送信される。
表示制御部１１６は、ディスプレイ１０４の表示内容を制御し、歩行者検知の結果を運転者に表示する。ディスプレイ１０４の表示は、ナビゲーションなど、その他の表示と兼用しても良い。
本実施例では、上述の各機能ブロックは、解析装置１１０にコンピュータプログラムをインストールすることによってソフトウェア的に実現しているが、これらの一部または全部は、ハードウェア的に実現しても構わない。
【００２０】
サーバ２００の構成について説明する。サーバ２００には、図示する各機能ブロックが用意されている。
参照情報データベース２０６は、車両１００での歩行者検知に利用される参照情報を格納するデータベースである。本実施例では、参照情報は車両１００から主として取得されるが、インターネットＩＮＴに接続された携帯端末３００からも登録可能となっている。携帯端末３００のユーザは、携帯端末に搭載されたカメラ３０１を用いて自分の画像を撮影し、これを参照情報としてサーバ２００に登録するのである。携帯端末３００から取得された画像も、参照情報データベース２０６に登録され、その後の歩行者検知に活用される。このようにユーザが自分の画像を自ら参照情報として登録可能としておくことにより、歩行者検知システムによってユーザ自身が検知される可能性を高めることができ、車両１００に衝突される危険性の低減を図ることが可能となる。
参照情報は、また、街角等に設置された防犯カメラなどの映像を登録可能としてもよい。この場合、防犯カメラの映像を単にサーバ２００に送信する構成としてもよいし、車両１００と同様の解析装置１１０を組み込むことにより、防犯カメラを、位置が固定された歩行者検知システムとして構成してもよい。
データベース管理部２０４は、参照情報データベース２０６の更新、読み出しなどの管理を行う。また、車両１００からの要請に応じて、送信すべき参照情報の選択などの制御も行う。
通信部２０２は、インターネットＩＮＴとの通信を制御する。
【００２１】
図２は、参照情報データベース２０６の構造を示す説明図である。参照情報データベースには、車両１００または携帯端末３００から取得された参照情報が時系列的に格納されている。参照情報は、画像解析による歩行者検知に用いられる画像情報であり、特定の歩行者に基づいて生成された画像情報（以下、「ポジティブサンプル」と呼ぶこともある）と、歩行者以外を表す画像情報（以下、「ネガティブサンプル」と呼ぶこともある）とを含んでいる。ポジティブサンプルの場合、歩行者の画像情報いう点では汎用パターン（図１参照）と共通するが、汎用パターンが歩行者の「一般的な」姿勢や形状を表すものであるのに対し、参照情報は、「特定の」歩行者に基づいて生成された画像情報という点で異なっている。ネガティブサンプルとしては、例えば、樹木、標識、電柱など、画像解析において歩行者と誤認識しやすい物について用意することができる。
参照情報の各レコードの構造は、次の通りである。
ＩＤとして付された「ＲＥＦ００１」は、各レコードを一意に特定するための識別情報である。
取得日時は、参照情報がサーバ２００によって取得された年（Ｙ）、月（Ｍ）、日（Ｄ）、時間（Ｈｒ）、分（Ｍｉｎ）、秒（Ｓｅｃ）である。
位置情報は、参照情報が取得された位置の情報であり、本実施例では、車両１００または携帯端末３００の位置情報を緯度（ＬＡＴ１）、経度（ＬＯＮ１）で表したものを用いた。
提供者ＩＤ「Ａ００１」は、参照情報を登録した者の識別情報である。それぞれ、車両１００、携帯端末３００、またはユーザ自身に割り当てられた識別情報を用いることができる。
特徴量「ＦＱ１」は、参照情報の実体となる情報である。参照情報も画像データの形で用意することもできるが、本実施例では、データ容量抑制のため、特徴量の形で用意した。特徴量としては、参照情報に基づく検知処理で用いられるＭＣＳＨＲを用いた。ＭＣＳＨＲは、画像内の主要な色のヒストグラムによる特徴量である。画像内の色の分布は、解像度の高低によってあまり影響を受けないため、低解像度の画像であっても類似度の判断を比較的精度良く行うことができる特徴がある。この特徴量は、参照情報データベース２０６に新たな参照情報を格納する際に、サーバ２００のデータベース管理部２０４が算出するようにしてもよいし、参照情報を送信する車両１００または携帯端末３００で算出するようにしてもよい。
種別は、参照情報が歩行者か否かを表す情報である。
【００２２】
Ｂ．検知方法：
図３は、検知方法について示す説明図である。汎用パターン、参照情報のいずれを用いる場合も共通の方法である。
図中の上部には、解析対象画像を例示した。歩行者検知のときは、解析対象画像内に所定の大きさの検知枠を設定し、矢印Ａに示すように、順次、その位置を移動させながら、処理を実行する。また、あるサイズの検知枠による処理が完了すると、検知枠のサイズを変更し、同様に処理を実行する。
【００２３】
処理の内容は、次の通りである。検知枠のサイズ、位置を決めると、その内部の画像領域に対して特徴量を算出する。図中では、オブジェクトＯＢＪ１、ＯＢＪ２、ＯＢＪ３の画像に対してそれぞれ特徴量１〜特徴量３が得られている様子を例示した。算出されるべき特徴量は、検知方法によって任意に選択できる。本実施例では、汎用パターンを利用するときは、特徴量としてＨＯＧまたはＤＰＭを算出し、参照情報を利用するときはＭＣＳＨＲを算出する。この他の特徴量を用いることも可能である。
【００２４】
特徴量が算出されると、これを検知用パターンとの類似度を比較する。検知用パターンは、汎用パターンまたは参照情報であり、算出された特徴量１〜特徴量３と同種の特徴量からなるデータである。検知用パターンが歩行者を表す汎用パターンまたは参照情報の場合は、これらの特徴量と、オブジェクトＯＢＪ１〜ＯＢＪ３の特徴量１〜特徴量３との誤差が所定範囲内であれば、両者は類似、即ちオブジェクトＯＢＪ１〜ＯＢＪ３は歩行者であると認識されることになる。また、検知用パターンが歩行者以外の樹木等を表す汎用パターンまたは参照情報の場合は、これらの特徴量と、オブジェクトＯＢＪ１〜ＯＢＪ３の特徴量１〜特徴量３との誤差が所定範囲内であれば、オブジェクトＯＢＪ１〜ＯＢＪ３は歩行者以外であると判断されることになる。ただし、歩行者以外の樹木等を表す検知用パターンの特徴量と、オブジェクトＯＢＪ１〜ＯＢＪ３の特徴量１〜特徴量３との誤差が大きい場合、オブジェクトＯＢＪ１〜ＯＢＪ３が樹木等に該当しないと判断することはできるが、だからといって歩行者であると判断することはできない。
【００２５】
かかる処理によって、オブジェクトＯＢＪ１〜ＯＢＪ３が歩行者か否かを検知することができる。また、特徴量の誤差の許容範囲を変化させることによって、その検知精度を変化させることもできる。歩行者を表す検知用パターンを用いるとともに、特徴量の誤差の許容範囲を小さくすれば、歩行者を検知する精度は高くなり、許容範囲を大きくすれば精度は低くなる。
図中の例において、実線枠で示した検知結果１は、検知用パターンとの誤差が十分に小さく、高精度で歩行者と検知されたことを表している。破線枠の検知結果２は、検知用パターンとの誤差がある程度大きいため、誤差の許容範囲を広げた場合に、歩行者と検知され得る、低精度の結果であることを表している。オブジェクトＯＢＪ３については、許容範囲を大きくしても、それを超える誤差があり、歩行者とは検知されないことを表している。
【００２６】
図３の例では、検知枠を移動させながら、それぞれの画像領域に対して特徴量を算出する例を示したが、既にオブジェクトＯＢＪ１〜オブジェクトＯＢＪ３のように、画像が抽出済みの場合には、検知枠を用いるまでなく抽出された画像に基づいて特徴量を算出し、検知用パターンとの比較を行えばよい。
【００２７】
Ｃ．歩行者検知処理：
図３で説明した検知方法を用いて本実施例において歩行者を検知する処理について説明する。
図４および図５は、歩行者検知処理のフローチャートである。この処理は、歩行者検知部１１４の機能に相当する処理であり、ハードウェア的には、車両１００の解析装置１１０が実行する処理である。
処理を開始すると、解析装置１１０は、解析対象画像を取得する（ステップＳ１０）。解析対象画像は、カメラ１０３でリアルタイムに撮影された画像としてもよいし、既に撮影済みの画像を利用してもよい。
【００２８】
解析装置１１０は、解析対象画像に対して、高精度検知処理を実行する（ステップＳ１２）。高精度検知処理は、検知用パターンとして汎用パターンを用い、類似度が高いもの、即ち特徴量の誤差の許容範囲が十分に小さいものを歩行者と検知する処理である。こうして得られた検知結果を、高精度検知結果と称する。高精度検知結果は、歩行者であることが十分に信頼できる結果であると判断し、解析装置１１０は、高精度検知結果をサーバ２００に参照情報として登録する（ステップＳ１４）。
【００２９】
次に、解析装置１１０は、低精度検知処理を実行する（ステップＳ１６）。低精度検知処理は、検知用パターンとして汎用パターンを用い、類似度が低いもの、即ち特徴量の誤差の許容範囲を大きくして、歩行者の検知を行う処理である。こうして得られた検知結果を、低精度検知結果と称する。本実施例では、低精度検知結果には、高精度検知結果も包含されることになる。
【００３０】
高精度検知処理では、誤差の許容範囲を小さくすることによって検知精度が確保される。しかし、許容範囲を小さくすると、遠方にいる歩行者や他の障害物によって一部が隠蔽されている歩行者などが、検知漏れとなる。これに対し、低精度検知処理では、許容範囲を大きくすることによって、検知精度は低下するものの、こうした検知漏れを抑制することができる。高精度検知処理および低精度検知処理における誤差の許容範囲は、こうした効果を考慮して、解析的または実験的に設定すればよい。
【００３１】
解析装置１１０は、次にサーバ２００にアクセスして、参照情報を取得する（ステップＳ１８）。本実施例では、参照情報が過剰になりすぎないよう、サーバ２００において、車両１００に適した参照情報を選択している。この処理については後述する。
【００３２】
次に、解析装置１１０は、参照情報に基づき低精度検知結果をフィルタリングする（ステップＳ２０）。フィルタリングの方法は、図３で説明した検知方法と同様である。即ち、それぞれの低精度検知結果について、参照情報に対応した特徴量、即ちＭＣＳＨＲを算出し、これと参照情報の特徴量との誤差を比較するのである。歩行者を表す参照情報（ポジティブサンプル）との誤差が許容範囲の場合には、歩行者として検知され、許容範囲を超える場合には、歩行者でないとして除外される。また、歩行者以外を表す参照情報（ネガティブサンプル）との誤差が許容範囲の場合は、歩行者ではないとして除外され、許容範囲を超える場合には、歩行者として検知されることになる。
【００３３】
図５のステップＳ２０の図中にフィルタリングの様子を模式的に示した。高精度検知結果がＤ１〜Ｄ３、低精度検知結果がＤ１〜Ｄ６であるとする。四角枠で囲んだ検知結果Ｄ４〜Ｄ６は、低精度検知処理（ステップ１６）において新たに検知された結果である。これらの低精度検知結果Ｄ１〜Ｄ６に対して参照情報を用いてフィルタリングを行う。参照情報は、特定の歩行者に基づいて生成された情報であるから、高精度検知結果Ｄ１〜Ｄ３であっても、参照情報には類似しない可能性がある。図の例では、高精度検知結果Ｄ２のみがフィルタリングを通過し、高精度検知結果Ｄ１、Ｄ３はフィルタリングで排除された例を示した。同様のことが検知結果Ｄ４〜Ｄ６についても言える。図の例では、検知結果Ｄ４〜Ｄ６についても、一部の検知結果Ｄ５がフィルタリングを通過した例を示した。低精度検知結果に対して参照情報を用いたフィルタリングを行うことは、一旦、精度を犠牲にして検知漏れを抑制した後、フィルタリングによって検知精度を確保するという意義を有する。図の例では、この処理によって、高精度検知結果では検知されなかった検知結果Ｄ５を新たに歩行者であると検知できたことになる。
【００３４】
先にも説明した通り、本実施例では、フィルタリングの際には、高精度検知結果、低精度検知結果とは異なる特徴量を用いている。高精度検知結果、低精度検知結果ではＨＯＧ、ＤＰＭという姿勢や形状を考慮した特徴量を用いるのに対し、フィルタリングでは、ＭＣＳＨＲという色を考慮した特徴量を用いるのである。ＭＣＳＨＲは、解像度が低い場合でも比較的高い検知精度を実現できる特徴があるため、フィルタリングに適していると考えられる。もっとも、どのような特徴量を用いるかは任意であり、高精度検知、低精度検知、フィルタリングのいずれに対しても、共通の特徴量を用いても差し支えない。
【００３５】
上述のフィルタリングでは、低精度検知結果の精度を向上させることができる反面、高精度検知結果の一部も欠落してしまうおそれがある。
そこで、解析装置１１０は、フィルタリング結果と高精度検知結果の論理和を生成する（ステップＳ２２）。図中に論理和の様子を示した。左側の列は、フィルタリングの結果、即ちステップＳ２０で得られた結果を示し、中央は高精度検知処理の結果を示し、右の列は両者の論理和を示している。論理和をとることによって、高精度検知結果のうち、フィルタリングで欠落したＤ１、Ｄ３も含んだ形で検知結果を得ることができる。
以上の処理を終えると、解析装置１１０は、論理和の結果を歩行者検知結果として出力し（ステップＳ２４）、歩行者検知処理を終了する。
【００３６】
図６は、参照情報送信処理のフローチャートである。解析装置１１０の参照情報取得（図４のステップＳ１８）に応じて、サーバ２００側で行われる処理である。
サーバ２００は、解析装置１１０から参照情報の送信要求を受信する（ステップＳ３０）。本実施例では、この送信要求に、解析装置１１０が搭載された車両の位置情報および進行方向を含めるものとした。
【００３７】
次に、サーバ２００は、受信した位置情報および進行方向に基づいて、送信すべき参照情報を抽出する（ステップＳ３２）。図中に抽出方法を模式的に示した。
本実施例では、歩行者のように移動する物体についての参照情報と、信号機、標識、樹木などのように固定された物体についての参照情報とで抽出方法を切り替えている。
固定された物体の場合、参照情報を要求した要求車両から、進行方向を中心に所定の角度ＡＮＧの広がりで、半径Ｒ１の扇形の領域を設定する。そして、この領域内にある参照情報を抽出する。領域に属するか否かは、参照情報に付された位置情報に基づいて判断することができる。図の例において参照情報ｒｅｆ１〜ｒｅｆ４が、固定された物体を表しているとすると、白丸で示した参照情報ｒｅｆ１、ｒｅｆ３が抽出され、×で示した参照情報ｒｅｆ２，ｒｅｆ４は、抽出されない。固定された物体の場合、車両１００に搭載したカメラで撮影可能な範囲内の参照情報は有用性が低く除外しても差し支えないと考えられるため、上述のように送信すべき参照情報を絞ることによって、情報が過剰になることを回避でき、処理効率を向上させることができる。扇形の領域を定める角度ＡＮＧ、半径Ｒ１は、カメラの解像度、画角などを考慮して設定すればよい。
【００３８】
歩行者のように移動する物の場合、要求車両を中心に半径Ｒ２の円形領域を設定し、その領域内にある参照情報を抽出する。図の例において、参照情報ｒｅｆ１０〜ｒｅｆ１４が移動する物を表しているとすると、黒丸で示した参照情報ｒｅｆ１０、ｒｅｆ１２〜ｒｅｆ１４が抽出され、×で示した参照情報ｒｅｆ１１は除外される。参照情報を抽出するための領域を進行方向にかかわらず円形としたのは、移動する物の場合、参照情報を取得した時点での位置情報が要求車両よりも後方であっても、その後に移動して、現時点では、要求車両の前方に位置しているかも知れないからである。逆に、前方に位置した参照情報も、その後、移動して要求車両に接近してくる可能性もある。従って、円形領域を定める半径Ｒ２は、カメラの解像度と、参照情報の移動可能な範囲を考慮して決定すればよく、扇形の領域を決める半径Ｒ１よりも大きくすることが好ましい。
【００３９】
サーバ２００は、こうして参照情報を抽出すると、抽出結果を送信して（ステップＳ３４）、参照情報送信処理を終了する。
本実施例では、上述の通り参照情報のうち画像解析に有用と考えられるものを抽出して送信することにより、参照情報の情報量を抑制でき、通信を含む処理の効率化を図ることができる。
参照情報の抽出は、位置情報だけでなく、さらに種々の情報を考慮してもよい。例えば、参照情報が取得された日時を考慮し、取得からの経過時間が所定の基準期間を超えるときに、参照情報が陳腐化したと判断して、除外することが考えられる。この場合、固定された物を除外するための基準期間を、移動する物を除外するための基準期間よりも大きく設定については、時間または分などの短い単位で除外する判断基準を異ならせてもよい。
【００４０】
Ｄ．検知結果：
本実施例による歩行者検知例について、実験結果を例示しながら説明する。
図７は、高精度検知処理（図４のステップＳ１２参照）における歩行者検知結果を示す説明図である。図には、車両から撮影した画像を示した。この画像内には、四角の枠ＩＭＧ１の部分と、遠方にある信号の付近に歩行者がそれぞれ撮影されている。しかし、高精度検知処理では、信号近くの歩行者は解像度が低いため、検知されず、枠ＩＭＧ１の歩行者のみが検知される。
【００４１】
図８は、低精度検知処理（図４のステップＳ１６参照）における歩行者検知結果を示す説明図である。低精度検知処理では、特徴量の許容誤差を大きくして、歩行者検知を行う。この結果、図中に示されるように、高精度検知処理で検知されていた枠ＩＭＧ１の歩行者に加え、信号付近の枠ＩＭＧ２で示した歩行者も検知されている。ただし、許容誤差を大きくしたため、枠ＩＭＧ３のように樹木も誤認識されている。
【００４２】
図９は、最終的な歩行者検知結果を示す説明図である。図８の検知結果に対して、参照情報を用いたフィルタリングを施すことによって、誤認識されていた樹木（枠ＩＭＧ３）を除去することができる。また、フィルタリングの結果と、高精度検知処理との論理和をとることによって、枠ＩＭＧ１の検知結果も保持することができる。本実施例では、これらの処理により、２人の歩行者（枠ＩＭＧ１、ＩＭＧ２）を適切に検知することが可能となる。
【００４３】
Ｅ．効果および変形例：
以上で説明した通り、本実施例の歩行者検知システムによれば、汎用パターンと参照情報とを併用することによって、歩行者の検知精度を向上させることができる。特に、汎用パターンを用いて高精度での検知を行うとともに、低精度での検知を行って検知漏れを回避し、さらに、低精度の検知結果に対しては参照情報を利用することで検知精度を向上させることにより、図７〜９に示した適切な検知を実現することができる。
また、高精度検知結果を、参照情報として利用可能とすることにより、参照情報の豊富化を図ることができ、歩行者検知システム全体としての検知精度をより向上させることができる。
【００４４】
本実施例において説明した種々の特徴は、必ずしも全てを備えている必要はなく、適宜、一部を省略したり組み合わせたりすることが可能である。
また、本実施例における歩行者検知処理（図４、図５）、および参照情報送信処理（図６）などの処理も、次に示すように、種々の変形例を考えることができる。
【００４５】
（１）参照情報配信処理：
図１０は、参照情報配信処理のフローチャートである。実施例では、車両からの参照情報の送信要求に応じて、サーバ２００が参照情報を送信する処理を例示した。参照情報配信処理は、この処理の変形例として、参照情報の送信要求に依らず、新たな参照情報がサーバに登録された時点で、サーバ２００から参照情報を配信する処理に相当する。
図の左列に示す通り、ある車両１００［１］において歩行者検知処理が実行されているとする。車両１００［１］は、高精度の歩行者検知処理を実行し（ステップＳ４０）、その結果をサーバ２００に送信する（ステップＳ４２）。これらの処理内容は、図４のステップＳ１２、Ｓ１４と同様である。
【００４６】
サーバ２００は、車両１００［１］から歩行者検知結果を受信し（ステップＳ５０）、参照情報データベースを更新する（ステップＳ５２）。そして、更新結果を各車両に配信する（ステップＳ５４）。ここで配信する情報は、参照情報全体としてもよいが、ステップＳ５２で新たに登録された参照情報に絞ることが情報量抑制という観点から好ましい。
他の車両１００［２］は、サーバ２００からの配信を受信し（ステップＳ６０）、自車の参照情報データベースを更新する（ステップＳ６２）。
【００４７】
かかる変形例によれば、参照情報を即時に配信できるため、リアルタイム性を向上させることができる。変形例の参照情報配信処理は、実施例の参照情報送信処理（図６）と併用してもよい。  
【００４８】
（２）歩行者検知処理：
歩行者検知処理も変形例が可能である。
図１１は、変形例（１）としての歩行者検知処理のフローチャートである。実施例（図４）では、高精度検知処理（ステップＳ１２）と、低精度検知処理（ステップＳ１６）とを２段階で行うものとしたが、変形例では、両者を一つの処理で実行する。
【００４９】
処理を開始すると、解析装置は、解析対象画像を取得する（ステップＳ７０）。そして、１次検知処理を実行する（ステップＳ７２）。１次検知処理の方法は、高精度検知処理および低精度検知処理と同様であり、汎用パターンとの特徴量の比較によって歩行者を検知する。ただし、変形例では、特徴量の誤差の許容範囲に２段階設け、許容範囲が小さい側の検知結果を高精度検知結果、大きい側の検知結果を低精度検知結果とする。特徴量の誤差の許容範囲は、高精度検知処理および低精度検知処理と同様の範囲とすることができる。実施例では、図５のステップＳ２０に示したように、低精度検知結果が高精度検知結果を含んでいるが、変形例では、両者は排他的であり、図５の例に照らせば、Ｄ１〜Ｄ３が高精度検知結果、Ｄ４〜Ｄ６が低精度検知結果となる。
【００５０】
解析装置は、次に、参照情報を取得し（ステップＳ７４）、参照情報に基づいて低精度検知結果をフィルタリングする（ステップＳ７６）。図中にフィルタリングの様子を示した。高精度検知結果は、フィルタリングを行わずに、そのまま最終的な検知結果として採用される。低精度検知結果は、フィルタリングを行い、歩行者と検知されたものが最終的な検知結果となる。変形例では、実施例と異なり、低精度検知結果と高精度検知結果が排他的に得られているため、論理和（図５のステップＳ２２）を施す必要はない。
解析装置は、こうして得られた検知結果を出力するとともに、高精度検知結果を参照情報として登録して（ステップＳ７８）、歩行者検知処理を終了する。
【００５１】
変形例によっても、参照情報を用いることにより、実施例と同様、歩行者検知の精度向上を図ることができる。このように本発明は、高精度検知処理、低精度検知処理を同時に行う態様も可能である。
変形例においては、低精度検知結果に対してのみフィルタリングを施すことによって効率的に処理を実行しているが、実施例と同様、高精度検知結果、低精度検知結果の双方にフィルタリングを施すようにしても構わない。
【００５２】
図１２は、変形例（２）としての歩行者検知処理のフローチャートである。この変形例では、汎用パターンと参照情報とを同じ検知処理で用いる。
処理を開始すると、解析装置は、解析対象画像、および参照情報を取得する（ステップＳ９０、Ｓ９２）。
そして、汎用パターン及び参照情報を用いて検知処理を実行する（ステップＳ９４）。図中に検知処理の方法を示した。実施例で説明した通り、解析装置は、解析対象画像内に検知枠を配置し、その内部の画像に対して、特徴量を算出して、汎用パターンおよび参照情報と比較する。汎用パターンとの比較において特徴量の誤差が許容範囲内のもの（類似度高）については、そのまま歩行者と認識する。汎用パターンとの比較において特徴量の誤差が許容範囲を超えるもの（類似度低）については、参照情報との比較において特徴量の誤差が小さい場合（類似度高）の場合に、歩行者と認識する。変形例では、汎用パターン、参照情報ともに同じ特徴量を用いてもよい。
また、解析装置は、汎用パターンによって、類似度高として検知された結果を参照情報として登録し（ステップＳ９６）、歩行者検知の結果を出力して、歩行者検知処理を終了する。
【００５３】
変形例（２）の方法によっても、参照情報を併用することによって、検知精度を向上させることができる。
変形例（２）では、汎用パターンによって類似度が低いものに対して参照情報を利用する例を示したが、例えば、汎用パターンと参照情報を同様に適用し、いずれかで類似度が高いと判断されるものを歩行者と検知するようにしてもよい。この場合でも、参照情報を併用することにより、検知漏れを抑制するという点で、全体として歩行者検知の精度を向上することができる。また、かかる態様によれば、単一の処理内容で、汎用パターン、参照情報の双方について処理することが可能となり、処理の簡略化、効率化を図ることができる。
【００５４】
本発明は、さらに種々の変形例を構成することが可能である。
例えば、実施例および変形例では、歩行者検知を例にとって説明したが、本発明は歩行者以外の対象物を検知する場合にも適用可能である。
実施例では、高精度検知結果、低精度検知結果の区分を、特徴量の誤差の許容範囲に基づいて行う例を示したが、両者の区分は、画像の解像度に基づいて行っても良い。つまり、対象物の検知が、解析対象画像内に配置された検知枠内の画像に対する特徴量を用いて行われることを考えると、検知枠のサイズが小さくなれば、特徴量を算出する画像の解像度は低下すると考えられる。従って、検知枠のサイズを変化させながら検知処理を施す過程で、所定サイズよりも検知枠が小さくなった時点から参照情報を用いるようにしてもよい。
【産業上の利用可能性】
【００５５】
本発明は、画像解析によって対象物を検知する精度向上に利用可能である。
【符号の説明】
【００５６】
１００…車両
１０１…アンテナ
１０２…ＧＰＳ
１０３…カメラ
１０４…ディスプレイ
１１０…解析装置
１１１…通信部
１１２…参照情報取得部
１１３…画像取得部
１１４…歩行者検知部
１１５…汎用パターン記憶部
１１６…表示制御部
２００…サーバ
２０２…通信部
２０４…データベース管理部
２０６…参照情報データベース
３００…携帯端末
３０１…カメラ
【図１】
2017027176.tif 000003
【図２】
2017027176.tif 000004
【図３】
2017027176.tif 000005
【図４】
2017027176.tif 000006
【図５】
2017027176.tif 000007
【図６】
2017027176.tif 000008
【図１０】
2017027176.tif 000009
【図１１】
2017027176.tif 000010
【図１２】
2017027176.tif 000011
【図７】
2017027176.tif 000012
【図８】
2017027176.tif 000013
【図９】
2017027176.tif 000014