(57)【要約】【課題】設置コストや処理コストを抑制し、かつ認識精度を高めることが可能な停車認識装置、停車認識方法及びプログラムを提供する。【解決手段】停車認識装置１００は、車両周辺の撮影画像を用いて停車認識を行う装置であって、時間的に連続する複数の画像フレームを生成する画像取得部１１０、２つの画像フレームから画素値のフレーム間差分を計算し、２つの画像フレーム内の第１の部分領域においては画素値のフレーム間差分の計算結果に重み付けを行う画像処理部１２０、画素値のフレーム間差分に基づいて車両の停車を認識する停車認識部１３０を含む。【選択図】図１
2015185135.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺の撮影画像を用いて停車認識を行う装置であって、
時間的に連続する複数の画像フレームを生成する画像取得部と、
２つの前記画像フレームから、画素値のフレーム間差分を計算し、２つの前記画像フレーム内の第１の部分領域においては、前記画素値のフレーム間差分の計算結果に重み付けを行う画像処理部と、
前記画素値のフレーム間差分に基づいて、前記車両の停車を認識する停車認識部と、を含む
停車認識装置。
【請求項２】
車両周辺の撮影画像を用いて停車認識を行う装置であって、
時間的に連続する複数の画像フレームを生成する画像取得部と、
２つの前記画像フレーム内の第２の部分領域において、オプティカルフローによる動き検知を実行する画像処理部と、
前記オプティカルフローによる動き検知結果に基づいて、前記車両の停車を認識する停車認識部と、を含む
停車認識装置。
【請求項３】
車両周辺の撮影画像を用いて停車認識を行う方法であって、
時間的に連続する複数の画像フレームを生成する画像取得ステップと、
２つの前記画像フレームから、画素値のフレーム間差分を計算し、２つの前記画像フレーム内の第１の部分領域においては、前記画素値のフレーム間差分の計算結果に重み付けを行う画像処理ステップと、
前記画素値のフレーム間差分に基づいて、前記車両の停車を認識する停車認識ステップと、を含む
停車認識方法。
【請求項４】
車両周辺の撮影画像を用いて停車認識を行う方法であって、
時間的に連続する複数の画像フレームを生成する画像取得ステップと、
２つの前記画像フレーム内の第２の部分領域において、オプティカルフローによる動き検知を実行する画像処理ステップと、
前記オプティカルフローによる動き検知結果に基づいて、前記車両の停車を認識する停車認識ステップと、を含む
停車認識方法。
【請求項５】
コンピュータに、請求項３又は４記載の停車認識方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は停車認識装置、停車認識方法及びプログラムに関し、例えば設置コストや処理コストを抑制し、かつ認識精度を高めることが可能な停車認識技術に関する。
【背景技術】
【０００２】
従来より、自車周辺の人や車両等の動きを検知し、それらとの衝突や異常接近等の危険が発生する可能性があると判断した場合に、運転者への情報提供や所定の車両制御等を行う技術が種々提案されている。
【０００３】
例えば、特許文献１には、歩行者等との衝突の危険があれば、運転者にディスプレイ等を介し報知する装置が記載されている。この装置は、車外環境を車速センサやレーダ等により検知する。その結果、例えば信号で停車中であるなど、自車が歩行者等と衝突する可能性が低い状況にあると判断した場合には、運転者への報知を抑制する。これにより、不要な報知を抑えた効果的な運転支援を実現している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４３３８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の装置は、車両の停車を認識するために、種々のセンサやレーダ等から情報を取得できるよう構成する必要がある。そのため、車両に装置を設置する際のコストがかさむという問題がある。
【０００６】
また、車両の停車認識にかかる処理は、不要な報知を抑えるという観点から、可能な限り誤認識を抑制し得る、高精度のものであることが望ましい。一方、当該装置は本来運転者に危険を報知することを目的とするものであるから、誤認識抑制のための処理は、可能な限り処理負荷の低いものであることが望まれる。
【０００７】
本発明は、このような問題点を解決するためになされたものであり、設置コストや処理コストを抑制し、かつ認識精度を高めることが可能な停車認識装置、停車認識方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
そこで、本発明は、車両周辺の撮影画像を用いて停車認識を行う装置であって、時間的に連続する複数の画像フレームを生成する画像取得部と、２つの前記画像フレームから、画素値のフレーム間差分を計算し、２つの前記画像フレーム内の第１の部分領域においては、前記画素値のフレーム間差分の計算結果に重み付けを行う画像処理部と、前記画素値のフレーム間差分に基づいて、前記車両の停車を認識する停車認識部と、を含む停車認識装置を提供する。
また、本発明は、車両周辺の撮影画像を用いて停車認識を行う装置であって、時間的に連続する複数の画像フレームを生成する画像取得部と、２つの前記画像フレーム内の第２の部分領域において、オプティカルフローによる動き検知を実行する画像処理部と、前記オプティカルフローによる動き検知結果に基づいて、前記車両の停車を認識する停車認識部と、を含む停車認識装置を提供する。
また、本発明は、車両周辺の撮影画像を用いて停車認識を行う方法であって、時間的に連続する複数の画像フレームを生成する画像取得ステップと、２つの前記画像フレームから、画素値のフレーム間差分を計算し、２つの前記画像フレーム内の第１の部分領域においては、前記画素値のフレーム間差分の計算結果に重み付けを行う画像処理ステップと、前記画素値のフレーム間差分に基づいて、前記車両の停車を認識する停車認識ステップと、を含む停車認識方法を提供する。
また、本発明は、車両周辺の撮影画像を用いて停車認識を行う方法であって、時間的に連続する複数の画像フレームを生成する画像取得ステップと、２つの前記画像フレーム内の第２の部分領域において、オプティカルフローによる動き検知を実行する画像処理ステップと、前記オプティカルフローによる動き検知結果に基づいて、前記車両の停車を認識する停車認識ステップと、を含む停車認識方法を提供する。
また、本発明は、コンピュータに上記停車認識方法を実行させるためのプログラムを提供する。
【発明の効果】
【０００９】
本発明により、設置コストや処理コストを抑制し、かつ認識精度を高めることが可能な停車認識装置、停車認識方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態の停車認識装置１００の構成を示すブロック図である。
【図２】本発明の実施の形態の停車認識装置１００の処理を示すフローチャートである。
【図３】本発明の実施の形態の停車認識装置１００の処理を示す図である。
【図４】本発明の実施の形態の停車認識装置１００の処理を示す図である。
【図５】本発明の実施の形態の停車認識装置１００の処理を示す図である。
【発明を実施するための形態】
【００１１】
はじめに、本発明の実施の形態にかかる停車認識装置１００が実現する停車認識手法の概要について説明する。
【００１２】
停車認識装置１００は、画像処理による車両の停車認識を実現する。本実施の形態では、画像処理の一例として、（１）フレーム間差分を利用した停車認識手法と、（２）オプティカルフローを利用した停車認識手法、及び（３）両手法を併用する手法を提示する。
【００１３】
（１）フレーム間差分を利用した停車認識手法
停車認識装置１００は、撮影時刻の異なる２つの画像フレームの画素値を比較し、その差分に基づいて車両の停車認識を行う。画素値とは、画像フレームを構成する各画素の輝度（グレースケール画像の場合）又はＲＧＢ等の色空間で表現された多次元ベクトル（カラー画像の場合）である。画素値の差分とは、典型的には輝度の差分である。又は、ＲＧＢいずれかの値の差分であっても良い。あるいは、画素値を用いて計算可能な任意の指標値の差分であっても良い。本実施の形態では、比較的差が出やすいことから、輝度を利用する。
【００１４】
図３は、時間的に連続する２つの画像フレーム間で、輝度の差がどのように観察されるかを示す図である。ここで、輝度の差分が所定の閾値を超えて現れた画素を白、その他の画素を黒で示している。図３（Ａ）は、車外の状況が視覚的に殆ど変化していないときに取得された映像における、輝度の変化を示している。この場合、閾値を超える輝度変化がないため、全体が黒で表現されている。図３（Ｂ）は、車両前方の横断歩道や交差道路を自転車等が横断した場合の、フレーム間における輝度の変化を示す。この場合、自転車等の動が白の画素として表現されている。図３(Ｃ)は、前車や隣の車線の車が動いている場合の輝度の変化を示す。この場合、周辺の車両等の動きが白の画素として表現されている。
【００１５】
このように、車外の状況に動きがあると、フレーム間において輝度の差分が発生する。この差分は、輝度に限らず他の画素値でも観察され得る。典型的には、車両が動いているときには、画素値のフレーム間差分は比較的大きい値となり、車両が停止しているときには、比較的小さい値となる傾向がある。そこで、本実施の形態では、この差を利用して車両の停車を認識する。
【００１６】
具体的には、輝度のフレーム間差分が所定の閾値を超えて発生した場合は車両が動いているものと判断し、閾値以下である場合は車両が停止しているものと判断する。輝度のフレーム間差分は、例えば以下のようにして計算できる。まず、２つの画像フレームそれぞれについて、フレーム内に含まれる全ての画素の輝度を足し合わせる。次に、足し合わせた輝度同士の差分を求める。これは、フレーム間で対応する各画素について差分をとり、その差分を足し合わせたものということもできる。最後に、その差分と、あらかじめ定められ閾値とを比較する。なお、輝度のフレーム間差分の計算方法はこれに限定されず、任意の方法を採用できる。例えば、１画素あたりの差分の平均等を用いても良い。
【００１７】
ところで、画素値のフレーム間差分は、必ずしも車両自体が動いているときにのみ発生するのではない。例えば、図４（Ａ）は、車両が横断歩道手前で停車中に、車両前方を車載カメラで撮影して得られた２枚の画像フレームから、輝度変化した画素を抽出したものである。ここで、車両は停車しているため、周囲の風景は動かず輝度変化が発生しないが、画面中央を横切る人や車両が輝度変化として検出されている。このように、停車中であってもある程度の輝度変化が検出されるが、これは停車認識の精度を低下させる恐れがあるノイズとして作用する。
【００１８】
そこで、図４や図５に示すように、停車中であっても画素値の差分が検出されやすい、換言すれば物体の動きが観察されやすい画面内の領域を事前に特定できる場合、その領域をマスクすることが好ましい。すなわち、マスク領域については、差分値の計算対象から排除することができる。これにより、マスクされた領域内において発生する輝度変化が、停車認識の判定処理に与える影響を抑制できる。
【００１９】
図４（Ｂ）の例では、画像フレームの上下方向の中央付近３分の１程度の帯状の領域をマスクしている。発明者の実験によれば、このようにマスク領域を設定することにより、車両が横断歩道手前で停車中、横断歩道や交差道路を横切る人や車両を、差分値の検出対象から効果的に除外できる。また、図５（Ｂ）は、画像フレーム中から車線を検出し、検出した車線の外側をマスクした例を示している。車線の検出技術は既知であるため、ここでは詳細な説明を省略する。これにより、車両が停車中、隣の車線の車両が動き出したような場合であっても、当該車両を差分値の検出対象から除外できる。
【００２０】
これらの例にとどまらず、マスク領域を様々な手法により定義できることは勿論である。例えば、図４（Ｂ）で例示した、車両前方を横切る人や車両のためのマスク領域は、車載カメラの取り付け位置に応じ、適宜変更することが可能である。また、マスク領域を学習により自動的に設定することもできる。すなわち、車両が停車していると認識されたときに、なお輝度変化等が検出される領域を識別し、識別した領域を含むマスク領域を設定することとしても良い。
【００２１】
また、停車認識処理において、マスク領域は常に設定されていても良く、特定の状況においてのみ設定されることとしても良い。例えば、車速が所定値以下となった場合に、マスク領域を有効化することとしても良い。
【００２２】
また、ここではマスク領域については差分値の検出対象から除外する例を説明したが、これに限定されず、当該領域においても画素値の差分を計算しつつ、他の領域と異なる重みを与えることとしてもよい。換言すれば、画像フレーム内に複数の部分領域を設定し、各部分領域について、画素値の差分に対する重み付けを変えることとしても良い。
【００２３】
なお、フレーム間差分の計算の基となる複数のフレームは、典型的には時間的に隣接する２つのフレームである。しかしながら、本発明はこれに限定されず、所定のフレーム数（例えば５フレーム）を間に介した２つのフレームを使用してもよい。あるいは、２つのフレームの間隔を状況に応じ動的に変更するよう構成してもよい。例えば、画素値のフレーム間差分が取得できない場合に、フレーム間隔を広げて差分値の計算を再試行しても良い。さらに、差分値の計算に用いるフレーム数は、２つだけでなく、３以上であっても良い。
【００２４】
（２）オプティカルフローを利用した停車認識手法
停車認識装置１００は、撮影時刻の異なる２つの画像フレームに基づき、オプティカルフローを用いた動き検出を行うことにより車両の停車認識を行う。オプティカルフローによれば、フレーム間の画素等の対応関係に基づき、当該画素等の移動をフローベクトルとして表現することができる。例えば、最初の画像フレームにおいて位置ａに特徴点（例えばＳＩＦＴ、ＳＵＲＦ等）が検出され、次の画像フレームにおいても対応する特徴点が位置ｂに検出される場合、この特徴点の動きはフローベクトル（ａ，ｂ）として表される。車外の状況を撮影した連続画像からこのようなフローベクトルが検出される場合、車両と外部環境との間に相対的な動きがあるものと推測できる。具体的には、フローベクトルの大きさが所定の閾値を超える場合は車両が動いているものと判断し、閾値以下である場合は車両が停止しているものと判断することができる。
【００２５】
ところで、上述の画素値のフレーム間差分と同様、フローベクトルも、必ずしも車両自体が動いているときにのみ発生するのではない。停車中であっても、車両周囲の物体の動きに応じてフローベクトルは検出され得るが、これは停車認識の精度を低下させる恐れがあるノイズとして作用する。
【００２６】
そこで、図４（Ｂ）に示すように、画像フレームの所定の部分領域のみを、オプティカルフローの検出対象領域とすることが好ましい。例えば、図４（Ｂ）の例では、画面フレームの下端、左右方向の中央付近の帯状の領域をオプティカルフロー検出領域としている。発明者の実験によれば、このようにオプティカルフロー検出領域を設定することにより、周囲の人や車両の動きの影響を抑制でき、かつ路面の動きを効果的に検出することができる。また、このようにオプティカルフロー検出領域を可能な限り小さく設定することにより、処理コストを抑制できる。一般に、オプティカルフローにかかる計算処理は処理負荷が大きくなる傾向があるため、かかる計算処理量を抑制することは、停車認識装置１００全体の処理負荷の抑制に大きく寄与する。
【００２７】
なお、フローベクトルの計算の基となる複数のフレームは、典型的には時間的に隣接する２つのフレームである。しかしながら、本発明はこれに限定されず、所定のフレーム数（例えば５フレーム）を間に介した２つのフレームを使用してもよい。あるいは、２つのフレームの間隔を状況に応じ動的に変更するよう構成してもよい。例えば、フローベクトルが検出できない場合に、フレーム間隔を広げてフローベクトルの計算を再試行しても良い。さらに、フローベクトルの計算に用いるフレーム数は、２つだけでなく、３以上であっても良い。
【００２８】
（３）両手法を併用する手法
停車認識装置１００は、上述の（１）フレーム間差分を利用した停車認識手法、（２）オプティカルフローを利用した停車認識手法を組み合わせることにより、それぞれを単独で使用する場合と比べ、より高精度な停車認識を実現できる。すなわち、画素値のフレーム間差分による停車認識のみ、あるいはオプティカルフローによる停車認識のみでは、例えば周辺環境の影響により、停車中であっても適切に停車を認識できないこと（誤認識）が一定程度発生しうる。特に、マスク領域やオプティカルフロー検出領域の設定が不適切であったり、調整途上であったりする場合等は、誤認識はより発生しやすい。
【００２９】
一方、これらの複数の停車認識手法を併用することにより、誤認識の発生率を抑制することが可能である。典型的には、画素値のフレーム間差分による停車認識結果と、オプティカルフローによる停車認識結果と、の双方が共に「停車」を示している場合に、車両が停止しているものと判断することができる。これにより、車両が動いているにもかかわらず、停車と認識する事態の発生を抑制することができる。又は、いずれか一方が「停車」を示している場合に、車両が停止しているものと判断してもよい。これにより、車両が停止しているにもかかわらず、停車と認識しない事態の発生を抑制することができる。
【００３０】
あるいは、上述の停車認識手法による認識結果は、停車の有無という２値で出力するのではなく、スコアとして出力することもできる。例えば、上述の例では、画素値のフレーム間差分を閾値と比較したうえで停車か否かを判定したが、差分値または差分値に基づく任意の指標値を、停車認識スコアとして出力しても良い。また、上述の例では、フローベクトルの大きさを閾値と比較したうえで停車か否かを判定したが、フローベクトルの大きさまたはそれに基づく任意の指標値を、停車認識スコアとして出力しても良い。そして、この場合、停車認識装置１００は、一方の停車認識手法による認識スコアと、他方の停車認識手法による認識スコアとの相関関係に基づき、停車か否かの判断を行うことができる。例えば、一方のスコアと、他方のスコアと、の組み合わせに対して停車か否かの判定結果を対応付けたルールを、テーブル等の形で予め保持しておき、当該ルールを参照することにより判断を行うことができる。あるいは、一方のスコアと、他方のスコアと、をパラメータとして入力可能な判定式の計算結果に応じ、停車の判断を行うこととしても良い。
【００３１】
また、両認識手法による認識結果に応じて、認識結果の計算の基となる複数のフレームの間隔を動的に変更することとしても良い。例えば、画素値のフレーム間差分が取得できていれば、フローベクトルにおけるフレーム間隔は小さく（例えば０すなわち隣接フレームとする等）抑えることとしても良く、勿論、その逆であってもよい。これにより、処理に要する記憶領域や時間を抑制することが可能となる。
【００３２】
次に、本発明の実施の形態にかかる停車認識装置１００について、図面を参照しながらより具体的に説明する。まず、図１を用いて、本発明の実施の形態にかかる停車認識装置１００の構成について説明する。
【００３３】
停車認識装置１００は、画像取得部１１０、画像処理部１２０、及び停車認識部１３０を有する。
【００３４】
画像取得部１１０は、車両外部の画像を取得するための装置であり、典型的には車載カメラである。画像取得部１１０は、好ましくは車両の進行方向の状況を撮影できる位置、例えば車両内部のフロントガラスに正対する任意の位置に取り付けられる。画像取得部１１０は、所定のフレームレート（単位時間あたりの撮影枚数）で車外の状況を撮影し、生成した画像（フレーム）を順次、画像処理部１２０に送信する。
【００３５】
画像処理部１２０は、画像取得部１１０から受信した複数の画像フレームを用いて、所定の画像処理を行う。画像処理部１２０は、例えば、画素のフレーム間差分を検出するフレーム間差分検出部１２１を有する。または、フレーム間における特徴点等の移動を動きベクトルとして検出する動きベクトル検出部１２２を有する。あるいは、画像処理部１２０は、フレーム間差分検出部１２１及び動きベクトル検出部１２２の双方を備えていてもよい。あるいは、画像処理部１２０は、車外の状況を認識するための他の画像処理を行う処理部（図示しない）を備えていてもよい。
【００３６】
停車認識部１３０は、画像処理部１２０の処理結果に応じて、車両が停車しているか否かを判断する。
【００３７】
画像取得部１１０及び画像処理部１２０は、典型的には、データの入出力を行う入出力部と、データ及び制御プログラムを保持する記憶部と、制御プログラムに従って所定の処理を実行する制御部とを含む情報処理装置によって論理的に実現される情報処理主体である。具体的には、マイクロコントローラ等に実装され得る。
【００３８】
つづいて、図２を用いて、本発明の実施の形態にかかる停車認識装置１００の動作について説明する。
【００３９】
Ｓ１０１：
画像取得部１１０が、車外の状況を撮影した画像を取得する。画像取得部１１０は、典型的には動画を撮影可能な車載カメラであって、所定のフレームレートで画像（フレーム）を生成する。画像取得部１１０は、生成した画像を逐次、画像処理部１２０に引き渡す。
【００４０】
Ｓ１０２：
画像処理部１２０がフレーム間差分検出部１２１を備えている場合、フレーム間差分検出部１２１はＳ１０２乃至Ｓ１０４に示す処理を実施することができる。
【００４１】
フレーム間差分検出部１２１は、画像取得部１１０が生成した画像フレームのうち、時間的に連続する２枚の画像フレームを入力する。典型的には、フレーム間差分検出部１２１は、画像取得部１１０が撮影した動画から、隣接する２枚の画像フレームを切り出して入力する。又は、フレーム間差分検出部１２１は、上記動画から、任意の数のフレーム（例えば５フレーム等）により隔てられた２枚の画像を入力しても良い。
【００４２】
次に、フレーム間差分検出部１２１は、予めマスク領域が設定されていれば、入力した画像フレームそれぞれから、マスク領域を除いた領域に含まれる画素を抽出する。マスク領域が設定されていない場合は、画像フレームに含まれる全ての画素を抽出する。
【００４３】
なお、停車認識装置１００は、図示しない記憶領域にマスク領域の設定情報（画像フレーム上における位置、サイズ、形状等）を予め保持しているものとする。フレーム間差分検出部１２１は、この設定情報を参照することにより、マスク領域の有無及び位置、サイズ、形状等を認識することができる。
【００４４】
Ｓ１０３：
フレーム間差分検出部１２１は、２枚の画像フレームから抽出した画素を用いて、画素値のフレーム間差分を計算する。一例として、画素値のフレーム間差分として、輝度の差分を計算する一手法について説明する。
【００４５】
いま、フレーム間差分検出部１２１が入力した２枚の画像フレームを画像フレームＡ、画像フレームＢとし、それぞれの画像フレームからｎ個の画素が抽出されているものとする。このときフレーム間差分検出部１２１は、画像フレームＡから抽出した画素の輝度と、画像フレームＢから抽出した画素の輝度とを１つずつ比較し、その差分を求めて累積する処理を行う。すなわち、まず画像フレームＡの１番目の画素ａ１の輝度値と、画像フレームＢの１番目の画素ｂ１の輝度値とを比較し、差分ｄ１を求める。次に、画像フレームＡの２番目の画素ａ２の輝度値と、画像フレームＢの２番目の画素ｂ２の輝度値とを比較し、差分ｄ２を求める。同様の処理をｎ番目の画素ａｎ，ｂｎまでについて行い、差分値の合計ｄ＝（ｄ１＋ｄ２＋・・・＋ｄｎ）を計算する。フレーム間差分検出部１２１は、このｄを画素値のフレーム間差分の計算結果とする。
【００４６】
Ｓ１０４：
フレーム間差分検出部１２１は、Ｓ１０３で計算した画素値のフレーム間差分ｄに基づき、車両が停止しているかどうかを推定する。例えば、フレーム間差分検出部１２１は、フレーム間差分ｄと、予め定義された閾値θとを比較し、ｄ≦θであれば車両が停止しているものと判定する。一方、ｄ＞であれば車両が動いているものと判定する。フレーム間差分検出部１２１は、この判定結果を、後段の停車認識部１３０に出力する。
【００４７】
あるいは、フレーム間差分検出部１２１は、フレーム間差分ｄに基づいて停車認識スコアを計算しても良い。例えば、ｄをそのままスコアとして用いても良い。あるいは、例えばｄを正規化するなど一定の処理を加えた指標をスコアとしても良い。この場合、フレーム間差分検出部１２１は、この停車認識スコアを、後段の停車認識部１３０に出力する。
【００４８】
Ｓ１０５：
画像処理部１２０が動きベクトル検出部１２２を備えている場合、動きベクトル検出部１２２はＳ１０５乃至Ｓ１０７に示す処理を実施することができる。なお、画像処理部１２０がフレーム間差分検出部１２１及び動きベクトル検出部１２２の両方を備えている場合、フレーム間差分検出部１２１及び動きベクトル検出部１２２は、それぞれが画像取得部１１０から画像フレームを入力して独立に動作し、それぞれが処理結果を停車認識部１３０に出力する。
【００４９】
動きベクトル検出部１２２は、画像取得部１１０が生成した画像フレームのうち、時間的に連続する２枚の画像フレームを入力する。典型的には、動画から隣接する２枚の画像フレームを切り出して入力するが、任意の数のフレーム（例えば５フレーム等）により隔てられた２枚の画像を入力しても良い。
【００５０】
次に、動きベクトル検出部１２２は、予めオプティカルフロー検出領域が設定されていれば、入力した画像フレームそれぞれから、オプティカルフロー検出領域に含まれる画像を切り出す。オプティカルフロー検出領域が設定されていない場合は、画像フレーム全体をオプティカルフロー検出領域とする。
【００５１】
なお、停車認識装置１００は、図示しない記憶領域にオプティカルフロー検出領域の設定情報（画像フレーム上における位置、サイズ、形状等）を予め保持しているものとする。動きベクトル検出部１２２は、この設定情報を参照することにより、オプティカルフロー検出領域の有無及び位置、サイズ、形状等を認識することができる。
【００５２】
Ｓ１０６：
動きベクトル検出部１２２は、２枚の画像フレームから切り出した、２つのオプティカルフロー検出領域の画像を用いて、オプティカルフローによる動き検出を試行する。オプティカルフローによる動き検出の具体的手法については、種々の先行技術が存在するため詳細な説明を省略する。
【００５３】
Ｓ１０７：
動きベクトル検出部１２２は、オプティカルフローによる動き検出結果に応じて、車両が停止しているかどうかを推定する。例えば、画像フレームＡに特徴点Ｐが存在し、画像フレームＢに特徴点Ｐ’が存在し、これらの特徴点Ｐ及びＰ’が互いに対応するものである場合、換言すれば画像フレームＡの特徴点Ｐが画像フレームＢではＰ’に移動した場合、フローベクトルを（Ｐ，Ｐ’）と定義する。動きベクトル検出部１２２は、画像フレームＡ及びＢから、１以上のフローベクトルを検出する。そして、これらのフローベクトルの長さの合計値又は平均値等が、所定の閾値以下である場合、車両が停止しているものと推定する。一方、フローベクトルの長さの合計値又は平均値等が閾値を超える場合、車両が動いているものと推定する。動きベクトル検出部１２２は、この判定結果を、後段の停車認識部１３０に出力する。
【００５４】
あるいは、動きベクトル検出部１２２は、オプティカルフローによる動き検出結果に基づいて停車認識スコアを計算しても良い。例えば、フローベクトルの長さの合計値又は平均値等をそのままスコアとして用いても良い。あるいは、例えばフローベクトルの長さの合計値又は平均値等を正規化するなど一定の処理を加えた指標をスコアとしても良い。この場合、動きベクトル検出部１２２は、この停車認識スコアを、後段の停車認識部１３０に出力する。
【００５５】
Ｓ１０８：
停車認識部１３０は、画像処理部１２０による画像フレームの分析結果に従って、最終的な停車認識を行う。例えば、画像処理部１２０がフレーム間差分検出部１２１又は動きベクトル検出部１２２のいずれか一方のみを備えている場合、停車認識部１３０は、フレーム間差分検出部１２１又は動きベクトル検出部１２２による停車認識結果をそのまま踏襲し、最終的な停車認識結果とする。この場合、フレーム間差分検出部１２１又は動きベクトル検出部１２２は、停車しているか否かの２値を停車認識結果として出力するものとし、上述のスコア等多値による結果出力を行わないものとする。
【００５６】
一方、画像処理部１２０がフレーム間差分検出部１２１及び動きベクトル検出部１２２の両方を備えている場合、停車認識部１３０は、フレーム間差分検出部１２１及び動きベクトル検出部１２２それぞれの停車認識結果に基づき、最終的な停車認識を行う。
【００５７】
典型的には、フレーム間差分検出部１２１及び動きベクトル検出部１２２の双方が共に「停車」と認識した場合に、車両が停止しているものと最終的に判断することができる。あるいは、フレーム間差分検出部１２１又は動きベクトル検出部１２２のいずれか一方が「停車」と認識した場合に、車両が停止しているものと最終的に判断してもよい。この場合も、フレーム間差分検出部１２１及び動きベクトル検出部１２２は、停車しているか否かの２値を停車認識結果として出力するものとする。
【００５８】
一方、フレーム間差分検出部１２１及び動きベクトル検出部１２２が、停車認識結果をスコア等の多値により出力可能である場合、停車認識部１３０は、フレーム間差分検出部１２１及び動きベクトル検出部１２２双方が出力するスコアの相関関係に基づき、停車しているか否かの最終判断を行うことができる。例えば、停車認識装置１００は、フレーム間差分検出部１２１の出力スコアと、動きベクトル検出部１２２の出力スコアと、の組み合わせに対して停車か否かの判定結果を対応付けたルールを、図示しない記憶領域内にテーブル等の形で予め保持する。そして、停車認識部１３０は当該ルールを参照することにより停車か否かの最終判断を行う。あるいは、フレーム間差分検出部１２１の出力スコアと、動きベクトル検出部１２２の出力スコアと、をパラメータとして入力可能な判定式を予め定義しておき、当該判定式による計算結果に応じ、停車の判断を行うこととしても良い。
【００５９】
Ｓ１０９〜Ｓ１１１：
停車認識装置１００は、車両が停車中であるか否かを示す情報（フラグ）を、図示しない記憶領域に保持しているものとする。停車認識部１３０は、Ｓ１０８において車両が停車していると最終的に判断した場合、車両が停車中である旨を示す情報で上記フラグを更新する。一方、車両が停車していないと最終的に判断した場合、停車認識部１３０は、車両が非停車中である旨を示す情報で上記フラグを更新する。
【００６０】
これにより、例えば運転者に対する危険報知を行う機能モジュールが、上記フラグを参照することで車両が停止しているか否かを知ることができる。そして、車両が停止している場合は運転者に対する危険報知を抑制するなどの処理を行うことができる。
【００６１】
本実施の形態においては、画像取得部１１０が取得した画像のみに基づいて、画像処理部１２０及び停車認識部１３０が車両の停車認識を行うことができる。よって、種々のセンサやレーダ等から情報を取得する必要がなく、車両に停車認識装置１００を設置する際のコストを抑制できる。
【００６２】
また、本実施の形態においては、フレーム間差分検出部１２１が、停車中において周囲の人や車の動きが現れやすい領域をマスク領域として扱う。これにより、周囲の人や車が停車認識に与える影響を抑制し、誤認識を減らすことができる。
【００６３】
また、本実施の形態においては、フレーム間差分検出部１２１及び動きベクトル検出部１２２による停車認識結果を併用して、停車認識部１３０が最終的な停車認識を行う。これにより、停車認識の精度を向上させるとともに、停車認識ロジックを柔軟に設計することが可能となる。
【００６４】
また、本実施の形態においては、フレーム間差分検出部１２１が、画像フレームからマスク領域を除いた領域を対象としてフレーム間差分を計算する。また、動きベクトル検出部１２２が、画像フレーム内に設定されたオプティカルフロー検出領域を対象として動き検出を行う。このように処理の対象領域を合理的に絞り込むことにより、画像処理部１２０は、認識精度を保ちつつ、処理負荷を抑制することができる。
【００６５】
＜その他の実施の形態＞
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述の実施の形態では、フレーム間差分による停車認識手法、マスク領域を用いる手法、オプティカルフローによる停車認識手法、オプティカルフロー検知領域を設定する手法等について説明したが、これらの各手法はそれぞれ任意に組合せて実行できることは勿論である。
【００６６】
また、上述の実施の形態では、動き検知手法として、フレーム間差分による手法、オプティカルフローによる手法、及び両者を併用する手法について主に説明した。しかしながら、これらの手法に代えて、又はこれらの手法と併せて、他の画像処理による動き検知手法を採用しても構わない。
【００６７】
例えば、テンプレートマッチングと呼ばれる手法を採用しても良い。テンプレートマッチングとは、画像処理部１２０が、所定の元画像（テンプレート）にマッチする画像フレーム内の部分領域を検出し、当該部分領域が連続する画像フレームにおいてどのように動くかを追うことにより、画像フレームから動きを検出する手法である。画像処理部１２０は、例えば１つの画像フレームから、特徴点が集中している部分領域を切り出して元画像とし、続く画像フレームから、元画像にマッチする部分領域を検出することができる。あるいは、画像処理部１２０は、道路上によく出現する物体（標識やナンバープレートの数字等）の画像を元画像として予め保持しておき、一連の画像フレームから、元画像にマッチする部分領域を検出することとしても良い。
【００６８】
また、停車認識装置１００は、様々な車載システム、典型的には運転者に対する危険報知を行うシステムに組み込まれて使用されても良い。一般に、画像処理は高い処理負荷を伴うが、本発明に係る停車認識装置１００は、上述のように、比較的低い処理コストで画像処理による停車認識を行うことができる。そのため、運転者に対する危険報知という重要な機能を有するシステム内に停車認識装置１００を組み込んだとしても、そのような重要な機能の動作を妨げにくい。
【００６９】
また、上述の実施の形態では、本発明を主にハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００７０】
１００  停車認識装置
１１０  画像取得部
１２０  画像処理部
１２１  フレーム間差分検出部
１２２  動きベクトル検出部
１３０  停車認識部
【図１】
2015185135.tif 000003
【図２】
2015185135.tif 000004
【図３】
2015185135.tif 000005
【図４】
2015185135.tif 000006
【図５】
2015185135.tif 000007