【手続補正書】
【提出日】平成21年8月18日(2009.8.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影装置により時系列に撮影された画像データを取得するデータ取得部と、
前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、異なる時刻に撮影された２つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部とを備えて、異なる時刻に撮影された２つの前記画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して前記移動物体の認識を行う認識部と、
少なくとも前記特徴点抽出部、前記オプティカルフロー算出部、前記グルーピング部による画像処理を含む複数の画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す一次中間信頼度と、
前記一次中間信頼度の何れか１つが選択され、又は前記一次中間信頼度の複数が融合された二次中間信頼度と、
前記二次中間信頼度が高い方から所定の割合に含まれる前記オプティカルフローに対する前記二次中間信頼度が平均された平均信頼度と、
１つの認識対象となる前記移動物体に許容される大きさと、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する範囲が示す物理的な大きさとの相対関係に基づいて演算され、当該認識された移動物体が前記認識対象となる移動物体であるか否かの確実性を示す対象物信頼度と、
前記認識対象となる移動物体の大きさに相当する範囲に対し、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する位置が分散する度合いに基づいて演算され、当該認識された移動物体が存在する位置の確実性を示す位置精度信頼度との少なくとも１つを用いて前記移動物体の認識の確実性を示す認識信頼度を演算する信頼度演算部と、
を備える移動物体認識装置。
【請求項２】
前記オプティカルフロー算出部は、
先に撮影された前記画像データの前記特徴点の周辺の対象領域と、
一定時間経過後に撮影された前記画像データの中で前記対象領域との相関値が最も高い領域と、に基づいて前記オプティカルフローを算出し、
前記信頼度演算部は、
前記相関値に基づいて、算出された前記オプティカルフローの確実性を示すオプティカルフロー信頼度を演算し、
前記オプティカルフロー信頼度を用いて前記認識信頼度を演算する請求項１に記載の移動物体認識装置。
【請求項３】
前記グルーピング部は、算出された前記オプティカルフローのうち、
オプティカルフローの延長線が所定の収束範囲内で１点の消失点に収束すると共に、
オプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と当該オプティカルフローとの外分比が所定の許容範囲内で等しくなるオプティカルフローを、１つの前記移動物体に属するオプティカルフローとしてグルーピングし、
前記信頼度演算部は、
グルーピングされたオプティカルフローの収束度、及びグルーピングされたオプティカルフローの総数の一方又は双方に基づいて、グルーピングされたオプティカルフローが１つの前記移動物体に属する確実性を示すグルーピング信頼度を演算し、
前記グルーピング信頼度を用いて前記認識信頼度を演算する請求項１又は２に記載の移動物体認識装置。
【請求項４】
前記信頼度演算部は、各グルーピング基準に対してグルーピングされた各オプティカルフローが有する偏差及び当該偏差の分散の一方又は双方に基づいて前記収束度を演算する請求項３に記載の移動物体認識装置。
【請求項５】
前記特徴点抽出部は、前記画像データにおける前記特徴点の固有性を示す特徴量を算出し、
前記信頼度演算部は、
前記特徴量に基づいて抽出された前記特徴点の確実性を示す特徴点信頼度を演算し、
前記特徴点信頼度を用いて前記認識信頼度を演算する請求項１〜４の何れか一項に記載の移動物体認識装置。
【請求項６】
前記認識部は、時系列に撮影され取得される前記画像データに応じて、時系列に前記画像処理を実行するものであり、
前記信頼度演算部は、時系列に実行される前記画像処理に応じて、時系列に前記認識信頼度を演算するものであって、
最新の前記画像処理に応じて演算される前記認識信頼度は、
当該最新の前記画像処理の結果と、
前記画像処理の前回の結果を用いて演算された前回の前記認識信頼度と、
に基づいて演算される請求項１〜５の何れか一項に記載の移動物体認識装置。
【請求項７】
前記認識部は、時系列に撮影され取得された前記画像データの時間差、及び、前記画像データを用いて時系列に前記画像処理を実行されて求められた前記移動物体の位置、に基づいて前記移動物体の各時刻における瞬間速度及び平均速度を演算し、
前記信頼度演算部は、
前記平均速度に対する前記瞬間速度の逸脱量に基づいて、認識された前記移動物体が時系列の前記画像処理を通じ、連続して同一のものであるか否かの確実性を示す連続性信頼度を演算し、
前記連続性信頼度を用いて前記認識信頼度を演算する請求項１〜６の何れか一項に記載の移動物体認識装置。
【請求項８】
前記認識信頼度に応じて、前記移動物体の認識結果を報知する報知部を備える請求項１〜７の何れか一項に記載の移動物体認識装置。
【請求項９】
前記報知部は、前記移動物体の認識結果を
前記認識信頼度が所定の第１しきい値以上の場合には、視覚及び聴覚の少なくとも一方により利用者が迅速に認識可能な警報モードで報知し、
前記認識信頼度が前記第１しきい値未満、且つ前記第１しきい値よりも小さい値に設定された第２しきい値以上の場合には、前記警報モードよりも認識性が低い注意モードで報知し、
前記認識信頼度が前記第２しきい値未満の場合には、報知を行わない請求項８に記載の移動物体認識装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するため、本発明に係る移動物体認識装置は、
撮影装置により時系列に撮影された画像データを取得するデータ取得部と、
前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、異なる時刻に撮影された２つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフローのうち、１つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部とを備えて、異なる時刻に撮影された２つの前記画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して前記移動物体の認識を行う認識部と、
少なくとも前記特徴点抽出部、前記オプティカルフロー算出部、前記グルーピング部による画像処理を含む複数の画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す一次中間信頼度と、
前記一次中間信頼度の何れか１つが選択され、又は前記一次中間信頼度の複数が融合された二次中間信頼度と、
前記二次中間信頼度が高い方から所定の割合に含まれる前記オプティカルフローに対する前記二次中間信頼度が平均された平均信頼度と、
１つの認識対象となる前記移動物体に許容される大きさと、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する範囲が示す物理的な大きさとの相対関係に基づいて演算され、当該認識された移動物体が前記認識対象となる移動物体であるか否かの確実性を示す対象物信頼度と、
前記認識対象となる移動物体の大きさに相当する範囲に対し、１つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する位置が分散する度合いに基づいて演算され、当該認識された移動物体が存在する位置の確実性を示す位置精度信頼度との少なくとも１つを用いて前記移動物体の認識の確実性を示す認識信頼度を演算する信頼度演算部と、を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、上記特徴構成によれば、本発明に係る移動物体認識装置の前記認識部は、前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、異なる時刻に撮影された２つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフローのうち、１つの前記移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部とを備え、前記複数の画像処理を実行して移動物体の認識を行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、上記特徴構成によれば、本発明に係る移動物体認識装置の前記信頼度演算部は、以下の少なくとも１つを用いて認識信頼度を演算する。
即ち、前記信頼度演算部は、前記一次中間信頼度と、前記二次中間信頼度と、前記平均信頼度と、前記対象物信頼度と、前記位置精度信頼度との少なくとも１つを用いて前記認識信頼度を演算する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
複数の画像処理の結果を複合的に用いることによって、認識対象となる移動物体の確からしさを定量化して、認識信頼度を演算することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明に係る移動物体認識装置は、以下の特徴構成を備えることができる。
前記オプティカルフロー算出部は、
先に撮影された前記画像データの前記特徴点の周辺の対象領域と、
一定時間経過後に撮影された前記画像データの中で前記対象領域との相関値が最も高い領域と、に基づいて前記オプティカルフローを算出する。
そして、前記信頼度演算部は、
前記相関値に基づいて、算出された前記オプティカルフローの確実性を示すオプティカルフロー信頼度を演算し、
前記オプティカルフロー信頼度を用いて前記認識信頼度を演算する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
オプティカルフロー演算部は、２つの画像間における相関値を利用してオプティカルフローを算出する。上述したように、画像が撮影される環境によって撮影された画像のコントラストなど、画質が変動する場合がある。従って、オプティカルフローを算出する際の相関値にも変動が生じる。相関値は、画質が低下すれば低下する傾向にあるから、この相関値に基づいてオプティカルフロー信頼度を演算することができる。上述したように、画像処理の少なくとも１つの結果に基づいて認識信頼度が演算されるから、オプティカルフロー信頼度を用いて認識信頼度を演算することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明に係る移動物体認識装置は、以下の特徴構成を備えることができる。
前記グルーピング部は、算出された前記オプティカルフローのうち、
オプティカルフローの延長線が所定の収束範囲内で１点の消失点に収束すると共に、
オプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と、当該オプティカルフローと、の外分比が所定の許容範囲内で等しくなる、オプティカルフローを１つの前記移動物体に属するオプティカルフローとしてグルーピングする。
そして、前記信頼度演算部は、
グルーピングされたオプティカルフローの収束度、及びグルーピングされたオプティカルフローの総数の一方又は双方に基づいて、グルーピングされたオプティカルフローが１つの前記移動物体に属する確実性を示すグルーピング信頼度を演算し、
前記グルーピング信頼度を用いて前記認識信頼度を演算する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
グルーピング部は、オプティカルフローの延長線の消失点への収束性と、外分比とに基づいて、１つの移動物体に属するオプティカルフローをグルーピングする。一般のカメラは透視カメラモデルであり、このカメラを用いて３次元空間から２次元画像に透視変換された画像は、上記条件によってグルーピングすることができる。この条件を満たすには、２つの２次元画像間において移動物体が回転を伴わない並進運動をしていることが条件となる。時系列に受け取る２次元画像の時間差において、移動物体と撮影装置との相対速度によって移動する距離が充分に小さければ、並進運動とみなすことができる。
消失点への収束性が低かったり、外分比のばらつきが大きかったりすると、並進運動に伴う運動ベクトルの集合体としてのオプティカルフローが１つの移動物体に属する確実性が低いことになる。上述したように、画像処理の少なくとも１つの結果に基づいて認識信頼度が演算されるから、グルーピングの確実性を示すグルーピング信頼度を用いて認識信頼度を演算することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
ここで、前記信頼度演算部は、各グルーピング基準に対してグルーピングされた各オプティカルフローが有する偏差及び当該偏差の分散の一方又は双方に基づいて前記収束度を演算することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
オプティカルフローの消失点への収束性や外分比のばらつきを、各グルーピング基準に対する偏差や当該偏差の分散によって定量化することによって、移動物体認識に係る画像
処理の結果の確実性を良好に示すことが可能となる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、本発明に係る移動物体認識装置は、以下の特徴構成を備えることができる。
前記特徴点抽出部は、前記画像データにおける前記特徴点の固有性を示す特徴量を算出する。
そして、前記信頼度演算部は、前記特徴量に基づいて抽出された前記特徴点の確実性を示す特徴点信頼度を演算し、
前記特徴点信頼度を用いて前記認識信頼度を演算する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
オプティカルフローを精度良く算出するには、画像データから認識対象パターンとなる特徴点を精度良く抽出することが重要である。特徴点は、周辺の画像に比べ、例えば輝度が大きく異なるなどの特徴（固有性）を有している。この固有性は当然画像データの画質にも影響される。従って、特徴点抽出の際には固有性を定量的に示す特徴量が算出される。特徴量が低いと、特徴点の固有性が低く、他の特徴点との混同の可能性が高くなる。上述したように、画像処理の少なくとも１つの結果に基づいて認識信頼度が演算されるから、特徴点の確実性を示す特徴点信頼度を用いて認識信頼度を演算することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、本発明に係る移動物体認識装置は、
前記認識部が、時系列に撮影され取得される前記画像データに応じて、時系列に前記画像処理を実行するものであり、
前記信頼度演算部が、時系列に実行される前記画像処理に応じて、時系列に前記認識信頼度を演算するものであって、
さらに、以下の特徴構成を備えることができる。
前記信頼度演算部において最新の前記画像処理に応じて演算される前記認識信頼度は、
当該最新の前記画像処理の結果と、
前記画像処理の前回の結果を用いて演算された前回の前記認識信頼度と、
に基づいて演算されることを特徴とする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
この構成によれば、最新の画像処理の結果と、前回の画像処理の結果とに基づいて、時間的な連続性を有して認識信頼度が演算される。従って、突発的な画像データの乱れによる影響を抑制して、良好に認識信頼度を演算することができる。