【手続補正書】
【提出日】平成27年6月26日(2015.6.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
ここで図７を参照すると、運転環境の表とこれに伴う概説が示されている。この表には、全クラッタスコア２４及び局所歩行者クラッタスコア２６の双方が含まれており、これらのそれぞれは、本明細書に提供する詳細に従って算出された。画像４及び５は、０．３０７の全クラッタスコア２４と同じ環境である。全クラッタスコア２４は、全クラッタレベルに対する適切な参照を提供するが、これらは、一部の同様の運転場面を比較する際、それほど区別するものとならない。しかしながら、歩行者認識の困難性を反映する局所歩行者クラッタスコア２６は、全クラッタスコア２４とより比較される。画像は、（１）低いコントラスト画像が、夜間の画像（０．１１６の全クラッタスコア２４を有する画像１）、並びに過剰の閃光及び反射を有する画像（０．２２０の全クラッタスコア２４を有する画像２）などの低い全クラッタスコア２４を有する傾向があり、（２）色顕著性が、局所歩行者クラッタスコア２６に影響を及ぼし得る最も重要な因子であり、例えば、画像６が、近隣領域と比較して、その高度に飽和していて特徴的なズボンの色により、最も低い局所歩行者クラッタスコア２６（０．５２７）を有し、また、（３）局所歩行者クラッタが、十分な指標、及び自然運転シナリオにおける歩行者認識困難性の参照とすることができたことを示す。例えば、画像１が最も低い全クラッタスコア２４（０．１１６）であっても、その高い局所歩行者クラッタスコア２６（０．９２８）により、他の画像に対して暗い色の衣類の歩行者を検出することは最も困難である。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
運転者による歩行者の視覚的な検出が困難である場合に、リアルタイムで警告を発するように構成された歩行者認識警告システムであって、
ビデオ画像を捕捉するように構成されたビデオカメラと、
前記警告を発するためのアラートと、
前記ビデオカメラと電気通信状態にあるプロセッサと、
前記ビデオ画像を分析して前記歩行者を検出するように構成された歩行者検出装置（「ＰＤＵ」）と、
全てのビデオ画像のクラッタを測定した全クラッタスコアを生成するように構成された全クラッタ分析装置（「ＧＣＡＵ」）と、
前記ビデオ画像で検出されたそれぞれの歩行者の前記クラッタを測定した局所歩行者クラッタスコアを生成するように構成された局所歩行者クラッタ分析装置（「ＬＰＣＡＵ」）と、を具備し、前記ＰＤＵが前記ビデオ画像中の歩行者を検出する場合、前記プロセッサが前記ＧＣＡＵ及び前記ＬＰＣＡＵの双方を起動させ、前記プロセッサが、歩行者検出スコアを生成するために前記全クラッタスコア及び前記局所歩行者クラッタスコアを処理し、且つ、前記歩行者検出スコアが所定閾値の範囲外にある場合に、更に前記プロセッサが、歩行者の視覚的認識が困難であることを運転者に警告するために前記アラートを作動させる歩行者認識警告システム。
【請求項２】
歩行者マスクを生成するように構成された歩行者輪郭生成装置（「ＰＣＧＵ」）を更に含み、更に前記ＬＰＣＡＵが、前記歩行者マスクを処理して前記局所歩行者クラッタスコアを算出する請求項１に記載の歩行者認識警告システム。
【請求項３】
前記ＧＣＡＵが、前記ビデオ画像のエッジ密度、輝度変化及びクロミナンス変化を処理して前記全クラッタスコアを算出し、前記ＬＰＣＡＵが、検出された歩行者のエッジ密度、エッジ分布、局所輝度変化、局所クロミナンス変化、平均輝度強度及び平均クロミナンス強度を処理して前記局所歩行者クラッタスコアを算出する請求項２に記載の歩行者認識警告システム。
【請求項４】
前記歩行者検出スコアが、前記全クラッタスコアと局所歩行者スコアとの間の差である請求項３に記載の歩行者認識警告システム。
【請求項５】
前記ＧＣＡＵが、高周波画像要素を除去し、次いでビデオフレーム内のエッジピクセル数と全ピクセル数との比率を算出して前記エッジ密度を算出するように更に構成された請求項３に記載の歩行者認識警告システム。
【請求項６】
前記ＧＣＡＵが、スライドウィンドウと、ビデオフレームと同じ大きさの輝度変化マトリックスとを含み、前記ＧＣＡＵが、前記ビデオフレーム全体を横切って前記スライドウィンドウをスライドさせて前記スライドウィンドウ内の輝度値の標準偏差を算出するように構成され、前記ビデオフレームの特定領域の前記標準偏差が、前記輝度変化マトリックスの対応する位置に入力され、前記輝度変化が前記輝度変化マトリックスの平均値として算出される請求項３に記載の歩行者認識警告システム。
【請求項７】
前記クロミナンス変化が、２つのクロミナンスチャネルを用いて算出される請求項３に記載の歩行者認識警告システム。
【請求項８】
前記エッジ密度、前記輝度変化及び前記クロミナンス変化が、前記全クラッタスコアを算出する場合に均等に重み付けされる請求項３に記載の歩行者認識警告システム。
【請求項９】
前記ＰＣＧＵが、検出された歩行者の輪郭を生成し、該輪郭に適用される変形可能なモデルを生成し、前記ＰＣＧＵが、エネルギー最小化機能を適用して前記輪郭を更に緻密化し、前記歩行者マスクを生成する請求項２に記載の歩行者認識警告システム。
【請求項１０】
前記ＰＣＧＵが、前記ビデオ画像の背景画像からクロス領域を細分化してクロスマスクを更に生成するように更に構成された請求項９に記載の歩行者認識警告システム。
【請求項１１】
前記ＬＰＣＡＵが、背景ウィンドウ及び検出歩行者ウィンドウを生成するように更に構成され、前記背景ウィンドウの面積が、前記検出歩行者ウィンドウの面積の少なくとも２倍であり、前記背景ウィンドウが、前記検出された歩行者の周囲の前記ビデオ画像を含む請求項９に記載の歩行者認識警告システム。
【請求項１２】
前記ＬＰＣＡＵが、（１）前記検出歩行者ウィンドウ内及び（２）該検出歩行者ウィンドウを除いた前記背景ウィンドウ内のエッジピクセル数と全ピクセル数との比率を決定して歩行者のエッジ密度を算出するように更に構成された請求項１１に記載の歩行者認識警告システム。
【請求項１３】
前記ＬＰＣＡＵが、（１）前記検出歩行者ウィンドウ及び（２）該検出歩行者ウィンドウを除いた前記背景ウィンドウのエッジ配向によりビニングされたエッジ大きさのヒストグラムの決定によって、前記背景ウィンドウ及び前記検出された歩行者のエッジ分布を算出するように構成された請求項１２に記載の歩行者認識警告システム。
【請求項１４】
前記ＬＰＣＡＵが、前記歩行者マスク内、及び、前記背景ウィンドウからの前記歩行者マスクの減算によって定義された領域内の局所輝度変化を算出するように構成された請求項１１に記載の歩行者認識警告システム。
【請求項１５】
前記ＬＰＣＡＵが、前記歩行者マスク内、及び、前記背景ウィンドウからの前記歩行者マスクの減算によって定義された領域内の局所クロミナンス変化を算出する請求項１１に記載の歩行者認識警告システム。
【請求項１６】
前記ＬＰＣＡＵが、クロスマスク内、及び、前記背景ウィンドウから前記クロスマスクを減算することによって生成された領域内の前記平均輝度強度を算出する請求項１１に記載の歩行者認識警告システム。
【請求項１７】
前記ＬＰＣＡＵが、クロスマスク内、及び、前記背景ウィンドウから前記クロスマスクを減算することによって生成された領域内の平均クロミナンス強度を算出するように構成された請求項１１に記載の歩行者認識警告システム。
【請求項１８】
前記ＰＤＵが、前記ビデオ画像内の歩行者出現の可能性に基づいて、第１の検出方法又は第２の検出方法を実行するように構成され、前記第１の検出方法が、歩行者出現の可能性が低い場合に実行され、且つ、前記第２の検出方法が、歩行者出現の可能性が高い場合に実行される請求項１に記載の歩行者認識警告システム。
【請求項１９】
前記ＰＤＵが、時間、地理的位置又は交通場面の少なくとも１つの基準に基づいて、歩行者出現の可能性を判断する請求項１８に記載の歩行者認識警告システム。
【請求項２０】
前記第１の検出方法が、前記ビデオ画像の連続フレーム間の変化を判断することによって、前記ビデオ画像内の関心領域を特定するように構成され、且つ、前記変化が所定の閾値を超える場合に関心領域を特定し、更に前記第１の検出方法が、関心領域のそれぞれに対して１組の制限を適用し、必要な数の制限を有するそれぞれの関心領域が、歩行者が存在するものとして分類された請求項１９に記載の歩行者認識警告システム。
【請求項２１】
前記第２の検出方法が、フレーム内の垂直エッジを検出することによって前記ビデオ画像内の前記関心領域を決定するように構成され、且つ、前記垂直エッジが所定の特性を有する場合に前記関心領域を特定し、更に前記第２の検出方法が、関心領域のそれぞれに対して特徴フィルタを更に適用し、必要な数の特徴を有するそれぞれの関心領域が、歩行者が存在するものとして分類された請求項２０に記載の歩行者認識警告システム。
【請求項２２】
顕著性マップ生成装置（「ＳＭＧＵ」）を更に含み、該ＳＭＧＵが、前記ビデオ画像を処理し、該ビデオ画像から顕著な特徴を抽出するように構成され、前記プロセッサが、前記ＬＰＣＡＵを作動させるように更に構成され、抽出された前記顕著な特徴が処理されて前記局所歩行者クラッタスコアを生成する請求項１に記載の歩行者認識警告システム。
【請求項２３】
前記顕著な特徴が歩行者の挙動を含む請求項２２に記載の歩行者認識警告システム。
【請求項２４】
前記歩行者の挙動が歩行者の動作である請求項２３に記載の歩行者認識警告システム。
【請求項２５】
前記歩行者の挙動が歩行者周囲の環境に基づくものである請求項２３に記載の歩行者認識警告システム。
【請求項２６】
歩行者群を検出し、該歩行者群に対して認識困難値を割り当てるように構成された歩行者群分析装置（「ＰＧＡＵ」）を更に含み、該ＰＧＡＵが、該歩行者群内の個々の歩行者の相互作用、及び、一方の歩行者群に対する他方の歩行者群の相互作用を分析する請求項２２に記載の歩行者認識警告システム。
【請求項２７】
運転者による歩行者の視覚的な検出が困難である場合に、リアルタイムで警告を発する方法であって、
ビデオ画像を捕捉するように構成されたビデオカメラを設けることと、
運転環境内の歩行者を視覚的に認識することが困難であるという警告を発するためのアラートを設けることと、
前記ビデオカメラと電気通信状態にあるプロセッサを設けることと、
歩行者を検出するために前記ビデオ画像を分析することと、
全てのビデオ画像のクラッタを測定し且つ全クラッタスコアを算出することと、
前記ビデオ画像で検出されたそれぞれの歩行者の前記クラッタを測定し且つ局所歩行者クラッタスコアを算出することと、
前記全クラッタスコア及び前記局所歩行者クラッタスコアを処理して歩行者検出スコアを算出することと、
前記歩行者検出スコアが所定閾値の範囲外にある場合に、警告を発して歩行者の視覚的認識が困難であることを運転者に通知することと、を含む方法。
【請求項２８】
プロセッサ、歩行者検出装置（「ＰＤＵ」）、全クラッタ分析装置（「ＧＣＡＵ」）及び局所歩行者クラッタ分析装置（「ＬＰＣＡＵ」）を設けることを更に含み、前記ＰＤＵが、前記ビデオ画像を分析して歩行者を検出し、前記ＧＣＡＵが、ビデオ画像を分析して全ての前記ビデオ画像のクラッタを測定し且つ全クラッタスコアを算出し、前記ＬＰＣＡＵが、検出された歩行者を分析して該検出された歩行者の前記クラッタを測定し且つ局所歩行者クラッタスコアを算出し、前記プロセッサが、前記全クラッタスコア及び前記局所歩行者クラッタスコアを処理して前記歩行者検出スコアを算出する請求項２７に記載の方法。
【請求項２９】
歩行者マスクを生成することを更に含み、前記ＬＰＣＡＵが、前記歩行者マスクを処理して前記局所歩行者クラッタスコアを算出する請求項２８に記載の方法。
【請求項３０】
前記歩行者マスクを生成するように構成された歩行者輪郭生成装置（「ＰＣＧＵ」）を含む請求項２９に記載の方法。
【請求項３１】
前記ＧＣＡＵが、前記ビデオ画像のエッジ密度、輝度変化及びクロミナンス変化を処理して前記全クラッタスコアを算出し、前記ＬＰＣＡＵが、前記検出された歩行者のエッジ密度、エッジ分布、局所輝度変化、局所クロミナンス変化、平均輝度強度及び平均クロミナンス強度を処理して前記局所歩行者クラッタスコアを算出する請求項３０に記載の方法。
【請求項３２】
前記歩行者検出スコアが、前記全クラッタスコアと局所歩行者スコアとの間の差である請求項３１に記載の方法。
【請求項３３】
前記ＧＣＡＵが、高周波画像要素を除去し、次いでビデオフレーム内のエッジピクセル数と全ピクセル数との比率を決定して前記エッジ密度を算出するように更に構成された請求項３２に記載の方法。
【請求項３４】
前記ＧＣＡＵが、スライドウィンドウと、前記ビデオフレームと同じ大きさの輝度変化マトリックスとを含み、前記ＧＣＡＵが、前記ビデオフレーム全体を横切って前記スライドウィンドウをスライドさせて該スライドウィンドウ内の輝度値の標準偏差を算出するように構成され、前記ビデオフレームの特定領域の前記標準偏差が、前記輝度変化マトリックスの対応する位置に入力され、前記輝度変化が前記輝度変化マトリックスの平均値として算出される請求項３３に記載の方法。
【請求項３５】
前記クロミナンス変化が、２つのクロミナンスチャネルを用いて算出される請求項３１に記載の方法。
【請求項３６】
前記エッジ密度、前記輝度変化及び前記クロミナンス変化が、前記全クラッタスコアを算出する場合に均等に重み付けされる請求項３１に記載の方法。
【請求項３７】
前記ＰＣＧＵが、前記検出された歩行者の輪郭を生成し、且つ、該輪郭に適用される変形可能なモデルを生成し、前記ＰＣＧＵが、エネルギー最小化機能を適用して前記輪郭を更に緻密化し、前記歩行者マスクを生成する請求項３０に記載の方法。
【請求項３８】
前記ＰＣＧＵが、前記ビデオ画像の背景画像からクロス領域を細分化してクロスマスクを更に生成するように更に構成された請求項３７に記載の方法。
【請求項３９】
前記ＬＰＣＡＵが、背景ウィンドウ及び検出歩行者ウィンドウを生成するように更に構成され、前記背景ウィンドウの面積が、前記検出歩行者ウィンドウの面積の少なくとも２倍であり、前記背景ウィンドウが、前記検出された歩行者周囲の前記ビデオ画像を含む請求項３８に記載の方法。
【請求項４０】
前記ＬＰＣＡＵが、（１）前記検出歩行者ウィンドウ内及び（２）該検出歩行者ウィンドウを除いた前記背景ウィンドウ内のエッジピクセル数と全ピクセル数との比率を決定して歩行者のエッジ密度を算出するように更に構成された請求項３９に記載の方法。
【請求項４１】
前記ＬＰＣＡＵが、（１）前記検出歩行者ウィンドウ及び（２）該検出歩行者ウィンドウを除いた前記背景ウィンドウのエッジ配向によりビニングされたエッジ大きさのヒストグラムの決定によって、前記背景ウィンドウ及び検出された歩行者のエッジ分布を算出するように構成された請求項４０に記載の方法。
【請求項４２】
前記ＬＰＣＡＵが、前記歩行者マスク内、及び、前記背景ウィンドウからの前記歩行者マスクの減算によって定義された領域内の局所輝度変化を算出するように構成された請求項３９に記載の方法。
【請求項４３】
前記ＬＰＣＡＵが、前記歩行者マスク内、及び、前記背景ウィンドウからの前記歩行者マスクの減算によって定義された領域内の局所クロミナンス変化を算出するように構成された請求項３９に記載の方法。
【請求項４４】
前記ＬＰＣＡＵが、前記クロスマスク内、及び、前記背景ウィンドウから前記クロスマスクを減算することによって生成された領域内の平均輝度強度を算出するように構成された請求項３９に記載の方法。
【請求項４５】
前記ＬＰＣＡＵが、前記クロスマスク内、及び、前記背景ウィンドウから前記クロスマスクを減算することによって生成された領域内の平均クロミナンス強度を算出するように構成された請求項３９に記載の方法。
【請求項４６】
前記ＰＤＵが、前記ビデオ画像内の歩行者出現の可能性に基づいて、第１の検出方法又は第２の検出方法を実行するように構成され、前記第１の検出方法が、歩行者出現の可能性が低い場合に実行され、前記第２の検出方法が、歩行者出現の可能性が高い場合に実行される請求項２７に記載の方法。
【請求項４７】
前記ＰＤＵが、時間、地理的位置又は交通場面のうちの少なくとも１つに基づいて、歩行者出現の可能性を判断する請求項４４に記載の方法。
【請求項４８】
第１の検出方法が、前記ビデオ画像の連続フレーム間の変化を判断することによって、前記ビデオ画像内の関心領域を特定するように構成され、且つ、前記変化が所定の閾値を超えている場合に関心領域を特定し、更に前記第１の検出方法が、関心領域のそれぞれに対して１組の制限を適用し、必要な数の制限を有するそれぞれの関心領域が、歩行者が存在するものとして分類された請求項４５に記載の方法。
【請求項４９】
前記第２の検出方法が、フレーム内の垂直エッジを検出することによって前記ビデオ画像内の関心領域を決定するように構成され、且つ、前記垂直エッジが所定の特性を有する場合に前記関心領域を特定し、更に前記第２の検出方法が、関心領域のそれぞれに対して特徴フィルタを適用し、必要な数の特徴を有するそれぞれの関心領域が、歩行者が存在するものとして分類された請求項４６に記載の方法。
【請求項５０】
歩行者の挙動を利用して前記歩行者検出スコアを算出することを更に含む請求項２７に記載の方法。
【請求項５１】
顕著性マップ生成装置（「ＳＭＧＵ」）を含み、該ＳＭＧＵが、前記ビデオ画像を処理し且つ該ビデオ画像から顕著な特徴を抽出するように構成され、前記プロセッサが、抽出された前記顕著な特徴を前記ＬＰＣＡＵで処理して局所歩行者クラッタスコアを生成するように構成され、前記顕著な特徴が歩行者の挙動を含む請求項５０に記載の方法。
【請求項５２】
前記歩行者の挙動が歩行者の動作である請求項５１に記載の方法。
【請求項５３】
前記歩行者の挙動が歩行者周囲の環境に基づくものである請求項５１に記載の方法。
【請求項５４】
歩行者群内の個々の歩行者の相互作用、及び、一方の歩行者群に対する他方の歩行者群の相互作用を分析して前記歩行者検出スコアを算出することを更に含む請求項２７に記載の方法。
【請求項５５】
前記歩行者群を検出し、該歩行者群に対して認識困難値を割り当てるように構成された歩行者群分析装置（「ＰＧＡＵ」）を更に含み、該ＰＧＡＵが、前記歩行者群内の個々の歩行者の相互作用、及び、一方の歩行者群に対する他方の歩行者群の相互作用を分析する請求項５４に記載の方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2015062121.tif 000001
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2015062121.tif 000002
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2015062121.tif 000003