(57)【要約】【課題】誤認識や認識不能を低減することができるパターン認識装置を提供すること。【解決手段】制御処理部１２は、カメラ１１の撮像静止画像内の認識対象候補とテンプレート記憶部３１内のテンプレートとの類似度を算出し、その類似度が閾値以上のときにその認識対象候補をテンプレート記憶部内で当該テンプレートに対応付けされている歩行者または非歩行者のクラスと認定するパターンマッチング部２２と、認識対象候補の特徴を抽出して予め設定されている歩行者または非歩行者のクラスにその認識対象候補を分類する学習型分類部２４と、を備えて、この制御処理部１２は、認識対象候補をパターンマッチング部が認定したクラスと認識して、そのパターンマッチング部が認定しない認識対象候補はその認識対象候補の特徴から学習型分類器が分類するクラスと認識する。【選択図】図１
2013029933.tif 000002
【特許請求の範囲】
【請求項１】
認識対象の特徴のテンプレートおよび当該認識対象のクラスが少なくとも１組以上対応付けされて記憶されているテンプレート記憶部を有して、取得した撮像データにおける認識対象候補の特徴の前記テンプレート記憶部内の前記テンプレートに対する類似度を導出し、該類似度が予め設定されている値以上のときに前記認識対象候補を当該テンプレートに対応する前記クラスと認定するパターンマッチング部と、
前記取得撮像データにおける前記認識対象候補の特徴から該認識対象候補を予め設定されている前記クラスに分類するパターン分類部と、
前記パターンマッチング部が認定した前記クラスと前記認識対象候補を認識するとともに、該パターンマッチング部が認定しない前記認識対象候補は前記取得撮像データにおける当該認識対象候補の特徴から前記パターン分類器が分類する前記クラスと認識するパターン認識処理部と、を備えることを特徴とするパターン認識装置。
【請求項２】
前記テンプレート記憶部には、前記パターン分類部が所定の確度で誤分類あるいは分類不能となる前記認識対象の特徴の前記テンプレートと当該認識対象の前記クラスとが対応付けされて記憶されていることを特徴とする請求項１に記載のパターン認識装置。
【請求項３】
前記テンプレート記憶部には、前記取得撮像データから生成した前記認識対象の特徴の前記テンプレートが記憶されていることを特徴とする請求項１または２に記載のパターン認識装置。
【請求項４】
前記認識対象として、少なくとも歩行者、自転車、自転車乗員または車椅子のうちのいずれか１つ以上が前記パターン分類部および前記パターンマッチング部に設定されていることを特徴とする請求項１、２または３に記載のパターン認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識装置に関し、詳しくは、撮像データから認識対象のクラスをパターン認識するものに関する。
【背景技術】
【０００２】
近年、各種カメラにより撮像するデータ内に認識対象が存在するか否かをパターン認識で確認することが多用されており、例えば、車載カメラで撮像する前方に存在する歩行者（認識対象）をパターン認識してドライバに報知することで、事故の発生を未然に回避することが開発されている。
【０００３】
この種の第１のパターン認識としては、例えば、撮像データ内で歩行者の可能性があると判断される歩行者候補領域を特定して、その歩行者候補領域から抽出した特徴の統計処理により歩行者か否かを判定（推定）する単純ベイズ分類器を用いることによって、歩行者と非歩行者とを分類して、歩行者の存在を認識するものがある（例えば、非特許文献１）。
【０００４】
しかし、このような分類器では、予め用意された歩行者と非歩行者の違いの学習に基づいて認識対象を分類することから、多種多様な歩行者と非歩行者が存在する実働時には、誤認識や認識不能になってしまう場合があり、認識率１００％を達成することが難しい。
【０００５】
このことから、パターン認識をする分類器を２組設定して、第１の分類器による認識結果の信頼性が低いと判定された認識対象については、第２の分類器で再度分類を行うことにより認識率の向上を図ることが提案されている（例えば、特許文献１）。
【０００６】
また、この種の第２のパターン認識としては、認識対象の歩行者のテンプレートと撮像データとのパターンマッチングを行って類似するか否かに応じて歩行者か否かを認定するのに加えて、類似しないと判断された撮像データをテンプレート候補として保持して、そのテンプレート候補が所定数になったときに、テンプレートに昇格させてパターンマッチングに使用することで認識率の向上を図ることが提案されている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】ＷＯ９８／２９８３３号公報
【特許文献２】特開２００９−６９９９８号公報
【非特許文献】
【０００８】
【非特許文献１】「歩行者認識システムの開発」  スズキ株式会社発行  スズキ技報Ｖｏｌ．３５
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の第１のパターン認識にあっては、上記特許文献１を採用して、分類器を２段に設定したとしても、認識対象を完全に網羅する学習をすることはできないことから、その学習の範囲から外れるような歩行者を適正に分類することは難しく、誤認識や認識不能の低減に限界がある、という課題があった。
【００１０】
また、上記の第２のパターン認識にあっても同様に、テンプレートを準備するにしても、想定される歩行者に対応するテンプレートを準備することしかできないことから、現実の多種多様な歩行者を確実に認定するテンプレートを準備することは難しく、誤認識や認識不能の低減に限界がある、という課題があった。また、上記特許文献２を採用して、自動的にテンプレートを生成するにしても、テンプレート候補が共通すると判断することは難しく、そのテンプレート候補が歩行者に対応すると自動的に確定すること自体も困難である。
【００１１】
そこで、本発明は、分類器によるパターン認識と、パターンマッチングによるパターン認識との欠点を補うようにして、誤認識や認識不能をより低減することができるパターン認識装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記課題を解決するパターン認識装置に係る発明の第１の態様は、認識対象の特徴のテンプレートおよび当該認識対象のクラスが少なくとも１組以上対応付けされて記憶されているテンプレート記憶部を有して、取得した撮像データにおける認識対象候補の特徴の前記テンプレート記憶部内の前記テンプレートに対する類似度を導出し、該類似度が予め設定されている値以上のときに前記認識対象候補を当該テンプレートに対応する前記クラスと認定するパターンマッチング部と、前記取得撮像データにおける前記認識対象候補の特徴から該認識対象候補を予め設定されている前記クラスに分類するパターン分類部と、前記パターンマッチング部が認定した前記クラスと前記認識対象候補を認識するとともに、該パターンマッチング部が認定しない前記認識対象候補は前記取得撮像データにおける当該認識対象候補の特徴から前記パターン分類器が分類する前記クラスと認識するパターン認識処理部と、を備えることを特徴とするものである。
【００１３】
上記課題を解決するパターン認識装置に係る発明の第２の態様は、上記第１の態様の特定事項に加え、前記テンプレート記憶部には、前記パターン分類部が所定の確度で誤分類あるいは分類不能となる前記認識対象の特徴の前記テンプレートと当該認識対象の前記クラスとが対応付けされて記憶されていることを特徴とするものである。
【００１４】
上記課題を解決するパターン認識装置に係る発明の第３の態様は、上記第１または第２の態様の特定事項に加え、前記テンプレート記憶部には、前記取得撮像データから生成した前記認識対象の特徴の前記テンプレートが記憶されていることを特徴とするものである。
【００１５】
上記課題を解決するパターン認識装置に係る発明の第４の態様は、上記第１、第２または第３の態様の特定事項に加え、前記認識対象として、少なくとも歩行者、自転車、自転車乗員または車椅子のうちのいずれか１つ以上が前記パターン分類部および前記パターンマッチング部に設定されていることを特徴とするものである。
【発明の効果】
【００１６】
このように、本発明の一態様によれば、取得撮像データ内の認識対象候補は、予め準備されているテンプレートとのパターンマッチングで設定値以上の類似度の場合に、そのテンプレートが対応付けされているクラスと認定される一方、設定値以上の類似度でない場合には、その認識対象候補の特徴から予め準備されているクラスに分類される。したがって、取得撮像データ内の認識対象候補はいずれかのクラスと認識することができる。
【００１７】
すなわち、パターン分類部による分類結果では誤分類あるいは分類不能となる認識対象候補をパターンマッチングでクラス認定することのできるテンプレートを予め準備しておくことにより、分類によるパターン認識では誤認識あるいは認識不能になる認識対象候補をパターンマッチングでパターン認識可能にすることができ、分類によるパターン認識を補完するパターンマッチングによるパターン認識を前処理で行っておくことにより確度の高いパターン認識を実施することができる。
【００１８】
この結果、認識対象とされている歩行者などの存在を取得撮像データ内から信頼性高く確認することができ、例えば、走行する車両に搭載する装置に組み込んで、ドライバ等に警告などして事故等の発生を未然に防止することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係るパターン認識装置の一実施形態を示す図であり、その概略構成を示すブロック図である。
【図２】その制御処理を説明するフローチャートである。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明の実施形態について詳細に説明する。図１および図２は本発明に係るパターン認識装置の一実施形態を搭載する撮像システムの一例を示す図である。
【００２１】
図１において、撮像システム１００は、例えば、走行する自動車などの車両内に設置されており、フロントガラス越しに前方を撮像するように設置されているカメラ１１と、このカメラ１１により撮像したデータに所望の各種処理を施す制御処理部１２と、カメラ１１による撮像データや制御処理部１２による処理データなどを記憶保持するメモリ部１３と、各種パラメータや指示命令等の入力操作をする入力部１４と、カメラ１１による撮像データや制御処理部１２による処理データなどを表示出力する液晶画面１５ａやその処理結果に応じたメッセージなどを音声出力するスピーカ１５ｂからなる報知部１５と、を備えて構築されている。
【００２２】
カメラ１１は、制御処理部１２からの指示命令に従って前方を所定時間間隔で繰り返し撮像した複数枚の静止画像をメモリ部１３に受け渡したり、繰り返し撮像する所定時間長の動画像をメモリ部１３に受け渡すようになっている。
【００２３】
制御処理部１２は、例えば、カメラ１１から受け取ったメモリ部１３内の静止画像や動画像を一定期間保持させた後に上書きする処理を繰り返すことにより、必要に応じて直前の状況を確認可能にする、所謂、ドライブレコーダ機能を実施することができる。この制御処理部１２は、メモリ部１３内に予め格納されている制御処理プログラムを実行することにより、上記のドライブレコーダ機能などの各種機能を実施するようになっており、その静止画像や動画像の撮像データをメモリ部１３内に保持する期間などの各種パラメータは入力部１４が備えるキーボタンにより入力したり、あるいは、外部装置を接続して書き換え設定などすることができるようになっている。
【００２４】
そして、制御処理部１２は、入力部１４から指定された指示命令に従ってメモリ部１３内に格納されているパターン認識制御処理プログラムを実行することにより、カメラ１１により撮像する静止画像（動画像から切り出した一画像でもよい）内に歩行者が含まれているか否かをパターン認識により確認するパターン認識装置としても機能するようになっている。この制御処理部１２は、パターン認識制御処理プログラムを一部に含む走行制御処理プログラムを実行して、不図示のレーザレーダセンサにより障害物と検出された所定範囲（後述する認識対象候補）内にその歩行者が存在することを確認した場合に注意を喚起する警告処理を実施する。
【００２５】
具体的には、メモリ部１３は、路上に立っている状況などを含む歩行者を特定可能な特徴的な複数種のパターン（類型）のテンプレートと、郵便ポストや看板など明らかに歩行者でない（以下、非歩行者ともいう）物を特定可能な特徴的な複数種のパターンのテンプレートと、を記憶保持する領域がテンプレート記憶部３１として予め準備（確保）されている。このテンプレート記憶部３１内には、カメラ１１により撮像した静止画像（撮像データ）内の認識対象候補がその複数のテンプレートのいずれかにマッチングしたときに、その認識対象候補を歩行者または非歩行者として認定可能に歩行者と非歩行者のクラスが対応付けされて記憶保持されている。ここで、歩行者には、例えば、走る者、杖を突いている者、手を繋いでいる者、手を繋ぐ幼児連れの者などが含まれるようにするのが好適である。
【００２６】
制御処理部１２は、走行制御処理プログラム（パターン認識制御処理プログラム）を実行することにより、カメラ１１が撮像して取得した静止画像内から歩行者が含まれる可能性のある障害物検出領域を認識対象候補として切り出して生成する認識対象候補生成部２１と、この認識対象候補をテンプレート記憶部３１内のテンプレートと比較して予め設定されている閾値以上の類似度で類似する場合に歩行者または非歩行者のクラスと認定するマッチング処理を行うパターンマッチング部２２と、その認識対象候補における特徴を抽出する特徴抽出部２３と、この抽出された認識対象候補の特徴の統計処理結果から歩行者または非歩行者のいずれであるかを判定してその認識対象候補を歩行者または非歩行者のクラスに分類する学習型分類器（パターン分類部）２４と、認識対象候補がパターンマッチング部２２または学習型分類器２４により歩行者のクラスと認定・分類された場合に報知部１５の液晶画面１５ａやスピーカ１５ｂから車両のドライバの注意を喚起する警報出力処理を実施する警報処理部２５と、の要素としても機能するようになっており、この制御処理部１２は、これら各部２１〜２５を統括制御してパターン認識処理部を含む安全走行処理部として機能するようになっている。
【００２７】
ここで、学習型分類器２４としては、例えば、単純ベイズ分類器として機能して、特徴抽出部２３により抽出された特徴量を統計処理して算出した特徴ベクトルに基づいて、単純ベイズ確立モデルにより歩行者または非歩行者のいずれであるかを判定（分類）するものでよい。この単純ベイズ分類器では、予め用意された多数の歩行者と非歩行者の画像からなるデータベースを元にして学習し分類確度を向上させる。この分類処理では、認識対象候補を多種の特徴抽出の観点から多次元ベクトルとして扱うために特徴ベクトルと称している。
【００２８】
詳細には、制御処理部１２は、走行制御処理プログラム（パターン認識制御処理プログラム）を実行して、図２のフローチャートに示す走行（パターン認識）制御処理手順（方法）を実施して歩行者の存在有無をパターン認識して必要に応じてドライバに警告を報知する。
【００２９】
ところで、制御処理部１２の学習型分類器２４は、予め歩行者か非歩行者を確度高く分類するように繰り返し学習が施されている。メモリ部１３のテンプレート記憶部３１内には、学習型分類器２４の学習準備において、所定の確度で、歩行者であるのに非歩行者と分類されてしまう認識対象候補を歩行者と認定するテンプレートと、非歩行者であるのに歩行者と分類されてしまう認識対象候補を非歩行者と認定するテンプレートと、分類自体ができない認定対象候補を適正に歩行者または非歩行者と認定するテンプレートと、を生成準備して記憶保持させている。なお、テンプレート記憶部３１は、学習型分類器２４が誤分類・分類不能になる認識対象候補を適正に認定するテンプレートに加えて、一般的なパターンマッチングにより歩行者または非歩行者と認定可能なテンプレートを記憶保持させて、高い確率で早期にパターン認識処理を終了するようにしてもよい。
【００３０】
そして、走行制御処理が開始されると、制御処理部１２は、カメラ１１により一定間隔で撮像する静止画像データを受け取ることにより取得して（ステップＳ１１）、認識対象候補生成部２１がその静止画像内から障害物の検出情報に基づいて歩行者の可能性のある認識対象候補を切り出して生成する（ステップＳ１３）。なお、認識対象候補としては、静止画像から一部を切り出さずに、静止画像全体を処理対象としてもよい。また、このとき、認識対象候補には、画像の平滑化、輝度補正、あるいはノイズ除去等の処理を施してもよい。
【００３１】
次いで、その認識対象候補とパターンマッチングするテンプレートを順番に差し替える（ステップＳ１５）。このとき、このパターン認識処理の開始当初には、先の処理で一時的に設定されているテンプレートをテンプレート記憶部３１内で最初の読み出し対象となる１番目のテンプレートに差替（更新）して、順次パターンマッチング処理を繰り返すことになる。
【００３２】
この後に、パターンマッチング部２２が差替設定されているテンプレートと認識対象候補とのパターンマッチングを行って、互いの類似度を算出し（ステップＳ１７）、その類似度が予め設定されている閾値未満であるか否かを確認する（ステップＳ１９）。このパターンマッチングでは、例えば、一般的な正規化相関手法等を用いて認識対象候補とテンプレートとの類似度を算出して導出すればよい。
【００３３】
このステップＳ１９において、類似度が閾値未満でない、言い換えると、閾値以上である場合には、認識対象候補はテンプレートのパターンにマッチして対応付けされているクラスであると認定することができ、そのクラスを認識結果として設定した後に（ステップＳ２１）、ステップＳ３１にスキップする。
【００３４】
一方、ステップＳ１９において、類似度が閾値未満である場合には、認識対象候補はテンプレートのパターンにマッチしていないと認定して、続けて、テンプレート記憶部３１内の最後のテンプレートに差し替え済みであるか否かを確認し（ステップＳ２３）、最後まで差し替えていない場合にはステップＳ１５に戻って同様の処理を繰り返す一方、最後まで差し替え済みの場合には、認識対象候補に対するパターンマッチングによるパターン認識処理を終了する。
【００３５】
このパターンマッチングによるパターン認識処理の後には、ステップＳ２３に続けて、特徴抽出部２３がその認識対象候補の特徴を、例えば、画像内におけるエッジ方向のヒストグラムであるＨＯＧ（Histograms of Oriented Gradients）特徴量として抽出する（ステップＳ２５）。ここで、この認識対象候補の特徴の抽出としては、ＨＯＧ特徴量に限るものではなく、歩行者と非歩行者の特徴の差異を明確にするものであればよく、その特徴次元が大きい場合には、そのＨＯＧ特徴量を統計処理（主成分分析）して次元圧縮した特徴ベクトルを生成してもよい（ステップＳ２７）。
【００３６】
次いで、学習型分類器２４が認識対象候補から抽出された特徴（ＨＯＧ特徴量）に基づいて歩行者または非歩行者に分類し、その認識対象候補に対応付けされているクラスを認識結果として設定した後に（ステップＳ２９）、ステップＳ３１に進む。この学習型分類器２４は、単純ベイズ分類器に限るものではなく、例えば、ニューラルネットワーク、ＬＶＱ（Learning Vector Quantization）、ＳＶＭ（Support Vector Machine）、ＡｄａＢｏｏｓｔ等であってもよい。
【００３７】
そして、ステップＳ３１では、警報処理部２５が認識対象候補の認識結果に設定されているクラスを受け取って、そのクラス値が歩行者である場合に、報知部１５の液晶画面１５ａに表示出力する画像内の認識対象候補の領域を強調表示することにより、前方に歩行者が存在する旨の警告をするのと同時に、スピーカ１５ｂから前方に歩行者が存在する旨を報知する警報メッセージと共に警告音を音声出力する（ステップＳ３３）。
【００３８】
これにより、学習型分類器２４が誤分類（誤認識）または分類不能（認識不能）になる認識対象候補を予め把握して、パターンマッチングによる適正な歩行者または非歩行者のクラス認定を前段階で完了しておくことにより、より確度の高いパターン認識になるように補完することができ、適正に歩行者を認識して警告等することができる。
【００３９】
このように本実施形態においては、学習型分類器２４では誤分類あるいは分類不能となる苦手なパターン（類型）の認識対象候補を把握してパターンマッチング用のテンプレートを予め準備することにより、認識対象候補をパターンマッチング部２２で歩行者または非歩行者のクラスに適正に認定した後に、そのテンプレートでは閾値以上の類似度にならない認識対象候補を学習型分類器２４で歩行者または非歩行者のクラスに適正に分類することができる。
【００４０】
したがって、パターンマッチングによる前処理をしておくことにより分類による認識処理を補完して確度の高いパターン認識を実施することができ、撮像した静止画像内から前方の歩行者を信頼性高く認識確認してドライバ等に警告などすることにより事故等の発生を未然に防止することができる。
【００４１】
ここで、本実施形態では、歩行者または非歩行者のパターン認識を一例にして説明するが、これに限るものではなく、例えば、歩行者のみを確実にパターン認識するように設定してもよく、また、さらに、自転車、自転車乗員あるいは車椅子など、路上に存在する可能性のある対象をパターン認識するようにしてもよく、それぞれのクラスを準備して分類・認定するようにすればよい。
【００４２】
本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【産業上の利用可能性】
【００４３】
これまで本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
【符号の説明】
【００４４】
１１    カメラ
１２    制御処理部
１３    メモリ部
１４    入力部
１５    報知部
１５ａ  液晶画面
１５ｂ  スピーカ
２１    認識対象候補生成部
２２    パターンマッチング部
２３    特徴抽出部
２４    学習型分類器
２５    警報処理部
３１    テンプレート記憶部
【図１】
2013029933.tif 000003
【図２】
2013029933.tif 000004