(57)【要約】【課題】屋外等の様々な環境下で撮影された画像において、対象物の一部が隠れた場合であっても、対象物を安定して識別することができる物体認識装置を提供する。【解決手段】入力された識別対象画像を複数の部分領域に分割する部分領域分割手段１０５と、学習手段１０６によって得られた部分領域の特徴量を用いて、部分領域分割手段１０５で分割された部分領域が人物の部分領域であるか否かを識別する部分領域識別手段１０６と、入力画像が撮像された環境の情報を取得する環境情報取得手段１０７と、環境情報取得手段１０７から得られた環境情報から、入力画像が撮像された環境の領域種別を決定する領域種別決定手段１０８と、領域種別決定手段１０８で決定された領域種別に基づき、対象物体の部分領域の重みを変更し、部分領域識別手段１０６で識別された部分領域の識別結果を統合し最終的に入力画像が人物か否かを識別する全体領域識別手段１０９とを備える。【選択図】図１
2007310805.tif 000002
【特許請求の範囲】
【請求項１】
入力画像が対象物を含む対象画像か否かを識別する物体認識装置において、
前記入力画像を複数の部分領域に分割する部分領域分割手段と、
前記部分領域が前記対象物の一部か否かを識別し、部分領域識別結果として出力する部分領域識別手段と、
前記入力画像が撮像された際の環境情報を取得する環境情報取得手段と、
前記環境情報取得手段により得られる環境情報から、前記入力画像の領域種別を決定する領域種別決定手段と、
前記領域種別に基づき、前記部分領域識別結果の優先度合いを変化させて、前記入力画像が前記対象画像か否かを識別する全体領域識別手段とを備えることを特徴とする物体認識装置。
【請求項２】
前記部分領域分割手段は、前記入力画像を垂直方向に２以上の領域に分割することを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記部分領域分割手段は、前記入力画像を水平方向に２以上の領域に分割することを特徴とする請求項１に記載の物体認識装置。
【請求項４】
前記環境情報取得手段は、画像内の路面部分を検出する路面抽出手段であることを特徴とする請求項１から請求項３までのいずれかに記載の物体認識装置。
【請求項５】
前記環境情報取得手段は、画像内の障害物領域を検出する障害物検出手段であることを特徴とする請求項１から請求項３までのいずれかに記載の物体認識装置。
【請求項６】
前記環境情報取得手段は、前記入力画像が撮像された位置における道路種別を格納したデータベースを備え、前記入力画像を撮像した際の位置および方向に関する環境情報を取得することを特徴とする請求項１から請求項３までのいずれかに記載の物体認識装置。
【請求項７】
前記全体領域識別手段は、前記入力画像における路面領域に含まれる前記部分領域識別結果を優先して、前記対象画像か否かを識別することを特徴とする請求項４から請求項６までのいずれかに記載の物体認識装置。
【請求項８】
前記全体領域識別手段は、前記入力画像における前記障害物領域に含まれない前記部分領域識別結果を優先して、対象画像か否かを識別することを特徴とする請求項４から請求項６までのいずれかに記載の物体認識装置。
【請求項９】
対象物の部分領域の特徴値を記憶する対象物体画像記憶手段と、
非対象物の部分領域の特徴値を記憶する非対象物体画像記憶手段と、
前記対象物体画像記憶手段に記憶された対象物の部分領域の特徴値と前記非対象物体画像記憶手段に記憶された非対象物の部分領域の特徴値から、対象物と非対象物の違いを表す複数の特徴値を選出する学習手段と、を備えることを特徴とする請求項１に記載の物体認識装置。
【請求項１０】
前記全体領域識別手段は、前記領域種別決定手段で決定された領域種別に基づき、対象物の部分領域の優先度合いを変更し、前記部分領域識別手段で識別された部分領域の識別結果を統合して前記対象画像か否かを識別することを特徴とする請求項１に記載の物体認識装置。
【請求項１１】
前記全体領域識別手段は、
入力画像が属する領域種別が路面左側部分である場合に、入力画像の中央から左側に存在する部分領域の優先度合いを低下させるとともに、入力画像の中央から右側に存在する部分領域の優先度合いを増加させ、
入力画像が属する領域種別が路面右側部分である場合に、入力画像の中央から右側に存在する部分領域の優先度合いを低下させるとともに、入力画像の中央から左側に存在する部分領域の優先度合いを増加させ、
部分領域が両側にまたがる場合は部分領域の優先度合いを変更しないことを特徴とする請求項１０に記載の物体認識装置。
【請求項１２】
前記全体領域識別手段は、前記部分領域識別手段から得られる部分領域識別結果と前記優先度合いの積の和に基づいて総合的な評価値を算出し、
前記総合的な評価値を予め設定しておいた閾値と比較することにより、入力画像が対象画像か否かを識別することを特徴とする請求項１０に記載の物体認識装置。
【請求項１３】
対象物体の部分領域画像群と非対象物体の部分領域画像群とをグレースケール化する画像入力手段を備え、
前記学習手段は、グレースケール化された画像を用いて、Ｈａａｒ−ｌｉｋｅ特徴を用いたＢｏｏｓｔｉｎｇ学習を行い、対象画像と非対象画像を分ける基準となる複数のＨａａｒ−ｌｉｋｅ特徴と、それらの特徴を数値化した値から算出される閾値を抽出することを特徴とする請求項９に記載の物体認識装置。
【請求項１４】
前記部分領域識別手段は、前記部分領域分割手段で分割された入力画像の部分領域に対して、前記学習手段で学習された、対象画像と非対象画像を分けるＨａａｒ−ｌｉｋｅ特徴を抽出し、この特徴を数値化した値から算出される閾値との比較により入力画像が対象画像か否かを識別することを特徴とする請求項１３に記載の物体認識装置。
【請求項１５】
前記環境情報取得手段は、前記入力画像を含む画像内の路面部分を検出する距離センサを備えることを特徴とする請求項４に記載の物体認識装置。
【請求項１６】
前記距離センサは、検出点の距離が段階的に変化していく領域を路面領域として検出することを特徴とする請求項１５に記載の物体認識装置。
【請求項１７】
前記環境情報取得手段は、ＧＰＳ情報を用いて入力画像を含む画像が撮像された場所を検出し、ステアリング情報から撮影方向を取得することを特徴とする請求項６に記載の物体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象とする物体（対象物）を認識する物体認識装置に関するものである。
【背景技術】
【０００２】
交通事故の発生要因の大半は、運転者の認知ミス、判断ミスであるので、これらを減らすことが必要である。そのためには、障害物、特に交通弱者である歩行者を検出し、その位置情報を運転者に提供することが重要である。
【０００３】
近年、カメラから得られる映像を用いて物体の認識を行う物体認識装置が提案されている。このような従来の物体認識装置について、図１０を用いて説明する。図１０は、物体認識装置１０００の構成を示すブロック図である。
【０００４】
このような物体認識装置１０００は、認識対象である対象物体画像をメモリ等に記憶する対象物体画像記憶手段１００１と、認識対象ではない画像をメモリ等に記憶する非対象物体画像記憶手段１００２と、記憶された対象物体画像と非対象物体画像から、それらの違いを学習する学習手段１００３と、識別する画像をメモリ等に保存する画像入力手段１００４と、学習された対象画像と非対象画像の違いから入力画像が対象画像か否かを識別する識別手段１００５とにより構成される。
【０００５】
上記従来の物体認識装置の具体的な動作としては、対象物体画像記憶手段１００１により記憶された複数の対象物体画像と、非対象物体画像記憶手段１００２により記憶された複数の非対象物体とから、これらを識別するのに適した特徴を学習手段１００３で学習する。画像入力手段１００４により入力された画像は、識別手段１００５で、学習された特徴を用いて対象物体か否か識別される。
【０００６】
また、車載カメラから得られる映像においては、種々の物体により人物の一部分が隠れていることがよくある。そのため、上記のように隠れた部分があっても人物を検出できる手法が提案されている。
【０００７】
たとえば、人体を頭部、脚部、左腕、右腕の４つの部分領域に分割し、各々の部分領域毎に学習を行うことにより識別器を作成し、部分領域毎に認識を行う非特許文献１に開示される人物検出装置では、人体の一部が、撮影に際し、種々の物体により隠れている場合でも人物を検出することは可能である（非特許文献１）。
【０００８】
また、赤外線画像から人体の脚部の形状や、雨天時における傘部分と脚の部分の位置関係から人物を検出する特許文献１に開示される車両周辺監視装置においても、人体の部分画像を用いて人物の検出を行うことにより、人物の上半身が、撮影に際し、種々の物体により隠れている場合でも人物を検出することが可能である（特許文献１）。
【０００９】
【特許文献１】特開２００５−３５４５９７号公報
【非特許文献１】Ａｎｕｊ  Ｍｏｈａｎ、  Ｃｏｎｓｔａｎｔｉｎｅ  Ｐａｐａｇｅｏｒｇｉｏｕ、  Ｔｏｍａｓｏ  Ｐｏｇｇｉｏ、  “Ｅｘａｍｐｌｅ−Ｂａｓｅｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｉｎ  Ｉｍａｇｅｓ  ｂｙ  Ｃｏｍｐｏｎｅｎｔｓ”ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  Ｖｏｌｕｍｅ  ２３、Ｉｓｓｕｅ  ４  （Ａｐｒｉｌ  ２００１）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述の従来の方法では、屋外での様々なオクルージョン（障害物）による検出漏れに対応できない。例えば、ガードレールにより、対象人物の体の真ん中が隠れてしまっている場合は、対象人物の頭部部分しか検出できない可能性がある。
【００１１】
この場合、非特許文献１の方法では、この人物を含む入力画像は、人物として識別される可能性は低い。なぜなら、この方法の場合、ガードレールで体の中央が隠れてしまうと、検出される部分領域は頭部部分のみとなり、最終的に入力画像を識別する場合に利用される情報が頭部の部分領域の結果のみとなるからである。
【００１２】
また、この場合、特許文献１の方法においても、対象人物の脚の部分または、傘の部分が識別されない可能性が大きく、人物として検出される可能性は低い。なぜなら、この方法の場合、ガードレールで体の中央が隠れてしまうと、上半身部分、下半身部分両方とも検出される可能性が低いからである。
【００１３】
また、例えば、電柱により対象人物の体の中心から左側または右側半分が隠れてしまった場合、非特許文献１の方法だと、右側部分のみ検出され、人物全体として検出される可能性は低い。また、特許文献１では、対象人物の脚部、傘部の両方とも検出されないので、人物全体として検出されることはない。
【００１４】
本発明は、上記課題に鑑みてなされたもので、屋外等の様々な環境下で撮影された画像において、対象物の一部が隠れた場合であっても、対象物を安定して識別することができる物体認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明に係る物体認識装置は、対象物の部分領域の特徴値を記憶した対象物体画像記憶手段と、非対象物の対応する部分領域の特徴値を記憶した非対象物体画像記憶手段と、記憶された対象物画像と非対象物画像から、対象物と非対象称物の違いを表す複数の特徴を選出する学習手段と、識別対象画像を入力する画像入力手段と、入力された識別対象画像を複数の部分領域に分割する部分領域分割手段と、学習手段によって得られた部分領域の特徴量を用いて、部分領域分割手段で分割された部分領域が人物の部分領域であるか否かを識別する部分領域識別手段と、入力画像が撮像された環境の情報を取得する環境情報取得手段と、環境情報取得手段から得られた環境情報から、入力画像が撮像された環境の領域種別を決定する領域種別決定手段と、領域種別決定手段で決定された領域種別に基づき、対象物の部分領域の重みを変更し、部分領域識別手段で識別された部分領域の識別結果を統合し最終的に入力画像が対象物を含む対象画像か否かを識別する全体領域識別手段とを備えることを特徴とする。
【００１６】
以上の構成を備えた物体認識装置は、画像入力手段により入力した識別対象画像を部分領域分割手段により部分領域に分割し、分割された部分領域画像に対して、学習手段によって得られた特徴量により対象物であるか否かの識別を行う。さらに、各部分領域に対して識別を行い、得られた結果を領域種別決定手段により決定された領域に応じて、各部分領域の重みを変更する。そして、変更された重みと部分領域の識別結果から全体領域識別手段において最終的に入力画像が対象画像か否かを識別する。これにより、屋外等の様々な環境下で撮影された画像において、対象物の一部が隠れた場合であっても対象物を安定して識別することができる。
【００１７】
また、本発明の物体認識装置は、入力画像が対象物を含む対象画像か否かを識別する物体認識装置であって、前記入力画像を複数の部分領域に分割する部分領域分割手段と、前記部分領域が前記対象物の一部か否かを識別し、部分領域識別結果として出力する部分領域識別手段と、前記入力画像が撮像された際の環境情報を取得する環境情報取得手段と、前記環境情報取得手段により得られる環境情報から、前記入力画像の領域種別を決定する領域種別決定手段と、前記領域種別に基づき、前記部分領域識別結果の優先度合いを変化させて、前記入力画像が前記対象画像か否かを識別する全体領域識別手段とを備えることを特徴とする。
【００１８】
また、本発明の物体認識装置は、前記部分領域分割手段が、前記入力画像を垂直方向に２以上の領域に分割することを特徴とする。
【００１９】
また、本発明の物体認識装置は、前記部分領域分割手段が、前記入力画像を水平方向に２以上の領域に分割することを特徴とする。
【００２０】
また、本発明の物体認識装置は、前記環境情報取得手段が、画像内の路面部分を検出する路面抽出手段であることを特徴とする。
【００２１】
また、本発明の物体認識装置は、前記環境情報取得手段が、画像内の障害物領域を検出する障害物検出手段であることを特徴とする。
【００２２】
また、本発明の物体認識装置は、前記環境情報取得手段が、前記入力画像が撮像された位置における道路種別を格納したデータベースを備え、前記入力画像を撮像した際の位置および方向に関する環境情報を取得することを特徴とする。
【００２３】
また、本発明の物体認識装置は、前記全体領域識別手段が、前記入力画像における路面領域に含まれる前記部分領域識別結果を優先して、対象画像か否かを識別することを特徴とする。
【００２４】
また、本発明の物体認識装置は、前記全体領域識別手段が、前記入力画像における前記障害物領域に含まれない前記部分領域識別結果を優先して、対象画像か否かを識別することを特徴とする。
【００２５】
また、本発明の物体認識装置は、対象物の部分領域の特徴値を記憶する対象物体画像記憶手段と、非対象物の部分領域の特徴値を記憶する非対象物体画像記憶手段と、前記対象物体画像記憶手段に記憶された対象物の部分領域の特徴値と前記非対象物体画像記憶手段に記憶された非対象物の部分領域の特徴値から、対象物と非対象物の違いを表す複数の特徴値を選出する学習手段と、を備えることを特徴とする。
【００２６】
また、本発明の物体認識装置は、前記全体領域識別手段が、前記領域種別決定手段で決定された領域種別に基づき、対象物体の部分領域の優先度合いを変更し、前記部分領域識別手段で識別された部分領域の識別結果を統合して前記対象画像か否かを識別することを特徴とする。
【００２７】
また、本発明の物体認識装置は、前記全体領域識別手段が、入力画像が属する領域種別が路面左側部分である場合に、入力画像の中央から左側に存在する部分領域の優先度合いを低下させるとともに、入力画像の中央から右側に存在する部分領域の優先度合いを増加させ、入力画像が属する領域種別が路面右側部分である場合に、入力画像の中央から右側に存在する部分領域の優先度合いを低下させるとともに、入力画像の中央から左側に存在する部分領域の優先度合いを増加させ、部分領域が両側にまたがる場合は部分領域の優先度合いを変更しないことを特徴とする。
【００２８】
また、本発明の物体認識装置は、前記全体領域識別手段が、前記部分領域識別手段から得られる部分領域識別結果と前記優先度合いの積の和に基づいて総合的な評価値を算出し、前記総合的な評価値を予め設定しておいた閾値と比較することにより、入力画像が対象画像か否かを識別することを特徴とする。
【００２９】
また、本発明の物体認識装置は、対象物体の部分領域画像群と非対象物体の部分領域画像群とをグレースケール化する画像入力手段を備え、前記学習手段は、グレースケール化された画像を用いて、Ｈａａｒ−ｌｉｋｅ特徴を用いたＢｏｏｓｔｉｎｇ学習を行い、対象画像と非対象画像を分ける基準となる複数のＨａａｒ−ｌｉｋｅ特徴と、それらの特徴を数値化した値から算出される閾値を抽出することを特徴とする。
【００３０】
また、本発明の物体認識装置は、前記部分領域識別手段が、前記部分領域分割手段で分割された入力画像の部分領域画像に対して、前記学習手段で学習された、対象画像と非対象画像を分けるＨａａｒ−ｌｉｋｅ特徴を抽出し、この特徴を数値化した値から算出される閾値との比較により入力画像が対象画像か否かを識別することを特徴とする。
【００３１】
また、本発明の物体認識装置は、前記環境情報取得手段が、前記入力画像を含む画像内の路面部分を検出する距離センサを備えることを特徴とする。
【００３２】
また、本発明の物体認識装置は、前記距離センサが、検出点の距離が段階的に変化していく領域を路面領域として検出することを特徴とする。
【００３３】
また、本発明の物体認識装置は、前記環境情報取得手段が、ＧＰＳ情報を用いて入力画像を含む画像が撮像された場所を検出し、ステアリング情報から撮影方向を取得することを特徴とする。
【発明の効果】
【００３４】
以上説明したように、本発明にかかる物体認識装置によれば、識別対象画像を部分領域に分割して識別し、環境情報に基づいて決定された領域種別に応じて各部分領域の優先度合いを変更し、変更された優先度合いと部分領域の識別結果とから最終的に入力画像が対象画像か否かを識別するので、入力画像において、対象物の一部が他の物体により隠れてしまっている場合においても、安定して対象物の認識を行うことができる。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照して本発明の実施例について説明する。
【実施例１】
【００３６】
本実施例では、入力画像を、環境情報を基に識別する物体認識装置について述べる。特に、本実施例では、以下、入力画像を含む画像が撮像された際の環境情報を取得する環境情報取得手段が、路面抽出手段である場合について説明する。
【００３７】
図１は、実施例１の物体認識装置１００の構成図である。物体認識装置１００は、対象物体画像記憶手段１０１と、非対象物体画像記憶手段１０２と、学習手段１０３と、識別対象画像を入力する画像入力手段１０４と、部分領域分割手段１０５と、部分領域識別手段１０６と、環境情報取得手段１０７と、領域種別決定手段１０８と、全体領域識別手段１０９を備える。
【００３８】
また、対象物体画像記憶手段１０１、非対象物体画像記憶手段１０２、部分領域識別手段１０６は、それぞれ２以上を備える。
【００３９】
対象物体画像記憶手段１０１は、識別対象となる物体の画像を記憶する記憶装置であり、複数の対象物体画像が記憶されている。非対象物体画像記憶手段１０２は、識別対象物体以外の画像を記憶する記憶装置であり、複数の対象物体画像以外の画像が記憶されている。
【００４０】
学習手段１０３は、記憶された対象物体画像と非対象物体画像とから、対象物体の部分領域画像と非対象物体の部分領域画像との違いを表す複数の特徴と、それらの特徴を数値化した値から算出される閾値と、を抽出する。
【００４１】
まず、後述の画像入力手段１０４は、対象物体の部分領域画像群と非対象画像の部分領域画像群とをグレースケール化する。グレースケール化により、カラー画像である入力画像は濃淡画像に変換される。
【００４２】
学習手段１０３は、グレースケール化された画像を用いて、Ｈａａｒ−ｌｉｋｅ特徴を用いたＢｏｏｓｔｉｎｇ学習を行い、対象画像と非対象画像を分ける基準となる複数のＨａａｒ−ｌｉｋｅ特徴と、それらの特徴を数値化した値から算出される閾値を抽出する。
【００４３】
画像入力手段１０４は、上記のように、識別対象となる画像を入力し、グレースケール化する。部分領域分割手段１０５は、画像入力手段１０４でグレースケール化された識別対象画像を予め決められた部分領域に分割する。
【００４４】
部分領域識別手段１０６は、部分領域分割手段１０５で分割された識別対象画像の部分領域画像に対して、学習手段１０３で学習された、対象画像と非対象画像を分けるＨａａｒ−ｌｉｋｅ特徴を抽出し、この特徴を数値化した値から算出される閾値との比較により識別対象画像が、対象画像か否かを識別する。
【００４５】
環境情報取得手段１０７は、画像入力手段によって入力された入力画像を含む画像内の路面部分を、距離センサを用いることにより検出する。路面部分の検出方法の一例として、距離センサにより得られた距離画像上において、距離の変化が段階的に変化していく領域を路面領域として検出する。
【００４６】
領域種別決定手段１０８は、入力画像が属する領域種別を決定する。図３は、上記領域種別決定手段１０８で決定される領域種別の例である。
【００４７】
図３中の３０１は入力画像を含む画像であり、入力画像に上記環境情報取得手段１０７によって検出された路面部分が含まれている場合は、入力画像が属する領域を路面上（図３における３０２の部分）と判定する。
【００４８】
入力画像に路面が含まれていない場合、路面の左側にある場合は属する領域（領域種別）を路面左側部分（３０３）と判定し、路面の右側にある場合は、属する領域を路面右側部分（３０４）と判定する。全体領域識別手段１０９は、入力画像が識別対象画像であるか否かを最終的に判断する。
【００４９】
図９は、入力画像と、入力画像を含む撮影された画像の関係を説明するための図である。同図において、入力画像９０５は撮影された画像９０１の一部である。この場合、入力画像９０５が属する領域種別は路面左側部分９０３となる。
【００５０】
領域種別決定手段１０８は、入力画像９０５が含まれる撮像された画像９０１中において、入力画像９０５が存在する領域の種別を決定する。入力画像９０５中の部分領域ごとに領域種別を決定するのではなく、入力画像９０５全体が属する領域種別を決定する。
【００５１】
その後、入力画像９０５を分割して、それぞれの部分領域に対して識別を行うが、最終的にその部分画像の識別結果を統合する際に、環境情報を用いて重み付けを変化させる。領域種別決定手段１０８は、入力画像９０５（＝全体領域）がどこに存在するかを決定し、部分領域はここでは関係しない。例えば、入力画像９０５が車の左側から得られた画像であれば、入力画像９０５の右側は隠れている可能性があるので、左側に存在する部分領域の重要度を上げる処理を行う。
【００５２】
図２は、全体領域識別手段１０９の動作フローであり、以下、図２を用いて、全体領域識別手段１０９の動作について説明する。
【００５３】
全体領域識別手段１０９は、処理を開始すると（ステップＳ２０１）、まず、各部分領域の優先度合い（以下、重要度と呼ぶ）αi（ｉ＝１、…、Ｎ）を初期値１／Ｎに設定する（ステップＳ２０２）。
【００５４】
全体領域識別手段１０９は、領域種別決定手段１０８で決定された領域種別が路面上であるかどうかを確認する（ステップＳ２０３）。入力画像が属する領域種別が路面上である場合、部分領域分割手段１０５で分割された各部分領域（例えば図８の８０２〜８１２）の重要度αi（ｉ＝１、…、Ｎ）は初期値のままにする。
【００５５】
入力画像が属する領域種別が路面上でない場合、各部分領域の重要度αi（ｉ＝１、…、Ｎ）を以下のように変更する（ステップＳ２０４）。
【００５６】
入力画像が属する領域種別が路面左側部分である場合、各部分領域の重要度αiをその部分領域の入力画像中の位置に対応して変化させる。入力画像の中央から左側に存在する部分領域の重要度αiの値をｋαi（０＜ｋ＜０．５）にし、入力画像の中央から右側に存在する部分領域の重要度αiの値を（１−ｋ）αiにする。部分領域が両側にまたがる場合は重要度を変更しない。
【００５７】
入力画像が属する領域種別が路面右側部分である場合、各部分領域の重要度αiをその部分領域の入力画像中の位置に対応して変化させる。入力画像の中央から右側に存在する部分領域の重要度αiの値をｋαi（０＜ｋ＜０．５）にし、入力画像の中央から左側に存在する部分領域の重要度αiの値を（１−ｋ）αiにする。部分領域が両側にまたがる場合は重要度を変更しない。
【００５８】
次に、上記のように決定された重要度を基に総合的な評価値を算出する（ステップＳ２０５）。総合的な人物らしさの評価値Ｌ（対象物体が人物の場合）を、部分領域識別手段１０６から得られる部分領域識別結果Ｒi（ｉ＝０、…、Ｎ）と重要度αiの積αiＲiの和Ｌ＝ΣαiＲiとする。
【００５９】
最終的に入力画像が識別対象画像か否かは予め設定しておいた閾値Ｔｈとの比較により決定する（ステップＳ２０６）。Ｌ≧Ｔｈであれば、入力画像は対象物体、Ｌ＜Ｔｈであれば、入力画像は非対象物体であると識別する。
【００６０】
以上の動作により、入力画像に隠れがある場合においても、入力画像が属する領域種別に応じて、入力画像内の隠れていない部分領域の重要度を変化させて、隠れによる影響を抑えることで、入力画像に隠れがあっても安定して対象物体か否かを識別できるという効果を有する。
【００６１】
本実施例の物体認識装置１００は、車載カメラに適用することができ、この場合、車載カメラから得られる画像において路面の両側から飛び出してくる人物を、その人物の体の一部分が隠れている場合でも安定して検出できるので早期に人物を発見し事故を回避できるという効果がある。
【００６２】
また、本実施例の物体認識装置１００は、監視カメラにも適用することができ、入力画像に隠れがある場合でも安定して対象物体を検出できるという効果がある。
【実施例２】
【００６３】
本実施例では、入力画像を、環境情報を基に識別する物体認識装置について述べる。特に、本実施例では、以下、入力画像を含む画像が撮像された際の環境情報を取得する環境情報取得手段が、障害物検出手段である場合について説明する。
【００６４】
対象物体画像記憶手段１０１、非対象物体画像記憶手段１０２、学習手段１０３、画像入力手段１０４、部分領域分割手段１０５、部分領域識別手段１０６は、実施例１の場合と同一であるため、本実施例においては、その説明を省略する。実施例１と本実施例との構成上の差異は、環境情報取得手段１０７が障害物検出手段であるところである。以下、この差異部分を中心に本実施例に記載の発明について説明する。
【００６５】
障害物検出手段である環境情報取得手段１０７は、画像入力手段１０４によって入力された入力画像を含む画像内の障害物部分を、距離センサを用いることにより検出する。領域種別決定手段１０８は、入力画像が属する領域種別を決定する。
【００６６】
図５は、本実施例における領域種別の例を表したものである。図５中の５０１は入力画像を含む画像であり、環境情報取得手段１０７によって検出された障害物領域（図５における５０２）が入力画像の中央より右にのみ含まれている場合は、入力画像が属する領域を障害物左（図５における５０３）と判定する。
【００６７】
障害物領域が入力画像の中央より左にのみ含まれている場合は、入力画像が属する領域を障害物右（図５における５０４）と判定する。障害物領域が入力画像の中央より下にのみ含まれている場合は、入力画像が属する領域を障害物上（図５における５０５）と判定する。
【００６８】
障害物領域が入力画像の中央より上にのみ含まれている場合は、入力画像が属する領域を障害物下（図５における５０６）と判定する。上記以外の場合で、障害物領域が入力画像に含まれている場合は、入力画像が属する領域を障害物中（図５における５０２）と判定する。
【００６９】
入力画像に障害物領域が含まれていない場合、障害物領域外（図５における５０７）と判定する。全体領域識別手段１０９は、入力画像が識別対象画像であるか否かを最終的に判断する。
【００７０】
図４は、全体領域識別手段１０９の動作フローを示す。全体領域識別手段１０９は、処理を開始すると（ステップＳ４０１）、まず、各部分領域の優先度合い（以下、重要度と呼ぶ）αi（ｉ＝１、…、Ｎ）を初期値１／Ｎに設定する（ステップＳ４０２）。
【００７１】
全体領域識別手段１０９は、領域種別決定手段１０８で決定された領域種別が障害物領域外かどうかを確認する（ステップＳ４０３）。入力画像が属する領域種別が障害物領域外である場合、各部分領域の重要度αi（ｉ＝１、…、Ｎ）は初期値のままにする。
【００７２】
入力画像が属する領域種別が障害物領域外でない場合、各部分領域の重要度αi（ｉ＝１、…、Ｎ）を以下のように変更する（ステップＳ４０４）。
【００７３】
入力画像が属する領域種別が障害物左である場合、各部分領域の重要度αiをその部分領域の入力画像中の位置に対応して変化させる。入力画像の中央から左側に存在する部分領域の重要度αiの値をｋαi（０＜ｋ＜０．５）にし、入力画像の中央から右側に存在する部分領域の重要度αiの値を（１−ｋ）αiにする。
【００７４】
入力画像が属する領域種別が障害物右である場合、各部分領域の重要度αiをその部分領域の入力画像中の位置に対応して変化させる。入力画像の中央から右側に存在する部分領域の重要度αiの値をｋαi（０＜ｋ＜０．５）にし、入力画像の中央から左側に存在する部分領域の重要度αiの値を（１−ｋ）αiにする。
【００７５】
入力画像が属する領域種別が障害物上である場合、各部分領域の重要度αiをその部分領域の入力画像中の位置に対応して変化させる。入力画像の中央から上側に存在する部分領域の重要度αiの値をｋαi（０＜ｋ＜０．５）にし、入力画像の中央から下側に存在する部分領域の重要度αiの値を（１−ｋ）αiにする。
【００７６】
入力画像が属する領域種別が障害物下である場合、各部分領域の重要度αiをその部分領域の入力画像中の位置に対応して変化させる。入力画像の中央から下側に存在する部分領域の重要度αiの値をｋαi（０＜ｋ＜０．５）にし、入力画像の中央から上側に存在する部分領域の重要度αiの値を（１−ｋ）αiにする。入力画像が属する領域種別が障害物中である場合、重要度は変更しない。
【００７７】
次に、上記のように決定された重要度を基に総合的な評価値を算出する（ステップＳ４０５）。総合的な人物らしさの評価値Ｌ（対象物体が人物の場合）を、部分領域識別手段から得られる部分領域識別結果Ｒi（ｉ＝０、…、Ｎ）と重要度αiの積αiＲiの和Ｌ＝ΣαiＲiとする。
【００７８】
最終的に入力画像が識別対象画像か否かは予め設定しておいた閾値Ｔｈとの比較により決定する（ステップＳ４０６）。Ｌ≧Ｔｈであれば、入力画像は対象物体、Ｌ＜Ｔｈであれば、入力画像は非対象物体であると識別する。
【００７９】
以上の動作により、入力画像に隠れがある場合においても、入力画像が属する領域種別に応じて、入力画像内の隠れていない部分領域の重要度を変化させて、隠れによる影響を抑えることで、入力画像に隠れがあっても安定して対象物体か否かを識別できるという効果を有する。
【００８０】
本実施例の物体認識装置１００は、車載カメラに適用することができ、この場合、車載カメラから得られる画像において障害物の影から飛び出してくる人物を、その人物の体の一部分が隠れている場合でも安定して検出できるので早期に人物を発見し事故を回避できるという効果がある。
【００８１】
また、本実施例の物体認識装置１００は、監視カメラにも適用することができ、入力画像に隠れがある場合でも安定して対象物体を検出できるという効果がある。
【実施例３】
【００８２】
本実施例では、入力画像を、環境情報を基に識別する物体認識装置について述べる。第３の実施例では、環境情報取得手段１０７が、前記入力画像が撮像された位置における道路種別を格納したデータベースを備え、前記入力画像を撮像した際の位置および方向に関する環境情報を取得するものである物体認識装置について開示する。
【００８３】
対象物体画像記憶手段１０１、非対象物体画像記憶手段１０２、学習手段１０３、画像入力手段１０４、部分領域分割手段１０５、部分領域識別手段１０６は、実施例１の場合と同一であるため、本実施例においては、その説明を省略する。
【００８４】
実施例１と本実施例との構成上の差異は、環境情報取得手段１０７が前記入力画像が撮像された位置における道路種別を格納したデータベースを備え、前記入力画像を撮像した際の位置および方向に関する環境情報を取得するものであるところである。
【００８５】
以下、この差異部分を中心に本実施例に記載の発明について説明する。環境情報取得手段１０７は、画像入力手段１０４によって入力された入力画像を含む画像が撮像された場所を、ＧＰＳ情報を用いることにより検出し、また、撮像装置が車載の場合には、撮影方向をステアリング情報から取得する。
【００８６】
領域種別決定手段１０８は、入力画像が属する領域種別を決定する。道路種別情報、位置情報、撮影方向から、撮影された画像の路面領域と障害物領域を決定する。例えば、撮影主体が移動体の場合に、ＧＰＳ情報と道路種別情報により撮影場所が交差点であり、ステアリング情報から右折状態にあることが判明した場合、領域種別決定手段１０８は、撮像された画像の領域種別を図７のように決定する。
【００８７】
図７は領域種別の例を示す。７０１は入力画像を含む画像である。７０２が障害物領域であり、７０３が路面領域である。入力画像に障害物領域が含まれている場合、入力画像が属する領域種別を障害物領域とし、入力画像に障害物領域が含まれない場合は、入力画像が属する領域を路面領域とする。全体領域識別手段１０９は、入力画像が識別対象画像であるか否かを最終的に判断する。
【００８８】
図６は、全体領域識別手段１０９の動作フローを示す。全体領域識別手段１０９は、処理を開始すると（ステップＳ６０１）、まず、各部分領域の優先度合い（以下、重要度と呼ぶ）αi（ｉ＝１、…、Ｎ）を初期値１／Ｎに設定する（ステップＳ６０２）。
【００８９】
全体領域識別手段１０９は、領域種別決定手段１０８で決定された領域種別が路面領域であるかどうかを確認する（ステップＳ６０３）。入力画像が属する領域種別が路面領域である場合、各部分領域の重要度αi（ｉ＝１、…、Ｎ）は初期値のままにする。
【００９０】
入力画像が属する領域種別が路面領域でない場合、各部分領域の重要度αi（ｉ＝１、…、Ｎ）を以下のように変更する（ステップＳ６０４）。入力画像が属する領域種別が障害物領域である場合、各部分領域の重要度αiをその部分領域の入力画像中の位置に対応して変化させる。
【００９１】
入力画像の中央から上側に存在する部分領域の重要度αiの値をｋαi（０＜ｋ＜０．５）にし、入力画像の中央から下側に存在する部分領域の重要度αiの値を（１−ｋ）αiにする。部分領域が両側にまたがる場合は重要度を変更しない。
【００９２】
次に、上で決定された重要度を基に総合的な評価値を算出する（ステップＳ６０５）。総合的な人物らしさの評価値Ｌ（対象物体が人物の場合）を、部分領域識別手段１０６から得られる部分領域識別結果Ｒi（ｉ＝０、…、Ｎ）と重要度αiの積αiＲiの和Ｌ＝ΣαiＲiとする。
【００９３】
最終的に入力画像が識別対象画像か否かは予め設定しておいた閾値Ｔｈとの比較により決定する（ステップＳ６０６）。Ｌ≧Ｔｈであれば、入力画像は対象物体、Ｌ＜Ｔｈであれば、入力画像は非対象物体であると識別する。
【００９４】
以上の動作により、入力画像に隠れがある場合においても、入力画像が属する領域種別に応じて、入力画像内の隠れていない部分領域の重要度を変化させて、隠れによる影響を抑えることで、入力画像に隠れがあっても安定して対象物体か否かを識別できるという効果を有する。
【００９５】
本実施例の物体認識装置１００は、車載カメラに適用することができ、この場合、車載カメラが搭載された移動物体が存在する場所が交差点であり、その移動物体が右折しようとしている場合、交差点を渡ろうとする人物を、その人物の体の一部分が隠れている場合でも安定して検出できるので早期に人物を発見し事故を回避できるという効果がある。
【００９６】
また、本実施例の物体認識装置１００は、監視カメラにも適用することができ、入力画像において隠れがある場合でも安定して対象物体を検出できるという効果がある。
【産業上の利用可能性】
【００９７】
本発明は、入力画像において、対象物の一部が他の物体により隠れてしまっている場合においても、安定して対象物の認識を行うことができる効果を有し、対象とする物体（対象物）を認識する物体認識装置等として利用可能である。
【図面の簡単な説明】
【００９８】
【図１】本発明の実施例１にかかる物体認識装置１００の構成図
【図２】本発明の実施例１にかかる全体領域識別手段１０９の動作フロー
【図３】本発明の実施例１において領域種別決定手段１０８で決定される領域種別の例
【図４】本発明の実施例２にかかる全体領域識別手段１０９の動作フロー
【図５】本発明の実施例２において領域種別決定手段１０８で決定される領域種別の例
【図６】本発明の実施例３にかかる全体領域識別手段１０９の動作フロー
【図７】本発明の実施例３において領域種別決定手段１０８で決定される領域種別の例
【図８】本発明の実施例にかかる部分領域分割手段１０５で分割された部分領域の例
【図９】本発明の実施例にかかる入力画像と、入力画像を含む撮影された画像の関係を説明するための図
【図１０】従来の物体認識装置１０００の構成を示すブロック図
【符号の説明】
【００９９】
１００，１０００  物体認識装置
１０１，１００１  対象物体画像記憶手段
１０２，１００２  非対象物体画像記憶手段
１０３，１００３  学習手段
１０４，１００４  画像入力手段
１０５  部分領域分割手段
１０６  部分領域識別手段
１０７  環境情報取得手段
１０８  領域種別決定手段
１０９  全体領域識別手段
３０１，５０１，７０１  入力画像を含む画像
３０２，９０２  路面上部分
３０３，９０３  路面左側部分
３０４，９０４  路面右側部分
５０２，７０２  障害物領域（障害物中）
５０３  障害物左部分
５０４  障害物右部分
５０５  障害物上部分
５０６  障害物下部分
５０７  障害物領域外部分
７０３  路面領域
８０１〜８１２  部分領域
９０１  入力画像を含む撮影された画像
９０５  入力画像
１００５  識別手段
【図１】
2007310805.tif 000003
【図２】
2007310805.tif 000004
【図４】
2007310805.tif 000005
【図６】
2007310805.tif 000006
【図８】
2007310805.tif 000007
【図１０】
2007310805.tif 000008
【図３】
2007310805.tif 000009
【図５】
2007310805.tif 000010
【図７】
2007310805.tif 000011
【図９】
2007310805.tif 000012