(57)【要約】  物体認識装置は、認識部と、認識信頼性算出部と、結合部とを備える。認識部は、複数の計測装置が物体を計測した情報に基づいて、複数の機能により物体を認識する。認識信頼性算出部は、認識部が物体を認識する認識結果の認識信頼性を機能毎に算出する。結合部は、物体の認識信頼性及び認識結果を結合して、特定の物体を検出し、特定の物体の検出結果を出力する。
2016199244.tif 000002
【特許請求の範囲】
【請求項１】
複数の計測装置が物体を計測した情報に基づいて、複数の機能により前記物体を認識する認識部と、
前記認識部が前記物体を認識する認識結果の認識信頼性を前記機能毎に算出する認識信頼性算出部と、
前記物体の認識信頼性及び前記認識結果を結合して、特定の前記物体を検出し、特定の前記物体の検出結果を出力する結合部と、を備える
物体認識装置。
【請求項２】
前記複数の計測装置が計測した情報が、前記物体が撮像された撮像画像、及び前記物体までの距離情報が含まれる視差画像である場合に、
前記認識部は、前記撮像画像に基づいて前記物体を認識する撮像画像認識部と、前記視差画像に含まれる前記距離情報に基づいて前記物体を認識する三次元認識部であって、
前記撮像画像認識部は、データベースから読み出したサンプルデータに基づいて生成するパターン識別器と、前記撮像画像から抽出した前記物体の特徴部分との一致度合いを算出し、
前記三次元認識部は、前記データベースから読み出したテンプレートと、前記視差画像を視点変換した俯瞰画像内の前記物体の三次元情報との一致度合いを算出し、
前記認識信頼性算出部は、前記撮像画像認識部が前記撮像画像内で前記物体を認識する認識信頼性と、前記三次元認識部が前記視差画像内で前記物体を認識する認識信頼性とを算出する
請求項１に記載の物体認識装置。
【請求項３】
前記認識信頼性算出部は、前記計測装置から前記撮像画像及び前記視差画像を取得する画像情報取得部と、
前記データベースから前記計測装置の計測装置情報を取得する計測装置情報取得部と、
前記データベースから前記計測装置情報に対応する撮像範囲の分割方法及び前記認識信頼性の行列データを、エリア毎に取得するエリア情報取得部と、
前記撮像範囲の分割方法に基づいて、前記撮像画像の前記撮像範囲を所定の位置、大きさに分割した前記エリア毎に、前記撮像画像認識部が前記物体を認識する認識信頼性と、前記三次元認識部が前記物体を認識する認識信頼性を決定する認識信頼性決定部と、を備える
請求項２に記載の物体認識装置。
【請求項４】
前記結合部は、前記撮像画像認識部が前記撮像画像から認識した前記物体が特定の前記物体であることを示す度合いと、前記撮像画像内で前記物体を認識する認識信頼性と、前記三次元認識部が前記視差画像から認識した前記物体が特定の前記物体であることを示す度合いと、前記視差画像内で前記物体を認識する認識信頼性とを結合した結果が所定値以上である場合に、特定の前記物体の検出結果とする
請求項３に記載の物体認識装置。
【請求項５】
前記計測装置情報、前記分割方法及び前記認識信頼性は、表示部に表示されるＧＵＩ（Graphical User Interface）を通じた操作部からの入力により変更可能であり、変更された前記計測装置情報、前記分割方法及び前記認識信頼性が前記データベースに記録され、
前記認識信頼性算出部は、前記データベースから取得した、変更された前記計測装置情報、前記分割方法及び前記認識信頼性に基づいて、前記エリア毎に前記認識信頼性を算出する
請求項４に記載の物体認識装置。
【請求項６】
さらに、前記計測装置情報に基づいて、前記撮像画像認識部が前記物体を認識する機能と、前記三次元認識部が前記物体を認識する機能とを調整する認識機能調整部と、
調整された前記物体を認識する機能に基づいて、前記認識信頼性が格納される前記行列データを更新する認識信頼性更新部と、を備え、
請求項５に記載の物体認識装置。
【請求項７】
前記計測装置情報は、前記計測装置の設置環境、前記計測装置の内部情報のいずれかを１つ以上含む
請求項６に記載の物体認識装置。
【請求項８】
前記複数の計測装置が計測した情報が、前記物体が撮像された撮像画像、及び前記物体までの距離情報が前記撮像画像に埋め込まれた距離画像である場合に、
前記認識部は、前記撮像画像に基づいて前記物体を認識する撮像画像認識部と、前記距離画像に含まれる前記距離情報に基づいて前記物体を認識する距離画像認識部であって、
前記撮像画像認識部は、前記撮像画像から抽出した前記物体の特徴部分と、前記データベースから読み出したサンプルデータに基づいて生成するパターン識別器との一致度合いを算出し、
前記距離画像認識部は、前記距離画像を視点変換した俯瞰画像内の物体と、前記データベースから読み出したテンプレートとの一致度合いを算出し、
前記認識信頼性算出部は、前記撮像画像認識部が前記撮像画像内で前記物体を認識する認識信頼性と、前記距離画像認識部が前記距離画像内で前記物体を認識する認識信頼性とを算出する
請求項１に記載の物体認識装置。
【請求項９】
物体を計測する複数の計測装置と、
前記複数の計測装置が前記物体を計測した情報に基づいて、複数の機能により物体を認識する認識部と、
前記認識部が前記物体を認識する認識結果の認識信頼性を前記機能毎に算出する認識信頼性算出部と、
前記物体の認識信頼性及び前記認識結果を結合して、特定の前記物体を検出し、特定の前記物体の検出結果を出力する結合部と、
前記検出結果を表示する表示部と、を備える
物体認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、計測装置が計測する情報に基づいて特定の物体を認識する物体認識装置及び物体認識システムに関する。
【背景技術】
【０００２】
近年、計測装置が計測した情報により、物体を検出する物体認識技術へのニーズが高まっている。このような計測装置は、例えば、自動車に搭載され、自動車の進行方向に存在する物体（歩行者等）を自動認識するために用いられている。【０００３】
計測装置としては、監視カメラ、距離センサ、レーザレーダ、赤外線タグ等が多く活用されている。そして、計測装置を新設するための導入コストが掛からず、かつ既設の計測装置を利用することが可能であればコストを抑えて物体認識技術を導入することが可能である。このため、既設の監視カメラを計測装置として用いて、監視カメラから取得した画像に基づいて、物体を検出する技術開発が進められている。そして、画像から物体を認識する技術として、例えば、認識したい物体の大量のサンプルデータ（サンプル画像）を予めデータベースに保存しておき、画像中にサンプルデータと類似した部分が存在するか否かを検索する方法が一般的に用いられていた。【０００４】
しかし、この方法では、照明条件等により物体の見え方がサンプルデータと大きく異なる場合に、物体を認識することが困難となる。そこで、複数のカメラにより物体を撮像し、物体の三次元形状を計測することで、物体を高精度に認識する技術に注目が集まっている。このような技術として、例えば、ステレオカメラを用いた物体認識技術が挙げられる。この技術では、始めに、ステレオカメラが撮像した左右一対のカメラ画像を比較して算出した視差を用いることで、画像の各画素について、ステレオカメラから物体までの実空間における距離を算出する。そして、算出した距離情報に基づいて計測した物体の三次元情報を用いて、画像内から物体を認識する。【０００５】
ステレオカメラを用いた物体認識技術として、例えば、特許文献１が挙げられる。この特許文献１には、「規定距離より近い障害物はステレオカメラの視差情報に基づいて認識され、規定距離より遠い障害物はパターン認識を用いて認識される」と開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−１６１１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示された技術は、車載用のステレオカメラが用いられ、カメラから物体が離れており、かつ真正面で物体を撮像する場合は有効な技術であった。しかし、ステレオカメラを商業施設やビル等に設置する場合、カメラの設置位置や角度は場所毎に異なる。カメラの設置環境によっては物体がカメラに近接したり、物体の形状が大きく変化したりする可能性が高くなる。物体とカメラの距離が近過ぎると、特許文献１に開示された技術では視差を全く算出できないため、三次元情報に基づいて物体を認識できなかったり、物体の形状が変化することによりパターンマッチングを用いても物体を検出できなかったりする。【０００８】
本発明はこのような状況に鑑みて成されたものであり、計測装置の設置環境や物体の位置によらず、特定の物体を高精度に検出することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る物体認識装置は、認識部と、認識信頼性算出部と、結合部とを備える。
認識部は、計測装置が物体を計測した情報に基づいて、複数の手法により物体を認識する。認識信頼性算出部は、認識部が物体を認識する認識結果の認識信頼性を手法毎に算出する。結合部は、物体の認識信頼性及び認識結果を結合して、特定の物体を検出し、特定の物体の検出結果を出力する。
【発明の効果】
【００１０】
本発明によれば、複数の手法により物体を認識した際の物体の認識信頼性及び認識結果を結合して、特定の物体を高精度に検出することができる。
上記した以外の課題、構成及び効果は、以下の実施の形態例の説明により明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施の形態例に係る物体認識システムの内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態例に係る計算機のハードウェア構成図である。
【図３】本発明の第１の実施の形態例に係る撮像画像認識部が撮像画像から人物を検出する処理の一例を示すフローチャートである。
【図４】本発明の第１の実施の形態例に係る三次元認識部が視差画像から人物を検出する処理の一例を示す説明図である。
【図５】本発明の第１の実施の形態例に係る認識信頼性算出部の内部構成例を示すブロック図である。
【図６】本発明の第１の実施の形態例に係る画像情報取得部が取得する撮像画像と視差画像の一例を示す説明図である。
【図７】本発明の第１の実施の形態例に係るカメラ情報取得部がデータベースから取得するカメラ情報の一例を示す説明図である。
【図８】本発明の第１の実施の形態例に係るカメラ情報、３つのエリアに分割された撮像範囲、及び各エリアの認識信頼性の行列データの第１の例を示す説明図である。
【図９】本発明の第１の実施の形態例に係る４つのエリアに分割された撮像範囲、及び各エリアの認識信頼性の行列データの第２の例を示す説明図である。
【図１０】本発明の第１の実施の形態例に係る認識信頼性決定部が撮像範囲を複数のエリアに分割して、各エリアの認識信頼性を最終的に決定するために用いられるＧＵＩの一例を示す説明図である。
【図１１】本発明の第１の実施の形態例に係る画像認識の認識信頼性と、三次元認識の認識信頼性とが結合された認識合算値の表示例を示す説明図である。
【図１２】本発明の第２の実施の形態例に係る物体認識システムの内部構成例を示すブロック図である。
【図１３】本発明の第２の実施の形態例に係る認識機能調整部の内部構成例を示すブロック図である。
【図１４】本発明の第３の実施の形態例に係る物体認識システムの内部構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態例について説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
【００１３】
［１．第１の実施の形態例］
図１は、本発明の第１の実施の形態例に係る物体認識システムの構成例を示すブロック図である。
図１に示す物体認識システム１０は、２台のカメラ２、物体認識装置１、データベース９、表示部１１、操作部１２を備える。
【００１４】
物体認識装置１は、画像取得部３、距離算出部４、撮像画像認識部５、三次元認識部６、認識信頼性算出部７、認識結果結合部８を備える。物体認識装置１は、ステレオカメラとして用いられる隣接した２台のカメラ２（計測装置の一例）が撮像した画像内の物体を認識し、この物体から特定の物体を検出する。本実施の形態例に係る物体認識装置１は検出対象とする特定の物体を人物とするが、車両等の他の物体を検出対象としても良い。
【００１５】
カメラ２は、所定の時間周期で取得した可視光をＣＣＤ（Charge Coupled Device）イメージャやＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子を介して変換した電気信号をデジタル変換し、デジタル画像データを生成する。
画像取得部３は、２台のカメラ２からデジタル画像データを取得する。以下の説明では、画像取得部３がカメラ２から取得するデジタル画像データを「撮像画像」と呼ぶ。撮像画像は、カメラ２が物体を計測した情報の一例として用いられる。
【００１６】
距離算出部４は、撮像画像内の各画素について、カメラ２から見た物体までの実空間における距離を算出する。例えば、距離算出部４は、画像取得部３から出力される２台のカメラ２の撮像画像と、各カメラ２において予め公知のキャリブレーション技術により推定したカメラパラメータに基づいて、カメラ２から撮像画像内の物体までの距離を算出する。距離の算出方法としては、例えば、カメラパラメータから求めた基礎行列を用いて視差を算出するステレオマッチングと呼ばれる一般的な手法を使用する。そして、距離算出部４は、２台のカメラ２からそれぞれ取得した撮像画像に、物体毎に算出したカメラ２から見た物体までの距離を距離情報として含めた視差画像を三次元認識部６と認識信頼性算出部７に出力する。この視差画像についても、カメラ２が物体を計測した情報の一例として用いられる。
【００１７】
撮像画像認識部５（認識部の一例）は、２台のカメラ２のうち、いずれかのカメラ２が撮像した撮像画像に基づいて物体を認識する。撮像画像認識部５が行う処理の詳細は後述する図３にて説明する。以下の説明では、撮像画像認識部５が物体を認識する物体認識機能を「画像認識」とも呼ぶ。
【００１８】
三次元認識部６（認識部の一例）は、視差画像に含まれる距離情報に基づいて物体を認識する。三次元認識部６が行う処理の詳細は後述する図４にて説明する。以下の説明では、三次元認識部６が物体を認識する物体認識機能を「三次元認識」とも呼ぶ。
【００１９】
認識信頼性算出部７は、カメラ２のカメラ情報、及びカメラ２の設置環境に基づいて、画像認識の信頼性と、三次元認識の認識信頼性を物体認識機能毎に算出する。また、認識信頼性算出部７は、データベース９から取得した、ユーザが操作部１２を用いて変更したカメラ情報、分割方法及び認識信頼性に基づいて、エリア毎に認識信頼性を算出することもできる。
【００２０】
カメラ情報とは、カメラ２の設置環境、内部情報のいずれかを１つ以上含む情報である。カメラ情報には、撮像範囲、カメラ２から物体までの距離を含めても良い。認識信頼性とは、撮像画像認識部５と三次元認識部６が、それぞれの物体認識機能に基づいて特定の物体を認識する認識結果の信頼性を示す値であり、認識信頼性が高いほど、表示部１１に表示される特定の物体の検出結果に認識結果が反映されやすくなる。認識信頼性算出部７が行う処理の詳細は後述する図５、図６にて説明する。
【００２１】
認識結果結合部８（結合部の一例）は、撮像画像認識部５、三次元認識部６がそれぞれ物体を認識する物体認識機能の認識信頼性と、撮像画像認識部５の認識結果と、三次元認識部６の認識結果とを結合し、特定の物体を検出する。そして、認識結果結合部８は、特定の物体の検出結果を表示部１１に出力する。
【００２２】
データベース９は、画像取得部３が読み出すカメラパラメータ、パターン画像、カメラ２毎に固有のカメラ情報、撮像範囲の分割方法、認識信頼性の行列データ等を記録しており、これらの情報が物体認識装置１の各部から随時読み出される。また、データベース９には、物体認識装置１の検出結果が記録される。
【００２３】
表示部１１は、認識結果結合部８によって検出された特定の物体の検出結果を表示する。表示部１１が表示する認識結果の詳細は後述する図１０、図１１にて説明する。表示部１１は、例えば、液晶ディスプレイモニタであり、ＧＵＩ（Graphical User Interface）を通じて処理の結果等を表示する。
【００２４】
操作部１２は、ユーザが物体認識装置１に対して、所定の操作入力、指示を行うために用いられる。この操作部１２には、例えば、キーボード、マウス等が用いられる。カメラ情報、分割方法及び認識信頼性は、表示部１１に表示されるＧＵＩを通じた操作部１２からのユーザの入力により変更可能である。変更されたカメラ情報、分割方法及び認識信頼性は、データベース９に記録される。
【００２５】
＜計算機のハードウェア構成例＞
次に、物体認識装置１を構成する計算機Ｃのハードウェア構成を説明する。
図２は、計算機Ｃのハードウェア構成例を示すブロック図である。
【００２６】
計算機Ｃは、いわゆるコンピュータとして用いられるハードウェアである。計算機Ｃは、バスＣ４にそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理装置）Ｃ１、ＲＯＭ（Read Only Memory）Ｃ２、ＲＡＭ（Random Access Memory）Ｃ３、不揮発性ストレージＣ５、ネットワークインタフェースＣ６とを備える。
【００２７】
ＣＰＵ Ｃ１は、本実施の形態例に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ Ｃ２から読み出して実行する。ＲＡＭ Ｃ３には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
【００２８】
不揮発性ストレージＣ５としては、例えば、ＨＤＤ（Hard disk drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等が用いられる。この不揮発性ストレージＣ５には、ＯＳ（Operating System）、各種のパラメータの他に、計算機Ｃを機能させるためのプログラムが記録されている。ネットワークインタフェースＣ６には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、端子が接続されたＬＡＮ（Local Area Network）、専用線等を介して各種のデータを送受信することが可能である。
【００２９】
なお、物体認識装置１は、計算機Ｃによってその機能が実現されるが、カメラ２自体が計算機Ｃによって構成されることにより、物体認識装置１の機能が実現されるようにしても良い。
【００３０】
図３は、撮像画像認識部５が撮像画像から人物を検出する処理の一例を示す。
【００３１】
始めに、撮像画像認識部５は、データベース９から読み出した人物のサンプルデータ（サンプル画像）から色や形状といった二次元の撮像画像における特徴的なパターン（例えば、人物の頭部と肩の輪郭）を学習し、パターン識別器を生成する（Ｓ１）。次に、撮像画像認識部５は、撮像画像内を検出ウィンドウ（例えば、撮像画像よりも小さい矩形領域）により網羅的に走査して、撮像画像から局所的な特徴部分を抽出する（Ｓ２）。
【００３２】
次に、撮像画像認識部５は、ステップＳ１にて生成したパターン識別器を用いて、撮像画像から抽出した局所的な特徴部分とパターン識別器の画像特徴との一致度合い（認識結果の一例）を算出し（Ｓ３）、算出した一致度合いを認識結果結合部８に出力する。撮像画像認識部５は、ステップＳ３によって算出された画像特徴の一致度合いが規定値以上であれば画像内に人物が写っており、一致度合いが規定値未満であれば画像内に人物が写っていないと判定できる。
【００３３】
なお、上述した撮像画像認識部５が行う画像認識方法は一般的な学習型の物体認識技術を応用したものであり、この方法以外にも撮像画像から人物を検出できる方法であれば、特に限定しない。
【００３４】
図４は、三次元認識部６が視差画像から人物を検出する処理の一例を示す。
【００３５】
図４Ａは、視差画像２２の例を示す。
視差画像２２は、カメラ２から画像内に写される各物体までの距離値を画素毎に含む。例えば、視差画像２２には、検出対象である人物２０ａ〜２０ｃ、検出対象外である建物２１が写っている。そして、三次元認識部６は、視差画像２２より検出対象である人物２０ａ〜２０ｃを認識する処理を行う。
【００３６】
図４Ｂは、三次元認識部６が行う処理の概要を示す。
三次元認識部６は、背景差分処理によって人物２０ａ〜２０ｃの領域を抽出する。ここで、三次元認識部６は、予め取得しておいた背景視差画像２３をデータベース９から読み出す。この背景視差画像２３には、建物２１だけが存在する。このため、三次元認識部６は、人物が存在する視差画像２２と背景視差画像２３との差分を取ることで、人物が存在する人物領域を含む視差画像２４を作成することができる。視差画像２４内の人物２０ａ〜２０ｃは、ｘ（視差画像２４におけるｘ方向の位置）、ｙ（視差画像２４におけるｙ方向の位置）、Ｌ（カメラ２から物体までの奥行きの距離）を含む画像座標によって視差画像２４における位置が特定される。
【００３７】
図４Ｃは、第１の視点変換処理の例を示す。
三次元認識部６は、第１の視点変換処理を行うことによって、人物領域から区別した各人物の三次元情報を取得する。
図４Ｃには、視差画像２４の画像座標と距離情報から推定した人物を斜視した三次元情報２５が示されると共に、三次元情報２５を真上の視点から見た俯瞰画像２６が示される。俯瞰画像２６は、カメラパラメータを用いた透視投影といった一般的な方法を使用して三次元情報２５から作成される。なお、俯瞰画像２６の左下には、人物２０ａ〜２０ｃを特定するための三次元情報テンプレートｔ１が示されている。三次元情報テンプレートｔ１は、三次元認識部６によってデータベース９から読み出される。
【００３８】
三次元認識部６は、例えば、俯瞰画像２６内の矢印によって示される方向に三次元情報テンプレートｔ１を網羅的に走査することによって、三次元情報テンプレートｔ１に一致する画像を人物２０ａ〜２０ｃとして特定する。そして、三次元認識部６は、俯瞰画像２６内において、三次元情報テンプレートｔ１と、俯瞰画像２６に写る人物の三次元情報の一致度合い（認識結果の一例）を算出し、算出した一致度合いを認識結果結合部８に出力する。このとき、三次元認識部６は、一致度合いが規定値以上であれば俯瞰画像２６内に人物が写っており、一致度合いが規定値未満であれば俯瞰画像２６内に人物が写っていないと判定できる。
【００３９】
図４Ｄは、第２の視点変換処理の例を示す。
三次元認識部６は、図４Ｃに示した物全体の三次元情報２５から俯瞰画像２６を作成するのではなく、図４Ｄに示すように人物領域から抽出した人物の頭部だけを斜視した三次元情報２７を作成し、この三次元情報２７から俯瞰画像２８を作成することもできる。このような処理により、三次元認識部６は、人物全体の三次元情報から生成した俯瞰画像２６と比べ、容易に人物同士を分割することができる。
【００４０】
そして、第１の視点変換処理と同様に、三次元認識部６は、データベース９から読み出した頭部の三次元情報テンプレートｔ２と、各人物の頭部の一致度合いを算出し、この算出した一致度合いを認識結果結合部８に出力する。そして、三次元認識部６は、人物同士が密集したシーンでも高精度に人物を検出することが可能となる。
【００４１】
なお、人物領域から頭部だけの三次元情報２７を抽出する方法として、平面から一定以上の高さから上の三次元情報を頭部として検出する方法がある。その他にも頭部付近の領域を抽出できる手法であれば、特に限定しない。
【００４２】
また、上記方法以外にも、三次元認識部６は、三次元情報から人物を検出できる方法を用いることができる。例えば、三次元認識部６は、三次元情報だけでなく画像特徴も併用して人物を検出する方法を用いても良い。また、三次元認識部６は、撮像画像認識部５と同様に、データベース９から読み出したサンプルデータである人物の三次元情報からパターン識別器を作成し、取得した三次元情報とサンプルデータとの一致度合いを算出することで人物を検出する方法を用いても良い。
【００４３】
図５は、認識信頼性算出部７の内部構成例を示すブロック図である。
図５に示す認識信頼性算出部７は、データベース９から読み出したカメラ情報に基づき、撮像画像認識部５が認識する物体の認識信頼性と、三次元認識部６が認識する物体の認識信頼性とを、撮像画像の撮像範囲を分割したエリア毎に算出する。
【００４４】
認識信頼性算出部７は、画像情報取得部７ａ、カメラ情報取得部７ｂ、エリア情報取得部７ｃ、認識信頼性決定部７ｄを備える。
【００４５】
画像情報取得部７ａは、画像取得部３から撮像画像を取得し、距離算出部４から視差画像を取得し、認識信頼性決定部７ｄに撮像画像及び視差画像を出力する。
カメラ情報取得部７ｂ（計測装置情報取得部の一例）は、カメラ２の設置角度や焦点距離等を含むカメラ情報（計測装置情報の一例）をデータベース９から取得する。そして、カメラ情報取得部７ｂは、取得したカメラ情報を認識信頼性決定部７ｄに出力する。
【００４６】
エリア情報取得部７ｃは、カメラ情報に対応する撮像範囲の分割方法及び認識信頼性の行列データを、エリア毎にデータベース９より取得し、認識信頼性決定部７ｄに撮像範囲の分割方法及び認識信頼性の行列データを出力する。
【００４７】
認識信頼性決定部７ｄは、撮像画像及び視差画像、カメラ情報、撮像範囲の分割方法及び認識信頼性行列データに基づいて、カメラ２の撮像範囲を所定の位置、大きさのエリアに分割する。そして、認識信頼性決定部７ｄは、分割したエリア毎に撮像画像の認識信頼性と、視差画像の認識信頼性を決定し、決定したエリア毎の認識信頼性を認識結果結合部８に出力する。
【００４８】
図６は、画像情報取得部７ａが取得する撮像画像３０と視差画像３１の一例を示す。
【００４９】
撮像画像３０には、物体の一例として人物３２ａ〜３２ｃ、鏡３３、壁３４が写っている。一方、視差画像３１においても、物体の一例として人物３２ａ〜３２ｃ、壁３４が写っているものの、鏡３３は写っていない。これは撮像画像３０と視差画像３１の性質の違いに起因する。視差画像３１は、カメラ２を基準としたときに遠方に存在する物体間の境界における輝度値の差が少なくなる。しかし、撮像画像３０は、遠方に存在する物体間の境界であっても輝度値の差は変わらない。そのため、撮像画像３０では鏡３３と壁３４を区別することが可能であるが、視差画像３１では鏡３３と壁３４を区別できなくなる。
【００５０】
図７は、カメラ情報取得部７ｂがデータベース９から取得するカメラ情報の一例を示す。
【００５１】
カメラ情報は、カメラ２の内部情報と、カメラ２の設置環境の２つに分けられる。２台のカメラ２をステレオカメラとして用いる場合、カメラ２の内部情報には、解像度、焦点距離、レンズ歪み、スキュー等の内部パラメータに加え、左右のカメラ２間の基線長等が含まれる。カメラ２の設置環境には、カメラ２の設置角度（パン角、チルト角、ロール角）、カメラ２の設置位置（Ｘ位置、Ｙ位置、Ｚ位置）等の外部パラメータが含まれる。
【００５２】
なお、図７に示す以外のカメラ情報であっても、画像内の物体の形状や見え方の変化に影響を与える情報であれば、カメラ情報取得部７ｂが取得しても良い。また、カメラ情報取得部７ｂは、ユーザがＧＵＩ等を利用して手動で指示したカメラ情報を取得したり、撮像画像や視差画像のキャリブレーション技術等を用いて推定したカメラ情報を取得したりしても良い。
【００５３】
図８は、カメラ情報、３つのエリアに分割された撮像範囲、及び各エリアの認識信頼性の行列データの第１の例を示す。
【００５４】
エリア情報取得部７ｃが取得するカメラ情報４０には、図７に示したものと同様のカメラ情報が格納される。そして、分割方法４１には、カメラ情報４０に対応して撮像範囲をどのように分割するかが示される。分割方法４１により、撮像範囲が第１〜第３エリアに３分割されることが示される。一覧表で示される行列データ４２には、第１〜第３エリア毎に、画像認識の信頼性と、三次元認識の信頼性とが示されている。
【００５５】
撮像範囲の分割方法４１及び認識信頼性の行列データ４２は、画像認識と三次元認識に用いられるアルゴリズムによって変更されることがある。例えば、人全体のテンプレートを用いる物体認識機能では、全身が撮像されないエリアやレンズ歪み等により形状が大きく変化する画像の左右端のエリアでは認識信頼性は“０”に近いが、全身が映る画像中心及び遠方部分の認識信頼性は高い。一方、人体の一部のテンプレートを用いた画像認識では、撮像範囲の全体のエリアにて人物の検出は可能であるものの、認識信頼性は人全体のテンプレートを用いた画像認識と比較すると低下する。このため、どのようなテンプレートを用いて画像認識を行うかによって、撮像範囲が適切に分割され、行列データ４２の内容が変えられる。
【００５６】
また、認識信頼性の行列データについては、行列データ４２のように必ずしも２つの物体認識機能の認識信頼性の合計値を“１００”としなくても良く、その値は“０”〜“１００”の範囲に限定されない。例えば、認識信頼性が極めて高い場合は、２つの物体認識機能の認識信頼性の合計値を“２００”等の値にしても良い。なお、撮像範囲によっては、２つの物体認識技術の内、一方の物体認識技術の認識信頼性を“０”にすることで、１つの物体認識技術を使用しても良い。
【００５７】
図９は、４つのエリアに分割された撮像範囲、及び各エリアの認識信頼性の行列データの第２の例を示す。図９では、カメラ情報４０の記載を省略する。
【００５８】
エリア情報取得部７ｃが取得する撮像範囲の分割方法４３は、カメラ２からの距離に応じて撮像範囲を第１〜第４エリアに４分割するものである。行列データ４４には、第１〜第４エリア毎に画像認識と三次元認識の認識信頼性が示されている。撮像範囲の分割方法４３、及び認識信頼性の行列データ４４は、視差画像により取得したカメラ２からの距離情報に応じて変更されても良い。
【００５９】
なお、撮像範囲の分割方法は、図８と図９に示したように縦方向に分割するだけに限定されず、撮像範囲を横方向又は円状に分割する方法を用いても良い。また、カメラ情報によっては、必ずしも撮像範囲を分割するのではなく、撮像範囲の全体を１つのエリアとしても良い。
【００６０】
図１０は、認識信頼性決定部７ｄが撮像範囲を複数のエリアに分割して、各エリアの認識信頼性を最終的に決定するために用いられるＧＵＩの一例である。図１０に示す全体画面５０ａ、５０ｂは、表示部１１に表示される。
【００６１】
認識信頼性決定部７ｄは、カメラ情報取得部７ｂから取得したカメラ情報と、エリア情報取得部７ｃから取得した撮像範囲の分割方法及び認識信頼性の行列データとの対応付けを行い、その結果を全体画面５０ａとして表示部１１に表示する。
【００６２】
全体画面５０ａには、認識信頼性決定部７ｄが撮像範囲の分割方法に基づいて第１〜第３エリアに分割した撮像画像５１ａの他、行列データ５２ａ、カメラ情報５３、視差画像５４が表示される。
撮像画像５１ａは、画像情報取得部７ａが取得した画像であり、図６に示した撮像画像３０と同じである。
行列データ５２ａは、図８と図９に示したように分割されたエリア毎に物体認識機能の認識信頼性を示す情報である。
カメラ情報５３は、カメラ情報取得部７ｂが取得した情報であり、図７に示したカメラ情報と同じ内容である。
視差画像５４は、画像情報取得部７ａが取得した画像であり、図６に示した視差画像３１と同じである。
【００６３】
ユーザは、撮像画像５１ａの全体を目視し、分割方法４１によって撮像画像５１ａの撮像範囲がどのように分割されているかを確認する。そして、ユーザは、撮像画像の内容に基づいて操作部１２を用い、撮像範囲の分割方法と、エリア毎の認識信頼性を修正する。全体画面５０ｂは、ユーザが撮像範囲の分割方法と、行列データ５２ａとを修正した例を示す。
【００６４】
ここで、全体画面５０ａに示すように、画像情報取得部７ａが取得した撮像画像５１ａ内には人物の他に鏡３３が存在している。三次元認識部６は、図６に示したように鏡３３と壁３４が区別されない視差画像５４に基づいて物体を認識するため、鏡３３に映し出された人物を検出する可能性は低い。しかし、撮像画像認識部５は、撮像画像５１ａにおける画像の特徴に基づいて物体を認識するため、鏡３３に映し出された人物を誤って検出する可能性が高い。
【００６５】
そこで、ユーザは、ＧＵＩを通じて操作部１２から入力を行い、鏡３３を囲む新たなエリア（第４エリア）を撮像画像５１ａから分割した撮像画像５１ｂを作成する。そして、ユーザは、行列データ５２ｂに追加された、第４エリアにおける画像認識の認識信頼性を０％、三次元認識の認識信頼性を９０％と修正する。これにより、第４エリアに映し出される物体は、画像認識の認識結果より三次元認識の認識結果の方が高い信頼性を持つこととなる。
【００６６】
なお、ユーザがエリアの認識信頼性を修正する方法として、例えば、照明条件が大きく変動すると予想される箇所のエリアを分割し、このエリアにおける画像認識の認識信頼性を下げて、三次元認識の認識信頼性を大幅に上げるように修正する方法がある。また、視差画像５４により視差が充分に取れていない箇所は三次元認識の信頼性を下げる方法もある。
【００６７】
また、ユーザがＧＵＩを通じて操作部１２から入力を行い、カメラ情報５３の値を修正することも可能である。ユーザによってカメラ情報５３が修正されると、エリア情報取得部７ｃは、修正されたカメラ情報５３に基づき、撮像範囲の分割方法及び各エリアの認識信頼性の行列データを取得する。このため、撮像画像５１ａ、５１ｂ、行列データ５２ａ、５２ｂの内容が自動的に更新される。
【００６８】
また、カメラ情報取得部７ｂが取得したカメラ情報と、エリア情報取得部７ｃが取得した撮像範囲の分割方法及び認識信頼性の行列データを対応付けるために様々な方法が用いられる。例えば、エリア情報取得部７ｃは、カメラ情報取得部７ｂが取得する全てのカメラ情報毎に、撮像範囲の分割方法及び認識信頼性の行列データを予め保存したデータベース９を使用する方法がある。また、カメラ２から物体までの距離毎に撮像範囲の分割方法及び認識信頼性の行列データを予め保存したデータベース９を使用する方法等もある。これにより、エリア情報取得部７ｃは、カメラ情報取得部７ｂが取得したカメラ情報を取得するだけで、認識信頼性決定部７ｄによる各情報の対応付けを必要とせずに、データベース９から撮像範囲の分割方法及び認識信頼性の行列データを取得することができる。
【００６９】
また、エリア情報取得部７ｃは、視差画像から取得した距離情報を撮像範囲の分割方法及び認識信頼性の行列データに対応付けたデータベース９を使用しても良い。また、エリア情報取得部７ｃは、カメラ２のカメラ情報及び距離情報の両方に対応付けられた撮像範囲の分割方法及び認識信頼性の行列データであっても良い。そして、ユーザは、ＧＵＩを通じて、カメラ情報に対応する、撮像範囲の分割方法及び認識信頼性の行列データを選択することが可能であっても良い。
【００７０】
また、ユーザは、ＧＵＩを通じて、距離情報を使用して、距離に応じて認識信頼性を変更しても良い。例えば、ユーザは、近くのエリアについて、画像認識及び三次元認識の認識信頼性を高め、遠くのエリアについては、画像認識及び三次元認識の認識信頼性を低めても良い。
【００７１】
また、予め撮像範囲の分割方法及び画像認識信頼性の行列データと、画像情報取得部７ａが取得する画像情報（撮像画像及び視差画像）とを対応付けてデータベース９に保存しておく。認識信頼性算出部７は、類似画像の検索技術等を用いて画像情報取得部７ａが取得した撮像画像を、データベース９に保存された画像情報と照合する。そして、認識信頼性算出部７は、一致した画像情報に対応付けられる撮像範囲の分割方法及び画像認識信頼性の行列データをデータベース９から読み出すようにする。これにより、エリア情報取得部７ｃは、カメラ情報を使用しなくても、撮像範囲の分割方法及び画像認識信頼性の行列データをデータベース９から取得することが可能となる。
【００７２】
また、ユーザがＧＵＩを通じて撮像範囲を複数のエリアに分割する際に、認識信頼性算出部７は、操作部１２から入力される入力情報と、カメラ情報に基づいて、ユーザが行う撮像範囲の分割方法と類似する撮像範囲の分割方法をデータベース９から探索しても良い。そして、認識信頼性算出部７は、最も類似する撮像範囲の分割方法と、この分割方法に対応する認識信頼性の行列データをデータベース９から取得し、表示部１１に表示しても良い。
【００７３】
図１１は、画像認識の認識信頼性と、三次元認識の認識信頼性とが結合された認識合算値の表示例を示す。図１１に示すＧＵＩは、表示部１１に表示される。
【００７４】
図１１に示すＧＵＩには、実際の撮像画像６０、認識信頼性の行列データ６１、認識結果一覧６４が表示される。撮像画像６０は、認識信頼性算出部７によって、第１〜第４エリアに分割されている。第１エリアには物体６２ａ、第２エリアには物体６２ｂ、第３エリアには物体６２ｃ、第４エリアには物体６３が含まれている。
【００７５】
行列データ６１には、第１〜第４エリアの画像認識の認識信頼性と、三次元認識の認識信頼性が表示される。そして、認識結果一覧６４には、撮像画像認識部５及び三次元認識部６によって第１〜第４エリアで認識された物体の一致度合い、画像認識の認識信頼性と、三次元認識の認識信頼性、認識合算値が表示される。
【００７６】
ここで、認識結果結合部８は、撮像画像認識部５が撮像画像から認識した物体が特定の物体であることを示す度合いと、撮像画像内で物体を認識する認識信頼性とを結合する。また、認識結果結合部８は、三次元認識部６６が視差画像から認識した物体が特定の物体であることを示す度合いと、視差画像内で物体を認識する認識信頼性とを結合する。そして、認識結果結合部８は、画像認識の一致度合いと、三次元認識の一致度合いを認識信頼性に基づいて結合して算出した認識合算値が所定値以上である場合に、特定の物体を検出した検出結果（撮像画像６０に写る人物の有無を示す。）とする。
【００７７】
【数１】
2016199244.tif 000003
【００７８】
認識結果一覧６４における画像認識や三次元認識の一致度合いは“０”〜“１０”の間に正規化される。一致度合いを正規化する方法は限定しない。認識結果結合部８は、認識合算値を使用して、予め設定した適当な閾値以上の値を示せば認識した物体は人物であり、閾値未満の値を示せば認識した物体は人物ではないと判定することで最終的に人物の認識結果を求める。例えば、図１１に示す認識合算値のうち、閾値を“３”に設定することで、物体６２ａ、６２ｂ、６２ｃだけを人物として検出し、鏡に写っている物体６３は、人物ではないと検出することが可能となる。
【００７９】
なお、撮像画像認識部５や三次元認識部６が使用する画像認識や三次元認識のアルゴリズムにおいて、一致度合いを算出できず、代わりに人物が存在するか否かだけを取得可能である場合がある。この場合、認識結果結合部８は、人物が存在する場合の一致度合いを“１０”、人物が存在しない場合の一致度合いを“０”として認識合算値を求めても良い。
また、認識結果結合部８は、２つの物体認識機能の結果を結合するのではなく、エリア毎に認識信頼性の高い物体認識機能の結果だけを選択しても良い。
【００８０】
以上説明した物体認識装置１は、２台のカメラ２のカメラ情報、撮像範囲の分割方法と各エリアの認識信頼性を格納した行列データを利用して画像認識と三次元認識の認識結果を結合する。これにより、物体認識装置１は、カメラ２の設置環境や物体の位置によらず、特定の物体を高精度に検出することができる。
【００８１】
また、物体認識装置１は、特定の物体がカメラ２の近くにあるときは撮像画像に基づいて認識した物体から特定の物体を検出することができる。また、物体認識装置１は、特定の物体がカメラ２の遠くにあるときは視差画像に基づいて、認識した物体から特定の物体を検出することができる。
【００８２】
なお、第１の実施の形態例において、計測装置としてステレオカメラを使用し、物体認識の手法としては画像による画像認識と距離情報による三次元認識を使用した場合の例を説明したが、これら計測装置及び物体認識の手法に限定されるものでは無い。
２台のカメラ２の高さ、物体までの距離が異なっていたとしても、認識信頼性算出部７は、データベース９から読み出した２台のカメラ２のカメラ情報に基づいて、撮像画像及び視差画像を同じ撮像範囲となるように補正する。このため、既設のカメラ２を用いて物体認識システム１を容易に構築することができる。
【００８３】
また、物体認識装置１は、計測装置として２台のカメラ２を隣接したステレオカメラとして使用する以外にも、３台以上のカメラ２を使用して物体の画像情報と距離情報を取得して、一連の処理を実施しても良い。この場合、物体認識装置１が認識する撮像画像及び視差画像の範囲が拡大するため、広い範囲から特定の物体を検出することができる。
【００８４】
また、第１の実施の形態例には、物体認識技術として２つの物体認識機能を用いる例を示したが、使用する物体認識機能の数とその種類は限定しない。例えば、特定の物体として人物を検出する場合には、画像認識により頭部を検出する機能と、画像認識により人物を検出する機能と、距離情報により三次元認識を行う機能の３つの物体認識機能を併用しても良い。
【００８５】
［２．第２の実施の形態例］
次に、本発明の第２の実施の形態例に係る物体認識システムについて説明する。
図１２は、第２の実施の形態例に係る物体認識システム１０Ａの内部構成例を示す。
【００８６】
物体認識システム１０Ａは、２台のカメラ２、物体認識装置１Ａ、データベース９、表示部１１、操作部１２を備える。
物体認識装置１Ａは、画像取得部３、距離算出部４、撮像画像認識部５、三次元認識部６、認識信頼性算出部７Ａ、認識結果結合部８に加えて、認識機能調整部７０、認識信頼性更新部７１を備える。
【００８７】
認識機能調整部７０は、カメラ情報に基づいて、撮像画像認識部５が物体を認識する際に用いるパラメータ（撮像画像認識部５が物体を認識する機能）を調整する。また、認識機能調整部７０は、カメラ情報に基づいて、三次元認識部６が物体を認識する際に用いるパラメータ（三次元認識部６が物体を認識する機能の一例）を調整する。
【００８８】
認識信頼性更新部７１は、認識機能調整部７０によって調整されたパラメータに基づいて、撮像範囲の分割範囲毎の認識信頼性が格納される行列データを更新する。更新された行列データはデータベース９に記録される。以下、認識機能調整部７０と、認識信頼性更新部７１の機能の詳細について説明する。
【００８９】
図１３は、認識機能調整部７０の内部構成例を示す。
ここでは、認識機能調整部７０が物体認識機能のパラメータを調整する機能について説明する。
【００９０】
認識機能調整部７０は、カメラ情報取得部７０ａ、エリア情報取得部７０ｂ、画像情報取得部７０ｃ、パターン識別器再構築部７０ｄ、認識パラメータ決定部７０ｅを備える。
【００９１】
カメラ情報取得部７０ａは、データベース９からカメラ２のカメラ情報を取得し、パターン識別器再構築部７０ｄ及び認識パラメータ決定部７０ｅにカメラ情報を出力する。
エリア情報取得部７０ｂは、データベース９から取得したカメラ情報に対応付けられる、カメラ２の撮像範囲の分割方法及び認識信頼性の行列データを取得する。そして、エリア情報取得部７０ｂは、パターン識別器再構築部７０ｄ及び認識パラメータ決定部７０ｅにカメラ２の撮像範囲の分割方法及び認識信頼性の行列データを出力する。
画像情報取得部７０ｃは、画像取得部３より撮像画像を取得し、距離算出部４より視差画像を取得し、パターン識別器再構築部７０ｄ及び認識パラメータ決定部７０ｅに撮像画像及び視差画像を出力する。
【００９２】
パターン識別器再構築部７０ｄは、画像情報取得部７０ｃが取得した撮像画像と視差画像、カメラ情報取得部７０ａが取得したカメラ情報、エリア情報取得部７０ｂが取得した撮像範囲の分割方法及び認識信頼性の行列データを用いて所定の処理を行う。このとき、パターン識別器再構築部７０ｄは、撮像画像認識部５が使用するサンプルデータ（サンプル画像）を変更することで、撮像画像認識部５が使用するパターン識別器を再構築し、このパターン識別器をデータベース９に記録する。なお、上述した第１の実施の形態例に係る撮像画像認識部５はパターン識別器を生成していたが、本実施の形態例に係る撮像画像認識部５はデータベース９からパターン識別器再構築部７０ｄが再構築したパターン識別器を読み出し、処理に使用する。
【００９３】
データベース９は、予めカメラ２の高さや設置角度といったカメラ２の設置環境毎にサンプルデータを記録している。そして、パターン識別器再構築部７０ｄは、カメラ情報取得部７０ａが取得したカメラ情報（カメラ２の設置環境）に最も類似する設置環境のサンプルデータに変更する。なお、パターン識別器再構築部７０ｄは、撮像画像や視差画像に基づいてシーン認識等を行い、カメラ２の設置環境に近いサンプルデータに変更しても良い。
【００９４】
他にも、データベース９に１つのサンプルデータを記録しておき、カメラ２のレンズ歪みや焦点距離等のカメラ情報に基づいて、パターン識別器再構築部７０ｄがサンプルデータ内の画像に対して歪み補正処理等を行ってサンプルデータを変更しても良い。また、視差画像から取得した距離情報に基づいて、パターン識別器再構築部７０ｄがサンプルデータ内の画像のサイズを変更する等の画像処理により、サンプルデータを変更しても良い。
【００９５】
また、パターン識別器再構築部７０ｄは、カメラ情報に対応付けられた撮像範囲の分割方法及び認識信頼性の情報に基づいて、分割されたエリア毎にパターン識別器を再構築しても良い。なお、三次元認識部６が三次元認識を行う際に、サンプルデータから作成された三次元情報のパターン識別器を三次元情報テンプレートとして使用する場合には、パターン識別器再構築部７０ｄが三次元情報のパターン識別器を再構築しても良い。
【００９６】
認識パラメータ決定部７０ｅは、再構築されたパターン識別器、カメラ情報、撮像画像、視差画像、撮像範囲の分割方法及び認識信頼性に基づき、撮像画像認識部５が画像認識を行い、三次元認識部６が三次元認識を行うためのアルゴリズムのパラメータを変更する。
【００９７】
認識パラメータ決定部７０ｅが認識アルゴリズムのパラメータを変更する方法としては、カメラ２の俯角やレンズ歪み等のカメラ情報に基づき検出ウィンドウのサイズや形状を決めるパラメータを変化させる方法がある。
また、パラメータを変更する方法として、始めに、認識パラメータ決定部７０ｅが撮像画像や視差画像に基づいてシーン認識等を実施して撮像範囲内にエスカレータ等の常に画像の動きがある物体が存在する位置、日照変化が大きい場所等を判定する。そして、認識パラメータ決定部７０ｅがパターン識別器を用いて、画像内の局所的な特徴部分とパターン識別器の画像特徴との一致度合いを算出する際に使用するパラメータを誤検出が少なくなるよう調整する方法がある。
【００９８】
認識パラメータ決定部７０ｅが三次元認識に用いられるパラメータを変更する例としては、カメラ情報や視差画像より算出できる視差が不安定と判定した場合にステレオマッチングのブロックサイズを変更させる方法がある。また、三次元認識部６が視差画像から頭部の３次元情報を抽出する際の抽出範囲を調整する方法がある。なお、認識アルゴリズムのパラメータを変更する方法として、カメラ情報に対応付けられた撮像範囲の分割方法に基づいて、分割されたエリア毎にパラメータを調整しても良い。
【００９９】
認識信頼性更新部７１は、認識機能調整部７０によって再構築されたパターン識別器の情報及び変更された認識アルゴリズムのパラメータの情報に基づき、エリア情報取得部７０ｂが取得する認識信頼性の行列データを更新する。
【０１００】
行列データの更新方法としては、撮像範囲全体においてパターン識別器や認識アルゴリズムのパラメータが変更された場合は対応する物体認識機能の認識信頼性の値を向上させる方法がある。また、エリア情報取得部７０ｂが取得した分割方法により撮像範囲が分割されたエリアに対応付けられたパターン識別器やパラメータだけが変更された場合は、そのエリアに対応する認識信頼性の値を向上させる方法等もある。
【０１０１】
認識信頼性算出部７Ａは、カメラ情報取得部７ｂ、エリア情報取得部７ｃ、認識信頼性決定部７ｄを備える。認識信頼性決定部７ｄには、カメラ情報取得部７ｂが取得したカメラ情報、エリア情報取得部７ｃが取得した撮像範囲の分割方法及び認識信頼性の行列データ、及び認識信頼性更新部７１によって更新された認識信頼性の行列データが入力される。そして、認識信頼性決定部７ｄは、撮像範囲を１つ又は複数のエリアに分割して、エリア毎の認識信頼性を決定し、決定したエリア毎の認識信頼性を認識結果結合部８に出力する。
【０１０２】
以上説明した物体認識装置１Ａによれば、パターン識別器や認識アルゴリズムのパラメータを撮像範囲全体、又は分割したエリア毎に変更し、対応する認識信頼性の値を更新する。これにより、カメラ２の設置環境や物体の位置によらず、撮像画像又は視差画像内の物体をより高精度に検出できる。
【０１０３】
［３．第３の実施の形態例］
次に、本発明の第３の実施の形態例に係る物体認識システムについて説明する。
図１４は、第３の実施の形態例に係る物体認識システム１０Ｂの内部構成例を示す。
【０１０４】
物体認識システム１０Ｂは、１台のカメラ２、距離計測装置１３、物体認識装置１Ｂ、データベース９、表示部１１、操作部１２を備える。
物体認識装置１Ｂは、１つの画像取得部３、撮像画像認識部５、認識信頼性算出部７、認識結果結合部８に加え、距離情報取得部１４、距離画像生成部１５、距離画像認識部１６を備える。物体認識装置１Ｂは、撮像画像、及び物体までの距離情報が撮像画像に埋め込まれた距離画像に基づいて、物体を認識する。
【０１０５】
距離計測装置１３（計測装置の一例）は、カメラ２が撮像する撮像範囲における物体までの距離を計測する。距離計測装置１３としては、例えば、距離センサ、レーザレーダ、赤外線タグ等が用いられる。
距離情報取得部１４は、距離計測装置１３によって計測された物体毎の距離情報を取得する。
距離画像生成部１５は、距離情報取得部１４によって取得された距離情報を、画像取得部３が取得した撮像画像に埋め込んだ距離画像を生成する。
【０１０６】
距離画像認識部１６（認識部の一例）は、距離画像に含まれる距離情報に基づいて物体を認識する。このとき、距離画像認識部１６は、距離計測装置１３と対応した計測範囲の分割方法及び認識信頼性の行列データを用いて物体を認識し、認識結果を認識結果結合部８に出力する。距離計測装置１３と対応した計測範囲の分割方法及び認識信頼性の行列データは、距離画像認識部１６によってデータベース９から読み出される。そして、距離画像認識部１６は、距離画像を視点変換した俯瞰画像内の物体と、データベース９から読み出したテンプレートとの一致度合いを算出する。
【０１０７】
認識信頼性算出部７は、撮像画像認識部５が撮像画像内で物体を認識する機能の認識信頼性と、距離画像認識部１６が距離画像内で物体を認識する機能の認識信頼性を算出する。
認識結果結合部８は、撮像画像認識部５が撮像画像から認識した物体が特定の物体であることを示す度合いと、撮像画像内で物体を認識する認識信頼性とを結合する。また、認識結果結合部８は、距離画像認識部１６が距離画像から認識した物体が特定の物体であることを示す度合いと、距離画像内で物体を認識する認識信頼性とを結合する。そして、認識結果結合部８は、画像認識の認識結果と、距離画像認識の認識結果を認識信頼性に基づいて結合して算出した認識合算値が所定値以上である場合に、特定の物体を検出した検出結果とする。
【０１０８】
以上説明した物体認識装置１Ｂによれば、撮像画像の認識信頼性、撮像画像の認識結果、距離計測装置１３から取得して生成される距離画像の認識信頼性、距離画像の認識結果を結合し、表示部１１に物体の検出結果を表示する。このように１台のカメラ２しか設置されていない環境であっても、距離計測装置１３を併用することで、物体の検出精度を高めることができる。
【０１０９】
［４．変形例］
上述した各実施の形態例において、物体認識装置１、１Ａ、１Ｂがデータベース９を備えていても良い。また、物体認識装置１、１Ａ、１Ｂが表示部１１及び操作部１２を備えていても良い。
【０１１０】
また、上述した各実施の形態例に係る物体認識システムは、特定の場所（例えば、駅構内、ビル内、道路）における人流を解析する人流解析システムとして用いたり、監視システムとして用いたりすることができる。このとき、カメラ２を、赤外光により物体を撮像可能な赤外線カメラとすることにより、夜間でも物体を認識し、特定の物体を検出することの可能である。
【０１１１】
なお、本発明は上述した実施の形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
例えば、上述した実施の形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態例の構成の一部を他の実施の形態例の構成に置き換えることは可能であり、さらにはある実施の形態例の構成に他の実施の形態例の構成を加えることも可能である。また、各実施の形態例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１１２】
１…物体認識装置、２…カメラ、３…画像取得部、４…距離算出部、５…撮像画像認識部、６…三次元認識部、７…認識信頼性算出部、８…認識結果結合部、９…データベース、１０…物体認識システム、１１…表示部、１２…操作部
【図１】
2016199244.tif 000004
【図２】
2016199244.tif 000005
【図３】
2016199244.tif 000006
【図４】
2016199244.tif 000007
【図５】
2016199244.tif 000008
【図６】
2016199244.tif 000009
【図７】
2016199244.tif 000010
【図８】
2016199244.tif 000011
【図９】
2016199244.tif 000012
【図１０】
2016199244.tif 000013
【図１１】
2016199244.tif 000014
【図１２】
2016199244.tif 000015
【図１３】
2016199244.tif 000016
【図１４】
2016199244.tif 000017
【国際調査報告】
2016199244.tif 000018
2016199244.tif 000019