(57)【要約】【課題】赤外線カメラを用いて高精度に物体を認識する。【解決手段】共通の対象エリアを撮影する複数の赤外線カメラ１，２によって撮影された赤外画像から背景差分法により変化領域を抽出する変化領域抽出部３，４と、抽出された変化領域の各画素に信頼度を多値で設定する信頼度設定部５，６と、多値で設定された各画素の信頼度に基づき物体の３次元形状を復元する形状復元部７と、復元された物体の３次元形状に基づき所定物体の有無又は物体の種類を判定する物体判定部８とを備えている。【選択図】図２
2007287037.tif 000002
【特許請求の範囲】
【請求項１】
共通の対象エリアを撮影する複数の赤外線カメラによって撮影された赤外画像から背景差分法により変化領域を抽出する変化領域抽出部と、
該変化領域抽出部により抽出された変化領域の各画素に信頼度を多値で設定する信頼度設定部と、
該信頼度設定部により多値で設定された各画素の信頼度に基づき物体の３次元形状を復元する形状復元部と、
該形状復元部により復元された物体の３次元形状に基づき所定物体の有無又は物体の種類を判定する物体判定部とを備えた物体認識装置。
【請求項２】
信頼度設定部は変化領域の輪郭付近から外側に向かって信頼度を低く設定し、変化領域内部が高くなるように信頼度を設定することを特徴とする請求項１記載の物体認識装置。
【請求項３】
形状復元部は、信頼度設定部により多値で設定された各画素の信頼度を３次元空間に逆投影し、逆投影して得られる視体積を３次元空間で合成することにより物体の３次元形状を復元することを特徴とする請求項１記載の物体認識装置。
【請求項４】
共通の対象エリアを撮影する複数の赤外線カメラによって撮影された赤外画像から背景差分法により変化領域を抽出する変化領域抽出部と、
該変化領域抽出部により抽出された変化領域中の多値で示される熱分布に基づき物体の３次元形状と多値で示される３次元の熱分布を復元する形状・熱分布復元部と、
該形状・熱分布復元部により復元された多値で示される熱分布のうち、高温部を抽出する高温部抽出部と、
上記形状・熱分布復元部により復元された物体の３次元形状と上記高温部抽出部により抽出された高温部に基づき所定物体の有無又は物体の種類を判定する物体判定部とを備えた物体認識装置。
【請求項５】
形状・熱分布復元部は、変化領域抽出部により抽出された変化領域中の多値で示される熱分布を３次元空間に逆投影し、逆投影して得られる視体積を３次元空間で合成することより物体の３次元形状と多値で示される３次元の熱分布を復元することを特徴とする請求項４記載の物体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤外線カメラを用いて、その視野内に進入してきた人物や車両等の物体を認識する物体認識装置に関するものである。
【背景技術】
【０００２】
従来の物体認識装置の多くは可視カメラを用いており、夜間撮影等に際しては照明装置が併用されている。その一方で、照明の管理コストを削減したい、漁業上や野鳥保護等の理由で照明がつけられないというユーザの要望もあり、例えば特許文献１に示すように、昨今では赤外線カメラが用いられるようになってきている。なお、赤外線カメラは、物体から放射される赤外線（熱分布）を画像化しているため、暗闇であっても物体を撮影することができるという利点がある反面、物体の各箇所の輪郭を明確には捉えられないという特性がある。もちろん、赤外線カメラは物体表面上の色やテクスチャパターン等を映すこともできない。
【０００３】
カメラで撮影された画像から物体を認識する手法は、古くより可視画像に対して開発されており、背景差分法をはじめとする２次元画像処理技法がよく使われている。背景差分法は、予め用意した背景だけの画像と入力画像を比較することで、変化が現れた領域を簡便に抽出することができる手法であり、従来の物体認識装置では、その領域の２次元情報である例えば、輪郭形状や内部パターンを使って所定の物体を認識している。
【０００４】
また、物体の認識精度を向上させるために、２台以上のカメラを用いて物体の３次元形状情報を収集して物体を認識する場合もある。具体的には、例えば特許文献２に示すように、並べた２台のカメラを用いて三角測量の原理によりステレオ視を行う方法や、非特許文献１及び非特許文献２に示すように、視点が大きく異なる複数のカメラの各画像で背景差分法を行い、その結果として得られる領域のシルエットを合成することで物体の３次元形状を復元する視体積交差法が用いられている。
【０００５】
このように、照明装置を用いることなく夜間撮影を行うためには、赤外線カメラが必要であるが、以下では赤外線カメラの利用を前提に、赤外線カメラで撮影された赤外画像に対し、従来より可視画像向けに開発されてきた物体認識手法を適用することを考える。
【０００６】
まず、２次元画像処理技法による物体認識手法では、画像上での輪郭形状や内部パターンを使って物体を認識する。しかし、赤外画像中では物体の輪郭が曖昧であり、物体表面上の色やテクスチャパターンも欠如するために、赤外画像に対して有効な指標とは言えない。
【０００７】
また、ステレオ視による物体認識手法は、物体の３次元形状を求めるために、認識指標としては優れるものの、２つの画像間で対応点探索演算が必要である。しかし、２次元画像処理技法と同様に、赤外画像中の物体輪郭が不明瞭であり、内部のテクスチャパターンも観測し難いために対応点を探索すること自体が難しい。
【０００８】
さらに、視体積交差法で物体の３次元形状を正確に復元するためには、原理的に背景差分法の高い抽出性能が必要となる。背景差分法は、赤外画像に対しても機能するものの、求められる領域の輪郭形状には曖昧さが残り、その領域のシルエットから合成された曖昧な形状では十分な認識性能が得られない。
【０００９】
【特許文献１】特開２００１−１０８７５８号公報（段落０００８）
【特許文献２】特許第３３８８０８７号公報（段落００１６〜００２３）
【非特許文献１】H.Baker,“Three-dimensional Modeling”,Proc．International Joint Conference on Artificial Intelligence, pp.649-655, 1977.
【非特許文献２】ウ小軍、和田俊和、東海彰吾、松山隆司、“平面間透視投影を用いた並列視体積交差法”、情報処理学会  ＣＶＩＭ研究会論文誌、Vol.42, No.SIG6(CVIM2), pp.33-43, 2001.
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来の物体認識装置は以上のように構成されているので、赤外線カメラを用いて高精度に物体を認識することができないという課題があった。
【００１１】
この発明は、上記のような課題を解決するためになされたもので、赤外線カメラを用いて高精度に物体を認識することができる物体認識装置を得ることを目的とする。
【課題を解決するための手段】
【００１２】
この発明に係る物体認識装置は、共通の対象エリアを撮影する複数の赤外線カメラによって撮影された赤外画像から背景差分法により変化領域を抽出する変化領域抽出部と、該変化領域抽出部により抽出された変化領域の各画素に信頼度を多値で設定する信頼度設定部と、該信頼度設定部により多値で設定された各画素の信頼度に基づき物体の３次元形状を復元する形状復元部と、該形状復元部により復元された物体の３次元形状に基づき所定物体の有無又は物体の種類を判定する物体判定部とを備えたものである。
【発明の効果】
【００１３】
この発明により、高精度に物体を認識することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１４】
実施の形態１．
図１はこの発明の実施の形態１による物体認識装置における複数の赤外線カメラの配置とその視野を説明する図である。図１に示すように、視点の異なる２台の赤外線カメラ１及び赤外線カメラ２が対象エリアを撮影できるように配置され、赤外線カメラ１の視野及び赤外線カメラ２の視野により、対象エリアを含む共通視野が形成されている。ここでは説明を簡単にするために２台の赤外線カメラを配置しているが、２台以上あれば何台あっても良く、むしろ、台数が多い方が望ましい。また、赤外線カメラ１及び赤外線カメラ２は互いに離れて設置されるものとする。
【００１５】
図２はこの発明の実施の形態１による物体認識装置の構成を示すブロック図である。この物体認識装置は、赤外線カメラ１、赤外線カメラ２、変化領域抽出部３、変化領域抽出部４、信頼度設定部５、信頼度設定部６、形状復元部７及び物体判定部８を備えている。
【００１６】
図１に示すように配置された赤外線カメラ１、赤外線カメラ２は、共通の対象エリアをそれぞれ撮影し、撮影した赤外画像を変化領域抽出部３、変化領域抽出部４へそれぞれ出力する。変化領域抽出部３、変化領域抽出部４は、赤外線カメラ１、赤外線カメラ２によりそれぞれ撮影された赤外画像から背景差分法により変化領域を抽出し、抽出した変化領域を信頼度設定部５、信頼度設定部６へそれぞれ出力する。
【００１７】
信頼度設定部５、信頼度設定部６は、変化領域抽出部３、変化領域抽出部４によりそれぞれ抽出された変化領域の各画素にそれぞれ信頼度を多値で設定し、多値で設定した各画素の信頼度を形状復元部７へそれぞれ出力する。形状復元部７は、信頼度設定部５、信頼度設定部６によりそれぞれ多値で設定された各画素の信頼度に基づき物体の３次元形状を復元し、復元した物体の３次元形状を物体判定部８へ出力する。物体判定部８は形状復元部７により復元された物体の３次元形状に基づき所定物体の有無又は物体の種類を判定する。
【００１８】
図３はこの発明の実施の形態１による物体認識装置の処理の流れを示すフローチャートである。ステップＳＴ１０において、赤外線カメラ１、赤外線カメラ２によりそれぞれ撮影された共通の対象エリアの赤外画像を入力する。
【００１９】
ステップＳＴ１１において、変化領域抽出部３、変化領域抽出部４は赤外線カメラ１、赤外線カメラ２によりそれぞれ撮影された赤外画像から背景差分により変化領域をそれぞれ抽出する。この背景差分法は、予め用意された背景画像と現時点での入力画像とを比較することによって、変化している領域を抽出するものである。背景差分法にはさまざまな改良版が存在するが、ここではそれにこだわるものではない。
【００２０】
次に、ステップＳＴ１２において、信頼度設定部５、信頼度設定部６は、変化領域抽出部３、変化領域抽出部４によりそれぞれ抽出された変化領域の各画素に信頼度をそれぞれ多値で設定する。ここでは、信頼度設定部５、信頼度設定部６は、変化領域の輪郭付近から外側に向かって信頼度を低くなるよう設定し、変化領域内部の信頼度を高くなるように設定する。
【００２１】
図４は信頼度設定部５，６による信頼度の設定方法を説明する図である。信頼度設定部５，６は、例えば、図４に示すように、変化領域の輪郭から内側に所定の幅を設け、その間には信頼度０．５から１．０を設定し、さらに内側には信頼度１．０を設定する。逆に、変化領域の輪郭から外側に同様の幅を儲け、その間には信頼度０．０から０．５を設定し、さらに外側は０．０と設定する。このように、信頼度設定部５，６による信頼度の設定は多値で設定される。
【００２２】
次に、ステップＳＴ１３において、形状復元部７は信頼度設定部５、信頼度設定部６によりそれぞれ多値で設定された各画素の信頼度に基づき物体の３次元形状を復元する。
図５は形状復元部７による形状復元方法を説明する図である。形状復元部７は、図５に示すように、各赤外画像から抽出された変化領域に対応する多値で設定された信頼度を３次元空間に逆投影する。このとき、逆投影して得られる錐体を視体積と呼び、逆投影して得られるそれぞれの視体積を３次元空間で合成する。合成方法としては、信頼度の和、積、平均値、中央値、最大値、最小値等の統計量が考えられる。
すなわち、形状復元部７は信頼度設定部５，信頼度設定部６により多値で設定されたそれぞれの画素の信頼度を３次元空間に逆投影し、逆投影して得られるそれぞれの視体積を３次元空間で合成することで物体の３次元形状を復元する。
【００２３】
最後に、ステップＳＴ１４において、物体判定部８は、形状復元部７により復元された３次元形状に基づき所定物体の有無又は物体の種類を判定する。そのため、物体判定部８は認識したい物体の形状をモデルとして予め保有しており、復元された物体形状に類似しているか否かで判断して所定物体の有無又は物体の種類を判定する。
以上のステップＳＴ１０からＳＴ１４の処理が所定の時間間隔で繰り返し実行される。
【００２４】
以上のように、この実施の形態１によれば、信頼度設定部５、信頼度設定部６が変化領域抽出部３、変化領域抽出部４によりそれぞれ抽出された変化領域の各画素に信頼度を多値で設定し、形状復元部７が信頼度設定部５、信頼度設定部６によりそれぞれ多値で設定された信頼度に基づき物体の３次元形状を復元し、物体判定部８が形状復元部７により復元された３次元形状に基づき所定物体の有無又は物体の種類を判定することにより、単に変化領域のシルエットを合成する従来方法に比べて高精度な復元が可能となり、結果として高精度に物体を認識することができるという効果が得られる。
【００２５】
実施の形態２．
図６はこの発明の実施の形態２による物体認識装置の構成を示すブロック図である。この物体認識装置は、赤外線カメラ１、赤外線カメラ２、変化領域抽出部３、変化領域抽出部４、形状・熱分布復元部９、高温部抽出部１０及び物体判定部１１を備えている。
【００２６】
上記実施の形態１と同様に、図１に示すように配置された赤外線カメラ１、赤外線カメラ２は、共通の対象エリアをそれぞれ撮影し、撮影した赤外画像を変化領域抽出部３、変化領域抽出部４へそれぞれ出力する。変化領域抽出部３、変化領域抽出部４は、赤外線カメラ１、赤外線カメラ２によって撮影された赤外画像から背景差分法によりそれぞれ変化領域を抽出し、抽出した変化領域を形状・熱分布復元部９へそれぞれ出力する。
【００２７】
形状・熱分布復元部９は、変化領域抽出部３、変化領域抽出部４により抽出された変化領域中の多値で示される熱分布、すなわち、赤外画像上の多値で示される画素値に基づき、物体の３次元形状と多値で示される３次元の熱分布を復元し、復元した物体の３次元形状を物体判定部１１へ出力し、復元した多値で示される３次元の熱分布を高温部抽出部１０へ出力する。高温部抽出部１０は、形状・熱分布復元部９により復元された多値で示される３次元の熱分布のうち、所定値以上の高温部を抽出して物体判定部１１へ出力する。物体判定部１１は、形状・熱分布復元部９により復元された３次元形状と高温部抽出部１０により抽出された高温部に基づき所定物体の有無又は物体の種類を判定する。
【００２８】
図７はこの発明の実施の形態２による物体認識装置の処理の流れを示すフローチャートである。ステップＳＴ２０及びステップＳＴ２１の処理は、上記実施の形態１の図３に示すステップＳＴ１０及びステップＳＴ１１の処理同様である。
【００２９】
次に、ステップＳＴ２２において、形状・熱分布復元部９は、変化領域抽出部３、変化領域抽出部４により抽出された変化領域に対応する範囲の多値で示される熱分布、すなわち赤外画像の多値で示される画素値に基づき、物体の３次元形状と多値で示される３次元の熱分布を復元する。その方法は実施の形態１と同様であり、上記実施の形態１の図５に示す「信頼度」が「熱分布」に置き換わったことに相当する。
すなわち、形状・熱分布復元部９は、変化領域抽出部３、変化領域抽出部４により抽出された変化領域中の多値で示される熱分布を３次元空間に逆投影し、逆投影して得られるそれぞれの視体積を３次元空間で合成することで物体の３次元形状と多値で示される３次元の熱分布を復元する。
【００３０】
次に、ステップＳＴ２３において、高温部抽出部１０は形状・熱分布復元部９により復元された多値で示される３次元の熱分布のうち、所定値以上の高温部を抽出して、いわゆる二値化処理を行って抽出した高温部を物体判定部１１に出力する。
【００３１】
最後に、ステップＳＴ２４において、物体判定部１１は、形状・熱分布復元部９により復元された３次元形状と高温部抽出部１０により抽出された高温部に基づき、所定物体の有無又は物体の種類を判定する。そのため、物体判定部１１は判定したい物体の形状と、物体全体に対する高温部の相対的な大きさや位置関係をモデルとして予め保有しており、復元された物体形状や高温部の位置関係等が類似しているか否かを判断する。例えば、人物の場合、頭部や手等の露出部が高温部となり、車両では、ボンネット、マフラー、タイヤが高温部となる。
以上のステップＳＴ２０からステップＳＴ２４の処理が所定の時間間隔で繰り返し実行される。
【００３２】
以上のように、この実施の形態２によれば、形状・熱分布復元部９が、変化領域抽出部３、変化領域抽出部４により抽出された変化領域中の多値で示される熱分布、すなわち、赤外画像上の多値で示される画素値に基づき、物体の３次元形状と多値で示される３次元の熱分布を復元し、高温部抽出部１０が、形状・熱分布復元部９により復元された多値で示される３次元の熱分布のうち、所定値以上の高温部を抽出し、物体判定部１１が形状・熱分布復元部９により復元された復元された３次元形状と高温部抽出部１０により抽出された高温部に基づき所定物体の有無又は物体の種類を判定することにより、３次元形状に加えて高温部の相対関係から物体を判定しているため、高精度に物体を認識することができるという効果が得られる。
【図面の簡単な説明】
【００３３】
【図１】この発明の実施の形態１による物体認識装置における複数の赤外線カメラの配置とその視野を説明する図である。
【図２】この発明の実施の形態１による物体認識装置の構成を示すブロック図である。
【図３】この発明の実施の形態１による物体認識装置の処理の流れを示すフローチャートである。
【図４】この発明の実施の形態１による物体認識装置の信頼度設定部による信頼度の設定方法を説明する図である。
【図５】この発明の実施の形態１による物体認識装置の形状復元部による形状復元方法を説明する図である。
【図６】この発明の実施の形態２による物体認識装置の構成を示すブロック図である。
【図７】この発明の実施の形態２による物体認識装置の処理の流れを示すフローチャートである。
【符号の説明】
【００３４】
１  赤外線カメラ、２  赤外線カメラ、３  変化領域抽出部、４  変化領域抽出部、５  信頼度設定部、６  信頼度設定部、７  形状復元部、８  物体判定部、９  形状・熱分布復元部、１０  高温部抽出部、１１  物体判定部。
【図１】
2007287037.tif 000003
【図２】
2007287037.tif 000004
【図３】
2007287037.tif 000005
【図４】
2007287037.tif 000006
【図５】
2007287037.tif 000007
【図６】
2007287037.tif 000008
【図７】
2007287037.tif 000009