(57)【特許請求の範囲】
【請求項１】
波長８〜１４μｍを捉える複数の赤外線カメラでそれぞれ同一の発光体である撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における前記撮影対象の特徴的な領域をそれぞれマッチングする第１のステップと、
前記マッチングして得られた赤外線画像に基づいて、前記撮影対象の３次元形状を確定する第２のステップと、
前記３次元形状に対して仮想の可視光光源を設定し、その可視光光源からの可視光を前記３次元形状に照射して、前記３次元形状の反射体画像を生成する第３のステップと
を含むことを特徴とする形状認識方法。
【請求項２】
波長８〜１４μｍを捉える複数の赤外線カメラでそれぞれ同一の発光体である撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における前記撮影対象の特徴的な領域をそれぞれマッチングするマッチング手段と、
前記マッチングして得られた赤外線画像に基づいて、前記撮影対象の３次元形状を確定する形状確定手段と、
前記３次元形状に対して仮想の可視光光源を設定し、その可視光光源からの可視光を前記３次元形状に照射して、前記３次元形状の反射体画像を生成する反射体変換手段と
を有することを特徴とする形状認識装置。
【請求項３】
前記複数の赤外線カメラから出力される複数の赤外線画像のそれぞれが複数の撮影対象を検知しているときは、その中の任意の一の撮影対象を指定する指定手段を更に有することを特徴とする請求項２記載の形状認識装置。
【請求項４】
一以上の撮影対象のそれぞれについて、その撮影対象の赤外線画像の温度分布の特徴とその撮影対象の属性情報とが対応付けて予め記憶されているデータベースと、
複数の赤外線カメラでそれぞれ同一の撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における前記撮影対象の特徴的な領域をそれぞれマッチングするマッチング手段と、
前記マッチングして得られた赤外線画像の温度分布の特徴を抽出して、前記データベースの前記温度分布の特徴と比較照合する照合手段と、
前記照合手段により照合一致の比較結果が得られたときに、前記マッチングして得られた赤外線画像の温度分布の特徴を示す前記撮影対象の属性情報を前記データベースから取得して前記撮影対象を特定する特定手段と
を有することを特徴とする形状認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は形状認識方法及び形状認識装置に係り、特に物体の発する赤外線を検知して得た赤外線画像に基づいて、上記物体の形状を認識する形状認識方法及び形状認識装置に関する。
【背景技術】
【０００２】
赤外線カメラは、熱源から発する赤外線（例えば、波長８μｍ〜１４μｍ）を検知し、その赤外線を映像化して赤外線画像を出力する。従って、この赤外線画像は、撮影対象を熱源として、この熱源から発する赤外線による発光体の画像である。一方、人間は光源（太陽など）からの可視光を物体が反射した反射光を見ている。つまり、人間は物体を反射体として見ている。
【０００３】
このため、赤外線画像は、人間が可視光でみる画像とは異なり、人間の目からは非常に違和感が強い。特に人間を赤外線カメラで撮像して得られた赤外線画像は、被写体の人間が誰であるかが分らなくなり、個人の識別が極めて困難である。また、赤外線画像には色がないので、人間には見づらい。
【０００４】
そこで、赤外線カメラにより撮像された赤外線画像を加工することにより、被写体である物体の形状を見易くする方法が従来から提案されている（例えば、特許文献１、２参照）。特許文献１には、赤外線カメラをサーモグラフとして用いる場合に、被写体の温度毎に色と輝度を変えて、赤外線画像の温度情報を読み取りやすくする方法について記載されている。この特許文献１記載の方法によれば、温度分布が分かり易くなる。また、特許文献２には、赤外線の分光特性から被写体である物体の元の色を推定し、それに基づいて赤外線画像に色をつける方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平３−４０９８号公報
【特許文献２】特開２００２−１７１５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
赤外線カメラを監視カメラに使用する場合に問題になるのが、前述したように、赤外線カメラの撮影対象は熱により赤外線を発している発光体であるのに対し、人間の目は、物体からの反射光によってその物体を識別するので、発光体をそのまま表示する赤外線画像によっては物体の識別が難しいことである。
【０００７】
これを回避するための一つの方法が、反射体としての映像を取得することである。例えば赤外線カメラは温度検出機能に専念し、人物や車などの高温の物体が出現すると、可視光や近赤外のカメラで確認するという方法である。
【０００８】
しかし、この方法は、昼はよいが、夜にこの方法を使うと光がないために光源（ライト）を使う必要がある。しかし、可視光ライトの光は肉眼で見え、近赤外ライトの光も携帯電話に付いているカメラで簡単に知ることができる。従って、監視していることを気づかれたくない場合には、この方法は使えない。
【０００９】
そこで、赤外線カメラの画像情報のみを使い、人間に認識できるように画像を変換することが望まれるが、従来の方法では画像を認識できることを考えて変換していない。前述した特許文献１記載の方法では温度分布を精度良く色分けできるが、その画像を見てもそれが誰なのか判別することは難しい。
【００１０】
また、特許文献２記載の方法では色を推定しているので、人物の判定が可能になる可能性がある。しかし、この特許文献２記載の方法では光源がないと色の推定ができないので、夜間等、光源がないときには使用できない。
【００１１】
本発明は以上の点に鑑みなされたもので、赤外線カメラによる赤外線画像であっても、撮影対象の形状を、人間に容易に認識させることが可能な形状認識方法及び形状認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明の形状認識方法は、波長８〜１４μｍを捉える複数の赤外線カメラでそれぞれ同一の発光体である撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における撮影対象の特徴的な領域をそれぞれマッチングする第１のステップと、マッチングして得られた赤外線画像に基づいて、撮影対象の３次元形状を確定する第２のステップと、３次元形状に対して仮想の可視光光源を設定し、その可視光光源からの可視光を３次元形状に照射して、３次元形状の反射体画像を生成する第３のステップとを含むことを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の形状認識装置は、波長８〜１４μｍを捉える複数の赤外線カメラでそれぞれ同一の発光体である撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における撮影対象の特徴的な領域をそれぞれマッチングするマッチング手段と、マッチングして得られた赤外線画像に基づいて、撮影対象の３次元形状を確定する形状確定手段と、３次元形状に対して仮想の可視光光源を設定し、その可視光光源からの可視光を３次元形状に照射して、３次元形状の反射体画像を生成する反射体変換手段とを有することを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の形状認識装置は、複数の赤外線カメラから出力される複数の赤外線画像のそれぞれが複数の撮影対象を検知しているときは、その中の任意の一の撮影対象を指定する指定手段を更に有することを特徴とする。
【００１５】
また、上記の目的を達成するため、本発明の形状認識装置は、一以上の撮影対象のそれぞれについて、その撮影対象の赤外線画像の温度分布の特徴とその撮影対象の属性情報とが対応付けて予め記憶されているデータベースと、複数の赤外線カメラでそれぞれ同一の撮影対象を撮像して得られた複数の赤外線画像を、それらの赤外線画像から得られる温度分布に基づいて、それらの赤外線画像における撮影対象の特徴的な領域をそれぞれマッチングするマッチング手段と、マッチングして得られた赤外線画像の温度分布の特徴を抽出して、データベースの温度分布の特徴と比較照合する照合手段と、照合手段により照合一致の比較結果が得られたときに、マッチングして得られた赤外線画像の温度分布の特徴を示す撮影対象の属性情報をデータベースから取得して撮影対象を特定する特定手段とを有することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、赤外線カメラによる赤外線画像であっても、撮影対象の形状を、人間に容易に認識させることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一例の概要説明図である。
【図２】本発明の形状認識装置の第１の実施の形態を有する撮像装置のブロック図である。
【図３】本発明の第１の実施の形態の動作説明用フローチャートである。
【図４】図１、図２中の赤外線カメラ３が捉えた顔の赤外線画像の一例を示す図である。
【図５】図１、図２中の赤外線カメラ２が捉えた顔の赤外線画像の一例を示す図である。
【図６】図２中の形状認識部で行われる領域分割を説明する図である。
【図７】図２中の反射体変換部の動作説明図である。
【図８】本発明の第２の実施の形態の動作説明用フローチャートである。
【図９】図８の認識対象指定処理の説明図である。
【図１０】本発明の第３の実施の形態の動作説明用フローチャートである。
【図１１】本発明の第３の実施の形態で用いるデータベースの内容の一例を示す図である。
【図１２】本発明の形状認識装置の第４の実施の形態のブロック図である。
【図１３】図１２の形状認識装置の使用例を示す図である。
【図１４】図１３の撮影対象の赤外線画像を示す図である。
【図１５】図１２の形状認識装置の撮影対象の他の例を示す図である。
【図１６】図１５の撮影対象の赤外線画像を示す図である。
【図１７】本発明の第４の実施の形態の動作説明用フローチャートである。
【図１８】本発明の第５の実施の形態の動作説明用フローチャートである。
【図１９】図１８中の距離計算の処理の一例を説明する図である。
【発明を実施するための形態】
【００１９】
まず、本発明の基本的な概要について説明する。図１は、本発明の一例の概要説明図を示す。同図に示すように、本発明は、撮影対象１の発する赤外線を、互いに異なる方向からそれぞれ検知する例えば３台の赤外線カメラ２、３及び４からの赤外線画像に基づいて、撮影対象１の３次元形状を認識する形状認識手段５と、撮影対象１を反射体として見た反射体変換手段６とからなる。なお、必要に応じて表示手段７及び記録／再生手段８が設けられる。
【００２０】
赤外線カメラ２、３及び４は、撮影対象１の発する波長８μｍ〜１４μｍの赤外線を検知する。赤外線カメラの台数は少なくとも２台必要で、この図では３台使用している。表示手段７は、反射体変換手段６により得られた反射体画像を確認するために表示する。この表示手段７としては液晶やプラズマ・ディスプレイ・パネル（ＰＤＰ）、陰極線管等で作られたモニタがある。記録／再生手段８は、反射体変換手段６により得られた反射体画像を記録し、必要に応じて再生し、表示手段７に表示する。
【００２１】
このように、複数の赤外線カメラ２〜４を用いて、撮影対象１の３次元形状を確認し、更に人間に認識可能な反射体画像に変換することにより、撮影対象１を光源を用いることなく人間により認識しやすくするというのが発明の要旨である。
【００２２】
次に、本発明の各実施の形態について図面と共に詳細に説明する。
【００２３】
（第１の実施の形態）
図２は、本発明になる形状認識装置の第１の実施の形態を有する撮像装置のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。
【００２４】
撮像装置１００は、第１の実施の形態の形状認識装置Ａを構成する形状認識部１１３と反射体変換部１１４とを有する。形状認識部１１３、反射体変換部１１４は、図１の形状認識手段５、反射体変換手段６に相当する。また、撮像装置１００は、形状認識装置Ａの他に、３台の赤外線カメラ２、３及び４と、赤外線カメラ制御部１１０と、設定部１１１と、表示部１１２と、記録／再生部１１５と、通信部１１６とを有する。表示部１１２、記録／再生部１１５は、図１の表示手段７、記録／再生手段８に相当する。
【００２５】
赤外線カメラ２、３及び４は、それぞれ同一構成で、撮影対象である発光体が発する赤外線（波長８μｍ〜１４μｍ）を検出してアナログ画像信号を出力する赤外線撮像部２０１、３０１、４０１と、赤外線撮像部２０１、３０１、４０１から出力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器２０２、３０２、４０２と、Ａ／Ｄ変換器２０２、３０２、４０２から出力されたデジタル画像信号を１フレーム分蓄積するフレームメモリ２０３、３０３、４０３とからなる。フレームメモリ２０３、３０３、４０３は、例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）により構成されている。
【００２６】
フレームメモリ２０３、３０３、４０３に蓄積されたデジタル画像信号は、赤外線カメラ２、３及び４により撮像して得られた赤外線画像信号として、表示部１１２、形状認識部１１３、記録／再生部１１５へ供給される。
【００２７】
赤外線カメラ制御部１１０は、設定部１１１からの指示により、赤外線撮像部２０１、３０１、４０１の例えば撮影範囲の設定、ズームの設定、フォーカスの設定、温度範囲の設定などを行う。
【００２８】
設定部１１１は、設定画面を表示部１１２に表示させたりしながら、設定を変更することができる。このときの入力デバイスはキーボードやマウス、あるいは表示部１１２の上に置かれたタッチパネルなどである。また、設定部１１１は、表示方法の設定、例えば赤外線カメラ２、３、４からの各赤外線画像信号を表示部１１２のウィンドウを割り当てて表示するか、時間的に切り替えるか、あるいはいずれか一つの赤外線カメラからの赤外線画像を表示し続けるかなどの設定を行う。
【００２９】
また、設定部１１１は、記録／再生部１１５の設定も行い、例えば不要な画像情報を削除するとかの画像ファイル管理や過去何分間の画像を蓄積するかなどといった設定や、記録内容のデータ編集を行う。また、設定部１１１は、形状認識部１１３の設定、例えば対象とする物体の温度の範囲を設定する。更に、設定部１１１は、反射体変換部１１４のパラメータ、例えば仮の光源の設定などを行うことができる。
【００３０】
表示部１１２は、例えば液晶モニタであり、３つの赤外線画像信号をそれぞれ個別の領域（ウィンドウ）に同時に表示し、又は切り替えてどれか一つの赤外線画像を表示できるようになっている。また、通信部１１６は、表示部１１２の画像情報を外部に送る。
【００３１】
また、記録／再生部１１５は、赤外線カメラ２、３及び４からの３つの赤外線画像信号を、赤外線画像撮像時の時間情報と共に記録媒体に記録する。記録／再生部１１５の記録媒体は、ハードディスク、記録用ＤＶＤ（Digital Versatile Disc）、記録用ブルーレイディスク、あるいはフラッシュメモリである。記録/再生部１１５は、記録媒体に記録された赤外線画像信号を適宜再生して表示部１１２に表示することができる。
【００３２】
形状認識部１１３は、赤外線カメラ２、３及び４からの３つの赤外線画像信号に基づき、撮影対象の物体の３次元情報を得る。その方法については後述する。記録／再生部１１５は、形状認識部１１３で得られた、３次元情報、あるいは温度分布に関する特徴などの情報を記録する。形状認識部１１３は、記録／再生部１１５により記録媒体から再生された画像情報から３次元情報を認識することもできる。
【００３３】
また、反射体変換部１１４は、形状認識部１１３からの形状認識画像に基づき、赤外線画像を反射体画像に変換する。反射体変換部１１４は、変換して得た反射体画像を表示部１１２で表示したり、あるいは記録／再生部１１５に供給して記録媒体に記録させる。この反射体画像の記録時には、時間情報も同時に記録する。この時間情報は、反射体画像の基となる赤外線カメラ２〜４で撮影された赤外線画像の撮像時間であり、これにより基の赤外線画像を参照できるようにしておく。
【００３４】
次に、本実施の形態の形状認識装置Ａを構成する形状認識部１１３と反射体変換部１１４の動作について、図３のフローチャート、図４〜図７の模式図を用いて説明する。ここでは、撮影対象として人間の顔を取り上げる。個人の識別をするときに人間の顔は最も識別に必要な情報だからである。
【００３５】
まず、形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号が示す温度情報に基づき、撮影対象である人体を検出する（ステップＳ１１）。人体の表面は摂氏３０度程度なので、この温度から人体を検出することができる。なお、上記の赤外線画像信号は、３台の赤外線カメラ２〜４により、光源を用いることなく撮影対象の発光体である人体を撮影して得られた画像信号である。
【００３６】
続いて、形状認識部１１３は、検出した人体の赤外線画像中から目と口などの特徴から顔を抽出する（ステップＳ１２）。赤外線画像の発光体の顔を見ても人物の判定は難しいが、顔かどうかの判断はできる。これは目の周辺と口の周辺には筋肉や毛細血管が集まっていて周辺よりも温度が高いので、この温度の高い部分が逆三角形の形状に並んでいるところを顔と判断する。
【００３７】
続いて、形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号の各温度分布から顔のマッチングを行う（ステップＳ１３）。このマッチングは、各赤外線カメラ２〜４がそれぞれ撮像した顔の赤外線画像のうち、どの部分が共通部分であるかを判断するための処理である。
【００３８】
例えば、図４は赤外線カメラ３が捉えた顔の赤外線画像であり、図５が赤外線カメラ２が捉えた顔の赤外線画像であるとする。また、既に目の位置と口の位置の判別はついているとする。ここでは、図４に示す顔の赤外線画像２１において、目は２２で、口は２３である。また、図５に示す顔の赤外線画像３１において、目は３２で、口は３３である。
【００３９】
そこで、ステップＳ１３では目と口のマッチングをまず行う。顔の温度分布にはその個人特有の熱の分布が発生するので、その温度分布の特徴、例えば周囲よりも低い部分の特徴を抽出し、その情報もマッチングに使用する。例えば、図４の２４ａ、２４ｂ、２４ｃは赤外線カメラ３で捉えた温度の低い部分であり、これらは図５の３４ａ、３４ｂ、３４ｃにそれぞれ対応することを判断する。このとき目と口との位置関係も参考にする。このように、目、口、低温部のマッチングを温度分布から行う。赤外線カメラが３台あるときには３台の赤外線カメラ２〜４からの赤外線画像のそれぞれについて上記のマッチングを行う。
【００４０】
続いて、形状認識部１１３は、３つの赤外線画像のそれぞれの顔の温度分布の特徴から、画像毎に顔の表面を複数の領域（平面）に分割する（ステップＳ１４）。顔であれば，目と口の位置を頼りに、大まかに、おでこ、鼻、頬などと分割しておいて、その中で細かく分割するようにすれば効率的であるが、必ずしもこの方法にこだわる必要はない。
【００４１】
図６は、赤外線カメラ３が捉えた顔の赤外線画像２１において、上記ステップＳ１４において大まかに分割したときの額の領域を２５で示し、細かく分割したときの１つの領域（平面）を２６で表している。なお、図６中、図４と同一部分には同一符号を付してある。
【００４２】
続いて、形状認識部１１３は、ステップＳ１４で分割した３つの各赤外線画像のそれぞれの分割領域に基づいて、各領域の向いている方向を決定し、３次元形状を確定する（ステップＳ１５）。すなわち、このステップＳ１５では、まず分割した各領域の平面がどの方向を向いているか、３台の赤外線カメラ２〜５の見え方から判別する。各領域平面の法線ベクトルは３次元であるから、赤外線カメラが本実施の形態のように３台のとき、法線ベクトルは確定する。赤外線カメラが２台のときには情報が足りないが、対象が人間の顔であるなら形状はかなり限定的なので推定が可能である。各領域が滑らかに繋がるか確認を行い、顔の３次元形状を確定する。ここまでが、形状認識部１１３が行う処理である。
【００４３】
次に、反射体変換部１１４は、仮の可視光光源を設定し、ステップＳ１５で確定した３次元形状の各領域の反射率を仮定し、仮の可視光光源からの可視光を３次元形状に照射した場合の３次元形状の画像である反射体の画像を生成する（ステップＳ１６）。これは通常のコンピュータグラフィックの映像技術がそのまま使える。
【００４４】
図７は、上記の反射体変換部１１４によるステップＳ１６の処理内容の説明図を示す。図７に示すように、反射体変換部１１４は、確定した顔の３次元形状に対して、例えば斜め上方に仮の光源４１を設定し、３次元形状の面の方向から反射光の強さを計算する。これにより、仮の光源４１から可視光を３次元形状に照射したときの３次元形状である反射体表現された対象物体４２が計算できる。これが反射体変換部１１４の行っている処理である。
【００４５】
このように、本実施の形態によれば、照明のない夜や室内など肉眼や可視光でのカメラでは全く発見することができない場合であっても、撮影対象の赤外線画像から得られた反射体表現の対象物体４２を表示部１１２により表示することができるため、その表示画像は人間にとって違和感のない画像として表示されるので、撮影対象（ここでは個人）の認識力が大幅に向上する。
【００４６】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
【００４７】
本実施の形態の形状認識装置は、図２に示した撮像装置１００において、形状認識部１１３と反射体変換部１１４とに加えて、更に設定部１１１と記録／再生部１１５とを含む構成である。本実施の形態の形状認識装置は、赤外線画像信号に基づいて形状認識する際に、複数の発光体が存在した場合に、任意の発光体の任意の部分を形状認識する構成である。
【００４８】
次に、本実施の形態の動作について、図８のフローチャート及び図９の説明図と共に説明する。ここでは、第１の実施の形態と同様に、撮影対象として人間の顔を取り上げる。まず、図２に示した形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号が示す温度情報に基づき、撮影対象である人体を検出する（ステップＳ２１）。人体の表面は摂氏３０度程度なので、この温度から人体を検出することができる。
【００４９】
続いて、形状認識部１１３は、ステップＳ２１で検出した人体が、図９に５１、５２、５３で示すように、表示部１１２の画面５０に複数存在する場合、どの人体の形状を認識するかが分らなくなるので、複数の人体検出を設定部１１１に通知する（ステップＳ２２）。すると、ユーザが表示部１１２の画像を確認しながら、設定部１１１により認識対象（領域）を指定する（ステップＳ２３）。図９に示す領域５４は、上記のステップＳ２３で指定された領域を示す。続いて、設定部１１１は、指定された認識対象（図９の領域５４）をズームする（ステップＳ２４）。これにより、図９の領域５４内にある人体５１の顔の部分が拡大される。
【００５０】
次に、形状認識部１１３は、検出した人体の赤外線画像中から目と口などの顔の特徴を抽出する（ステップＳ２５）。前述したように、目の周辺と口の周辺には筋肉や毛細血管が集まっていて周辺よりも温度が高いので、この温度の高い部分が逆三角形の形状に並んでいるところを顔と判断することができ、更にその形状分布により顔の特徴を抽出することができる。
【００５１】
そして、設定部１１１は、ステップＳ２５で抽出した顔の個人の名前などの個人属性情報を入力あるいは編集し、抽出した顔の特徴情報と共に記録／再生部１１５に保存する（ステップＳ２６）。これにより、記録／再生部１１５の記録媒体には、抽出した顔の特徴情報とその顔の個人属性情報とが対応して保存されたデータベースが作成される。
【００５２】
このようにして、本実施の形態によれば、複数の発光体が存在した場合に、任意の発光体の任意の部分を形状認識し、その発光体の形状認識情報を個人属性情報と共にデータベース化することを実現できる。このデータベースを用いれば、第１の実施の形態で形状認識した人物の顔の反射体画像と共に、その人物の個人属性情報を表示することが可能となる。
【００５３】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
【００５４】
本実施の形態の形状認識装置は、図２に示した撮像装置１００において、形状認識部１１３に加えて、記録／再生部１１５で再生可能なデータベース（図２では図示せず）を含む構成である。
【００５５】
第１の実施の形態では、赤外線カメラ２〜４が取得した発光体の画像を、人物の識別を可能とするように反射体画像に変換する方法について説明した。本実施の形態は、形状認識装置を監視カメラシステムに用いるものとした場合、事前に登録された人物であるかないかを判断する際には反射体画像に変換しなくても、発光体としての温度分布データを、登録された人物の温度分布データと比較照合することで、事前登録された人物かどうか判断することができるようにしたものである。
【００５６】
次に、本実施の形態の動作について、図１０のフローチャート及び図１１のデータベースの内容の一例を示す図と共に説明する。ここでは、第１の実施の形態と同様に、撮影対象として人間の顔を取り上げる。
【００５７】
まず、図２に示した形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号が示す温度情報に基づき、人体を検出する（ステップＳ３１）。人体の表面は摂氏３０度程度なので、この温度から人体を検出することができる。
【００５８】
続いて、形状認識部１１３は、検出した人体の赤外線画像中から目と口などの特徴から顔を抽出する（ステップＳ３２）。この抽出方法は、第１の実施の形態と同様である。続いて、形状認識部１１３は、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号の各温度分布から顔のマッチングを行う（ステップＳ３３）。このマッチングは、各赤外線カメラ２〜４がそれぞれ撮像した顔の赤外線画像のうち、どの部分が共通部分であるかを判断するための処理である。
【００５９】
続いて、形状認識部１１３は、ステップＳ３３でマッチングして得られた顔の温度分布の特徴を抽出し、データベースに予め登録されている顔の特徴情報とを照合する（ステップＳ３４）。
【００６０】
上記のデータベースには、図１１に示すように、両目、口の中心座標を（０，０，０）としたときの両目、口の相対座標６１と、顔の中心座標の温度を摂氏３０度としたときの顔の相対温度６２とを対応付けた顔の温度分布データである特徴点６３が予め記録されている。この特徴点６３の複数の集合は、ある個人の顔の温度分布データを示す顔の特徴情報である。また、上記のデータベースには、１人以上の個人の顔の特徴情報がその顔の個人名と共に対応付けて予め記録されている。このデータベースは、例えば記録／再生部１１５により再生可能とされている。
【００６１】
そして、形状認識部１１３は、ステップＳ３４での照合が一致したかどうかを判定する（ステップＳ３５）。照合一致の比較結果が得られた場合は、ステップＳ３４で照合一致した特徴点の個人名を、３つの赤外線画像をマッチングして得られた顔の個人名であると推定して、表示部１１２に表示する（ステップＳ３６）。また、照合一致の比較結果が得られない場合には、個人名推定不可として事前登録者外人物が認識されたとみなしてアラームを発生する（ステップＳ３７）。
【００６２】
このように、本実施の形態によれば、個人の特徴である顔の温度分布を示す顔の特徴情報を個人名と対応付けてデータベース化しておき、赤外線カメラ２〜４で認識された人物の顔の温度分布を示す赤外線画像とデータベースの顔の特徴情報とを比較照合することにより、照合一致した場合は照合一致した顔の特徴情報を持つ事前登録されている個人の名前を推定して表示部１１２に表示することができる。
【００６３】
このため、本実施の形態によれば、暗闇でも撮像が可能な赤外線カメラを用いて監視を行う用途に適用した場合は、得られた被監視対象者の３次元温度分布データとデータベースに事前登録してある個人の顔の特徴情報とを比較することにより、反射体変換を行わなくても被監視対象者の個人認証が可能になる。
【００６４】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。本実施の形態では人間の顔の各部分の特有な温度差を利用して、撮影された赤外線画像から周辺に比べ明るさが異なる３点を探して顔と認識する。
【００６５】
人間の目の眼球は人体内部器官で体温に近い。また、目の周辺は毛細血管が集まっている。しかし、顔の他の皮膚の裏面は外気にさらされており、また、外気温が高い、或いは太陽光などを浴びている時でも発汗作用により、体温より低くなる。そのため、目の部分は顔の他の部分より必ず温度が高い。そして口の部分も同様、唇部分は毛細血管が集まり、人体内部器官の口腔がつながっており、鼻からの息により周辺よりも温度が高いので、顔の他の部分より温度が高い。この目、口が顔の他の部分より温度が高い顔は、赤外線での画像においては３点が明るく写る。この温度の高い部分が逆三角形の形状に並んでいるところを顔と判断する。
【００６６】
しかし、人間は目や口を眼鏡やマスクにより隠されていることも多い。マスクでは息により口付近では、他の顔の部分より温度が高くなるので問題はない。一方、眼鏡をかけている場合はマスクとは異なり、眼鏡は逆に他の顔の部分より温度が低くなる。その場合は暗い２点と明るい１点で構成された逆三角形の形状に並んでいるところを頭と判断する。
【００６７】
このように、目の部分は、裸眼の場合には温度が高いので明るくなるのに対して、眼鏡をかけている場合には暗くなるので、人間の顔の認識方法が別になる。そこで、本実施の形態では裸眼の場合と眼鏡をかけた場合の２つの認識手段をもつことを特徴とする。
【００６８】
図１２は、本発明になる形状認識装置の第４の実施の形態のブロック図を示す。本実施の形態の形状認識装置１２０は、赤外線カメラ１２１、フレームメモリ１２２、画像処理回路１２３及び画像表示信号発生回路１２４から構成される。
【００６９】
赤外線カメラ１２１は、撮影対象である発光体の発する赤外線（波長８μｍ〜１４μｍ）を検出し、更にＡＤ変換してデジタル画像信号である赤外線画像データを出力する。フレームメモリ１２２は、赤外線画像データを１フレーム分蓄積する。フレームメモリ１２３は、例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）により構成されている。
【００７０】
画像処理回路１２３は、本実施の形態の要部の処理である顔認識処理を行った後、フレームメモリ１２３の赤外線画像データ中の顔と認識された画像部分に顔であることを明示する付加処理を行う。画像表示信号発生回路１２４は、フレームメモリ１２２からの赤外線画像データを画像再生信号に変換する。
【００７１】
表示装置１３は、画像再生信号を画像として表示する。表示装置１３は、液晶やプラズマ・ディスプレイ・パネル（ＰＤＰ）、陰極線管等で作られたモニタである。この表示装置１３が表示する赤外線画像は、赤外線強度が弱い部分すなわち温度が低い部分は黒く、赤外線強度が強い部分すなわち温度が高い部分は白くなるよう、赤外線強度すなわち温度により階調をつけ表示されるよう形状認識装置１２０が作られている。
【００７２】
表示装置１３は本実施の形態の形状認識装置１２０に含まれていないが、含むようにしてもよい。一方、赤外線カメラ１２１は形状認識装置１２０に含まれているが、含めないようにしてもよい。
【００７３】
図１３は、本実施の形態の形状認識装置１２０の使用例を示す。同図中、図１２と同一構成部分には同一符号を付してある。図１３において、形状認識装置１２０は、赤外線カメラ（図１２の１２１）で撮影対象１１が発生する波長８μｍ〜１４μｍの赤外線を検知する。図１３において、撮影対象１１は、人物１１ａ、ゴミ箱１１ｂ、木１１ｃからなる。
【００７４】
図１３において、上記の撮影対象１１は通常肉眼で見える画像で図示してある。可視光を使った通常のカメラであれば、ほぼ同様な画像で撮影されるが、赤外線カメラで撮影した赤外線画像は、上記のように温度に応じて階調をつけて表示されるので、概略、図１４に示すように表示される。
【００７５】
前述したように、この赤外線画像は温度が低い部分を黒、高い部分を白で表すよう設定されている。そのため、図１３における撮影対象１１のうち、気温とほぼ同じ温度である、温度の低い木１１ｃやゴミ箱１１ｂは、赤外線画像では図１４に木７１ｃ、ゴミ箱７１ｂで示すように、暗くコントラストが低く表示される。一方、図１３における撮影対象１１のうち、人物１１ａは体温により、露出した部分は温度が高いために、その赤外線画像は、図１４に７１ａで示すように明るく表示される。
【００７６】
この赤外線画像７１ａのうち、衣服の画像部分７２は体温でやや高めの温度になり、やや明るく表示される。そして、人物１１ａの顔の部分では二つの目の画像部分７３と口の画像部分７４とが他の顔の部分より更に温度が高いために、他の顔の部分よりも明るく表示される。本実施の形態では、後述するように、この周辺より温度が高く明るく、すなわち白く撮影されている３点の組を探し出し、その組の画像部分を人間の裸眼の顔と認識する。
【００７７】
図１５は、撮影対象の他の例の図を示す。同図中、図１３と同一部分には同一符号を付し、その説明を省略する。図１５に示す撮影対象１１は、人物１１ｄが眼鏡１１ｅをかけている点以外は、図１３の撮影対象１１と同じである。
【００７８】
図１６は、この図１５の撮影対象１１を赤外線カメラで撮影して得た赤外線画像を示す。既に説明した通り、眼鏡は顔より温度が低くなるため、図１５における撮影対象１１のうち、人物の１１ｄの顔の部分よりも温度の低い眼鏡の画像部分は、図１６に７４で示すように顔の中で暗くすなわち黒く表示される。一方、温度の高い口の画像部分は、図１６に７４で示すように、白く表示される。よって、後述するように、本実施の形態では２点の黒と１点の白の組み合わせを探し出し、その組の画像部分を眼鏡をかけた人間の顔と認識する。
【００７９】
また、３点で顔を認識する場合、人間が通常取る姿勢では目が上、口が下に来ていることから、赤外線画像において、白い小面積画像部分が逆三角形の配置となるため、逆三角形の白い３点の組み合わせを探すことで効率的な顔認識をすることが可能である。
【００８０】
次に、本実施の形態による赤外線画像から周囲と温度の異なる３点を抽出し、人間の顔であることを認識する方法の一例の動作について、図１７のフローチャートを併せ参照して説明する。
【００８１】
まず、画像処理回路１２３は、フレームメモリ１２２に蓄積されている赤外線画像からバックグランドを取得する（ステップＳ５１）。ここでバックグランドとは、人間がいないときの撮影対象を赤外線カメラ１２１で撮影して得られた赤外線画像中から抽出した、バックグランドとして存在している周囲に比べ白い点と黒い点のデータのことである。このバックグランドが時期、天候などで変化することが考えられる場合には、複数の種類のバックグランド・データを取得する、定期的に取得するなどを行うことでより正確な認識を行うことができる。
【００８２】
次に、画像処理回路１２３は、赤外線カメラ１２１により撮影対象を撮影してフレームメモリ１２２に蓄積された１画面の赤外線画像データ中から白い点と黒い点を探す（ステップＳ５２）。続いて、画像処理回路１２３は、ステップＳ５２で探した白い点及び黒い点のうち、バックグランドと同じ点であるものを除く（ステップＳ５３）。
【００８３】
次に、画像処理回路１２３は、ステップＳ５３で除去されずに残った、バックグランドと異なる白い点及び黒い点のうち、白い点から一定の順番でまず１点を選択する（ステップＳ５４）。続いて、画像処理回路１２３は、その選択した白い点から一番近い白い点又は黒い点を２点探す（ステップＳ５５）。
【００８４】
次に、画像処理回路１２３は、ステップＳ５５で探した２点が白い点と黒い点の組み合わせであるかどうか判定する（ステップＳ５６）。探した２点が白い点と黒い点であるときは、この組み合わせは顔でないと判断してステップＳ６８に進み、探索した全ての点について処理したかどうか判定し、全て処理していないときはステップＳ５４に戻り、次の順番の白い点を選択して上記と同様の動作を行う。
【００８５】
一方、画像処理回路１２３は、ステップＳ５６において、探した２点が白い点と黒い点でないと判定したときは、それらの２点共に白い点であるかどうか判定する（ステップＳ５７）。２点共に白い点であった場合、白い点３つの組み合わせであるので、その３点の組み合わせが顔の条件を満たすか判断する（ステップＳ５８）。例えば、白い３点が逆三角形の各頂点であり、かつ、白い３点で作る三角形内が白い３点より暗いかの判断をし、その条件を満足しなければ、顔ではないと判断し、ステップＳ６８に進み、探索した全ての点について処理したかどうか判定し、全て処理していないときはステップＳ５４に戻り、次の順番の白い点を選択して上記と同様の動作を行う。
【００８６】
一方、画像処理回路１２３は、ステップＳ５８において、白い３点が顔の条件を満足していると判定したときは、次に、それらの白い３点がすでに顔と判断された点であるかを判定する（ステップＳ５９）。もし、それらの白い３点がまだ顔と判断されていない点であると判定したときは、それらの白い３点を一旦、裸眼の顔として記録する（ステップＳ６０）。
【００８７】
一方、もし、それらの白い３点が既に顔と判断された点であれば、それら白い３点の組み合わせが、既に顔と判断された白い３点の組み合わせよりも、顔と判定される確からしい組み合わせである優先する組み合わせであるか否かを判定する（ステップＳ６１）。優先する組み合わせであれば、既に記録されていた非優先の３点は解除し（ステップＳ６２）、新しい白い３点の組み合わせを一旦、裸眼顔として記録する（ステップＳ６０）。
【００８８】
ステップＳ６０の処理後、又は、ステップＳ６１で白い３点の組み合わせが、既に顔と判断された白い３点の組み合わせよりも非優先であると判定したときは、顔でないと判断してステップＳ６８に進む。
【００８９】
ステップＳ６８では探索した全ての点について処理したかどうか判定し、全て処理していないときはステップＳ５４に戻り、次の順番の白い点を選択して上記と同様の動作を行う。
【００９０】
また、画像処理回路１２３は、ステップＳ５７で探した２点が共に白い点でない（すなわち、探した２点が共に黒い点である）と判定したときも、上記の２点が共に白い点であると判定された時のステップＳ５８〜Ｓ６０の処理・判断と同様の処理・判断を行う（ステップＳ６３〜Ｓ６７）。ただし、探した２点が共に黒い点である場合は、それら黒い２点と選択された白い１点とからなる３点の組み合わせは、一旦、眼鏡をかけている顔と判断して記録する（ステップＳ６５）。
【００９１】
画像処理回路１２３は、順番に選んだ１つの白い点について、上記の処理・判断が終了したら、次の白い点を同様に処理・判断する。そして、画像処理回路１２３は、全ての白い点について上記処理が終わったとステップＳ６８で判定したときは、人間の顔と認識された３点の組み合わせが全て抽出されているので、それをもとに輪郭などの人間の顔と分かる画像処理をする（ステップＳ６９）。
【００９２】
このように、本実施の形態によれば、以上のようなアルゴリズムにより、赤外線画像から容易に人間の顔を認識することができる。また、白い点、黒い点などを判断するスレッシュホールドレベルや点の大きさなどは撮影する撮影対象により、最適な値に決めることにより、より正確な顔認識が可能となる。
【００９３】
なお、本実施の形態において、赤外線画像の顔と判断した部分に人間の顔であることが分かるような、画像を重ね合わせる、或いは部分的に画像を変換するなどの処理をして、表示することが可能である。例えば、顔の周囲を輪郭として線で赤外線画像に重ね合わせ、画像信号として出力することもできる。顔の輪郭が、コントラストが低く認識できない場合でも、目と口の３点の三角形をもとに経験的に顔の輪郭を予想して、それを仮想の顔輪郭として表示することもできる。その場合、実際の顔の輪郭とはずれていても、監視する人が表示画面を見て画面上に人間がいること識別するには十分な効果が得られる。
【００９４】
また、眼鏡をかけた顔と認識した場合にはさらに、目の赤外線画像部分に仮想の眼鏡画像を重ね合わせることで、人物が眼鏡をかけているかのように表現できる。また、人物がマスクをしている場合、多くの場合、マスクをしている口部分の温度の高い部分は、マスクをしていない場合より、面積が大きくなる。そこで、本実施の形態では目の大ききから判断して、口部分の温度が高い部分が広い場合はマスクをしていると判断し、画像に仮想のマスクと重ね合わせることも可能である。本実施の形態を監視カメラシステムに適用した場合、不審者の多くは眼鏡、サングラス、マスクを着用することがあり、画像に写っている人間が不審者の可能性が高いことを判断するのに役立つ。
【００９５】
また、選んだ白い点及び黒い点の３点の組み合わせが人間の顔であるか、ないかの条件判断については他の多くの方法もあり、撮影対象により判断方法を組み合わせることでもより正確な顔認識が可能となる。更に、抽出した白い点及び黒い点の３点の組み合わせの時間的な動きを判断し、顔認識の条件とすることも効果的である。
【００９６】
また、本実施の形態では画像が白黒で表現されているために、顔の輪郭は赤や黄色などの目立つ色を使うことにより、この画像により監視をしている人がより容易に画像内に人間が写っていることを認識することができるようにしてもよい。
【００９７】
また、図１２及び図１３に示した本実施の形態では、赤外線カメラは１台であったが、第１の実施の形態と同様に、複数の赤外線カメラを用い、複数の赤外線カメラで取得した複数の赤外線画像から３次元形状を得て、裸眼又は眼鏡をかけた人物の顔を認識した画像部分を、３次元形状に仮想可視光光源を設けて仮想の反射体画像に変換し表示するようにしてもよい。
【００９８】
（第５の実施の形態）
次に、本発明の第５の実施の形態について説明する。本実施の形態は、例えば図２に示した撮像装置１００において、例えば第１の実施の形態と同様にして反射体画像を生成すると共に、それに加えて形状認識部１１３が、赤外線カメラ２〜４で撮影した発光体である撮影対象１との距離を計測し、その距離を生成した反射体画像と共に記録／再生部１１５により記録媒体に記録するものである。
【００９９】
次に、本実施の形態の動作を図１８のフローチャート及び図１９の距離計測の一例の説明図と共に説明する。形状認識部１１３は、まず、３台の赤外線カメラ２〜４からそれぞれ供給される赤外線画像信号が示す温度情報に基づき、撮影対象である人体を検出する（ステップＳ４１）。人体の表面は摂氏３０度程度なので、この温度から人体を検出することができる。
【０１００】
続いて、形状認識部１１３は、検出した上記の人体（特徴点）と予め設定した座標原点との距離を計算する（ステップＳ４２）。この距離の計算方法について図１９と共に説明する。図１９において、予め座標の原点（０,０,０）を設定しておき、ｘ軸方向、ｙ軸方向も設定する。簡単には、図１９に示すように赤外線カメラ２及び３をｘ軸方向に設定し、赤外線カメラ４をｙ軸方向に設定する。そのようにすることで、各赤外線カメラ２〜４の３次元座標が例えば赤外線カメラ２については（ｘ２,ｙ２,ｚ２）、赤外線カメラ３については（ｘ３,ｙ３,ｚ３）、赤外線カメラ４については（ｘ４,ｙ４,ｚ４）のように決定される。
【０１０１】
また、形状認識部１１３は、赤外線カメラ２〜４の向いている方向を、赤外線カメラ制御部１１０内の赤外線カメラ２〜４の向きを制御しているモータや歯車等の動作機構からの情報、あるいは３次元加速度センサ、ジャイロなどのセンサからの情報を基に測定する。これにより、各赤外線カメラの撮影している方向がベクトル情報で、例えば赤外線カメラ２の場合は（ｘ２',ｙ２',ｚ２'）、赤外線カメラ３の場合は（ｘ３',ｙ３',ｚ３'）、赤外線カメラ４の場合は（ｘ４',ｙ４',ｚ４'）のように分る。
【０１０２】
ここで、特徴点が図１９に５０１で示すように各赤外線カメラ２〜４の撮影方向上にあるものとすると、例えば赤外線カメラ２及び３から延びる直線の交点より特徴点５０１の座標（ｘ１,ｙ１,ｚ１）が求められる。形状認識部１１３は、特徴点５０１の座標が分るので、ｘｙ平面上の原点から特徴点５０１までの距離を（ｘ１2＋ｙ１2）1/2の演算式により求めることができる。本実施の形態では反射体画像を生成する際に、図３のステップＳ１３でのマッチング処理により、各赤外線カメラ２〜４が撮影している特徴点５０１を同じものであると認識しているので、このような計算が可能となる。ｘｚ平面上に距離や、ｙｚ平面上の距離も上記と同様にして求めることができる。
【０１０３】
なお、赤外線カメラが２台あれば、上記のように原理的に距離を求めることができるが、赤外線カメラが３台以上あれば、より正確に距離を求めることができる。また、距離計算は３台の赤外線カメラ２〜４を用いて三角測量の方法で求めることも可能である。
【０１０４】
図１８に戻って説明する。形状認識部１１１は、上記のようにして求めた距離を記録／再生部１１５により記録媒体に特徴点５０１の反射体画像と共に記録させる（ステップＳ４３）。これにより、本実施の形態によれば、撮影対象の形状だけでなく、赤外線カメラ２〜４からどれだけ離れた位置にあるのかも識別することができる。
【０１０５】
なお、本発明は以上の各実施の形態を２以上組み合わせた構成も含むものである。
【符号の説明】
【０１０６】
１  撮影対象
２、３、４、１２１  赤外線カメラ
５  形状認識手段
６  反射体変換手段
７  表示手段
８  記録／再生手段
１１  撮影対象
１１ａ、１１ｄ  人物
１１ｅ、７５  眼鏡
１３  表示装置
４１  仮の光源
４２  反射体表現された対象物体
７３  目（裸眼）
７４  口
１００  撮像装置
１１０  赤外線カメラ制御部
１１１  設定部
１１２  表示部
１１３  形状認識部
１１４  反射体変換部
１１５  記録／再生部
１１６  通信部
１２０、Ａ  形状認識装置
１２２  フレームメモリ
１２３  画像処理回路
１２４  画像表示信号発生回路
２０１、３０１、４０１  赤外線撮像部
２０２、３０２、４０２  Ａ／Ｄ変換器
２０３、３０３、４０３  フレームメモリ
５０１  特徴点
【図１】
0005407742.tif 000002
【図２】
0005407742.tif 000003
【図３】
0005407742.tif 000004
【図４】
0005407742.tif 000005
【図５】
0005407742.tif 000006
【図６】
0005407742.tif 000007
【図８】
0005407742.tif 000008
【図９】
0005407742.tif 000009
【図１０】
0005407742.tif 000010
【図１１】
0005407742.tif 000011
【図１２】
0005407742.tif 000012
【図１５】
0005407742.tif 000013
【図１７】
0005407742.tif 000014
【図１８】
0005407742.tif 000015
【図１９】
0005407742.tif 000016
【図７】
0005407742.tif 000017
【図１３】
0005407742.tif 000018
【図１４】
0005407742.tif 000019
【図１６】
0005407742.tif 000020