(57)【要約】【課題】２次元画像処理及び３次元画像処理の短所を補って、赤外線カメラにより撮影された対象物に応じた画像情報を安定に表示可能なシステム等を提供する。【解決手段】本発明の画像情報処理システム100によれば、重み係数算出ユニット140が、赤外線カメラ210と対象物との距離に応じた変数の測定値に基づき、第１重み係数C1(0≦C1≦1)及び第２重み係数C2(=1-C1)を算出する。また、合成画像認識ユニット150が、第１画像領域認識ユニット110により赤外線カメラ210を通じて２次元画像処理によって認識された第１画像領域A1と、第２画像領域認識ユニット120により赤外線カメラ210を通じて３次元画像処理によって認識された第２画像領域A2とが、第１重み係数C1及び第２重み係数C2により重み付け合成された合成画像領域Aを認識する。そして、画像情報制御ユニット160が合成画像領域Aを囲う枠をHUD220に表示させる。【選択図】  図１
2006157728.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させるシステムであって、
赤外線カメラにより撮影された対象物の２次元画像処理によって該対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識手段と、
２つの赤外線カメラによりステレオ撮影された対象物の３次元画像処理によって該対象物に応じた画像領域を第２画像領域として認識する第２画像領域認識手段と、
赤外線カメラと対象物との距離の長短に応じて値が変化する変数を測定する変数測定手段と、
変数測定手段により測定された変数に基づき、該変数に応じた該距離が長くなるにつれて増加する性質を有する第１重み係数C1(0≦C1≦1)を算出するとともに、該変数に応じた該距離が短くなるにつれて増加する性質を有する第２重み係数C2(=1-C1)を算出する重み係数算出手段と、
第１画像領域認識手段により認識された第１画像領域、及び第２画像領域認識手段により認識された第２画像領域のそれぞれが、重み係数算出手段により算出された第１係数C1及び第２重み係数C2により重み付けられて合成された合成画像領域を認識する合成画像領域認識手段と、
合成画像領域認識手段により認識された合成画像領域に応じた画像情報を前記画像表示装置に表示させる画像情報制御手段とを備えていることを特徴とする画像情報処理システム。
【請求項２】
前記変数測定手段が、赤外線カメラによる対象物の撮影開始時刻から所定時間が経過してからの経過時間tを前記変数として測定し、
前記重み係数算出手段が、変数測定手段により測定された時間tに基づき、時間tの減少関数C1(t)に従って第１重み係数C1を算出するとともに、時間tの増加関数C2(t)に従って第２重み係数C2を算出することを特徴とする請求項１記載の画像情報処理システム。
【請求項３】
重み係数算出手段が、変数測定手段により測定された時間tに基づき、第１関数C1(t)=1/(Ct+1)(C>0)に従って第１重み係数C1を算出するとともに、第２関数C2(t)=1-{1/(Ct+1)}に従って第２重み係数C2を算出することを特徴とする請求項２記載の画像情報処理システム。
【請求項４】
移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させる方法であって、
赤外線カメラにより撮影された対象物の２次元画像処理によって該対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識ステップと、
２つの赤外線カメラによりステレオ撮影された対象物の３次元画像処理によって該対象物に応じた画像領域を第２画像領域として認識する第２画像領域認識ステップと、
赤外線カメラと対象物との距離の長短に応じて値が変化する変数を測定する変数測定ステップと、
変数測定ステップにおいて測定された変数に基づき、該変数に応じた該距離が長くなるにつれて増加する性質を有する第１重み係数C1(0≦C1≦1)を算出するとともに、該変数に応じた該距離が短くなるにつれて増加する性質を有する第２重み係数C2(=1-C1)を算出する重み係数算出ステップと、
第１画像領域認識ステップにおいて認識された第１画像領域、及び第２画像領域認識ステップにおいて認識された第２画像領域のそれぞれが、重み係数算出ステップにおいて算出された第１係数C1及び第２重み係数C2により重み付けられて合成された合成画像領域を認識する合成画像領域認識ステップと、
合成画像領域認識ステップにおいて認識された合成画像領域に応じた画像情報を前記画像表示装置に表示させる画像情報制御ステップとを備えていることを特徴とする画像情報処理方法。
【請求項５】
移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させる機能をコンピュータに付与するプログラムであって、
赤外線カメラにより撮影された対象物の２次元画像処理によって該対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識機能と、
２つの赤外線カメラによりステレオ撮影された対象物の３次元画像処理によって該対象物に応じた画像領域を第２画像領域として認識する第２画像領域認識機能と、
赤外線カメラと対象物との距離の長短に応じて値が変化する変数を測定する変数測定機能と、
変数測定機能により測定された変数に基づき、該変数に応じた該距離が長くなるにつれて増加する性質を有する第１重み係数C1(0≦C1≦1)を算出するとともに、該変数に応じた該距離が短くなるにつれて増加する性質を有する第２重み係数C2(=1-C1)を算出する重み係数算出機能と、
第１画像領域認識機能により認識された第１画像領域、及び第２画像領域認識機能により認識された第２画像領域のそれぞれが、重み係数算出手段により算出された第１係数C1及び第２重み係数C2により重み付けられて合成された合成画像領域を認識する合成画像領域認識機能と、
合成画像領域認識機能により認識された合成画像領域に応じた画像情報を前記画像表示装置に表示させる画像情報制御機能とをコンピュータに付与することを特徴とする画像情報処理プログラム。
【請求項６】
請求項１記載の画像情報処理システムが搭載されていることを特徴とする前記移動体としての自動車。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させるシステム、方法、当該画像情報処理機能をコンピュータに付与するプログラム、及び当該システムが搭載された自動車に関する。
【背景技術】
【０００２】
従来、赤外線カメラにより撮影された対象物の２次元画像のグレースケール化処理、二値化処理等の画像処理を行うことで、対象物に応じた画像領域を認識した上で画像表示装置に強調表示させる技術的手法が提案されている（例えば、特許文献１参照）。また、２つの赤外線カメラによりステレオ撮影された対象物の３次元画像の視差を利用した画像処理を行うことで、この対象物に応じた画像領域を認識した上で画像表示装置に強調表示させる技術的手法が提案されている（例えば、特許文献２参照）。これらの技術が例えば自動車に採用された場合、夜道等、視界の悪い状態で走行する自動車の運転手に対して、肉眼では判別しづらい歩行者等の存在を容易に認識させることができる。
【特許文献１】特開2003-134508号公報
【特許文献２】特開2002-298298号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、２次元画像処理によれば、グレースケール化画像の二値化処理を通じて１つの対象物に応じて複数の画像領域が認識される場合がある（「分裂現象」が起きる）。例えば、図6(a)に示されているように１つの対象物Oに応じて１つの画像領域Aが強調表示されている状態から、カメラと対象物との距離が短くなったとき、図6(b)に示されているように分裂現象が起きて１つの対象物Oに応じて３つの画像領域Aが画像表示装置に強調表示される場合がある。これでは自動車の運転手等、画像表示装置を見ている者に混乱させ、さらにはこの画像の信頼性について不安を覚えさせてしまうおそれがある。
【０００４】
また、３次元画像処理によれば、カメラにより撮影されている対象物の画像の変動に対する追従性が劣っている。例えば、図7(a)に示されているように対象物Oに応じた画像領域Aが認識されている状態でカメラが下方にぶれ、対象物Oの画像が上方にぶれた場合、図7(b)に示されているように認識される画像領域Aが対象物Oの画像のぶれに追従しきれていない。特に対象物がカメラから遠くにある場合、カメラのぶれがわずかでも対象物の画像のぶれは大きくなる。これでは、画像領域が自動車のピッチング等の変動に追従しないことと自身の体感との違和感を運転手等に与え、さらにはその画像の信頼性に対して不安を覚えさせるおそれがある。
【０００５】
そこで、本発明は、２次元画像処理及び３次元画像処理の短所を補って、赤外線カメラにより撮影された対象物に応じた画像情報を安定に表示可能なシステム及び方法等を提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するための本発明の画像情報処理システムは、移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させるシステムであって、赤外線カメラにより撮影された対象物の２次元画像処理によって該対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識手段と、２つの赤外線カメラによりステレオ撮影された対象物の３次元画像処理によって該対象物に応じた画像領域を第２画像領域として認識する第２画像領域認識手段と、赤外線カメラと対象物との距離の長短に応じて値が変化する変数を測定する変数測定手段と、変数測定手段により測定された変数に基づき、該変数に応じた該距離が長くなるにつれて増加する性質を有する第１重み係数C1(0≦C1≦1)を算出するとともに、該変数に応じた該距離が短くなるにつれて増加する性質を有する第２重み係数C2(=1-C1)を算出する重み係数算出手段と、第１画像領域認識手段により認識された第１画像領域、及び第２画像領域認識手段により認識された第２画像領域のそれぞれが、重み係数算出手段により算出された第１係数C1及び第２重み係数C2により重み付けられて合成された合成画像領域を認識する合成画像領域認識手段と、合成画像領域認識手段により認識された合成画像領域に応じた画像情報を前記画像表示装置に表示させる画像情報制御手段とを備えていることを特徴とする。
【０００７】
本発明の画像情報処理システムによれば、第１画像領域認識手段が、赤外線カメラにより撮影された対象物の２次元画像処理により「第１画像領域」を認識する。２次元画像処理によれば、前記のように分裂現象が起こり得るという短所がある一方、カメラにより撮影されている対象物の画像の変動への追従性に優れているという長所がある。例えば、図6(a)に示されているように対象物Oに応じて画像領域Aが認識されている状態で、図6(c)に示されているように対象物Oの画像が上方にぶれたとき（矢印参照）、このぶれに敏感に追従して上方へずれた画像領域Aが認識され得る。従って、第１画像領域は対象物の画像のぶれへの追従性に優れたものとなる。
【０００８】
また、第２画像領域認識手段が、２つの赤外線カメラによりステレオ撮影された対象物の３次元画像処理により「第２画像領域」を認識する。３次元画像処理によれば、前記のようにぶれ追従性に劣っているという短所がある一方、分裂現象が起きないという長所がある。例えば、図7(a)に示されている１つの対象物Oに応じて１つの画像領域Aが認識されている状態から、カメラと対象物との距離が短くなっても、図7(c)に示されているように１つの対象物Oに応じて１つの画像領域Aが認識される。このため、第２画像領域は、その数が対象物の数に正確に応じたものとなる。
【０００９】
さらに変数測定手段が赤外線カメラと対象物との距離に応じた「変数」を測定する。また、重み係数算出手段が変数測定手段により測定された変数に基づき「第１重み係数C1(0≦C1≦1)」及び「第２重み係数C2(=1-C1)」を算出する。変数測定手段により測定される変数は当該距離そのものであってもよく、距離の増加又は減少関数としての変数であってもよい。
【００１０】
さらに合成画像認識手段が、第１画像領域認識手段により認識された「第１画像領域」と、第２画像領域認識手段により認識された「第２画像領域」とが、第１重み係数C1及び第２重み係数C2により重み付け合成された「合成画像領域」を認識する。そして、画像情報制御手段が、合成画像領域認識手段により認識された合成画像領域に応じた「画像情報」を画像表示装置に表示させる。これにより、赤外線カメラにより撮影された対象物の存在、さらにはその位置、大きさ等を、移動体の運転手等、画像表示装置を見ている者に認識させることができる。
【００１１】
前記のように合成画像領域は、第１及び第２画像領域が第１及び第２重み係数により重み付け合成されたものである。
【００１２】
第１重み係数C1は、赤外線カメラと対象物との距離が長いほど増加する性質を有する。このため、当該距離が長いときは合成画像領域には第２画像領域の性質よりも第１画像領域の性質が強く反映される。これにより、合成画像領域の性質は対象物の画像のぶれへの追従性に優れているという第１画像領域の性質が強く反映されたものとなる。すなわち、合成画像領域は、ぶれ追従性に劣るという３次元画像処理の短所が、ぶれ追従性に優れているという２次元画像処理の長所により補われたものとなる。また、赤外線カメラと対象物との距離が長いときは第１画像領域の分裂が起きにくい。このため、合成画像領域に第１画像領域の性質が強く反映されたとしても、１つの対象物に応じて複数の合成画像領域が認識されることが抑制され得る。
【００１３】
一方、第２重み係数C2は、赤外線カメラと対象物との距離が短くなるにつれて増加する性質を有する。このため、赤外線カメラ210と対象物との距離が短いとき、合成画像領域Aには第１画像領域A1の性質よりも第２画像領域A2の性質が強く反映され得る。これにより、合成画像領域の性質は、分裂現象が起きないという第２画像領域の性質が強く反映されたものとなる。すなわち、合成画像領域は、分裂現象が起こり得るという２次元画像処理の短所が、分裂現象が起きないという３次元画像処理の長所により補われたものとなる。また、当該距離が短いときは、赤外線カメラのぶれによる対象物の画像のぶれはわずかなので、第２画像領域のぶれ追従性の悪さはさほど問題にならない。このため、合成画像領域に第２画像領域の性質が強く反映されたとしても、対象物のぶれた画像と乖離した合成画像領域が認識されることが抑制され得る。
【００１４】
従って、本発明の画像情報処理システムによれば、２次元画像処理及び３次元画像処理の短所を補って、赤外線カメラにより撮影された対象物に応じた画像情報を安定に画像表示装置に表示させることができる。
【００１５】
また、本発明の画像情報処理システムは、前記変数測定手段が、赤外線カメラによる対象物の撮影開始時刻から所定時間が経過してからの経過時間tを前記変数として測定し、前記重み係数算出手段が、変数測定手段により測定された時間tに基づき、時間tの減少関数C1(t)に従って第１重み係数C1を算出するとともに、時間tの増加関数C2(t)に従って第２重み係数C2を算出することを特徴とする。
【００１６】
さらに本発明の画像情報処理システムは、重み係数算出手段が、変数測定手段により測定された時間tに基づき、第１関数C1(t)=1/(Ct+1)(C>0)に従って第１重み係数C1を算出するとともに、第２関数C2(t)=1-{1/(Ct+1)}に従って第２重み係数C2を算出することを特徴とする。
【００１７】
前記課題を解決するための本発明の画像情報処理方法は、移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させる方法であって、赤外線カメラにより撮影された対象物の２次元画像処理によって該対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識ステップと、２つの赤外線カメラによりステレオ撮影された対象物の３次元画像処理によって該対象物に応じた画像領域を第２画像領域として認識する第２画像領域認識ステップと、赤外線カメラと対象物との距離の長短に応じて値が変化する変数を測定する変数測定ステップと、変数測定ステップにおいて測定された変数に基づき、該変数に応じた該距離が長くなるにつれて増加する性質を有する第１重み係数C1(0≦C1≦1)を算出するとともに、該変数に応じた該距離が短くなるにつれて増加する性質を有する第２重み係数C2(=1-C1)を算出する重み係数算出ステップと、第１画像領域認識ステップにおいて認識された第１画像領域、及び第２画像領域認識ステップにおいて認識された第２画像領域のそれぞれが、重み係数算出ステップにおいて算出された第１係数C1及び第２重み係数C2により重み付けられて合成された合成画像領域を認識する合成画像領域認識ステップと、合成画像領域認識ステップにおいて認識された合成画像領域に応じた画像情報を前記画像表示装置に表示させる画像情報制御ステップとを備えていることを特徴とする。
【００１８】
本発明の画像情報処理方法によれば、２次元画像処理及び３次元画像処理の短所を補って、赤外線カメラにより撮影された対象物に応じた画像情報を安定に画像表示装置に表示させることができる。
【００１９】
前記課題を解決するための本発明の画像情報処理プログラムは、移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させる機能をコンピュータに付与するプログラムであって、赤外線カメラにより撮影された対象物の２次元画像処理によって該対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識機能と、２つの赤外線カメラによりステレオ撮影された対象物の３次元画像処理によって該対象物に応じた画像領域を第２画像領域として認識する第２画像領域認識機能と、赤外線カメラと対象物との距離の長短に応じて値が変化する変数を測定する変数測定機能と、変数測定機能により測定された変数に基づき、該変数に応じた該距離が長くなるにつれて増加する性質を有する第１重み係数C1(0≦C1≦1)を算出するとともに、該変数に応じた該距離が短くなるにつれて増加する性質を有する第２重み係数C2(=1-C1)を算出する重み係数算出機能と、第１画像領域認識機能により認識された第１画像領域、及び第２画像領域認識機能により認識された第２画像領域のそれぞれが、重み係数算出手段により算出された第１係数C1及び第２重み係数C2により重み付けられて合成された合成画像領域を認識する合成画像領域認識機能と、合成画像領域認識機能により認識された合成画像領域に応じた画像情報を前記画像表示装置に表示させる画像情報制御機能とをコンピュータに付与することを特徴とする。
【００２０】
本発明の画像情報処理プログラムによれば、２次元画像処理及び３次元画像処理の短所を補って、赤外線カメラにより撮影された対象物に応じた画像情報を安定に画像表示装置に表示させる機能をコンピュータに付与することができる。
【００２１】
前記課題を解決するための本発明の自動車は、前記移動体として、請求項１記載の画像情報処理システムが搭載されていることを特徴とする。
【００２２】
本発明の自動車によれば、２次元画像処理及び３次元画像処理の短所を補って、赤外線カメラにより撮影された対象物に応じた画像情報を安定に画像表示装置に表示させることにより、自動車の運転手に当該画像情報を認識させることができる。
【発明を実施するための最良の形態】
【００２３】
本発明の画像情報処理システム、方法、プログラム及び自動車の実施形態について図面を用いて説明する。
【００２４】
図1は本発明の一実施形態における画像情報処理システムの構成説明図であり、図2は本発明の一実施形態における画像情報処理方法の説明図であり、図3は第１画像領域、第２画像領域及び合成画像領域の説明図であり、図4は第１及び第２重み付き係数の時間変化の説明図であり、図5は合成画像領域の時間変化の説明図であり、図6は２次元画像処理により認識される画像領域の説明図であり、図7は３次元画像処理により認識される画像領域の説明図である。
【００２５】
図1に示されている情報提供システム100は、自動車（移動体）200の適当な位置に搭載されている。自動車200のフロント部分には、左右2つの赤外線カメラ210が搭載されている。また、自動車200のフロントウィンドウには運転手の前方視界の妨げとならない位置にHUD(Head Up Display)（画像表示装置）220が搭載されている。
【００２６】
画像情報処理システム100は、第１画像領域認識ユニット110と、第２画像領域認識ユニット120と、変数測定ユニット130と、重み係数算出ユニット140と、合成画像領域認識ユニット150と、画像情報制御ユニット160とを備えている。各ユニットは、ハードウェアとしてのCPU、ROM、RAM等と、後述の画像情報処理方法の実行機能を当該ハードウェアに付与するソフトウェアとしての本発明の「画像情報処理プログラム」とにより構成されている。
【００２７】
第１画像領域認識ユニット110は、赤外線カメラ210により撮影された対象物の２次元画像処理によって、この対象物に応じた画像領域を「第１画像領域」として認識する。
【００２８】
第２画像領域認識ユニット120は、２つの赤外線カメラ210によりステレオ撮影された対象物の３次元画像処理によって、この対象物に応じた画像領域を「第２画像領域」として認識する。
【００２９】
変数測定ユニット130は、赤外線カメラ210により対象物が撮影され始めた時刻からの経過時間tを「赤外線カメラ210と対象物との距離の長短に応じて値が変化する変数」として測定する。この時間tは、赤外線カメラ210と対象物との距離が短くなるほど長くなる。
【００３０】
重み係数算出ユニット140は、変数測定ユニット130により測定された時間tに基づき、第１重み係数C1(0≦C1≦1)を算出するとともに、第２重み係数C2(=1-C1)を算出する。
【００３１】
合成画像領域認識ユニット150は、第１画像領域認識ユニット110により認識された第１画像領域、及び第２画像領域認識ユニット120により認識された第２画像領域のそれぞれが、重み係数算出ユニット140により算出された第１係数C1及び第２重み係数C2により重み付けられて合成された「合成画像領域」を認識する。
【００３２】
画像情報制御ユニット160は、合成画像領域認識ユニット150により認識された合成画像領域に応じた「画像情報」をHUD220に表示させる。
【００３３】
前記構成の画像情報処理システム100により実行される本発明の一実施形態の画像情報処理方法について図2~図7を用いて説明する。
【００３４】
第１画像領域認識ユニット110が、赤外線カメラ210により撮影された対象物の２次元画像処理によって、この対象物に応じた画像領域を第１画像領域A1として認識する(S110)。これにより、例えば図3(a)に示されているように四隅の座標が右上隅から時計回りの順に(X1+,Y1-),(X1+,Y1+),(X1-,Y1+),(X1-,Y1-)と表される矩形状の第１画像領域A1が認識される。２次元画像処理による第１画像領域A1の認識方法は例えば前記特許文献1に開示されているものが採用されればよいので、本願明細書では詳細な説明を省略する。分裂現象により１つの対象物について複数の第１画像領域A1が認識された場合（図6(b)参照）、複数の第１画像領域A1の縦方向又は横方向の最短距離が所定距離以下であることを条件として、当該複数の第１画像領域A1を包含する矩形状の画像領域（図6(b)破線参照）が新たな第１画像領域A1として認識される。
【００３５】
また、第１画像領域A1の認識と並行して第２画像領域認識ユニット120が、２つの赤外線カメラ210によりステレオ撮影された対象物の３次元画像処理によって、この対象物に応じた画像領域を第２画像領域A2として認識する(S120)。これにより、例えば図3(b)に示されているような四隅の座標が右上隅から時計回りの順に(X2+,Y2-),(X2+,Y2+),(X2-,Y2+),(X2-,Y2-)と表される矩形状の第２画像領域A2が認識される。３次元画像処理による第２画像領域A2の認識方法は例えば前記特許文献2に開示されているものが採用されればよいので、本願明細書では詳細な説明を省略する。
【００３６】
さらに変数測定ユニット130が、赤外線カメラ210により対象物が撮影されてから所定時間が経過してからの経過時間tを測定する(S130)。この所定時間は、赤外線カメラ210を通じて測定され得る自動車200と対象物との距離、又はその時間微分である両者の相対速度に基づき可変に設定されてもよい。また、重み係数算出ユニット140が、変数測定ユニット130により測定された時間tに基づき、次式(1)で定義される第１関数C1(t)に従って第１重み係数C1を算出するとともに(S141)、次式(2)で定義される第２関数C2(t)に従って第２重み係数C2を算出する(S142)。
【００３７】
C1(t)=1/(Ct+1) ・・(1)
C2(t)=1-1/(Ct+1) ・・(2)
式(1)及び式(2)においてCは正の定数である。定数Cは例えば赤外線カメラ210を通じて測定される赤外線カメラ210から対象物までの距離に基づき、対象物ごとに設定されてもよい。第１関数C1(t)は図4に示されているように時間tの減少関数なので、第１重み係数C1は赤外線カメラ210と対象物との距離が短くなるにつれて減少する性質を有する。一方、第２関数C2(t)は図4に示されているように時間tの増加関数なので、第２重み係数C2は赤外線カメラ210と対象物との距離が短くなるに従って増大する性質を有する。
【００３８】
次に、合成画像領域認識ユニット150は、第１画像領域認識ユニット110により認識された第１画像領域A1及び第２画像領域認識ユニット120により認識された第２画像領域A2のそれぞれが、重み係数算出ユニット140により算出された第１重み係数C1及び第２重み係数C2により重み付けられて合成された合成画像領域Aを認識する(S150)。第１画像領域A1及び第２画像領域A2がそれぞれベクトルとして表現されるとすると、合成画像領域Aは次式(3)に従って認識される。
【００３９】
A=C1・A1+C2・A2 ・・(3)
図3(a)及び図3(b)にそれぞれ示されている第１画像領域A1及び第２画像領域A2に基づき、例えば図3(c)に示されている矩形状の合成画像領域Aが認識される。合成画像領域Aの四隅の座標(X+,Y-),(X+,Y+),(X-,Y+),(X-,Y-) は、第１画像領域A1の四隅の座標(X1+,Y1-),(X1+,Y1+),(X1-,Y1+),(X1-,Y1-) と、第２画像領域A2の四隅の座標(X2+,Y2-),(X2+,Y2+),(X2-,Y2+),(X2-,Y2-) とが第１重み係数C1及び第２重み係数C2によって重み付き平均されたものとして次式(3a)~(3d)により表される。
【００４０】
(X+,Y-)=(C1・X1+ + C2・X2+, C1・Y1- + C2・Y2-) ・・(3a)
(X+,Y+)=(C1・X1+ + C2・X2+, C1・Y1+ + C2・Y2+) ・・(3b)
(X-,Y+)=(C1・X1- + C2・X2-, C1・Y1+ + C2・Y2+) ・・(3c)
(X-,Y-)=(C1・X1- + C2・X2-, C1・Y1- + C2・Y2-) ・・(3d)
そして、画像情報制御ユニット160は、合成画像領域認識ユニット150により認識された合成画像領域Aを囲う枠を、この合成画像領域Aに応じた画像情報としてHUD220に表示させる(S160)。これにより、赤外線カメラ210と対象物との距離が短いときは、例えば図5(a)に示されているように１つの対象物Oに応じた１つの合成画像領域Aを囲う枠がHUD220に強調表示される。また、赤外線カメラ210と対象物との距離が長いときは、例えば図5(b)に示されているように図5(a)と比較して大きな１つの対象物Oに応じた１つの合成画像領域Aを囲う枠がHUD220に強調表示される。
【００４１】
前記画像情報処理方法によれば、合成画像領域Aは、第１画像領域A1及び第２画像領域A2が第１重み係数C1及び第２重み係数C2により重み付き合成されたものである（式(3)、図3(a)~図3(c)参照）。
【００４２】
第１関数C1(t)は赤外線カメラ210により対象物の画像が撮影されている時間tの減少関数なので（式(1)、図4参照）、第１重み係数C1はこの時間tの減少関数である両者の距離が長くなるにつれて増加する性質を有する。従って、変数測定ユニット130による測定時間tが短いとき、すなわち、自動車200（正確には赤外線カメラ210）と対象物との距離が長いとき、合成画像領域Aには第２画像領域A2の性質よりも第１画像領域A1の性質が強く反映され得る。但し、自動車200と対象物との距離が当該時間tの減少関数であるという条件は、赤外線カメラ210が自動車200の前方の対象物を撮影するものであるため（図1参照）、自動車200が前方に走行しているとき等、両者の相対距離が減少しているときにのみ満たされる。
【００４３】
これにより、時間tが短いときに合成画像領域認識ユニット150により認識された上で画像情報制御ユニット160によりHUD220に枠（画像情報）が表示される合成画像領域Aの性質は、対象物の画像のぶれへの追従性に優れているという第１画像領域A1の性質が強く反映されたものとなる。すなわち、合成画像領域Aは、ぶれ追従性に劣るという３次元画像処理の短所が、ぶれ追従性に優れているという２次元画像処理の長所により補われたものとなる。また、時間tが短いとき、すなわち自動車200と対象物との距離が長いときは第１画像領域A1の分裂が起きにくい。このため、合成画像領域Aに第１画像領域A1の性質が強く反映されたとしても、１つの対象物Oに応じて複数の合成画像領域Aが認識された上でHUD220に表示されることが抑制され得る。
【００４４】
例えば、時間tが短いため、図5(a)に示されているように比較的小さい１つの対象物Oに応じた１つの合成画像領域AがHUD220に表示されている状態で、自動車200のピッチングによって対象物Oの画像が上方にぶれても（矢印及び破線参照）、このぶれに追従して上方にずれた合成画像領域Aが認識された上でHUD220に表示され得る（破線参照）。
【００４５】
一方、第２関数C2(t)は、赤外線カメラ210により対象物の画像が撮影されている時間tの増加関数なので（式(2)、図4参照）、第２重み係数C2はこの時間tの減少関数である両者の距離が短くなるにつれて増加する性質を有する。従って、変数測定ユニット130による測定時間tが長いとき、すなわち、自動車200と対象物との距離が短いとき、合成画像領域Aには第１画像領域A1の性質よりも第２画像領域A2の性質が強く反映され得る。
【００４６】
これにより、時間tが長いときに合成画像領域認識ユニット150により認識された上で画像情報制御ユニット160によりHUD220に枠（画像情報）が表示される合成画像領域Aの性質は、分裂現象が起きないという第２画像領域A2の性質が強く反映されたものとなる。すなわち、合成画像領域Aは、分裂現象が起こり得るという２次元画像処理の短所が、分裂現象が起きないという３次元画像処理の長所により補われたものとなる。また、時間tが長いとき、すなわち赤外線カメラ210と対象物との距離が短いときは、自動車200のピッチングに応じた対象物の画像のぶれはわずかなので、第２画像領域A2のぶれ追従性の悪さはさほど問題にならない。このため、合成画像領域Aに第２画像領域A2の性質が強く反映されたとしても、対象物Oのぶれた画像と乖離した合成画像領域Aが認識された上でHUD220に表示されることが抑制され得る。
【００４７】
例えば、時間tが長いため、図5(b)に示されているように比較的大きい１つの対象物Oの画像が赤外線カメラにより撮影されているとき、この対象物Oに応じた１つの合成画像領域AがHUD220に表示され得る。
【００４８】
従って、画像情報処理システム100により実行される画像情報処理方法によれば、２次元画像処理及び３次元画像処理の短所を補い合って、赤外線カメラ210により撮影された対象物に応じた合成画像領域Aを安定にHUD220に表示させることができる。
【００４９】
前記実施形態では自動車200のフロントウィンドウに搭載されたHUD220に画像情報が表示されたが、他の実施形態として自動車200に搭載されたメータ一体型のディスプレイや、ナビ装置のディスプレイ（図示略）に画像情報が表示されてもよい。
【００５０】
前記実施形態では第１重み係数C1が式(1)で定義される第１関数C1(t)に従って算出されるとともに(S141参照)、第２重み係数C2が式(2)で定義される第２関数C2(t)に従って算出されたが(S142参照)、他の実施形態として第１重み係数C1が式(1)とは異なる形の時間tの減少関数に従って算出されてもよく、第２重み係数C2が式(2)とは異なる形の時間tの増加関数に従って算出されてもよい。
【００５１】
前記実施形態では時間tが測定され、第１重み係数C1が時間tの減少関数である第１関数C1(t)に従って算出され(S141参照)、第２重み係数C2が時間tの増加関数である第２関数C2(t)に従って算出されたが(S142参照)、他の実施形態として変数測定ユニット130により赤外線カメラ210を通じて赤外線カメラ210と対象物との距離dが測定され、この測定距離dに基づき、第１重み係数C1が距離dの増加関数に従って算出されるとともに、第２重み係数C2が距離dの減少関数に従って算出されてもよい。
【００５２】
前記実施形態では合成画像領域Aを囲う枠が合成画像領域Aに応じた画像情報としてHUD220に表示されたが、他の実施形態として合成画像領域Aがその色彩、模様や輝度等により他の画像領域から識別可能にHUD220に表示されてもよく、合成画像領域Aに含まれるグレースケール化又は二値化画像における輝度が一定以上の対象物そのものを囲う枠がHUD220に表示されてもよく、合成画像領域に含まれる当該輝度が一定以上の対象物の一部又は全部がその色彩、模様、輝度等により他の画像領域から識別可能にHUD220に表示される等、合成画像領域A又はそこに含まれる輝度が一定以上の対象物が他の画像領域から識別可能となるようなあらゆる形態で合成画像領域Aに応じた画像情報がHUD220に表示されてもよい。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態における画像情報処理システムの構成説明図
【図２】本発明の一実施形態における画像情報処理方法の説明図
【図３】第１画像領域、第２画像領域及び合成画像領域の説明図
【図４】第１及び第２重み係数の時間変化の説明図
【図５】合成画像領域の時間変化の説明図
【図６】２次元画像処理により認識される画像領域の説明図
【図７】３次元画像処理により認識される画像領域の説明図
【符号の説明】
【００５４】
100・・画像情報処理システム、110・・第１画像領域認識ユニット、120・・第２画像領域認識ユニット、130・・変数測定ユニット、140・・重み係数算出ユニット、150・・合成画像領域認識ユニット、160・・画像情報制御ユニット、200・・自動車（移動体）、210・・赤外線カメラ、220・・HUD（画像表示装置）
【図１】
2006157728.tif 000003
【図２】
2006157728.tif 000004
【図３】
2006157728.tif 000005
【図４】
2006157728.tif 000006
【図５】
2006157728.tif 000007
【図６】
2006157728.tif 000008
【図７】
2006157728.tif 000009