(57)【要約】【課題】赤外線カメラを通じて認識される対象物の画像領域が不安定なものであっても、当該対象物の画像情報を画像表示装置に安定に表示させ得るシステム等を提供する。【解決手段】本発明の画像情報処理システム100によれば、第１画像領域認識ユニット121が、赤外線カメラ210を通じて測定された対象物の位置に応じた第２変数X2に基づき、当該対象物に応じた第１画像領域A1を認識する。また、第２画像領域認識ユニット122が、自動車200の走行状態に応じた第１変数X1と、第２変数X2とに基づき、第１画像領域A1を推定した上で、これを第２画像領域A2として認識する。そして、画像情報制御ユニット140が、第１画像領域A1に応じた第１画像情報及び第２画像領域A2に応じた第２画像情報のうち一方又は両方をHUD220に表示させる。【選択図】  図１
2006157727.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させるシステムであって、
移動体の走行状態に応じた第１変数を測定する第１変数測定手段と、
赤外線カメラを通じて対象物の位置に応じた第２変数を測定する第２変数測定手段と、
第２変数測定手段により測定された第２変数に基づき、対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識手段と、
第１変数測定手段により測定された第１変数と、第２変数測定手段により測定された第２変数とに基づき、第１画像領域認識手段により認識される画像領域を推定した上で第２画像領域として認識する第２画像領域認識手段と、
第１画像領域認識手段により認識された第１画像領域に応じた第１画像情報と、第２画像領域認識手段により認識された第２画像領域に応じた第２画像情報とのうち一方又は両方を前記画像表示装置に表示させる画像情報制御手段とを備えていることを特徴とする画像情報処理システム。
【請求項２】
第１及び第２画像領域認識手段のそれぞれにより認識された第１及び第２画像領域を合成した上で、合成画像領域として認識する合成画像領域認識手段を備え、
画像情報制御手段が、第１及び第２画像領域に応じた第１及び第２画像情報のうち一方、又は合成画像領域認識手段により認識された該第１及び第２画像領域の合成画像領域に応じた合成画像情報を前記画像表示装置に表示させることを特徴とする請求項１記載の画像情報処理システム。
【請求項３】
画像情報制御手段が、第１及び第２画像領域に重なり部分がある場合、該第１及び第２画像領域の合成画像領域に応じた合成画像情報を前記画像表示装置に表示させることを特徴とする請求項２記載の画像情報処理システム。
【請求項４】
第２画像領域認識手段が、第１変数測定手段により測定された第１変数と、第２変数測定手段により測定された第２変数とに基づき、第２変数測定手段により将来測定される第２変数を推定した上で、この推定した第２変数に基づいて第２画像領域を認識することを特徴とする請求項１記載の画像情報処理システム。
【請求項５】
第２変数測定手段が第２変数の一部又は全部を対象物の位置を表すクォータニオンとして測定し、
第２画像領域認識手段が、第１変数測定手段により測定された第１変数と、第２変数測定手段により測定された第２変数とに基づいた空間変位を表現するクォータニオンを用いて第２変数を推定することを特徴とする請求項４記載の画像情報処理システム。
【請求項６】
第１変数測定手段が、前記移動体の速度及びある軸回りの角速度を第１変数として測定し、
第２画像領域認識手段が、第１変数測定手段により測定された速度及び角速度により特定される旋回運動を表現するクォータニオンを用いて第２変数を推定することを特徴とする請求項５記載の画像情報処理システム。
【請求項７】
第２変数測定手段により測定された第２変数が不安定である場合、第２画像領域認識手段が、それより前に第２変数測定手段により測定された第２変数に基づいて第２画像領域を認識することを特徴とする請求項１記載の画像情報処理システム。
【請求項８】
第２画像領域認識手段が、第２変数測定手段による第２変数の測定が不能になったとき、又は第２変数測定手段により測定された第２変数の変動量が閾値を超えたとき、第２変数が不安定であると判定することを特徴とする請求項７記載の画像情報処理システム。
【請求項９】
画像情報制御手段が、第１画像領域認識手段により認識された第１画像領域が安定である場合、その第１画像領域に応じた第１画像情報を前記画像表示装置に表示させる一方、第１画像領域認識手段により認識された第１画像領域が不安定である場合、第２画像領域認識手段により認識された第２画像領域に応じた第２画像情報を前記画像表示装置に表示させることを特徴とする請求項１記載の画像情報処理システム。
【請求項１０】
画像情報制御手段が、第１画像領域認識手段により第１画像領域の一又は複数の代表点と、第２画像領域認識手段により認識された第２画像領域の一又は複数の代表点との偏差又はその平均が閾値を超えたとき第１画像領域が不安定であると判定することを特徴とする請求項９記載の画像情報処理システム。
【請求項１１】
移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させる方法であって、
移動体の走行状態に応じた第１変数を測定する第１変数測定ステップと、
赤外線カメラを通じて対象物の位置に応じた第２変数を測定する第２変数測定ステップと、
第２変数測定ステップにおいて測定された第２変数に基づき、対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識ステップと、
第１変数測定ステップにおいて測定された第１変数と、第２変数測定ステップにおいて測定された第２変数とに基づき、第１画像領域認識ステップにおいて認識される画像領域を推定した上で第２画像領域として認識する第２画像領域認識ステップと、
第１画像領域認識ステップにおいて認識された第１画像領域に応じた第１画像情報と、第２画像領域認識ステップにおいて認識された第２画像領域に応じた第２画像情報とのうち一方又は両方を前記画像表示装置に表示させる画像情報制御ステップとを備えていることを特徴とする画像情報処理方法。
【請求項１２】
移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させる機能をコンピュータに付与するプログラムであって、
移動体の走行状態に応じた第１変数を測定する第１変数測定機能と、
赤外線カメラを通じて対象物の位置に応じた第２変数を測定する第２変数測定機能と、
第２変数測定機能により測定された第２変数に基づき、対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識機能と、
第１変数測定機能により測定された第１変数と、第２変数測定機能により測定された第２変数とに基づき、第１画像領域認識機能により認識される画像領域を推定した上で第２画像領域として認識する第２画像領域認識機能と、
第１画像領域認識機能により認識された第１画像領域に応じた第１画像情報と、第２画像領域認識機能により認識された第２画像領域に応じた第２画像情報とのうち一方又は両方を前記画像表示装置に表示させる画像情報制御機能とをコンピュータに付与することを特徴とする画像情報処理プログラム。
【請求項１３】
請求項１記載の画像情報処理システムが搭載されていることを特徴とする前記移動体としての自動車。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させるシステム、方法、当該画像情報処理機能をコンピュータに付与するプログラム、及び当該システムが搭載された移動体としての自動車に関する。
【背景技術】
【０００２】
従来、自動車に搭載された赤外線カメラにより撮影された対象物（人間）の画像に基づき、この対象物に応じた画像領域が当該自動車に搭載された画像表示装置に表示される技術が提案されている（例えば、特許文献１参照）。
【特許文献１】特開2003-134508号公報  請求項1
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、赤外線カメラの特性や、自動車及び対象物の相対的な運動が比較的急なものであること、対象物が他の物体の陰に隠れたこと等の原因により、画像表示装置に表示される画像領域が、その位置や大きさ、さらにはその数が急激に変動する等、不安定なものとなる場合がある。
【０００４】
例えば、図5(a)に示されているように画像表示装置に対象物である人間O1に応じた矩形状の画像領域A1が強調表示されている状態で、人間O1のそばにある自動車O2のヘッドランプの光が強まった場合、図5(b)及び図5(c)に示されているようにヘッドランプに応じた画像領域A1が強調表示されることがある。また、図5(a)に示されている状態で自動車が比較的速く左折しながら走行している等、自動車及び人間O1の相対運動が急なものである場合、この相対運動に人間O1の認識が追従しきれずに人間O1に応じた画像情報A1が画像表示装置から消滅することがある。さらに、人間O1の身体の一部が自動車O2の陰に隠れたため、図5(d)に示されているように画像表示装置に強調表示される枠A1が人間の身体の一部を包含するだけの小さいものとなったり、図5(e)に示されているように画像表示装置から画像領域A1が消滅したりすることがある。このように画像表示装置に強調表示される画像領域A1が不安定だと、自動車の運転手等、画像表示装置を見ている者に不安を覚えさせてしまうおそれがある。
【０００５】
そこで、本発明は、赤外線カメラを通じて認識される対象物の画像領域が不安定なものであっても、当該対象物の画像情報を画像表示装置に安定に表示させ得るシステム、方法、当該機能をコンピュータに付与し得るプログラム、及び当該システムを搭載した自動車を提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するための本発明の画像情報処理システムは、移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させるシステムであって、移動体の走行状態に応じた第１変数を測定する第１変数測定手段と、赤外線カメラを通じて対象物の位置に応じた第２変数を測定する第２変数測定手段と、第２変数測定手段により測定された第２変数に基づき、対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識手段と、第１変数測定手段により測定された第１変数と、第２変数測定手段により測定された第２変数とに基づき、第１画像領域認識手段により認識される画像領域を推定した上で第２画像領域として認識する第２画像領域認識手段と、第１画像領域認識手段により認識された第１画像領域に応じた第１画像情報と、第２画像領域認識手段により認識された第２画像領域に応じた第２画像情報とのうち一方又は両方を前記画像表示装置に表示させる画像情報制御手段とを備えていることを特徴とする。
【０００７】
本発明の画像情報処理システムによれば、第１画像領域認識手段が、第２変数測定手段により赤外線カメラを通じて測定された対象物の位置に応じた第２変数に基づき、当該対象物に応じた画像領域を「第１画像領域」として認識する。また、第２画像領域認識手段が、第１変数測定手段により測定された移動体の走行状態に応じた第１変数と、第２変数測定手段により測定された第２変数とに基づき、第１画像領域認識手段により認識される画像領域を推定した上で、この推定画像領域を「第２画像領域」として認識する。そして、画像情報制御手段が、第１画像領域認識手段により認識された第１画像領域に応じた「第１画像情報」と、第２画像領域認識手段により認識された第２画像領域に応じた「第２画像情報」とのうち一方又は両方を画像表示装置に表示させる。
【０００８】
これにより、第１画像領域認識手段により認識される「第１画像領域」が不安定なものである場合、この不安定な第１画像領域に応じた「第１画像情報」に代えて、第２画像領域認識手段により認識される「第２画像領域」に応じた「第２画像情報」が画像表示装置に表示され得る。第２画像領域は、移動体の走行状態に応じた第１変数と、対象物の位置に応じた第２変数とに鑑みて、安定な第１画像領域として推定されるものである。従って、画像表示装置に表示される対象物の画像情報が不安定になる事態が回避され得る。すなわち、本発明の画像情報処理システムによれば、赤外線カメラを通じて認識された対象物に応じた第１画像領域が不安定なものであっても、当該対象物の画像情報を画像表示装置に安定に表示させることができる。
【０００９】
また、本発明の画像情報処理システムは、第１及び第２画像領域認識手段のそれぞれにより認識された第１及び第２画像領域を合成した上で、合成画像領域として認識する合成画像領域認識手段を備え、画像情報制御手段が、第１及び第２画像領域に応じた第１及び第２画像情報のうち一方、又は合成画像領域認識手段により認識された該第１及び第２画像領域の合成画像領域に応じた合成画像情報を前記画像表示装置に表示させることを特徴とする。
【００１０】
本発明の画像情報処理システムによれば、第１画像領域認識手段により対象物に応じた第１画像領域が認識されているという事実と、第２画像領域認識手段により安定な第１画像領域として第２画像領域が推定されているという事実とが反映された合成画像情報を画像表示装置に表示させ得る。
【００１１】
さらに本発明の画像情報処理システムは、画像情報制御手段が、第１及び第２画像領域に重なり部分がある場合、該第１及び第２画像領域の合成画像領域に応じた合成画像情報を前記画像表示装置に表示させることを特徴とする。
【００１２】
また、本発明の画像情報処理システムは、第２画像領域認識手段が、第１変数測定手段により測定された第１変数と、第２変数測定手段により測定された第２変数とに基づき、第２変数測定手段により将来測定される第２変数を推定した上で、この推定した第２変数に基づいて第２画像領域を認識することを特徴とする。
【００１３】
さらに本発明の画像情報処理システムは、第２変数測定手段が第２変数の一部又は全部を対象物の位置を表すクォータニオンとして測定し、第２画像領域認識手段が、第１変数測定手段により測定された第１変数と、第２変数測定手段により測定された第２変数とに基づいた空間変位を表現するクォータニオンを用いて第２変数を推定することを特徴とする。
【００１４】
また、本発明の画像情報処理システムは、第１変数測定手段が、前記移動体の速度及びある軸回りの角速度を第１変数として測定し、第２画像領域認識手段が、第１変数測定手段により測定された速度及び角速度により特定される旋回運動を表現するクォータニオンを用いて第２変数を推定することを特徴とする。
【００１５】
さらに本発明の画像情報処理システムは、第２変数測定手段により測定された第２変数が不安定である場合、第２画像領域認識手段が、それより前に第２変数測定手段により測定された第２変数に基づいて第２画像領域を認識することを特徴とする。
【００１６】
本発明の画像情報処理システムによれば、不安定な第２変数に基づく第２画像領域の認識が回避され、これにより第２画像領域が安定なものとして認識され得る。
【００１７】
また、本発明の画像情報処理システムは、第２画像領域認識手段が、第２変数測定手段による第２変数の測定が不能になったとき、又は第２変数測定手段により測定された第２変数の変動量が閾値を超えたとき、第２変数が不安定であると判定することを特徴とする。
【００１８】
さらに本発明の画像情報処理システムは、画像情報制御手段が、第１画像領域認識手段により認識された第１画像領域が安定である場合、その第１画像領域に応じた第１画像情報を前記画像表示装置に表示させる一方、第１画像領域認識手段により認識された第１画像領域が不安定である場合、第２画像領域認識手段により認識された第２画像領域に応じた第２画像情報を前記画像表示装置に表示させることを特徴とする。
【００１９】
本発明の画像情報処理システムによれば、第１画像領域が安定である場合、この安定な第１画像領域に応じた第１画像情報が画像表示装置に表示される。一方、第１画像領域が不安定である場合、この不安定な第１画像領域に代えて安定な第１画像領域として推定された第２画像領域に応じた第２画像情報が画像表示装置に表示される。これにより、赤外線カメラを通じて認識された対象物に応じた第１画像領域が不安定なものであっても、当該対象物の画像情報を画像表示装置に安定に表示させることができる。
【００２０】
また本発明の画像情報処理システムは、画像情報制御手段が、第１画像領域認識手段により第１画像領域の一又は複数の代表点と、第２画像領域認識手段により認識された第２画像領域の一又は複数の代表点との偏差又はその平均が閾値を超えたとき第１画像領域が不安定であると判定することを特徴とする。
【００２１】
本発明の画像情報処理システムによれば、第１画像領域の代表点と、第２画像領域の代表点との偏差が閾値以下である場合、第１画像領域は「安定」であると判定され、この第１画像領域に応じた第１画像情報が画像表示装置に表示される。一方、当該偏差が閾値を超える場合、第１画像領域は「不安定」であると判定され、この第１画像領域に代えて第２画像領域に応じた第２画像情報が画像表示装置に表示される。
前記課題を解決するための本発明の画像情報処理方法は、移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させる方法であって、移動体の走行状態に応じた第１変数を測定する第１変数測定ステップと、赤外線カメラを通じて対象物の位置に応じた第２変数を測定する第２変数測定ステップと、第２変数測定ステップにおいて測定された第２変数に基づき、対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識ステップと、第１変数測定ステップにおいて測定された第１変数と、第２変数測定ステップにおいて測定された第２変数とに基づき、第１画像領域認識ステップにおいて認識される画像領域を推定した上で第２画像領域として認識する第２画像領域認識ステップと、第１画像領域認識ステップにおいて認識された第１画像領域に応じた第１画像情報と、第２画像領域認識ステップにおいて認識された第２画像領域に応じた第２画像情報とのうち一方又は両方を前記画像表示装置に表示させる画像情報制御ステップとを備えていることを特徴とする。
【００２２】
本発明の画像情報処理方法によれば、赤外線カメラを通じて認識された対象物に応じた第１画像領域が不安定なものであっても、当該対象物の画像情報を画像表示装置に安定に表示させることができる。
【００２３】
前記課題を解決するための本発明の画像情報処理プログラムは、移動体に搭載された赤外線カメラによる撮影された対象物の画像を処理して、該移動体に搭載された画像表示装置に該対象物の画像情報を表示させる機能をコンピュータに付与するプログラムであって、移動体の走行状態に応じた第１変数を測定する第１変数測定機能と、赤外線カメラを通じて対象物の位置に応じた第２変数を測定する第２変数測定機能と、第２変数測定機能により測定された第２変数に基づき、対象物に応じた画像領域を第１画像領域として認識する第１画像領域認識機能と、第１変数測定機能により測定された第１変数と、第２変数測定機能により測定された第２変数とに基づき、第１画像領域認識機能により認識される画像領域を推定した上で第２画像領域として認識する第２画像領域認識機能と、第１画像領域認識機能により認識された第１画像領域に応じた第１画像情報と、第２画像領域認識機能により認識された第２画像領域に応じた第２画像情報とのうち一方又は両方を前記画像表示装置に表示させる画像情報制御機能とをコンピュータに付与することを特徴とする。
【００２４】
本発明の画像情報処理プログラムによれば、赤外線カメラを通じて認識された対象物に応じた第１画像領域が不安定なものであっても、当該対象物の画像情報を画像表示装置に安定に表示させる機能をコンピュータに付与することができる。
【００２５】
前記課題を解決するための本発明の自動車は、前記移動体として前記画像情報処理システムが搭載されていることを特徴とする。
【００２６】
本発明の自動車によれば、赤外線カメラを通じて認識された対象物に応じた第１画像領域が不安定なものであっても、当該対象物の画像情報を画像表示装置に安定に表示させ、移動体の運転手等に当該対象物の存在を確実に認識させることができる。
【発明を実施するための最良の形態】
【００２７】
本発明の画像情報処理システム、方法、プログラム及び自動車の実施形態について図面を用いて説明する。
【００２８】
図1は本発明の画像情報処理システムの構成説明図であり、図2は本発明の第１実施形態の画像情報処理方法の説明図であり、図3は第２画像領域の認識処理の説明補足図であり、図4は第１及び第２画像領域の重なり部分の有無に応じた処理の説明補足図であり、図5は第１画像領域の例示図であり、図6は第２画像領域の例示図であり、図7は本発明の第１実施形態の画像情報処理方法による合成画像領域の例示図であり、図8は本発明の第２実施形態の画像情報処理方法の説明図であり、図9は本発明の第２実施形態の画像情報処理方法による合成画像領域の例示図である。
【００２９】
図１に示されている情報提供システム100は、自動車（移動体）200の適当な位置に搭載されている。自動車200には車速vに応じた信号を出力する車速センサ201と、後輪軸を通る垂直軸回りの自動車200の角速度ωに応じた信号を出力するヨーレートセンサ202とを備えている。また、自動車200のフロント部分には、左右2つの赤外線カメラ210が搭載されている。さらに自動車200のフロントウィンドウには運転手の前方視界の妨げとならない位置にHUD(Head Up Display)（画像表示装置）220が搭載されている。
【００３０】
画像情報処理システム100は、第１変数測定ユニット111と、第２変数測定ユニット112と、第１画像領域認識ユニット121と、第２画像領域認識ユニット122と、合成画像領域認識ユニット130と、画像情報制御ユニット140とを備えている。各ユニットは、ハードウェアとしてのCPU、ROM、RAM等と、後述の画像情報処理方法の実行機能を当該ハードウェアに付与するソフトウェアとしての本発明の「画像情報処理プログラム」とにより構成されている。
【００３１】
第１変数測定ユニット111は、車速センサ201及びヨーレートセンサ202のそれぞれの出力に基づき、車速v及び後輪軸を通る垂直軸回りの自動車200の角速度ωを自動車200の走行状態に応じた第１変数X1として測定する。
【００３２】
第２変数測定ユニット112は、2つの赤外線カメラ210のうち一方又は両方を通じて、赤外線カメラ210を基準とした対象物までの距離、対象物の縦横方向の位置及びサイズを、対象物の位置に応じた第２変数X2として測定する。
【００３３】
第１画像領域認識ユニット121は、第２変数測定ユニット112により測定された第２変数X2に基づき、対象物に応じた画像領域を第１画像領域A1として認識する。
【００３４】
第２画像領域認識ユニット122は、第１変数測定ユニット111により測定された第１変数X1と、第２変数測定ユニット112により測定された第２変数X2とに基づき、第１画像領域認識ユニット121が認識する画像領域を推定した上で、これを第２画像領域A2として認識する。
【００３５】
合成画像領域認識ユニット130は、第１画像領域認識ユニット121により認識された第１画像領域A1と、第２画像領域認識ユニット122により認識された第２画像領域A2とを合成した上で、これを合成画像領域Aとして認識する。
【００３６】
画像情報制御ユニット140は、第１画像領域認識ユニット121により認識された第１画像領域A1を囲む第１の枠を「第１画像情報」としてHUD220に表示させる。また、画像情報制御ユニット140は、第２画像領域認識ユニット122により認識された第２画像領域A2を囲む第２の枠を「第２画像情報」としてHUD220に表示させる。さらに画像情報制御ユニット140は、合成画像領域認識ユニット130により認識された合成画像領域Aを囲む枠を「合成画像情報」としてHUD220に表示させる。
【００３７】
前記構成の画像情報処理システムにより実行される本発明の第１実施形態の画像情報処理方法について図2~図7を用いて説明する。
【００３８】
まず所定のタイミングで制御サイクル回数nが「1」にリセットされ(S101)、第２変数X2が不安定であると判定された累積回数mが「0」にリセットされる(S102)。所定のタイミングとしては第１画像領域認識ユニット121により認識された第１画像領域A1が人間、自動車等の所定の対象物に対応するものであることを認識したとき等が採用される。
【００３９】
また、第１変数測定ユニット111が車速v(n)及び角速度ω(n)を第１変数X1(n)として測定する(S111)。さらに、これに並行して第２変数測定ユニット112が赤外線カメラ210を通じて対象物までの距離、縦横方向の位置及びサイズを第２変数X2(n)として測定する(S112)。第２変数X2(n)の測定方法については、特開2002-298298号公報等に開示されているもの等が採用されれば足りるので、本願明細書ではその詳細な説明を省略する。
【００４０】
さらに第１画像領域認識ユニット121が、第２変数測定ユニット112により測定された第２変数X2(n)に基づき、対象物に応じた画像領域を第１画像領域A1として認識する(S121)。これにより、例えば図5(a)~図5(e)に示されているように変動する矩形状の第１画像領域A1が認識される。第１画像領域A1の認識方法については、特開2002-298298号公報等に開示されているもの等、３次元画像処理分野における一般的手法が採用されれば足りるので、本願明細書ではその詳細な説明を省略する。
【００４１】
また第２画像領域認識ユニット122が、後述する第２画像領域A2(n)の認識(S122)に先立ち第２変数X2(n)が「安定」であるか又は「不安定」であるかを判定する(S113)。具体的には、第２変数X2(n)が測定可能であるとき又はその変動量(δ=|X2(n)-X2(n-1)|)が閾値ε(>0)以下であるとき、第２変数X2(n)は「安定」であると判定される(S113・・YES)。一方、第２変数X2(n)が測定不能であるとき（測定されなかったとき）又はその変動量δが閾値εを超えるとき、第２変数X2(n)は「不安定」であると判定される(S113・・NO)。
【００４２】
そして、第２画像領域認識ユニット122は、第２変数X2(n)が「安定」であると判定したとき(S113・・YES)、第２変数X2(n)（測定値）を今回の制御サイクルnにおける第２変数X2(n)とした上で(S114)、第２画像領域A2(n)を認識する(S122)。その一方、第２画像領域認識ユニット122は、第２変数X2(n)が「不安定」であると判定したとき(S113・・NO)、当該判定回数mを「1」だけ増加させ(S115)、前回の制御サイクルn-1において後述する手順に従って第２画像領域認識ユニット122により推定された時刻nにおける第２変数X2(n)（推定値）を今回の第２変数X2(n)とした上で(S116)、第２画像領域A2(n)を認識する(S122)。
【００４３】
第２画像領域認識ユニット122は、第２画像領域A2(n)の認識(S122)に際して、時刻（制御サイクル回数で表す。）n-1（過去）における車速v(n-1)、角速度ω(n-1)、及びカメラ位置pc(n-1)に対する対象物位置p2(n-1)と、時刻n（現在）における車速v(n)、角速度ω(n)、及びカメラ位置pc(n)に対する対象物位置p2(n)とに基づき、時刻n+1（未来）におけるカメラ位置pc(n+1)に対する対象物位置p2(n+1)を第２変数X2(n+1)の一部として推定する。第２変数X2(n+1)の推定に際して、図1に示されているようにX軸が自動車200の左右方向、上下方向及び前後方向にそれぞれX軸、Y軸及びZ軸が定義された3次元空間における車両位置p1(i)、カメラ位置pc(i)及び対象物位置p2(i)はそれぞれクォータニオン（四元数）により表現される。
【００４４】
カメラ位置pc(n+1)に対する対象物位置p2(n+1)の推定方法について図3を用いて詳細に説明する。
【００４５】
カメラ位置pc(n)から対象物位置p2(n-1)まで延びるベクトル（図3矢印c(n)-参照）が、(1)カメラ位置pc(n)から車両位置p1(n)まで延びるベクトル（図3破線b(n)参照）、(2)車両位置p1(n)から車両位置p1(n-1)まで延びるベクトル（図3破線a(n)参照）、(3)車両位置p1(n-1)からカメラ位置pc(n-1)まで延びるベクトル（図3線分b(n-1)参照）及び(4)カメラ位置pc(n-1)から対象物位置p2(n-1)まで延びるベクトル（図3矢印c(n-1)参照）の合成ベクトルで表されることに基づき、カメラ位置pc(n)に対する対象物位置p2(n-1)が定められる。
【００４６】
(1)カメラ位置pc(n)から車両位置p1(n)まで延びるベクトル（図3破線b(n)参照）は、メモリにより記憶保持されている後輪軸中央部及び赤外線カメラ210の位置関係に関するデータに基づいて定められる。
【００４７】
(2)車両位置p1(n)から車両位置p1(n-1)まで延びるベクトル（図3破線a(n)参照）は、時刻n-1から時刻nまでの微小時間δtにわたり、自動車200が旋回運動をしていたと仮定された上で定められる。具体的には、第１変数測定ユニット111により時刻n-1において測定された車速v(n-1)及び角速度ω(n-1)に基づき、後輪軸の延長線上に位置する旋回軸O(n-1)及び旋回半径（自動車200の後輪軸中央から旋回軸O(n-1)までの距離）R(n-1)(=v(n-1)/ω(n-1))が定められる。また、車両位置p1(n)に基づき、旋回軸O(n-1)回りの旋回を表すためのクォータニオンQn-及びその共役クォータニオンQn-*を含む次式(1)に従って車両位置p1(n-1)が定められる。これにより車両位置p1(n)から車両位置p1(n-1)まで延びるベクトルが定められる（図3破線a(n)参照）。
【００４８】
p1(n-1)=Q-*p1(n)Q-
Qn-=[0, -sin{ω(n-1)δt/2}, 0, cos{ω(n-1)δt/2}],
Qn-*=[0, sin{ω(n-1)δt/2}, 0, cos{ω(n-1)δt/2}]  ・・(1)
【００４９】
(3)車両位置p1(n-1)からカメラ位置pc(n-1)まで延びるベクトル（図3線分b(n-1)参照）は、後輪軸の延長線が旋回軸o(n-1)にあるという条件により定まる時刻n-1における車両の姿勢と、メモリにより記憶保持されている後輪軸中央部及び赤外線カメラ210の位置関係に関するデータとに基づいて定められる。
【００５０】
(4)カメラ位置pc(n-1)から対象物位置p2(n-1)まで延びるベクトル（図3矢印c(n-1)参照）は、時刻n-1において赤外線カメラ210により撮影された対象物の画像に基づき、第２変数測定ユニット122が測定した当該対象物の位置に応じた第２変数により定められる。
【００５１】
これにより、カメラ位置pc(n)から対象物位置p2(n-1)まで延びるベクトル（図3矢印c(n)-参照）、ひいてはカメラ位置pc(n)に対する対象物位置p2(n-1)が求められる。
【００５２】
また、カメラ位置pc(n)から対象物位置p2(n+1)まで延びるベクトル（図3矢印c(n)+参照）が、(5)カメラ位置pc(n)から対象物位置p2(n)まで延びるベクトル（図3矢印c(n)参照）及び(6)対象物位置p2(n)から対象物位置p2(n+1)まで延びるベクトル（図3矢印d(n+1)参照）の合成ベクトルで表されることに基づき、カメラ位置pc(n)に対する対象物位置p2(n+1)が推定される。
【００５３】
(5)カメラ位置pc(n)から対象物位置p2(n)まで延びるベクトル（図3矢印c(n)参照）は、時刻nにおいて赤外線カメラ210により撮影された対象物の画像に基づき、第２変数測定ユニット122が時刻nにおいて測定した第２変数により定められる。
【００５４】
(6)対象物位置p2(n)から対象物位置p2(n+1)まで延びるベクトル（図3矢印d(n+1)参照）は、対象物が時刻nから時刻n+1までの微小時間δtにわたり、時刻n-1から時刻nまでの微小時間δtと同様の運動をすると仮定された上で、対象物位置p2(n)を始点とし、対象物位置p2(n-1)から対象物位置p2(n)まで延びるベクトル（図3矢印d(n)）と同じ大きさ及び向きを有するベクトルとして定められる。
【００５５】
これにより、カメラ位置pc(n)から対象物位置p2(n+1)まで延びるベクトル（図3矢印c(n)+参照）、ひいてはカメラ位置pc(n)に対する対象物位置p2(n+1)が定められる。
【００５６】
さらにカメラ位置pc(n+1)から対象物位置p2(n+1)まで延びるベクトル（図3矢印c(n+1)参照）が、(7)カメラ位置pc(n+1)から車両位置p1(n+1)まで延びるベクトル（図3破線b(n+1)参照）、(8)車両位置p1(n+1)から車両位置p1(n)まで延びるベクトル（図3破線a(n+1)参照）、(9)車両位置p1(n)からカメラ位置pc(n)まで延びるベクトル（図3線分b(n)参照）及び(10)カメラ位置pc(n)から対象物位置p2(n+1)まで延びるベクトル（図3矢印c(n+1)参照）の合成ベクトルで表されることに基づき、カメラ位置pc(n+1)に対する対象物位置p2(n+1)が定められる。
【００５７】
(7)カメラ位置pc(n)から車両位置p1(n)まで延びるベクトル（図3破線b(n+1)参照）は、後輪軸の延長線が旋回軸O(n)（後述）にあるという条件により定まる時刻n+1における車両の姿勢と、メモリにより記憶保持されている後輪軸中央部及び赤外線カメラ210の位置関係に関するデータに基づいて定められる。このベクトル(7)は、次に述べるベクトル(8)が定められた後に定められる。
【００５８】
(8)車両位置p1(n+1)から車両位置p1(n)まで延びるベクトル（図3破線a(n+1)参照）は、時刻nから時刻n+1までの微小時間δtにわたり、自動車200が旋回運動すると仮定された上で定められる。具体的には、まず第１変数測定ユニット111により時刻nにおいて測定された車速v(n)及び角速度ω(n)に基づき、後輪軸の延長線上に位置する旋回軸O(n)及び旋回半径（自動車200の後輪軸中央から旋回軸O(n)までの距離）R(n)(=v(n)/ω(n))が定められる。また、車両位置p1(n)に基づき、旋回軸O(n)回りの旋回を表すためのクォータニオンQn+及びその共役クォータニオンQn+*を含む次式(2)に従って車両位置p1(n+1)が定められる。これにより車両位置p1(n+1)から車両位置p1(n)まで延びるベクトルが定められる（図3破線a(n+1)参照）。
【００５９】
p1(n+1)=Qn+*p1(n)Qn+
Qn+=[0, sin{ω(n)δt/2}, 0, cos{ω(n)δt/2}],
Qn+*=[0, -sin{ω(n)δt/2}, 0, cos{ω(n)δt/2}]  ・・(2)
【００６０】
(9)車両位置p1(n)からカメラ位置pc(n)まで延びるベクトル（図3線分b(n)参照）は、メモリにより記憶保持されている後輪軸中央部及び赤外線カメラ210の位置関係に関するデータとに基づいて定められる。
【００６１】
(10)カメラ位置pc(n)から対象物位置p2(n+1)まで延びるベクトル（図3矢印c(n+1)参照）は、先に定められているものが使われる。
【００６２】
これにより、カメラ位置pc(n+1)から対象物位置p2(n+1)まで延びるベクトル（図3矢印c(n+1)参照）、ひいてはカメラ位置pc(n+1)に対する対象物位置p2(n+1)が求められる。そして、第２画像領域認識ユニット122は、時刻n+1（将来）におけるカメラ位置pc(n+1)に対する対象物位置p2(n+1)に基づき、第１画像領域認識ユニット121と同様の前記方法に従って、時刻n+1（将来）において第１画像領域認識ユニット121が認識する第１画像領域A(n+1)を推定し、これを第２画像領域A2として認識する。これにより、例えば図6(a)~図6(e)に示されているように変化する矩形状の第２画像領域A2が認識される。
【００６３】
続いて画像情報制御ユニット140が、第１画像領域認識ユニット121により認識された第１画像領域A1(n)と、第２画像領域認識ユニット122により認識された第２画像領域A2(n)との重なり部分の有無を判定する(S123)。
【００６４】
そして、画像情報制御ユニット140が、当該重なり部分があると判定した場合(S123・・YES)、合成画像領域認識ユニット130は第１画像領域A1(n)及び第２画像領域A2(n)を合成した上で、これを合成画像領域Aとして認識する(S130)。具体的には、第１画像領域A1及び第２画像領域A2のそれぞれの代表点の座標の「平均」又は「重み付き平均」を代表点の座標とする領域が両者の合成画像領域Aとして認識される。第１画像領域A1及び第２画像領域A2がそれぞれベクトルで表現されるとすると、合成画像領域Aは次式(3)に従って認識される。
【００６５】
A=C1・A1+C2・A2 (C1>0, C2>0, C1+C2=1) ・・(3)
第１画像領域A1及び第２画像領域A2がそれぞれ合成画像領域Aに反映される程度を示す第１重み係数C1及び第２重み係数C2は、前回の制御サイクルn-1における第１画像領域A1(n-1)を基準とした、今回の制御サイクルnにおける第１画像領域A1(n)及び第２画像領域A2(n)のそれぞれの偏差等の諸因子に基づき可変に設定されてもよい。
【００６６】
また、画像情報制御ユニット140が合成画像領域Aを囲む合成枠（合成画像情報）をHUD220に表示させる(S140)。例えば図4(a)に示されているように第１画像領域認識ユニット121により認識された矩形状の第１画像領域A1と、第２画像領域認識ユニット122により認識された矩形状の第２画像領域A2とが重なっている場合、両画像領域の四隅（代表点）の座標の平均又は重み付き平均を四隅の座標とする図4(b)に示されているような矩形状の合成画像領域Aを囲む合成枠がHUD220に表示される(S130, S140参照)。
【００６７】
一方、画像情報制御ユニット140は、当該重なり部分がないと判定した場合(S123・・NO)、第１画像領域A1を囲む第１の枠（第１画像情報）をHUD220に表示させるとともに(S141)、第２画像領域A2を囲む第２の枠（第２画像情報）とをHUD220に表示させる(S142)。例えば図4(c)に示されているように第１画像領域認識ユニット121により認識された矩形状の第１画像領域A1と、第２画像領域認識ユニット122により認識された矩形状の第２画像領域A2とが重なっていない場合、図4(c)に示されているように第１画像領域A1を囲む第１の枠と、第２画像領域A2を囲む第２の枠とがHUD220に表示される(S141, S142参照)。なお、第１画像領域A1が認識されなかった場合、第１の枠はHUD220に表示されず、同様に第２画像領域A2が認識されなかった場合、第２の枠はHUD220に表示されない。
【００６８】
その後、第２変数X2(n)が不安定であるとの判定回数mが所定値M未満であるとき(S190・・NO)、制御サイクル回数nが「1」だけ増大された上で(S191)、第１パラメータX1(n)の測定(S111)、第２パラメータX2(n)の測定(S112)等の前記処理が繰り返される。一方、当該判定回数mが所定値M以上であるとき(S190・・YES)、当該対象物についての画像情報処理方法が終了する。
【００６９】
本発明の第１実施形態の画像情報処理方法によれば、第１画像領域認識ユニット121により図5(a)~図5(e)に示されているように変化する第１画像領域A1が認識され、第２画像領域認識ユニット122により図6(a)~図6(e)に示されているように変化する第２画像領域A2が認識された場合、HUD220に表示される枠（画像情報）は図7(a)~図7(e)に示されているように変化する。
【００７０】
すなわち、図5(a)に示されている第１画像領域A1と、図6(a)に示されている第２画像領域とが同一である場合（全てが重なり部分である場合）、図7(a)に示されているように第１画像領域A1及び第２画像領域A2と同一の合成画像領域Aを囲う合成枠がHUD220に表示される。
【００７１】
また、図5(b)に示されている第１画像領域A1と、図6(b)に示されている第２画像領域A2とは重なり部分がない場合、図7(b)に示されているように第１画像領域A1を囲う第１の枠及び第２画像領域A2を囲う第２の枠が別個にHUD220に表示される。同様に、図5(c)に示されている第１画像領域A1と、図6(c)に示されている第２画像領域A2とは重なり部分がない場合、図7(c)に示されているように第１画像領域A1を囲う第１の枠及び第２画像領域A2を囲う第２の枠が別個にHUD220に表示される。
【００７２】
さらに図5(d)に示されている第１画像領域A1と、図6(d)に示されている第２画像領域とが重なり部分を有する場合、図7(d)に示されているように第１画像領域A1及び第２画像領域A2の合成画像領域Aを囲う合成枠がHUD220に表示される。
【００７３】
また、図5(e)に示されているように第１画像領域A1が認識されなかった一方、図6(e)に示されているように第２画像領域A2が認識された場合、図7(e)に示されているように第２画像領域A2を囲う第２の枠のみがHUD220に表示される。
【００７４】
本発明の画像情報処理システム100により実行される本発明の第１実施形態の画像情報処理方法によれば、赤外線カメラ210を通じて認識された対象物に応じた第１画像領域A1が不安定なものであっても（図5(a)~図5(e)参照）、当該対象物に応じた画像領域の枠をHUD220に安定に表示させることができる（図7(a)~図7(e)参照）。
【００７５】
続いて前記構成の画像情報処理システムにより実行される本発明の第２実施形態の画像情報処理方法について図5, 図6, 図8~図9を用いて説明する。
【００７６】
本発明の第２実施形態の画像情報処理方法は、本発明の第１実施形態の画像情報処理方法における第１画像領域A1及び第２画像領域A2の重なり部分の有無判定処理(S123参照)及びこの判定結果に応じた画像情報処理(S130, S140~S142参照)において異なるほかは本発明の第１実施形態の画像情報処理方法と共通の処理が実行されるので、それら共通の処理については説明を省略する。
【００７７】
本発明の第２実施形態の画像情報処理方法によれば、第１画像領域認識ユニット121による第１画像領域A1(n)の認識処理(S121)と、第２画像領域認識ユニット122による第２画像領域A2(n)の認識処理(S122)との後、画像情報制御ユニット140が、第１画像領域A1(n)が「安定」であるか又は「不安定」であるかを判定する(S124)。具体的には、第１画像領域A1(n)及び第１画像領域A2(n)の偏差δA(n)、具体的には第１画像領域A1(n)及び第２画像領域A2(n)のそれぞれの代表点の偏差（距離）、面積の偏差、又は両偏差の平均若しくは重み付き平均等の絶対値が１次閾値ε1以下である場合、第１画像領域A1(n)が「安定」であると判定される。一方、当該偏差δA(n)が１次閾値ε1を超える場合、第１画像領域A1(n)が「不安定」であると判定される。
【００７８】
画像情報制御ユニット140は、第１画像領域A1(n)が「安定」であると判定した場合(S124・・YES)、第１画像領域A1(n)を囲う第１の枠（第１画像情報）をHUD220に表示させる(S141)。
【００７９】
また、画像情報制御ユニット140は、第１画像領域A1(n)が不安定であると判定した場合(S124・・NO)、その不安定度の大小を判別する(S125)。具体的には、前記偏差δA(n)が１次閾値ε1より大きい第２閾値ε2以下である場合、当該不安定度が「小」であると判定され、前記偏差δA(n)が２次閾値ε2を超える場合、当該不安定度が「大」であると判定される。
【００８０】
画像情報制御ユニット140が、第１画像領域A1(n)の不安定度が「小」であると判定した場合(S125・・YES)、合成画像領域認識ユニット130が合成画像領域A(n)を認識し(S130)、また、画像情報制御ユニット140が合成画像領域A(n)を囲う合成枠をHUD220に表示させる(S140)。一方、画像情報制御ユニット140が、第１画像領域A1(n)の不安定度が「大」であると判定した場合(S125・・NO)、画像情報制御ユニット140が第２画像領域A2(n)を囲う第２の枠をHUD220に表示させる(S142)。
【００８１】
本発明の第２実施形態の画像情報処理方法によれば、第１画像領域認識ユニット121により図5(a)~図5(e)に示されているように変化する第１画像領域A1が認識され、第２画像領域認識ユニット122により図6(a)~図6(e)に示されているように変化する第２画像領域A2が認識された場合、HUD220に表示される枠（画像情報）は図9(a)~図9(e)に示されているように変化する。
【００８２】
すなわち、図5(a)に示されている第１画像領域A1と、図6(a)に示されている第２画像領域A2(n)とが同一であり、第１画像領域A1が「安定」であると判定された場合、図9(a)に示されているように第１画像領域A1を囲う第１の枠がHUD220に表示される。
【００８３】
また、図5(b)に示されている第１画像領域A1と、図6(b)に示されている第２画像領域A2(n)とが著しく異なるものであり、第１画像領域A1が「不安定」であり、その不安定度が「大」であると判定された場合、図9(b)に示されているように第２画像領域A2を囲う第２の枠がHUD220に表示される。同様に、図5(c)に示されている第１画像領域A1と、図6(c)に示されている第２画像領域A2とがかけ離れたものであり、第１画像領域A1が「不安定」であり、その不安定度が「大」であると判定された場合、図9(c)に示されているように第２画像領域A2を囲う第２の枠がHUD220に表示される。
【００８４】
さらに図5(d)に示されている第１画像領域A1と、図6(d)に示されている第２画像領域A2(n)とが異なるものであり、第１画像領域A1が「不安定」であり、その不安定度が「小」であると判定された場合、図9(d)に示されているように合成画像領域Aを囲う合成枠がHUD220に表示される。
【００８５】
また、図5(e)に示されているように第１画像領域A1が認識されなかった一方、図6(e)に示されているように第２画像領域A2が認識され、第１画像領域A1が「不安定」であり、その不安定度が「大」であると判定された場合、図9(e)に示されているように第２画像領域A2を囲う第２の枠がHUD220に表示される。
【００８６】
本発明の画像情報処理システム100により実行される本発明の第２実施形態の画像情報処理方法によれば、赤外線カメラ210を通じて認識された対象物に応じた第１画像領域A1が不安定なものであっても（図5(a)~図5(e)参照）、当該対象物に応じた画像領域の枠をHUD220に安定に表示させることができる（図9(a)~図9(e)参照）。
【００８７】
前記実施形態では自動車200のフロントウィンドウに搭載されたHUD220に画像情報が表示されたが、他の実施形態として自動車200に搭載されたメータ一体型のディスプレイや、ナビ装置のディスプレイ（図示略）に画像情報が表示されてもよい。
【００８８】
前記実施形態では対象物を含む画像領域の認識処理(S121, S122参照)に際して3次元空間における車体位置p1(i)等の位置や回転（旋回）がクォータニオンによって表されたが（式(1)(2)参照）、他の実施形態として当該推定処理に際して3次元空間における車体位置p1(i)等の位置が3次元ベクトルで表され、回転が3次元行列によって表されてもよい。
【００８９】
前記実施形態では第１画像領域A1、第２画像領域A2及び合成画像領域Aのそれぞれを囲う第１、第２及び合成枠が第１、第２及び合成画像情報としてHUD220に表示されたが、他の実施形態として各画像領域がその色彩、模様や輝度等により他の画像領域から識別可能にHUD220に表示されてもよく、各画像領域に含まれるグレースケール化又は二値化画像における輝度が一定以上の対象物そのものを囲う枠がHUD220に表示されてもよく、各画像領域に含まれる当該輝度が一定以上の対象物の一部又は全部がその色彩、模様、輝度等により他の画像領域から識別可能にHUD220に表示される等、各画像領域又はそこに含まれる輝度が一定以上の対象物が他の画像領域から識別可能となるようなあらゆる形態で各画像領域を表す画像情報がHUD220に表示されてもよい。
【００９０】
第２実施形態では第１画像領域A1(n)の不安定度の大小が判別されたが(図8／S125参照)、他の実施形態として当該判別ステップが省略された上で、第１画像領域A1(n)が不安定である場合には一律に第２画像領域A2(n)に応じた第２画像情報又は合成画像領域A(n)に応じた合成画像情報が画像情報制御ユニット140によってHUD220に表示されてもよい。
【図面の簡単な説明】
【００９１】
【図１】本発明の画像情報処理システムの構成説明図
【図２】本発明の第１実施形態の画像情報処理方法の説明図
【図３】第２画像領域の認識処理の説明補足図
【図４】第１及び第２画像領域の重なり部分の有無に応じた処理の説明補足図
【図５】第１画像領域の例示図
【図６】第２画像領域の例示図
【図７】本発明の第１実施形態の画像情報処理方法による合成画像領域の例示図
【図８】本発明の第２実施形態の画像情報処理方法の説明図
【図９】本発明の第２実施形態の画像情報処理方法による合成画像領域の例示図
【符号の説明】
【００９２】
100‥画像情報処理システム、111‥第１変数測定ユニット、112・・第２変数測定ユニット、121・・第１画像領域認識ユニット、122・・第２画像領域認識ユニット、130‥合成画像領域認識ユニット、140‥画像情報制御ユニット、200‥自動車（移動体）、201・・車速センサ、202・・ヨーレートセンサ、210・・赤外線カメラ、220・・HUD（画像表示装置）
【図１】
2006157727.tif 000003
【図２】
2006157727.tif 000004
【図３】
2006157727.tif 000005
【図４】
2006157727.tif 000006
【図５】
2006157727.tif 000007
【図６】
2006157727.tif 000008
【図７】
2006157727.tif 000009
【図８】
2006157727.tif 000010
【図９】
2006157727.tif 000011