(57)【特許請求の範囲】
【請求項１】
可視画像を取得する可視画像取得手段と、
不可視画像を取得する不可視画像取得手段と、
前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数である可視画像光学歪補正値および不可視画像光学歪補正値を記憶する補正値記憶手段と、
前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値および前記不可視画像光学歪補正値に基づいて前記可視画像および前記不可視画像の画像歪を補正する画像歪補正手段とを含む画像歪補正装置であって、
前記画像歪補正手段が、前記可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値に基づいて前記可視画像の光学歪補正を行って光学歪補正可視画像を生成する光学歪補正可視画像生成手段と、
前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記不可視画像光学歪補正値に基づいて前記不可視画像の光学歪補正を行って光学歪補正不可視画像を生成する光学歪補正不可視画像生成手段と、
前記光学歪補正可視画像と前記光学歪補正不可視画像の対応点探索により、前記光学歪補正可視画像と前記光学歪補正不可視画像の間のズレ補正を行うズレ補正手段とを含み、
前記ズレ補正手段が、前記光学歪補正可視画像の画素位置を基準として、前記光学歪補正不可視画像の画素位置に対するズレ補正値およびズレ補正信頼度を算出するズレ補正値およびズレ補正信頼度算出部と、
前記ズレ補正信頼度ならびに前記補正値記憶手段に記憶された前記不可視画像光学歪補正値および前記光学歪補正信頼度に基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部と、
前記ズレ補正値およびズレ補正信頼度ならびに前記不可視画像光学歪補正値および前記光学歪補正信頼度に基づいて画像歪補正値および画像歪補正信頼度を算出する画像歪補正値および画像歪補正信頼度算出部と、
前記ズレ補正値を用いて前記光学歪補正不可視画像のズレ補正を行うズレ補正処理部とを含む画像歪補正装置。
【請求項２】
可視画像を取得する可視画像取得手段と、
不可視画像を取得する不可視画像取得手段と、
前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数である可視画像光学歪補正値および不可視画像光学歪補正値を記憶する補正値記憶手段と、
前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値および前記不可視画像光学歪補正値に基づいて前記可視画像および前記不可視画像の画像歪を補正する画像歪補正手段とを含む画像歪補正装置であって、
前記画像歪補正手段が、前記可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値に基づいて前記可視画像の光学歪補正を行って光学歪補正可視画像を生成する光学歪補正可視画像生成手段と、
前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記不可視画像光学歪補正値に基づいて前記不可視画像の光学歪補正を行って光学歪補正不可視画像を生成する光学歪補正不可視画像生成手段と、
前記光学歪補正可視画像と前記光学歪補正不可視画像の対応点探索により、前記光学歪補正可視画像と前記光学歪補正不可視画像の間のズレ補正を行うズレ補正手段とを含み、
前記ズレ補正手段が、前記光学歪補正不可視画像の画素位置を基準として、前記光学歪補正可視画像の画素位置に対するズレ補正値およびズレ補正信頼度を算出するズレ補正値およびズレ補正信頼度算出部と、
前記ズレ補正信頼度ならびに前記補正値記憶手段に記憶された前記可視画像光学歪補正値および前記光学歪補正信頼度に基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部と、
前記ズレ補正値およびズレ補正信頼度ならびに前記可視画像光学歪補正値および前記光学歪補正信頼度に基づいて画像歪補正値および画像歪補正信頼度を算出する画像歪補正値および画像歪補正信頼度算出部と、
前記ズレ補正値を用いて前記光学歪補正可視画像のズレ補正を行うズレ補正処理部とを含む画像歪補正装置。
【請求項３】
前記画像歪補正値および画像歪補正信頼度算出部が、前記補正値記憶手段に記憶された前記不可視画像光学歪補正値および前記光学歪補正信頼度の値を、前記画像歪補正値および前記画像歪補正信頼度の値に更新する更新部を備える請求項１に記載の画像歪補正装置。
【請求項４】
前記画像歪補正値および画像歪補正信頼度算出部が、前記補正値記憶手段に記憶された前記可視画像光学歪補正値および前記光学歪補正信頼度の値を、前記画像歪補正値および前記画像歪補正信頼度の値に更新する更新部を備える請求項２に記載の画像歪補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像歪補正装置に係り、特に、可視動画像と不可視動画像の画像歪を実時間補正することのできる画像歪補正装置に関する。
【背景技術】
【０００２】
映画、テレビジョン等の動的な映像の制作では、同一被写体に対して可視画像を取得すると同時に不可視画像を取得することは、不可視画像をキーとして可視画像を切出し、背景画像と合成する画像合成処理において必要とされている。可視画像は可視画像カメラ（カラーテレビジョンカメラ、モノクロテレビジョンカメラ等）により撮像することができ、不可視画像は不可視画像カメラ（赤外線テレビジョンカメラ、紫外線テレビジョンカメラ等）により撮像することができる。
【０００３】
しかし、可視画像には可視画像カメラの光学系に起因する光学歪が、不可視画像には不可視画像カメラの光学系に起因する光学歪が含まれるだけでなく、可視画像と不可視画像の間には被写体と可視画像カメラおよび不可視画像カメラの位置関係に起因するズレが生じるため、合成画像の画質が劣化することを回避できない。
【０００４】
そこで従来から、光学歪を補正する装置および複数の画像間のズレを補正する画像歪補正装置が提案されている（例えば、特許文献１および非特許文献１参照）。
【０００５】
特許文献１に示された画像歪補正装置は、撮像レンズに起因する光学歪は撮像レンズ中心からの距離に応じて大きくなることに着目して、補正量を予めメモリに書き込んでおき、撮像画像の画素をメモリに書き込まれた量だけ補正して表示することにより撮像画像から歪を除去している。
【０００６】
また、非特許文献１に示された画像歪補正装置は、カメラにより得られた複数のデジタル画像を貼り合わせて１枚の画像を合成する際に画像間のズレを補正するものであって、基準となる画像と他の一枚の画像に撮像されている同一被写体をブロックマッチング法により特定し、基準となる画像の被写体の画素位置を固定し、他の一枚の画像の被写体の画素位置を１画素ずつ移動させて対応画素間の画素値の差の総計を評価する。そして、画素値の差の総計が最少となる距離を決定することにより２枚の画像間のズレを補正している。
【０００７】
なお、画像歪補正量を例えばレンズ中心からの距離の関数として数式化し、この数式を使用して撮像画像の画像歪を補正する画像歪補正装置も既に提案されている。
【特許文献１】特開２００１−１８６４０９号公報（［０００６］、図１）
【非特許文献１】Ricoh Technical Report No.23, SEPTEMBER, 1997, p45-52
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、光学系の歪はズーム量、アイリス量、フォーカス量等の撮像条件の変化に応じて動的に変化し、撮影時に撮像条件を正確に計測することは困難であるので、特許文献１に記載された従来の画像歪補正装置は、正確に画像歪補正値を決定することができないという課題があった。
【０００９】
また、非特許文献１に記載された従来の画像歪補正装置にあっては、処理量が多く動画像の画像歪を実時間で補正することが困難であるという課題があった。
【００１０】
本発明は、従来の課題を解決するためになされたものであって、可視動画像と不可視動画像の画像歪を実時間補正することのできる画像歪補正装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像歪補正装置は、可視画像を取得する可視画像取得手段と、不可視画像を取得する不可視画像取得手段と、前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数である可視画像光学歪補正値および不可視画像光学歪補正値を記憶する補正値記憶手段と、前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値および前記不可視画像光学歪補正値に基づいて前記可視画像および前記不可視画像の画像歪を補正する画像歪補正手段とを含む画像歪補正装置であって、前記画像歪補正手段が、前記可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値に基づいて前記可視画像の光学歪補正を行って光学歪補正可視画像を生成する光学歪補正可視画像生成手段と、前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記不可視画像光学歪補正値に基づいて前記不可視画像の光学歪補正を行って光学歪補正不可視画像を生成する光学歪補正不可視画像生成手段と、前記光学歪補正可視画像と前記光学歪補正不可視画像の対応点探索により、前記光学歪補正可視画像と前記光学歪補正不可視画像の間のズレ補正を行うズレ補正手段とを含み、前記ズレ補正手段が、前記光学歪補正可視画像の画素位置を基準として、前記光学歪補正不可視画像の画素位置に対するズレ補正値およびズレ補正信頼度を算出するズレ補正値およびズレ補正信頼度算出部と、前記ズレ補正信頼度ならびに前記補正値記憶手段に記憶された前記不可視画像光学歪補正値および前記光学歪補正信頼度に基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部と、前記ズレ補正値およびズレ補正信頼度ならびに前記不可視画像光学歪補正値および前記光学歪補正信頼度に基づいて画像歪補正値および画像歪補正信頼度を算出する画像歪補正値および画像歪補正信頼度算出部と、前記ズレ補正値を用いて前記光学歪補正不可視画像のズレ補正を行うズレ補正処理部とを含む構成を有している。
【００１２】
この構成により、可視動画像と不可視動画像の画像歪を実時間補正することができることとなる。また、この構成により、撮影時に撮像条件を正確に取得することが困難であっても、精度よく画像歪補正を行うことができることとなる。また、この構成により、ズレ補正を行うことができることとなる。
【００１３】
本発明の画像歪補正装置は、可視画像を取得する可視画像取得手段と、不可視画像を取得する不可視画像取得手段と、前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数である可視画像光学歪補正値および不可視画像光学歪補正値を記憶する補正値記憶手段と、前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値および前記不可視画像光学歪補正値に基づいて前記可視画像および前記不可視画像の画像歪を補正する画像歪補正手段とを含む画像歪補正装置であって、前記画像歪補正手段が、前記可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値に基づいて前記可視画像の光学歪補正を行って光学歪補正可視画像を生成する光学歪補正可視画像生成手段と、前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記不可視画像光学歪補正値に基づいて前記不可視画像の光学歪補正を行って光学歪補正不可視画像を生成する光学歪補正不可視画像生成手段と、前記光学歪補正可視画像と前記光学歪補正不可視画像の対応点探索により、前記光学歪補正可視画像と前記光学歪補正不可視画像の間のズレ補正を行うズレ補正手段とを含み、前記ズレ補正手段が、前記光学歪補正不可視画像の画素位置を基準として、前記光学歪補正可視画像の画素位置に対するズレ補正値およびズレ補正信頼度を算出するズレ補正値およびズレ補正信頼度算出部と、前記ズレ補正信頼度ならびに前記補正値記憶手段に記憶された前記可視画像光学歪補正値および前記光学歪補正信頼度に基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部と、前記ズレ補正値およびズレ補正信頼度ならびに前記可視画像光学歪補正値および前記光学歪補正信頼度に基づいて画像歪補正値および画像歪補正信頼度を算出する画像歪補正値および画像歪補正信頼度算出部と、前記ズレ補正値を用いて前記光学歪補正可視画像のズレ補正を行うズレ補正処理部とを含む構成を有している。
【００１４】
この構成により、可視動画像と不可視動画像の画像歪を実時間補正することができることとなる。また、この構成により、撮影時に撮像条件を正確に取得することが困難であっても、精度よく画像歪補正を行うことができることとなる。また、この構成により、ズレ補正を行うことができることとなる。
【００１８】
本発明の画像歪補正装置は、前記画像歪補正値および画像歪補正信頼度算出部が、前記補正値記憶手段に記憶された前記不可視画像光学歪補正値および前記光学歪補正信頼度の値を、前記画像歪補正値および前記画像歪補正信頼度の値に更新する更新部を備える構成を有している。
【００１９】
この構成により、画像歪補正の精度および速度が向上することとなる。
【００２０】
本発明の画像歪補正装置は、前記画像歪補正値および画像歪補正信頼度算出部が、前記補正値記憶手段に記憶された前記可視画像光学歪補正値および前記光学歪補正信頼度の値を、前記画像歪補正値および前記画像歪補正信頼度の値に更新する更新部を備える構成を有していてもよい。
【発明の効果】
【００２１】
本発明は、光学歪補正後の可視画像と不可視画像の間のズレを補正することにより、可視画像と不可視画像の画像歪を実時間補正することができるという効果を有する画像歪補正装置を提供することができるものである。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態の画像歪補正装置について、図面を用いて説明する。なお、本明細書において光学歪とは、光学系を介して撮像された光学画像が有するピンホール画像に対する歪を意味し、ズレとは、異なる光学系によって得られた光学画像間の歪を意味する。また、画像歪とは、光学歪およびズレの総称を意味するものとする。
【００２３】
また、本実施の形態では不可視画像を光学歪補正可視画像に合わせる画像歪補正を例にとって説明するものとする。
【００２４】
本発明の実施の形態の画像歪補正装置を図１に示す。
【００２５】
即ち、本発明に係る画像歪補正装置１０は、可視画像Ｖを取得する可視画像取得手段１と、不可視画像Ｉを取得する不可視画像取得手段２と、可視画像取得手段１および不可視画像取得手段２の画像取得条件ＣＶおよびＣＩの関数である可視画像光学歪補正値ＤＶｄおよび不可視画像光学歪補正値ＤＩｄと光学歪補正信頼度Ｓｄを記憶する補正値記憶手段３と、可視画像取得手段１および不可視画像取得手段２の画像取得条件ＣＶおよびＣＩの関数として補正値記憶手段３から読み出される可視画像光学歪補正値ＤＶｄおよび不可視画像光学歪補正値ＤＩｄに基づいて可視画像Ｖおよび不可視画像Ｉの画像歪を補正する画像歪補正手段４とを含む。
【００２６】
そして、可視画像取得手段１および不可視画像取得手段２はそれぞれ可視画像用光学系１１および不可視画像用光学系２１を有する。可視画像用光学系１１および不可視画像用光学系２１は、図２に示すように、ハーフミラ８を介して被写体９から同じ距離に配置されるのが好ましい。
【００２７】
また、可視画像用光学系１１および不可視画像用光学系２１は、それぞれのズーム量、アイリス量、フォーカス量等の値を示す画像取得条件ＣＶおよびＣＩを電気的な信号として取り出すことのできるセンサを内蔵している。
【００２８】
補正値記憶手段３は、可視画像用光学系１１および不可視画像用光学系２１が有するレンズの製品仕様から定まる光学歪補正値を可視画像光学歪補正値ＤＶｄおよび不可視画像光学歪補正値ＤＩｄとして記憶しており、画像取得条件ＣＶおよびＣＩが入力されると、画像取得条件ＣＶおよびＣＩに対応した可視画像光学歪補正値ＤＶｄおよび不可視画像光学歪補正値ＤＩｄをそれぞれ出力するようになっている。
【００２９】
そして、画像歪補正手段４は、可視画像取得手段１の画像取得条件ＣＶの関数として補正値記憶手段３から読み出される可視画像光学歪補正値ＤＶｄに基づいて可視画像Ｖの光学歪補正を行って光学歪補正可視画像Ｖ’を生成する光学歪補正可視画像生成手段５と、不可視画像取得手段２の画像取得条件ＣＩの関数として補正値記憶手段３から読み出される不可視画像光学歪補正値ＤＩｄに基づいて不可視画像Ｉの光学歪補正を行って光学歪補正不可視画像Ｉ’を生成する光学歪補正不可視画像生成手段６と、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’の対応点探索により、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’の間のズレ補正を行うズレ補正手段７とを含む。
【００３０】
そして、ズレ補正手段７は、光学歪補正可視画像Ｖ’の画素位置を基準として、光学歪補正不可視画像Ｉ’の画素位置に対するズレ補正値Ｄｅおよびズレ補正信頼度Ｓｃを算出するズレ補正値およびズレ補正信頼度算出部７１と、ズレ補正信頼度Ｓｃならびに補正値記憶手段３に記憶された不可視画像光学歪補正値ＤＩｄおよび光学歪補正信頼度Ｓｄに基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部７２と、ズレ補正値Ｄｅおよびズレ補正信頼度Ｓｃならびに不可視画像光学歪補正値ＤＩｄおよび光学歪補正信頼度Ｓｄに基づいて画像歪補正値Ｄｗおよび画像歪補正信頼度Ｓｗを算出する画像歪補正値および画像歪補正信頼度算出部７３と、ズレ補正値Ｄｅを用いて光学歪補正不可視画像Ｉ’のズレ補正を行うズレ補正処理部７４とを含む。
【００３１】
さらに、画像歪補正値および画像歪補正信頼度算出部７３は、補正値記憶手段３に記憶された不可視画像光学歪補正値ＤＩｄおよび光学歪補正信頼度Ｓｄの値を、画像歪補正値Ｄｗおよび画像歪補正信頼度Ｓｗの値に更新する更新部７３１を備えている。
【００３２】
図３は、本発明の実施の形態の画像歪補正装置のハードウェア構成を示すブロック図であって、プログラムに基づいて処理を実行するＣＰＵ２２と、プログラムおよび演算値を記憶するメモリ２３と、可視画像取得手段１および不可視画像取得手段２が接続される動画インターフェイス（Ｉ／Ｆ）２４と、可視画像取得手段１および不可視画像取得手段２の歪の補正量である光学歪補正値または画像歪補正値を記憶する補正値記憶装置２６と、表示装置２７、キーボード２８およびポインティングデバイス２９からなる周辺機器が接続される周辺機器インターフェイス（Ｉ／Ｆ）２５とがバス３０によって相互に結合された構成を有する。
【００３３】
次に、メモリ２３にインストールする画像歪補正プログラムのフローチャートを参照しつつ、本発明の実施の形態の画像歪補正装置の動作を説明する。
【００３４】
図４は、画像歪補正プログラムのフローチャートである。まず、ＣＰＵ２２は、補正値記憶手段３に記憶されている全ての不可視画像光学歪補正値ＤＩｄに対して光学歪補正信頼度Ｓｄが与えられているか否かを判定し（ステップＳ１）、否定判定した場合は、後述する信頼度初期値算出ルーチンにおいて、光学歪補正信頼度Ｓｄの初期値を算出する（ステップＳ２）。
【００３５】
次に、ＣＰＵ２２は、後述する画像歪補正処理ルーチンの処理を行って（ステップＳ３）、画像歪補正プログラムを終了する。
【００３６】
なお、ステップＳ１において、補正値記憶手段３に光学歪補正信頼度Ｓｄが記憶されている場合は、ＣＰＵ２２は、ステップＳ３の処理に直接進む。
【００３７】
図５は、画像歪補正プログラムのステップＳ３で実行される画像歪補正処理ルーチンのフローチャートである。まず、ＣＰＵ２２は、可視画像Ｖと不可視画像Ｉを取得し（ステップＳ３１）、画像取得条件ＣＶおよびＣＩを取得する（ステップＳ３２）。
【００３８】
次に、ＣＰＵ２２は、ステップＳ３２で取得した画像取得条件ＣＶおよびＣＩに対応した可視画像光学歪補正値ＤＶｄおよび不可視画像光学歪補正値ＤＩｄを決定する（ステップＳ３３）。ここで、可視画像光学歪補正値ＤＶｄおよび不可視画像光学歪補正値ＤＩｄは、可視画像Ｖおよび不可視画像Ｉ上の各画素の位置が本来の位置（即ち、全く歪のないピンホール画像の画素の位置）を基準として上下左右に何画素分ずれているかを示す値であり、例えば［数１］に示すような行列の形で表される。なお、ＡおよびＢは、それぞれ画像の行方向および列方向の画素の個数を示す。
【数１】
0004740769.tif 000002
【００３９】
例えば、不可視画像Ｉ上の画素の位置がピンホール画像の画素の位置（１，５）から行方向に２画素、列方向に−１画素ずれて（３，４）となっている場合は、ＤＩｄの成分は［数２］のようになる。ここで、ＤＩｄ（１，５）の１列目は光学歪補正の量を示し、２列目は不可視画像Ｉ上の画素位置を示している。
【数２】
0004740769.tif 000003
【００４０】
次に、ＣＰＵ２２は、ステップＳ３３で決定した可視画像光学歪補正値ＤＶｄおよび不可視画像光学歪補正値ＤＩｄを用いて、可視画像Ｖおよび不可視画像Ｉに対して光学歪補正を行い、光学歪補正可視画像Ｖ’および光学歪補正不可視画像Ｉ’を生成する（ステップＳ３４）。
【００４１】
次に、ＣＰＵ２２は、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’の被写体位置を一致させるズレ補正を行ってこのルーチンを終了するが（ステップＳ３５）、この処理はズレ補正ルーチンとして後述する。
【００４２】
図６は、図５の画像歪補正処理ルーチンのステップＳ３５で実行されるズレ補正ルーチンのフローチャートである。まず、ＣＰＵ２２は、後述する対応点探索ルーチンにおいて、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’について対応点探索を行い、光学歪補正可視画像Ｖ’を基準とする光学歪補正不可視画像Ｉ’に対するズレ補正値Ｄｅを算出すると共に、ズレ補正値Ｄｅのズレ補正信頼度Ｓｃを算出する（ステップＳ３５１）。
【００４３】
次に、ＣＰＵ２２は、後述する記憶値更新ルーチンにおいて、ズレ補正値Ｄｅのズレ補正信頼度Ｓｃおよび補正値記憶手段３に記憶された不可視画像光学歪補正値ＤＩｄの光学歪補正信頼度Ｓｄに基づいて画像歪補正値Ｄｗおよび画像歪補正信頼度Ｓｗを算出し、不可視画像光学歪補正値ＤＩｄおよび光学歪補正信頼度Ｓｄの値を画像歪補正値Ｄｗおよび画像歪補正信頼度Ｓｗの値に更新する（ステップＳ３５２）。
【００４４】
次に、ＣＰＵ２２は、光学歪補正不可視画像Ｉ’についてズレ補正を行う必要があるか否かを判定し（ステップＳ３５３）、肯定判定した場合には、ズレ補正値Ｄｅを用いて光学歪補正不可視画像Ｉ’を補正して光学歪補正可視画像Ｖ’に一致する画像となる画像歪補正不可視画像Ｉ”を生成し（ステップＳ３５４）、このルーチンを終了する。
【００４５】
ステップＳ３５３において、ズレ補正を行う必要がないと判断した場合は、ＣＰＵ２２は直接このルーチンを終了する。
【００４６】
なお、ステップＳ３５３では、ＣＰＵ２２は、後述する記憶値更新ルーチンのステップＳ５２１でズレ補正信頼度Ｓｃが光学歪補正信頼度Ｓｄよりも大であった場合、あるいは、ステップＳ５２２で不可視画像光学歪補正値ＤＩｄが初期値であった場合には、ズレ補正が必要であるという判定を行い、ステップＳ５２２で不可視画像光学歪補正値ＤＩｄが初期値でなかった場合には、ズレ補正が不要であるという判定を行うものとする。
【００４７】
図７は、図６のズレ補正ルーチンのステップＳ３５１で実行される対応点探索ルーチンのフローチャートである。まず、ＣＰＵ２２は、光学歪補正可視画像Ｖ’に対して色調変換を行い、色調変換可視画像Ｖｃを生成する（ステップＳ５１１）。これは、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’との相関性を高めるための処理であって、例えば、グレイ画像への変換、即ち、ＲＧＢからＹへの変換を行うことが考えられる。不可視画像取得手段２が赤外線カメラである場合には、光学歪補正可視画像Ｖ’からＲ成分を取り出してもよい。
【００４８】
次に、ＣＰＵ２２は、色調変換可視画像Ｖｃと光学歪補正不可視画像Ｉ’の高周波成分の抽出を行う（ステップＳ５１２）。これは、可視画像と不可視画像の相関性が高周波領域で高いためである。例えば、画像を微分しエッジ抽出を行う手法、あるいは、画像を周波数領域に展開するフーリエ変換またはウェーブレット変換等の手法を用いて、低い周波数成分を削除するとよい。これらの手法により得られた色調変換可視画像Ｖｃと光学歪補正不可視画像Ｉ’の高周波画像をそれぞれ高周波可視画像ＶＨ、高周波不可視画像ＩＨとする。
【００４９】
次に、ＣＰＵ２２は、高周波可視画像ＶＨの各画素あるいはそれらを等間隔で間引いた画素に対する高周波不可視画像ＩＨ上の対応する位置を、後述するブロックマッチングルーチンにより求める（ステップＳ５１３）。ただし、本発明は対応点探索手法をブロックマッチング法に限定するものではなく、位相相関法やオプティカルフロー等の手法も適用できる。
【００５０】
最後に、ＣＰＵ２２は、ステップＳ５１３で得た高周波可視画像ＶＨ上の画素と高周波不可視画像ＩＨ上の画素の対応関係を示すズレ補正値Ｄｅのズレ補正信頼度Ｓｃを算出して（ステップＳ５１４）、対応点探索ルーチンを終了する。
【００５１】
図８は、図７の対応点探索ルーチンのステップＳ５１３で実行されるブロックマッチングルーチンのフローチャートである。まず、ＣＰＵ２２は、探索範囲およびブロック分割の設定を行う（ステップＳ１３１）。
【００５２】
ここで、高周波可視画像ＶＨは、探索対象画素を中心として含む基準ブロック（Ｌ×Ｌ画素）に分割され、その基準ブロックの個数はＭ個であるとする。これに対する高周波不可視画像ＩＨ上の探索範囲は、高周波可視画像ＶＨの探索対象画素と同じ座標を中心に上下左右にＰ画素広げたＰ×Ｐ画素（Ｐ＞Ｌ）からなる範囲であり、Ｎ個の基準ブロックに分割されるものとする。なお、高周波可視画像ＶＨの探索対象画素として選択される画素は高周波可視画像ＶＨ上の全ての画素でもよく、または、２画素以上ずつ等間隔に間引いた画素でもよい。
【００５３】
次に、ＣＰＵ２２は、高周波可視画像ＶＨ上の基準ブロックのブロック番号を示すインデックスｍ、および、高周波不可視画像ＩＨ上の探索範囲内の基準ブロックのブロック番号を示すインデックスｎを“１”に初期化し、後のステップＳ１３５で使用する残差ｅＳＡＤ（ｍ，ｎ）を“０”に初期化する（ステップＳ１３２）。
【００５４】
次に、ＣＰＵ２２は、１基準ブロック内の行方向の画素位置を示すインデックスｊを“−（Ｌ−１）／２”に初期化し（ステップＳ１３３）、１基準ブロック内の列方向の画素位置を示すインデックスｋを“−（Ｌ−１）／２”に初期化する（ステップＳ１３４）。
【００５５】
次のステップＳ１３５において、ＣＰＵ２２は残差を算出するが、残差としては、［数３］に示すような差分絶対値総和を用いる。ここで、高周波可視画像ＶＨおよび高周波不可視画像ＩＨそれぞれにおいて、処理の対象となる基準ブロックの中心の位置を示す座標を（ｘ，ｙ）および（Ｘ，Ｙ）とする。ＶｐおよびＩｐは高周波可視画像ＶＨおよび高周波不可視画像ＩＨの画素値を与える関数であるとする。
【数３】
0004740769.tif 000004
【００５６】
具体的には、ＣＰＵ２２は、［数４］より、ｍ番目の高周波可視画像ＶＨ上の基準ブロックとｎ番目の高周波不可視画像ＩＨ上の探索範囲内の基準ブロックから求まる残差ｅＳＡＤ（ｍ，ｎ）を更新する（ステップＳ１３５）。
【数４】
0004740769.tif 000005
【００５７】
次に、ＣＰＵ２２は、ｋが（Ｌ−１）／２に到達したか否かを判定し（ステップＳ１３６）、否定判定した場合には、ｋをインクリメントして（ステップＳ１３７）、ステップＳ１３５の処理に戻る。
【００５８】
ステップＳ１３６において、ｋが（Ｌ−１）／２に到達した場合は、ＣＰＵ２２は、ｊが（Ｌ−１）／２に到達したか否かを判定し（ステップＳ１３８）、否定判定した場合には、ｊをインクリメントして（ステップＳ１３９）、ステップＳ１３４の処理に戻る。
【００５９】
ステップＳ１３８において、ｊが（Ｌ−１）／２に到達した場合は、ＣＰＵ２２は、ｎがＮに到達したか否かを判定し（ステップＳ１４０）、否定判定した場合には、ｎをインクリメントして（ステップＳ１４１）、ステップＳ１３３の処理に戻る。
【００６０】
ステップＳ１４０において、ｎがＮに到達した場合は、ＣＰＵ２２は、最小の残差ｅＳＡＤ（ｍ，ｎ）を与える高周波可視画像ＶＨの基準ブロックの中心座標（ｘ，ｙ）、および、高周波不可視画像ＩＨの基準ブロックの中心座標（Ｘ，Ｙ）を抽出して、２つの座標の間のズレ量Ｚｅ（Ｘ，Ｙ）を［数５］より算出する（ステップＳ１４２）。
【数５】
0004740769.tif 000006
【００６１】
次に、ＣＰＵ２２は、ｍがＭに到達したか否かを判定し（ステップＳ１４３）、否定判定した場合には、ｍをインクリメントして（ステップＳ１４４）、ステップＳ１３３の処理に戻る。ｍがＭに到達した場合は、ＣＰＵ２２は、［数６］に示すように、高周波可視画像ＶＨの画素の座標（ｘ，ｙ）に関する残差が最小となるズレ量Ｚｅ（Ｘ，Ｙ）を記憶する行列であるズレ補正値Ｄｅの行列を作成して（ステップＳ１４５）、ブロックマッチングルーチンを終了する。
【数６】
0004740769.tif 000007
【００６２】
ここで、例えば高周波可視画像ＶＨの画素位置（２，４）に対する高周波不可視画像ＩＨの画素位置（１，５）のズレ量がＺｅ（Ｘ，Ｙ）＝（１−２，５−４）＝（−１，１）であるとすると、Ｄｅの行列成分は［数７］のようになる。
【数７】
0004740769.tif 000008
【００６３】
なお、ブロックマッチングルーチンでは、残差として差分絶対値総和を例にとって説明したが、もちろん差分２乗総和ｅｒｍｓを用いてもよい。
【００６４】
また、ステップＳ１３１において、高周波可視画像ＶＨ上の探索対象画素を２画素以上ずつ等間隔にずらして分割した場合は、ズレ量を計測しない画素が生じる。このような画素については、周囲のズレ量を計測済みの画素値とそのズレ量に応じて加重平均値を求めるとよい。
【００６５】
ここで、信頼度について説明する。信頼度は、その値が大きいほどデータの信頼性が高いことを意味し、最大値は１．０であるとする。前述の残差ｅＳＡＤ（ｘ，ｙ，Ｘ，Ｙ）の最小値ｅ（Ｘ，Ｙ）が０．０の場合には信頼度は１．０となる。
【００６６】
残差が０でない場合には、可視画像取得手段１および不可視画像取得手段２のＳ／Ｎ比、探索条件（例えば、ブロックサイズ）等に応じて、適切な閾値Ｔｈを設定し、Ｔｈ以上の残差を信頼度０．０にマッピングするとよい。閾値Ｔｈ以下のｅ（Ｘ，Ｙ）については例えば［数８］のようなマッピングを行う。
【数８】
0004740769.tif 000009
【００６７】
図９に図４の画像歪補正プログラムのステップＳ２で実行される信頼度初期値算出ルーチンのフローチャートを示す。まず、ＣＰＵ２２は、予めメモリ２３に記憶されている歪のないチェッカーボード（市松模様）や格子模様等の標準画像パターンＶｓｔと同等のものを、不可視画像取得手段２によって光学画像である不可視画像Ｉとして取得する（ステップＳ２１）。なお、標準画像パターンＶｓｔとしては、不可視画像Ｉとの相関性の高いグレイ画像等を用いることが好ましい。
【００６８】
次に、ＣＰＵ２２は、不可視画像光学歪補正値ＤＩｄの初期値を用いて、ステップＳ２１で取得した不可視画像Ｉに対して光学歪補正を行い、光学歪補正不可視画像Ｉ’を生成する（ステップＳ２２）。
【００６９】
次に、ＣＰＵ２２は、標準画像パターンＶｓｔおよび光学歪補正不可視画像Ｉ’の高周波成分の抽出を行い、高周波可視画像ＶＨおよび高周波不可視画像ＩＨをそれぞれ生成する（ステップＳ２３）。
【００７０】
次に、ＣＰＵ２２は、高周波可視画像ＶＨの各画素あるいはそれらを等間隔で間引いた点に対して、高周波不可視画像ＩＨ上で対応する位置を図８のブロックマッチングルーチンにより求めて残差の最小値ｅ（Ｘ，Ｙ）を得る（ステップＳ２４）。
【００７１】
次に、ＣＰＵ２２は、ステップＳ２４で得た残差の最小値ｅ（Ｘ，Ｙ）を用いて［数８］より光学歪補正信頼度Ｓｄを算出する（ステップＳ２５）。
【００７２】
次に、ＣＰＵ２２は、補正値記憶手段３に記憶されている全ての不可視画像光学歪補正値ＤＩｄに対してステップＳ２５までの処理を行ったか否かを判定し（ステップＳ２６）、否定判定したときは、ステップＳ２２の処理に戻る。なお、この場合は、ステップＳ２３において、改めて標準画像パターンＶｓｔから高周波可視画像ＶＨを生成し直す必要はない。
【００７３】
ステップＳ２６において、全ての不可視画像歪補正値ＤＩｄに対して処理を行ったと判定した場合は、ＣＰＵ２２は、信頼度初期値算出ルーチンを終了する。
【００７４】
図１０は、図６のズレ補正ルーチンのステップＳ３５２で実行される記憶値更新ルーチンのフローチャートである。まず、ＣＰＵ２２は、補正値記憶手段３からの光学歪補正信頼度Ｓｄと対応点探索部からのズレ補正信頼度Ｓｃの大小を比較する（ステップＳ５２１）。Ｓｄ≧Ｓｃの場合は、ＣＰＵ２２は、該当する不可視画像光学歪補正値ＤＩｄが初期値のままであるかどうかを判定する（ステップＳ５２２）。
【００７５】
不可視画像光学歪補正値ＤＩｄが初期値であった場合は、ＣＰＵ２２は、画像歪補正値Ｄｗとして不可視画像光学歪補正値ＤＩｄにズレ補正値Ｄｅを加えたものを採用する（ステップＳ５２３）。
【００７６】
ここで、例えば画像歪補正値Ｄｗの成分は、前述の例を合わせると［数９］のように与えられる。
【数９】
0004740769.tif 000010
【００７７】
即ち［数９］は不可視画像Ｉの画素（３，４）をマイナス方向に（１，０）ずらして（２，４）とする補正を行うと、光学歪補正可視画像Ｖ’と一致した画像を得られることを示している。
【００７８】
次に、ＣＰＵ２２は、ズレ補正信頼度Ｓｃと光学歪補正信頼度Ｓｄの平均値である画像歪補正信頼度Ｓｗを算出する（ステップＳ５２４）。ここで、平均の取り方は加算平均でも加重平均でもよい。
【００７９】
次に、ＣＰＵ２２は、補正値記憶手段３に記憶されている不可視画像光学歪補正値ＤＩｄおよび光学歪補正信頼度Ｓｄの値を、それぞれ画像歪補正値Ｄｗおよび画像歪補正信頼度Ｓｗの値に更新して（ステップＳ５２５）、記憶値更新ルーチンを終了する。
【００８０】
ＣＰＵ２２は、ステップＳ５２２において、不可視画像光学歪補正値ＤＩｄが初期値でなかった場合は、記憶値更新ルーチンを終了する。
【００８１】
ステップＳ５２１において、Ｓｃ＞Ｓｄの場合は、ＣＰＵ２２は、ステップＳ５２３からステップＳ５２５までの処理を順次行って、記憶値更新ルーチンを終了する。
【００８２】
なお、本実施の形態では、不可視画像Ｉを光学歪補正可視画像Ｖ’に合わせる画像歪補正を例にとって説明したが、もちろん可視画像Ｖを光学歪補正不可視画像Ｉ’に合わせる画像歪補正を行ってもよい。また、映像制作の要求に応じた画像歪補正値を外部から入力して画像歪補正を行うことも可能である。
【００８３】
以上説明したように、本発明の実施の形態に係る画像歪補正装置は、光学歪補正後の可視画像と不可視画像の間のズレを補正することにより、可視画像と不可視画像の歪を実時間補正することができる。
【実施例】
【００８４】
上記の本発明の実施の形態に係る画像歪補正装置の具体的な実施例を以下に説明する。なお、実施例における限定は、本発明を限定するものではない。以下に図１１および図１２を用いて、被写体１０１の可視画像Ｖをカラーカメラ１０２で撮影し、赤外画像Ｉを赤外線カメラ１０３で撮影する例を説明する。
【００８５】
まず、カラーカメラ１０２および赤外線カメラ１０３がそれぞれ、同一の被写体範囲を撮影するようにするため、赤外線を反射し、可視光を透過するホットミラ１０４を介して、カラーカメラ１０２と赤外線カメラ１０３を配置する。
【００８６】
さらに、被写体１０１の背景に赤外光を発光するスクリーン１０５を配置し、スクリーン１０５とカラーカメラ１０２および赤外線カメラ１０３の間に被写体１０１を置く。
【００８７】
レンズとしては、可視光および赤外光の撮影が可能な共用レンズ１０６を用いる。共用レンズ１０６にはそのフォーカス量、ズーム量、アイリス量をロータリーエンコーダにより機械的に計測可能なレンズデータ検出器１０７を付加する。
【００８８】
図１２に画像合成の手順を簡単に示す。まず、被写体１０１の可視画像Ｖ（図１２（イ））と被写体のシルエットの赤外映像Ｉ（図１２（ロ））を撮影する。
【００８９】
パーソナルコンピュータ１０８の画像歪補正処理部１０９に本発明の課題を解決するための手段で述べた画像歪補正プログラムをインストールし、撮影画像とレンズデータを入力として、可視画像Ｖと赤外画像Ｉの間のズレが無くなるような補正値（可視画像光学歪補正値ＤＶｄ、不可視画像光学歪補正値ＤＩｄおよびズレ補正値Ｄｅ）を用いて画像歪補正を行う。
【００９０】
さらに、画像歪補正処理部１０９で得られた可視画像光学歪補正値ＤＶｄをパーソナルコンピュータ１０８の背景画像描画処理部１１０に出力し、必要に応じてスクリーン部分にはめ込む背景画像に対しても可視画像光学歪補正値ＤＶｄを用いて補正を行う。
【００９１】
次に、背景画像描画処理部１１０から背景画像をパーソナルコンピュータ１０８の映像合成処理部１１１に出力し、図１２（ロ）のシルエット画像つまり赤外映像Ｉの明るい部分を背景画像に（図１２（ハ））、暗い部分を可視画像Ｖとするような処理を行う（図１２（ニ））。これにより被写体と背景画像の歪の違いによる違和感がない合成映像が作成可能となる。
【産業上の利用可能性】
【００９２】
以上のように、本発明に係る画像歪補正装置は、可視画像と不可視画像の歪を実時間補正することができるという効果を有し、再帰性反射材と不可視光照明を用いた映像合成装置、または、カラー画像に含まれる被写体に関する情報を不可視光に反応するマーカで能動的に取得する装置等として有効である。
【図面の簡単な説明】
【００９３】
【図１】本発明に係る画像歪補正装置のブロック図
【図２】可視画像用光学系と不可視画像用光学系の配置の一例を示す図
【図３】本発明に係る画像歪補正装置を構成するパーソナルコンピュータのハードウェア構成を示すブロック図
【図４】本発明に係る画像歪補正装置のＣＰＵが実行する画像歪補正プログラムのフローチャート
【図５】本発明に係る画像歪補正装置のＣＰＵが実行する画像歪補正処理ルーチンのフローチャート
【図６】本発明に係る画像歪補正装置のＣＰＵが実行するズレ補正ルーチンのフローチャート
【図７】本発明に係る画像歪補正装置のＣＰＵが実行する対応点探索ルーチンのフローチャート
【図８】本発明に係る画像歪補正装置のＣＰＵが実行するブロックマッチングルーチンのフローチャート
【図９】本発明に係る画像歪補正装置のＣＰＵが実行する信頼度初期値算出ルーチンのフローチャート
【図１０】本発明に係る画像歪補正装置のＣＰＵが実行する記憶値更新ルーチンのフローチャート
【図１１】本発明に係る画像歪補正装置の実施例のブロック図
【図１２】画像合成の手順を説明する図
【符号の説明】
【００９４】
１  可視画像取得手段
２  不可視画像取得手段
３  補正値記憶手段
４  画像歪補正手段
５  光学歪補正可視画像生成手段
６  光学歪補正不可視画像生成手段
７  ズレ補正手段
７１  ズレ補正値およびズレ補正信頼度算出部
７２  ズレ補正要否判断部
７３  画像歪補正値および画像歪補正信頼度算出部
７４  ズレ補正処理部
７３１  更新部
【図１】
0004740769.tif 000011
【図２】
0004740769.tif 000012
【図３】
0004740769.tif 000013
【図４】
0004740769.tif 000014
【図５】
0004740769.tif 000015
【図６】
0004740769.tif 000016
【図７】
0004740769.tif 000017
【図８】
0004740769.tif 000018
【図９】
0004740769.tif 000019
【図１０】
0004740769.tif 000020
【図１１】
0004740769.tif 000021
【図１２】
0004740769.tif 000022