(57)【要約】【課題】映像処理装置及びその方法を提供する。【解決手段】多重帯域フィルタ配列パターン映像から変更された５点形パターン映像の差分値に基づいて、多重帯域フィルタ配列パターン映像のカラーチャネル及び近赤外線チャネルを最大解像度に補間する適応的補間部と、補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度ベースチャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析と多重帯域フィルタ配列チャネル映像及びベースチャネル映像のエネルギーレベル比較とを基に、高解像度多重帯域フィルタ配列映像を獲得する周波数補償部と、高解像度多重帯域フィルタ配列映像の各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去するチャネル干渉抑制部とを含む。【選択図】図１
2014110633.tif 000002
【特許請求の範囲】
【請求項１】
多重帯域フィルタ配列パターン映像を、対角線画素方向の差分値に基づいて、５点形パターン映像に変更した後、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する適応的補間部と、
前記適応的補間部で補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度のベースチャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析と、多重帯域フィルタ配列チャネル映像及びベースチャネル映像のエネルギーレベル比較と、を基に、高解像度の多重帯域フィルタ配列映像を獲得する周波数補償部と、
前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去するチャネル干渉抑制部と、を含むことを特徴とする映像処理装置。
【請求項２】
前記５点形パターン映像は、ベイヤーパターン映像と幾何学的モデルは同一であり、各位置に入力されるチャネル値が異なる映像であることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記適応的補間部は、
前記５点形パターン映像への変更時、前記多重帯域フィルタ配列パターンの特定画素（ｍ，ｎ）から対角線方向に１画素離れた位置の画素値の第１加重平均値と、
前記多重帯域フィルタ配列パターンの特定画素（ｍ，ｎ）と、前記多重帯域フィルタ配列パターンの中心画素から対角線方向に２画素離れた位置のそれぞれの画素値との差値を加重平均した第２加重平均値と、の和を利用することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記第１加重平均値と第２加重平均値とを求めるために使用される各加重値は、各画素方向別差分値に反比例することを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記周波数補償部は、
垂直方向、水平方向及び対角線方向ごとに、前記適応的補間部で補間された低解像度多重帯域フィルタ配列映像の中周波成分及び高周波成分と、ベース映像の中周波成分及び高周波成分と、を比較した後、対応する部分を加重和し、前記適応的補間部で補間された低解像度多重帯域フィルタ配列映像で、中周波成分及び高周波成分を復元し、高解像度の多重帯域フィルタ配列映像を生成することを特徴とする請求項１に記載の映像処理装置。
【請求項６】
前記周波数補償部は、
前記低解像度多重帯域フィルタ配列映像の中周波成分及び高周波成分、及びベース映像の中周波成分及び高周波成分それぞれに加重値を付与し、前記各加重値は、前記低解像度の多重帯域フィルタ配列映像のエッジと、ベース映像のエッジとのうち、エッジのエネルギーが大きい映像値の比重が大きいように設定されることを特徴とする請求項１に記載の映像処理装置。
【請求項７】
前記周波数補償部は、
前記線形回帰分析を介して、ベース映像と、それに対応する前記多重帯域フィルタ配列映像との中周波及び高周波エネルギーの比率を求め、エネルギーレベルの差を補正した加重値を付与することを特徴とする請求項１に記載の映像処理装置。
【請求項８】
前記周波数補償部は、
前記多重帯域フィルタ配列映像のＲ，Ｇ，Ｂ，ＮＩＲ各チャネル間のエネルギーレベルを考慮し、各チャネルのエッジを均一に合わせ、各チャネル別カラー歪曲現象を除去し、そのために、前記エネルギーレベルの差を補正した加重値を利用して、高周波エネルギーレベルが高いチャネルでは、中周波及び高周波を強く復元し、高周波エネルギーレベルが低いチャネルでは、中周波及び高周波を弱く復元することを特徴とする請求項７に記載の映像処理装置。
【請求項９】
適応的補間部で、多重帯域フィルタ配列パターン映像を、対角線画素方向の差分値に基づいて、５点形パターン映像に変更した後、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する段階と、
周波数補償部で、前記補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度のベースチャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析と、多重帯域フィルタ配列チャネル映像及びベースチャネル映像のエネルギーレベル比較と、を基に、高解像度の多重帯域フィルタ配列映像を獲得する段階と、
チャネル干渉抑制部で、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去する段階と、を含むことを特徴とする映像処理方法。
【請求項１０】
前記５点形パターン映像は、ベイヤーパターン映像と幾何学的モデルは同一であり、各位置に入力されるチャネル値が異なる映像であることを特徴とする請求項９に記載の映像処理方法。
【請求項１１】
前記補間する段階で、
前記５点形パターン映像への変更時、前記多重帯域フィルタ配列パターンの特定画素（ｍ，ｎ）から対角線方向に１画素離れた位置の画素値の第１加重平均値と、
前記多重帯域フィルタ配列パターンの特定画素（ｍ，ｎ）と、前記多重帯域フィルタ配列パターンの中心画素から対角線方向に２画素離れた位置のそれぞれの画素値との差値を加重平均した第２加重平均値と、の和を利用することを特徴とする請求項９に記載の映像処理方法。
【請求項１２】
前記第１加重平均値と第２加重平均値とを求めるために使用される各加重値は、各画素方向別差分値に反比例することを特徴とする請求項１１に記載の映像処理方法。
【請求項１３】
前記高解像度の多重帯域フィルタ配列映像を獲得する段階で、
垂直方向、水平方向及び対角線方向ごとに、前記適応的補間部で補間された低解像度多重帯域フィルタ配列映像の中周波成分及び高周波成分と、ベース映像の中周波成分及び高周波成分と、を比較した後、対応する部分を加重和し、前記適応的補間部で補間された低解像度多重帯域フィルタ配列映像で、中周波成分及び高周波成分を復元し、高解像度の多重帯域フィルタ配列映像を生成することを特徴とする請求項９に記載の映像処理方法。
【請求項１４】
前記高解像度の多重帯域フィルタ配列映像を獲得する段階で、
前記低解像度多重帯域フィルタ配列映像の中周波成分及び高周波成分、及びベース映像の中周波成分及び高周波成分それぞれに加重値を付与し、前記各加重値は、前記低解像度の多重帯域フィルタ配列映像のエッジと、ベース映像のエッジとのうち、エッジのエネルギーが大きい映像値の比重が大きいように設定されることを特徴とする請求項９に記載の映像処理方法。
【請求項１５】
前記高解像度の多重帯域フィルタ配列映像を獲得する段階で、
前記線形回帰分析を介して、ベース映像と、それに対応する前記多重帯域フィルタ配列映像との中周波及び高周波エネルギーの比率を求め、エネルギーレベルの差を補正した加重値を付与することを特徴とする請求項９に記載の映像処理方法。
【請求項１６】
前記高解像度の多重帯域フィルタ配列映像を獲得する段階で、
前記多重帯域フィルタ配列映像のＲ，Ｇ，Ｂ，ＮＩＲ各チャネル間のエネルギーレベルを考慮し、各チャネルのエッジを均一に合わせ、各チャネル別カラー歪曲現象を除去し、そのために、前記エネルギーレベルの差を補正した加重値を利用して、高周波エネルギーレベルが高いチャネルでは、中周波及び高周波を強く復元し、高周波エネルギーレベルが低いチャネルでは、中周波及び高周波を弱く復元することを特徴とする請求項１５に記載の映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置に係り、詳細には、多重帯域フィルタ配列（ＭＦＡ：multi-spectral filter array）を使用して獲得した映像を処理する方法に関する。
【背景技術】
【０００２】
可視光線帯域の映像と、非可視帯域の近赤外線（near infrared：ＮＩＲ）映像とを同時に獲得するために、多重帯域フィルタ配列（ＭＦＡ）を使用して、各チャネルの映像を同時に獲得した。
【０００３】
しかし、多重帯域フィルタ配列を介して獲得したパターン映像では、各カラーチャネル及びＮＩＲチャネルがサブサンプリングされて映像が獲得されることにより、解像度が低いという問題点がある。
【０００４】
なお、本発明と関連した先行技術文献としては、特許文献１及び２がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許７２５１３４５号明細書
【特許文献２】特開２０１２−０６０６０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の望ましい一実施形態は、可視帯域の映像と非可視帯域のＮＩＲ映像とを同時に獲得する場合、各映像の解像度が制限されるという問題点を解決するものである。
【０００７】
本発明の他の望ましい一実施形態として、該映像処理装置及びその方法は、低解像度の多重帯域フィルタ配列パターン映像を入力映像として受け、高解像度のベース（Base）映像を生成するものである。
【０００８】
詳細には、本発明が解決しようとする課題は、多重帯域フィルタ（multi-spectral filter）を介して獲得されるカラーチャネルと、ＮＩＲチャネルとで獲得した低解像度の多重帯域フィルタ配列パターン映像から、高解像度のベース映像を生成し、その場合、高周波情報を多く含みながら、アーティファクトが少ない高解像度映像を生成することである。
【課題を解決するための手段】
【０００９】
本発明の望ましい一実施形態として、映像処理装置は、多重帯域フィルタ配列パターン映像を、対角線画素方向の差分値に基づいて、５点形（quincuncial）パターン映像に変更した後、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する適応的補間部；前記適応的補間部で補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度のベース（Base）チャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析（linear regression）と、多重帯域フィルタ配列チャネル映像及びベース（Base）チャネル映像のエネルギーレベル比較と、を基に、高解像度の多重帯域フィルタ配列映像を獲得する周波数補償部；及び前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去するチャネル干渉抑制部；を含むことを特徴とする。
【００１０】
本発明の他の望ましい一実施形態として、映像処理方法は、適応的補間部で、多重帯域フィルタ配列パターン映像を、対角線画素方向の差分値に基づいて、５点形パターン映像に変更した後、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する段階と、周波数補償部で、前記補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度のベースチャネル映像の高周波成分及び中周波成分を利用して、線形回帰分析と、多重帯域フィルタ配列チャネル映像及びベースチャネル映像のエネルギーレベル比較と、を基に、高解像度の多重帯域フィルタ配列映像を獲得する段階と、チャネル干渉抑制部で、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用し、前記高解像度の多重帯域フィルタ配列映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去する段階と、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれは、多重帯域フィルタ配列パターン映像を５点形（quincuncial）パターン映像に変換した後、エッジ適応補間（edge adaptive interpolation）を行い、低解像度の多重帯域フィルタ配列映像を獲得することができる。その後、高解像度のベース（Base）映像を利用して、低解像度の多重帯域フィルタ配列映像の高周波及び中周波を補償し、高解像度の多重帯域フィルタ配列映像を獲得することができる。また、高解像度の多重帯域フィルタ配列映像の細密な部分で、補間結果が高周波に後続することができないエイリアシングによるカラーアーティファクトを除去するために、チャネル干渉を抑制してカラー歪曲を除去することが可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の望ましい一実施形態であって、映像処理装置の内部構成を図示する図面である。
【図２】多重帯域フィルタ配列パターン映像を５点形パターン映像に変換する事例を図示する図面である。
【図３】多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する過程を図示する図面である。
【図４】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。
【図５Ａ】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。
【図５Ｂ】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。
【図６Ａ】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。
【図６Ｂ】本発明の望ましい一実施形態であって、周波数補償部で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示する図面である。
【図７】ベース（Base）チャネルを利用した各方向周波数成分を復元する事例を図示する図面である。
【図８】各チャネルで特徴を検出する事例を図示する図面である。
【図９】周波数補償部で、多重帯域フィルタ配列映像に色差モデル（color difference model）を単に適用する場合に発生しうる問題を図示する図面である。
【図１０】周波数補償部で、多重帯域フィルタ配列映像に色差モデル（color difference model）を単に適用する場合に発生しうる問題を図示する図面である。
【図１１】本発明の望ましい一実施形態であって、周波数補償部で、線形回帰方式を利用して、カラー歪曲を抑制する方法を図示する図面である。
【図１２】各チャネル間エネルギーレベルを補正する前のカラーパッチ映像を図示する図面である。
【図１３】本発明の望ましい一実施形態であって、線形回帰方法を利用して、各チャネル間エネルギーレベルを補正し、カラー歪曲を抑制した一実施形態を図示する図面である。
【図１４】本発明の望ましい一実施形態であって、チャネル干渉が発生する原因を図示する図面である。
【図１５】Ｒチャネルで、チャネル干渉を除去する概念図を図示する図面である。
【図１６】Ｇチャネルで、チャネル干渉を除去する概念図を図示する図面である。
【図１７】Ｂチャネルで、チャネル干渉を除去する概念図を図示する図面である。
【図１８】Ｎチャネルで、チャネル干渉を除去する概念図を図示する図面である。
【図１９】本発明の一実施形態によるカメラシステムを概略的に図示したブロック図である。
【発明を実施するための形態】
【００１３】
本明細書で使用される用語は、実施形態を説明するためのものであって、本発明を制限するものではない。本明細書で、単数形は、文言で取り立てて言及しない限り、複数形も含む。明細書で使用される「含む（comprises）」及び／または「含むところの（comprising）」は、言及された構成要素、段階、動作及び／または素子が、一つ以上の他の構成要素、段階、動作及び／または素子の存在または追加を排除するものではない。
【００１４】
他の定義がなければ、本明細書で使用される全ての用語（技術的用語及び科学的用語を含む）は、本発明が属する技術分野で当業者に、共通して理解される意味で使用されるものである。また、一般的に使用される事前に定義されている用語は、明白に特別に定義されていない限り、理想的に、あるいは過度に解釈されるものではない。
【００１５】
図１は、本発明の望ましい一実施形態であって、映像処理装置の内部構成図を図示している。
【００１６】
図１の映像処理装置１００の一例としては、カメラシステムなどがあり、カメラシステムは、デジタルカメラ、カムコーダ、監視カメラのような映像撮影システムでもあり、コンピュータ、ＰＤＡ（personal digital assistant）、ＰＭＰ（portable multimedia player）、モバイルホンなどに搭載されてもよい。
【００１７】
図１の映像処理装置１００は、カラーフィルタ及び近赤外線（ＮＩＲ：near infrared）フィルタを含む多重帯域フィルタ配列（ＭＦＡ：multi-spectral filter array）を具備した映像センサから出力される多重帯域フィルタ配列パターン映像を入力映像として受信する。
【００１８】
本発明の望ましい一実施形態として、映像処理装置１００は、低解像度の多重帯域フィルタ配列パターン映像を入力映像として受け、高周波情報を多く含みながら、アーティファクト（artifact）が少ない高解像度ベース映像を生成する。
【００１９】
そのために、映像処理装置１００は、適応的補間部１１０、周波数補償部１２０及びチャネル干渉抑制部１３０を含む。
【００２０】
適応的補間部１１０は、図２に図示されているように、Ｒ（red）、Ｇ（green）、Ｂ（blue）、ＮＩＲのチャネルで、同一単位画素に、互いに１：１：１：１の同一比率で配置されている多重帯域フィルタ配列パターン映像２１０を、対角線画素方向の差分値に基づいて、５点形パターン映像２２０に変更する。５点形パターン映像２２０は、ベイヤー（Bayer）パターン映像と幾何学的モデルが同一であり、各位置に入力されるチャネル値だけが異なるパターン映像である。
【００２１】
本発明の望ましい一実施形態で、多重帯域フィルタ配列パターン映像を５点形パターン映像に変更することは、多重帯域フィルタ配列パターン映像をベイヤーパターンと近似化し、既存のカラー補間アルゴリズムを、本発明で使用されるＲ，Ｇ，Ｂ，ＮＩＲチャネル補間方法にも適用するためである。５点形パターン映像を作る過程は、既存カラー補間アルゴリズムと大差なく、詳細な内容は、以下、図２の関連説明を参考する。
【００２２】
適応的補間部１１０では、多重帯域フィルタ配列パターン映像２１０が、５点形パターン映像２２０に変更されれば、変更された５点形パターン映像の垂直・水平画素方向の差分値に基づいて、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する。これについては、図３でさらに詳細に説明する。
【００２３】
周波数補償部１２０は、適応的補間部１１０で補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度のベースチャネル映像の高周波成分及び中周波成分を利用して、高解像度の多重帯域フィルタ配列映像を獲得する。
【００２４】
その後、線形回帰分析（linear regression）法を基に、前記周波数補償部１２０で獲得された高解像度の多重帯域フィルタ配列映像内の各チャネル間エネルギーレベルを考慮し、前記各チャネル別カラー歪曲現象を除去する。
【００２５】
詳細には、線形回帰分析を利用して、各チャネル間のエネルギーレベルを考慮し、高周波のエネルギーレベルが高いチャネルでは、さらに大きく高周波を復元させ、一方、高周波のエネルギーレベルの低いチャネルは、弱く高周波を復元させ、各チャネルのエッジを均一に合わせ、各チャネル別カラー歪曲現象を除去する。周波数補償部１２０の詳細内容は、図４ないし図１３の説明を参照する。
【００２６】
チャネル干渉抑制部１３０は、周波数補償部１２０で生成した高解像度の多重帯域フィルタ配列映像を構成する各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用して、高解像度の多重帯域フィルタ配列映像を構成する各チャネルと、他のチャネル及びベースチャネルとの間に発生するカラー歪曲現象を除去する。
【００２７】
多重帯域フィルタ配列パターン映像の各チャネルに対して、適応的補間部１１０で解像度を復元し、低解像度の多重帯域フィルタ配列映像を獲得した後、周波数補償部１２０で高周波補償及び中周波補償を行った後にも、エイリアシングによる擬似カラーアーティファクト（false color artifacts）が残っていることがある。例えば、テクスチャ・パターン、細密な部分、強いエッジ、文字部分などに、多重色が残っていることがある。
【００２８】
チャネル干渉抑制部１３０では、このようなカラー歪曲現象を除去するために、高解像度多重帯域フィルタ配列映像のＲ，Ｇ，Ｂ，ＮＩＲチャネルそれぞれで、図１５ないし図１８のように、各チャネルで、他のチャネル及びベースチャネルとのピクセル値差を加重平均した値を利用して、チャネル間カラー干渉現象を抑制する。
【００２９】
図２は、多重帯域フィルタ配列パターン映像を５点形パターン映像に変換する事例を図示している。多重帯域フィルタ配列パターン映像２１０を、５点形パターン映像２２０に変更する過程は、数式１の通りである。
【００３０】
【数１】
2014110633.tif 000003
【００３１】
本発明の望ましい一実施形態であって、多重帯域フィルタ配列パターン映像の中心画素（ｍ，ｎ）位置のチャネル値を補間する場合、多重帯域フィルタ配列パターン映像の中心画素（ｍ，ｎ）から、対角線方向に１画素離れた位置の画素値２１１，２１２，２１３，２１４の第１加重平均値；及び多重帯域フィルタ配列パターン映像の中心画素（ｍ，ｎ）と、前記多重帯域フィルタ配列パターンの中心画素から対角線方向に２画素離れた位置２２１，２２２，２２３，２２４のそれぞれの画素との差値を加重平均した第２加重平均値；の和を利用する。
【００３２】
具体的には、図２のように、（ｍ，ｎ）位置のＮＩＲチャネル値２１０を補間するとき、（ｍ，ｎ）から対角線方向に１画素離れた位置の画素値２１１，２１２，２１３，２１４の加重値和を求め、既存カラー補間アルゴリズムのように、その間にある挿入されているチャネルであるＲチャネル２１０の周辺Ｒチャネル２２１，２２２，２２３，２２４との差分値についても、加重値和を求めて加えた後、最終的にＮＩＲチャネルの補間値を獲得する。
【００３３】
数式１で、
【数２】
2014110633.tif 000004
の値は、ＲチャネルとＮＩＲチャネルとの相関関係（channel correlation）を反映する値である。本発明の望ましい一実施形態では、
【数３】
2014110633.tif 000005
の値を０．５と設定した。補間する画素から、対角線方向に２画素離れた位置にある周辺画素の位置別加重値ｗｍ＋２，ｎ＋２を求める方式は、数式２のように、既存のカラー補間アルゴリズムと類似している。
【００３４】
【数４】
2014110633.tif 000006
【００３５】
数式２でＲ，Ｇ，Ｂは、多重帯域フィルタ配列パターン映像のカラーチャネルを、そしてＮは、多重帯域フィルタ配列パターン映像の近赤外線（ＮＩＲ）チャネルを意味する。
【００３６】
数式２を参照すれば、加重値ｗｍ＋２，ｎ＋２は、各画素方向別差分値に反比例する方向に、加重値が大きくなる。すなわち、加重値和を求める画素方向の差分値が大きい場合、当該方向をエッジとして判断して加重値を減らすことにより、補間過程でエッジが鈍くなることを防止する。
【００３７】
数式２で、加重値和を求める画素方向の差分値は、それぞれ
【数５】
2014110633.tif 000007
であり、これらの値は、加重値和を求める画素方向にエッジがある場合は、大きい値を、エッジがない場合は、小さな値を有する。
【００３８】
この差分値がｗｍ＋２，ｎ＋２を求めるときには、分母に反比例するように適用されるので、エッジがある場合、差分値は大きくなり、加重値ｗｍ＋２，ｎ＋２を小さくし、エッジがない場合、差分値は小くなり、加重値ｗｍ＋２，ｎ＋２を大きくし、最終的に加重値和が求められたときに、エッジが鈍くなることが防止される。
【００３９】
本発明の他の望ましい一実施形態では、５点形パターン映像の変換時、エッジの方向性を適応的に考慮することができる。
【００４０】
【数６】
2014110633.tif 000008
【００４１】
数式３を参照すれば、対角線方向の画素値の差が、逆対角線方向の画素値差の２倍より小さければ、対角線方向がエッジではないと判断し、数式１ないし２の数式を基に、対角線方向の補間を行う。
【００４２】
しかし、対角線方向の画素値の差が、逆対角線方向の画素値差の２倍以上である場合、対角線方向をエッジと判断し、逆対角線位置にある画素値の平均値
【数７】
2014110633.tif 000009
を対角線方向の画素値と見なして使用する。
【００４３】
また、対角線方向の画素値の差が、逆対角線方向の画素値差の２倍より小さい場合には、
【数８】
2014110633.tif 000010
を利用したが、対角線方向の画素値の差が、逆対角線方向の画素値差の２倍以上である場合には、
【数９】
2014110633.tif 000011
を使用するように設定することができる。
【００４４】
図３は、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する過程を図示している。
【００４５】
適応的補間部１１０（図１）は、多重帯域フィルタ配列パターン映像３００を、対角線画素方向の差分値に基づいて、５点形パターン映像３１０に変更した後、変更された５点形パターン映像３１０の垂直・水平画素方向の差分値に基づいて、前記多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間する（３２０）。
【００４６】
図３の多重帯域フィルタ配列パターン映像３００の対角線方向差分値に基づいて、５点形パターンの４個の映像３１０に補間する方法は、数式４の通りである。
【００４７】
【数１０】
2014110633.tif 000012
【００４８】
補間する画素の値を中心に、Ｘ字形の北西（ＮＷ）、北東（ＮＥ）、南西（ＳＷ）、南東（ＳＥ）の各方向にある４つの画素値を加重平均して中心値を充填する。このような過程を、（ｍ，ｎ）位置にあるチャネル値（例えば、Ｇチャネル値）を、Ｘ字形の北西（ＮＷ）、北東（ＮＥ）、南西（ＳＷ）、南東（ＳＥ）の各方向にある隣接した４つのＧ画素値にそれぞれ加重平均し、Ｇチャネルがチェス板のような５点形パターンで充填された図３の５点形パターン映像３１０の映像のような形態の補間結果をまず生成する。
【００４９】
（ｍ＋１，ｎ）位置にあるチャネル値（例えば、Ｒチャネル）についても、同様の過程を経て、Ｒチャネルがチェス板のような５点形パターンで充填された図３の５点形パターン映像３１０の映像のような形態の補間結果をまず生成する。
【００５０】
（ｍ，ｎ＋１）位置にあるチャネル値（例えば、Ｂチャネル）と、（ｍ＋１，ｎ＋１）位置にあるチャネル値（例えば、Ｎチャネル）についても、同様の過程を経て、チェス板のような５点形パターンで充填された図３の５点形パターン映像３１０のような形態の補間結果をまず生成する。その場合、加重値ｗｍ＋ｉ，ｎ＋ｊは、数式２によって求められる。
【００５１】
図３の３１０映像から、図３の３２０映像に補間する方法は、数式５の通りである。
【００５２】
【数１１】
2014110633.tif 000013
【００５３】
補間する画素の値を中心に、十字形の北（Ｎ）、男（Ｓ）、東（Ｅ）、西（Ｗ）の４方向にある４つの画素値に対して加重値平均を行い、中心の値を充填する。その場合、加重値ｗｍ＋ｉ，ｎ＋ｊは、数式２によって求められる。
【００５４】
図４ないし図６Ｂは、本発明の望ましい一実施形態であって、周波数補償部１２０（図１）で、多重帯域フィルタ配列パターン映像を構成するカラーチャネル及び近赤外線チャネルを、最大解像度に補間し、高解像度の多重帯域フィルタ配列映像を生成する過程を図示している。
【００５５】
図４ないし図６Ｂを参照して説明すれば、次の通りである。周波数補償部１２０（図１）では、適応的補間部１１０（図１）で補間された低解像度多重帯域フィルタ配列映像の高周波成分及び中周波成分に対応する高解像度ベース映像の高周波成分及び中周波成分を利用して、高解像度多重帯域フィルタ配列映像を獲得する。そのために、各チャネルの映像を、低周波成分、中周波成分及び高周波成分に分けて考慮した。また、周波数情報が毀損されている高周波成分と中周波成分とを、垂直方向、水平方向、対角線方向に対して、適応的に処理するために、高周波成分と中周波成分とを、垂直方向、水平方向に沿って分けるフィルタを利用した。
【００５６】
そのために、周波数補償部１２０（図１）では、適応的補間部１１０（図１）で補間された低解像度多重帯域フィルタ配列映像４１０，４２０，４３０，４４０と、高解像度のベース映像４００とを、高周波、中周波、低周波に分離する（Ｓ４００、Ｓ４１０）。
【００５７】
高周波成分を分解する一実施形態は、図５Ａ、図６Ａ及び図６Ｂを参照すれば、次の通りである。
【００５８】
図５Ａの多重帯域（multispectral：ＭＳ）映像は、まず高周波成分から分離するが、入力された映像に、水平方向の低周波通過フィルタ（horizontal ＬＰＦ）を通過させる。このフィルタを通過した映像は、水平方向の高周波がフィルタリングされた中周波、低周波だけが残った映像である。従って、入力映像にこの映像を差分した映像は、入力映像の水平方向高周波だけ取り出した映像になる。すなわち、水平方向の低周波通過フィルタを介して、映像の水平方向に対する高周波映像と、水平方向に対する中周波映像、低周波映像を分離することができる。
【００５９】
その後、水平方向に、中周波映像、低周波映像に垂直方向の低周波通過フィルタを通過させれば、垂直方向、水平方向に対する中周波映像、低周波映像と垂直方向だけ高周波である映像（高周波の垂直成分）を分離することができる。
【００６０】
一方、先に分離した水平方向高周波映像に、垂直方向の低周波通過フィルタを通過させれば、水平方向だけ高周波である映像（高周波の水平成分）と、垂直、水平いずれも高周波である映像（高周波の対角成分）を分離することができる。
【００６１】
従って、初期入力映像が、水平方向の低周波通過フィルタと、垂直方向の低周波通過フィルタとを通過し、中・低周波成分、高周波の垂直成分，水平成分，対角成分の全４成分に分けることができる。入力映像から分離された４種成分に係わる結果式は、次の通りである。
【００６２】
【数１２】
2014110633.tif 000014
【００６３】
周波数補償部では、１×５の水平方向の低周波通過フィルタ（low pass filter）と、５×１の垂直方向低周波通過フィルタとを利用して、低解像度多重帯域フィルタ配列映像４１０，４２０，４３０，４４０と、高解像度ベース映像４００との垂直方向高周波成分、水平方向高周波成分、対角方向高周波成分、及び低周波＋中周波成分をそれぞれ分離する。
【００６４】
その場合、使用される１×５の水平方向の低周波通過フィルタと、５×１の垂直方向低周波通過フィルタとの係数は、図５Ｂ及び図６Ｂのように設定することができる。図５Ｂ及び図６Ｂに図示されたものは、一実施形態に該当するのみ、多様な変形が可能であるということに留意しなければならない。
【００６５】
高周波成分の分離が終わった後、中周波成分の分離過程の一実施形態は、図６Ａ及び図６Ｂ通りである。周波数補償部１２０（図１）では、高周波成分が除かれ、中周波及び低周波が混用された低解像度多重帯域フィルタ配列映像４１０，４２０，４３０，４４０と、高解像度のベース映像４００とで、垂直方向中周波成分、水平方向中周波成分、対角方向中周波成分、及び低周波成分をそれぞれ分離する。
【００６６】
高周波領域で行ったように、水平方向の低周波通過フィルタと、垂直方向の低周波通過フィルタとを通過させ、差分映像を求める過程を介して、中周波の垂直成分、水平成分、対角成分を映像の低周波成分から分離させる。
【００６７】
その結果、中・低周波成分の映像から、低周波成分、中周波の垂直成分，水平成分，対角成分の４種成分を分離することができる。入力映像から分離された４種成分に係わる結果式は、次の通りである。
【００６８】
【数１３】
2014110633.tif 000015
【００６９】
その場合、使用される１×９の水平方向の低周波通過フィルタと、９×１の垂直方向低周波通過フィルタとの係数は、図６Ｂのように設定することができる。図６Ｂに図示されたものは、一実施形態に該当するだけであり、多様な変形が可能であるということに留意しなければならない。
【００７０】
図７は、ベースチャネルを利用した各方向周波数成分を復元する事例を図示している。
【００７１】
その後、高周波検出部を通過した多重帯域フィルタ配列映像４１０，４２０，４３０，４４０の高周波成分（ＭＳＶＨＦ，ＭＳＨＨＦ，ＭＳＤＨＦ、及び中周波成分ＭＳＶＭＦ，ＭＳＨＭＦ，ＭＳＤＭＦに対応する高解像度のベース映像４００の高周波成分BaseＶＨＦ，BaseＨＨＦ，BaseＤＨＦ、及び中周波成分BaseＶＭＦ，BaseＨＭＦ，BaseＤＭＦを利用して、高解像度の多重帯域フィルタ配列映像４１１，４２１，４３１，４４１
【数１４】
2014110633.tif 000016
を獲得する。
【００７２】
水平、垂直及び対角線の各方向別に特徴を検出する図８を参照すれば、多重帯域フィルタ配列映像（多重帯域（multispectral）映像）とベース映像との高周波成分及び中周波成分をして高周波検出部を通過させ、エネルギー値Ｅｎを抽出する（Ｓ４２０；図４）。抽出された多重帯域フィルタ配列映像のエネルギー値、とベース映像のエネルギー値とを、垂直方向、水平方向、対角方向に、周波数成分ごとに比較した後、数式６のように加重和（weghted sum）を行う。これを介して、多重帯域フィルタ配列映像の中周波成分及び高周波成分を復元し、高解像度の多重帯域フィルタ配列映像４１１，４２１，４３１，４４１（図４）を獲得する。
【００７３】
【数１５】
2014110633.tif 000017
【００７４】
数式６は、各チャネル間高周波成分が同一であると仮定する色差モデル（color difference model）方式に基づく。本発明の望ましい一実施形態では、数式６を介して、多重帯域フィルタ配列映像で毀損された中周波成分及び高周波成分を、高解像度のベース映像の中周波成分及び高周波成分に転換するか、あるいは加重和を介して補強する。
【００７５】
その場合、低解像度多重帯域フィルタ配列映像の中周波成分及び高周波成分と、ベース映像の中周波成分及び高周波成分それぞれに、加重値ＣＭＳｄｋ（ｉ．ｊ）及びＣBaseｄｋ（ｉ．ｊ）を付与し、前記加重値は、低解像度の多重帯域フィルタ配列映像のエッジと、ベース映像のエッジとのうち、エッジのエネルギーが大きい映像値の比重が大きいように設定される。
【００７６】
多重帯域（Multispectral）映像（ＭＳ＾ｋ，ｄｉｒ）及びベース映像（Base＾ｋ，ｄｉｒ）の周波数成分の（Ｃ＝Ｒ，Ｇ，Ｂ，Ｎ，ｋ＝中周波ＭＦ、高周波ＨＦ、ｄｉｒ＝垂直、水平、対角）成分がそれぞれの検出部を通過し、各方向に係わるローカルエネルギー（local energy：局所エネルギー）を求めれば、その大きさを比較し、多重帯域映像とベース映像に係わる重み係数（weight coefficient）（Ｃ＿ＭＳ＾ｋ，ｄｉｒ，Ｃ＿Base＾ｋ，ｄｉｒ）を以上のように求める。
【００７７】
多重帯域映像の高周波成分は、原信号のそれと比較したとき、全体的にその強度が弱い。従って、多重帯域映像のローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ）が、ベース映像のローカルエネルギー（Ｅ＿Base＾ｋ，ｄｉｒ）より小さければ、各ローカルエネルギーの比率によって、適切な比率（ratio）、すなわち、Ｅ＿ＭＳ＾ｋ，ｄｉｒ／（Ｅ＿ＭＳ＾ｋ，ｄｉｒ＋Ｅ＿Base＾ｋ，ｄｉｒ）を計算し、多重帯域映像とベース映像との各方向周波数成分に乗じて加重和を行い、最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。
【００７８】
一方、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）のローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ）が、ベース映像のローカルエネルギー（Ｅ＿Base＾ｋ，ｄｉｒ）より大きい場合には、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）にエイリアシングが発生した可能性を大きいので、Ｃ＿ＭＳ＾ｋ，ｄｉｒを０に設定し、多重帯域映像の周波数成分（ＭＳ＾ｋ，ｄｉｒ）の反映なしに、ベース映像の周波数成分（Base＾ｋ，ｄｉｒ）のみを使用して、高周波が補償された最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。
【００７９】
図９及び図１０は、周波数補償部１２０（図１）で、多重帯域フィルタ配列映像に、色差モデルを単に適用する場合に発生しうる問題を図示している。
【００８０】
本発明の望ましい一実施形態では、７００ｎｍ以上の広いＮＩＲ帯域を使用する多重帯域フィルタ配列映像を利用しており、色差モデルを単に適用する場合、既存のベイヤー型ＣＦＡ（Bayer ＣＦＡ）では示されなかった問題点が発生しうる。
【００８１】
図９に図示されているように、カラーチャートのような急激なエッジが存在し、そのエッジで、各チャネル間のエネルギーレベルが大きく差がある映像では、Ｒ，Ｇ，Ｂ，ＮＩＲ各チャネル間の光学系を通過した屈折率の差が大きいので、単に色差モデルを適用して補間した場合、シューティング（shooting）現象のようなアーティファクト９００が示されてしまう。
【００８２】
図１０は、カラーパッチ（color patch）でのオーバーシュート（overshoot）現象を図示している。
【００８３】
図１０は、カラーチャートの１パッチ（patch）を抜粋した映像に、相対的にＲチャネル１０１０のエネルギーレベルが、他のチャネルより高く、Ｂチャネル１０２０の場合、最も低いエネルギーレベルを有しているということが分かる。
【００８４】
また、カラーチャートの境界部分で、急激なエッジを形成しており、エネルギーレベル差を考慮せずに、単に色差モデルを適用し、全く同じエネルギーレベルの高周波で、再生成（reconstruction）を行う場合、相対的にエネルギーレベルが高いＲチャネル１０１０は、エッジ近傍の高周波が十分に補償されずにスムースになり、エネルギーレベルが低いＢチャネル１０２０の場合には、過度に高周波が補償され、オーバーシュートが発生する。これにより、各チャネル間エッジの不均一問題が生じ、後になって、色復元時に、エッジ近傍でのシューティング現象が著しくなる。
【００８５】
このような問題点を解決するために、本発明の望ましい一実施形態では、チャネル干渉抑制部１３０（図１）で、線形回帰方式を基に、周波数補償部１２０（図１）で獲得された高解像度の多重帯域フィルタ配列映像内の各チャネル間のエネルギーレベルを考慮し、各チャネル別カラー歪曲現象を除去する。
【００８６】
図１１は、本発明の望ましい一実施形態であって、周波数補償部１２０（図１）で、線形回帰方式を利用して、カラー歪曲を抑制する方法を図示している。
【００８７】
図１１でｘ軸は、中周波及び高周波で構成されたベース映像の周波数領域のエネルギーを示し、ｙ軸は、中周波及び高周波で構成された多重帯域フィルタ配列映像の周波数領域のエネルギーを示す。すなわち、５＊５の小さいローカルウィンドウ（local window：局所ウィンドウ）内のベース映像のエネルギー値をｘ軸に、多重帯域フィルタ配列の多重帯域（ＭＳ）映像のエネルギー値をｙ軸に対応させて二次元平面にマッピングさせる。
【００８８】
ローカルウィンドウ内で、ベース映像とＭＳ映像は、線形的な比例関係を有すると仮定する。ＭＳ映像とベース映像とのうち、中周波成分及び高周波成分のエネルギー比率を直線勾配（ｙ＝ａｘ＋ｂ）で求めることができる。
【００８９】
直線勾配ａは、数式７のように求めることができる。
【００９０】
【数１６】
2014110633.tif 000018
【００９１】
図４のエネルギー値Ｅｎを抽出する段階（Ｓ４２０）では、前述の線形回帰分析を介して求められた直線勾配ａを基に、各チャネル間のエネルギーレベル差を、数式６のように、追加して補正し、多重帯域フィルタ配列チャネルの中周波及び高周波を復元することができる。
【００９２】
【数１７】
2014110633.tif 000019
【００９３】
多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）とａ（ｉ，ｊ）とを乗じたベース映像（ａ（ｉ，ｊ）＊Base＾ｋ，ｄｉｒ）の周波数成分の（Ｃ＝Ｒ，Ｇ，Ｂ，Ｎ，ｋ＝中周波ＭＦ、高周波ＨＦ、ｄｉｒ＝垂直、水平、対角）成分がそれぞれの検出部を通過し、各方向に係わるローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ，ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）を求めれば、その大きさを比較し、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）とａ（ｉ，ｊ）とを乗じたベース映像（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）に係わる重み係数（Ｃ＿ＭＳ＾ｋ，ｄｉｒ，Ｃ＿Base＾ｋ，ｄｉｒ）を以上のように求める。
【００９４】
ここで、ａ（ｉ，ｊ）は、数式７を介して算出された値であり、映像の（ｉ，ｊ）位置での値を意味する。ａ（ｉ，ｊ）を乗じたベース映像（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）を求めれば、カラー歪曲の除去を防止するように、ベース映像の高周波成分（Ｅ＿Base＾ｋ，ｄｉｒ）が、多重帯域映像の高周波成分に合うように補正されたベース映像（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）として算出される。
【００９５】
多重帯域映像の高周波成分（ＭＳ＾ｋ，ｄｉｒ）は、原信号のそれと比較したとき、全体的にその強度が小さい。従って、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）のローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ）が、ａ（ｉ，ｊ）を乗じたベース映像のローカルエネルギー（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）より小さければ、各ローカルエネルギーの比率によって、適切な比率（ratio）、すなわち、Ｅ＿ＭＳ＾ｋ，ｄｉｒ／（Ｅ＿ＭＳ＾ｋ，ｄｉｒ＋ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）を計算し、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）とａ（ｉ，ｊ）とを乗じたベース映像（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）の各方向周波数成分に乗じて加重和を行い、最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。
【００９６】
一方、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）のローカルエネルギー（Ｅ＿ＭＳ＾ｋ，ｄｉｒ）が、ａ（ｉ，ｊ）を乗じたベース映像のローカルエネルギー（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）より大きい場合には、多重帯域映像（ＭＳ＾ｋ，ｄｉｒ）にエイリアシングが発生した可能性が高いために、Ｃ＿ＭＳ＾ｋ，ｄｉｒを０に設定し、多重帯域映像の周波数成分（ＭＳ＾ｋ，ｄｉｒ）の反映なしに、ａ（ｉ，ｊ）を乗じたベース映像の周波数成分（ａ（ｉ，ｊ）＊Base＾ｋ，ｄｉｒ）のみを使用して、高周波が補償された最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。
【００９７】
最後に、ａ（ｉ，ｊ）を乗じたベース映像のローカルエネルギー（ａ（ｉ，ｊ）＊Ｅ＿Base＾ｋ，ｄｉｒ）が０より小さい場合には、ベース映像にすでに非正常的なエイリアシングが発生しているので、Ｃ＿ＭＳ＾ｋ，ｄｉｒを１に設定し、ａ（ｉ，ｊ）を乗じたベース映像の周波数成分を、（ａ（ｉ，ｊ）＊Base＾ｋ，ｄｉｒ）最終映像に全く反映させず、多重帯域映像の周波数成分（ＭＳ＾ｋ，ｄｉｒ）のみを使用して、高周波が補償された最終映像（ｂａｒ＿ＭＳ＾ｋ，ｄｉｒ（ｉ，ｊ））を算出する。
【００９８】
図１２は、各チャネル間のエネルギーレベルを補正する前のカラーパッチ映像を図示している。
【００９９】
各チャネル間のエネルギーレベル差を考慮せずに、単に色差モデルを適用した場合、エネルギーレベルが大きいＲチャネルでは、中周波成分及び高周波成分が不十分に復元されてエッジ領域が滑らかになった（１２１０）。一方、相対的にエネルギーレベルが小さいＢチャネルでは、中周波成分及び高周波成分が過度に復元されてオーバーシュート（overshoot）が生じた（１２２０）。
【０１００】
図１３は、本発明の望ましい一実施形態であって、線形回帰方法を利用して、各チャネル間のエネルギーレベルを補正し、カラー歪曲を抑制した一実施形態を図示している。
【０１０１】
本発明の望ましい一実施形態として、チャネル干渉抑制部１３０（図１）で線形回帰分析を適用し、各チャネル間のエネルギーレベル差を考慮して復元したＭＳ映像では、エネルギーレベルが大きいＲチャネルの中周波成分及び高周波成分が多く補強され、エネルギーレベルが小さいＢチャネルの中周波成分及び高周波成分が少なく補強されるので、全てのチャネルでエッジが一定に維持され、オーバーシュートなどの問題点が解決された。
【０１０２】
図１４は、本発明の望ましい一実施形態であって、チャネル干渉が発生する原因を図示している。
【０１０３】
多重帯域フィルタ配列パターン映像の各チャネルに対して、適応的補間部１１０（図１）で解像度を復元し、低解像度の多重帯域フィルタ配列映像を獲得した後、周波数補償部１２０（図１）で高周波補償及び中周波補償を行った後にも、エイリアシングによる擬似カラーアーティファクトが残っていることがある。
【０１０４】
かような問題点が発生する原因は、図１４に図示されているように、１４１０領域で、各チャネル別に、補間のための周辺ピクセル値のサポート（support）を受けるとき、各チャネル１４１１，１４１２，１４１３，１４１４別に矢印表示されているように、考慮される周辺ピクセル位置がそれぞれ異なり、その間に込められているチャネルの情報もその都度異なるからである。その結果、各チャネル別に、補間を介して求められるエッジの方向や高周波の情報は、図１４の矢印方向のように、互いに類似した方向を向いてはいるが、微細にその方向が異なってチャネル干渉が発生する。
【０１０５】
かような問題点を解決するために、本発明の望ましい一実施形態では、図１５ないし図１８のように、Ｒ，Ｇ，Ｂ及びＮＩＲチャネルそれぞれの干渉を抑制する。図１５ないし図１８は、Ｒ，Ｇ，Ｂ及びＮＩＲチャネルそれぞれで、チャネル干渉を除去する概念図を図示している。
【０１０６】
図１５の一例を参照し、Ｇチャネルでチャネル間干渉を抑制する例について説明すれば、次の通りである。Ｒ，Ｂ及びＮＩＲチャネルで、チャネル干渉を抑制する方法は、実質的に同一であるか、あるいは類似しているので、以下の説明に替える。
【０１０７】
Ｇチャネルで、チャネル間干渉を抑制するためには、高解像度のベースチャネル情報、Ｒ，Ｂ及びＮＩＲチャネル情報が必要である。その場合、ベース（Base）チャネル値は、数式９のように、新たに求めることができる。
【０１０８】
【数１８】
2014110633.tif 000020
【０１０９】
数式９で求めたベースチャネル情報を利用して、Ｇｍ，ｎチャネルのチャネル干渉は、数式１０のように抑制することができる。基本的な過程は、カラー補間アルゴリズムと非常に類似している。すなわち、Ｇｍ＋ａ，ｎ＋ｂ−Baseｍ＋ａ，ｎ＋ｂチャネルの差分値にα加重値を付与した和が、最終的に、チャネル干渉が抑制されたＧｍ，ｎチャネルとBaseｍ，ｎチャネルとの差分値と互いに同じであるという仮定に基づく。
【０１１０】
【数１９】
2014110633.tif 000021
【０１１１】
数式１０で、加重値であるαｍ，ｎ，ｍ＋ａ，ｎ＋ｂ値は、数式１１のように求められる。
【０１１２】
【数２０】
2014110633.tif 000022
【０１１３】
数式１１で、
【数２１】
2014110633.tif 000023
と関数ｇ（ｘ）は、数式１２のように定義される。
【０１１４】
【数２２】
2014110633.tif 000024
【０１１５】
本発明の望ましい一実施形態では、チャネル干渉が除去された推定値
【数２３】
2014110633.tif 000025
を求めるために、ベースチャネル、Ｒ，Ｂ及びＮＩＲチャネルの値を、数式１３のように利用する。
【０１１６】
【数２４】
2014110633.tif 000026
【０１１７】
数式１３を介して、Ｇチャネルとベース，Ｒ，Ｂ及びＮＩＲチャネルとの間に発生しうるチャネル干渉が除去された４個の推定値
【数２５】
2014110633.tif 000027
をそれぞれ求め、推定値の加重値和を求め、数式１４のように、最終的にチャネル干渉が抑制された推定値を求める。
【０１１８】
【数２６】
2014110633.tif 000028
【０１１９】
数式１４で、各チャネルに係わる加重値
【数２７】
2014110633.tif 000029
は、数式１５のように求められる。
【０１２０】
【数２８】
2014110633.tif 000030
【０１２１】
数式１５で、
【数２９】
2014110633.tif 000031
の値は、数式１６のように求められる。
【０１２２】
【数３０】
2014110633.tif 000032
【０１２３】
本発明の他の望ましい一実施形態で、ＮＩＲチャネルの場合には、色飽和によるチャネル干渉を考慮しないこともある。その場合、ＮＩＲチャネルは、数式１７のように、Ｒ，Ｇ，Ｂチャネルを考慮せずに、ベースチャネルとのチャネル干渉だけ除去した推定値を使用することができる。
【０１２４】
【数３１】
2014110633.tif 000033
【０１２５】
本発明の実施形態は、ＲＧＢピクセル構造とＮＩＲピクセル構造とを有するセンサを利用したデジタルカメラシステム、特に、監視カメラ分野に適用することができる。
【０１２６】
図１９は、本発明の望ましい一実施形態であって、カメラシステムを概略的に図示したブロック図である。
【０１２７】
図１９を参照すれば、カメラシステム１は、映像センサ１０と、映像処理装置３０、ディスプレイ装置５０を含む。カメラシステム１は、デジタルカメラ、カムコーダ、監視カメラのような映像撮影システムでもあり、コンピュータ、ＰＤＡ、ＰＭＰ、モバイルホンなどに搭載されてもよい。
【０１２８】
映像センサ１０は、ＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal−oxide semiconductor）などの光電変換素子を利用する。映像センサ１０は、光電変換素子によって、、光信号を電気的映像信号に転換する多数のピクセルが形成されたピクセルアレイを具備する。映像センサ１０上には、可視帯域及び非可視帯域の光を通過させる多重帯域フィルタ配列が配置される。多重帯域フィルタ配列は、可視帯域のうち、ＲＧＢなどの特定色の光成分を透過させるカラーフィルタと、非可視帯域のうち、近赤外線領域の光成分を透過させる近赤外線フィルタとを含む。
【０１２９】
多重帯域フィルタ配列のカラーフィルタＲＣＦ，ＧＣＦ，ＢＣＦと、近赤外線フィルタＮＩＲＦは、映像センサ１０の各ピクセルに対応するように配置され、映像センサ１０の各ピクセルは、多重帯域フィルタ配列を通過したカラーチャネル信号Ｒ，Ｇ，Ｂと、近赤外線チャネル信号ＮＩＲとを感知する。
【０１３０】
映像センサ１０の前端には、光信号を受信するレンズ（図示せず）が具備されれもする。
【０１３１】
映像処理装置３０は、多重帯域フィルタ配列を具備する映像センサのＲＧＢカラーピクセルと、近赤外線ＮＩＲピクセルとに入力されている情報をいずれも活用し、アーティファクトが最小化された高解像度の多重帯域フィルタ配列映像を出力する。
【０１３２】
一方、本発明は、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードで具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。本発明を具現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論されるであろう。
【０１３３】
以上、本発明について望ましい実施例を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明の本質的な特性から外れない範囲で変形された形態で、本発明を具現することができるということを理解するであろう。従って、前記開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【産業上の利用可能性】
【０１３４】
本発明の映像処理装置及びその方法は、例えば、カメラシステム関連の技術分野に効果的に適用可能である。
【符号の説明】
【０１３５】
１    カメラシステム
１０    映像センサ
３０，１００     映像処理装置
５０    ディスプレイ装置
１１０    適応的補間部
１２０    周波数補償部
１３０    チャネル干渉抑制部
２１０，３００    多重帯域フィルタ配列パターン映像
２２０，３１０    ５点形パターン映像
４００    ベース映像
４１０，４２０，４３０，４４０    低解像度多重帯域フィルタ配列映像
【図１】
2014110633.tif 000034
【図２】
2014110633.tif 000035
【図３】
2014110633.tif 000036
【図４】
2014110633.tif 000037
【図５Ａ】
2014110633.tif 000038
【図５Ｂ】
2014110633.tif 000039
【図６Ａ】
2014110633.tif 000040
【図６Ｂ】
2014110633.tif 000041
【図７】
2014110633.tif 000042
【図８】
2014110633.tif 000043
【図９】
2014110633.tif 000044
【図１０】
2014110633.tif 000045
【図１１】
2014110633.tif 000046
【図１２】
2014110633.tif 000047
【図１３】
2014110633.tif 000048
【図１４】
2014110633.tif 000049
【図１５】
2014110633.tif 000050
【図１６】
2014110633.tif 000051
【図１７】
2014110633.tif 000052
【図１８】
2014110633.tif 000053
【図１９】
2014110633.tif 000054