(57)【要約】【課題】映像処理方法及びその装置を提供する。【解決手段】ＭＦＡパターン映像のカラーチャネル及び近赤外線チャネルの周波数特性を分析し、エイリアシングを相殺する段階、エイリアシングが除去されたカラーチャネル及び近赤外線チャネルの解像度を、Base映像の解像度ほど増幅させて高解像度のBase映像を生成する段階、及び生成されたBase映像をブラーさせたブラー映像と、生成されたBase映像とのピクセル差値を基に、ブラー映像と、生成されたBase映像とに加重値を付与し、生成されたBase映像で歪曲現象を相殺する段階を含む映像処理方法である。【選択図】図１
2014116934.tif 000002
【特許請求の範囲】
【請求項１】
ＭＦＡ（multi-spectral  filter  array）パターン映像のカラーチャネル及び近赤外線チャネルの周波数特性を分析し、エイリアシングを相殺する段階と、
前記エイリアシングが除去された前記カラーチャネル及び近赤外線チャネルの解像度を、Base映像の解像度ほど増幅させて高解像度のBase映像を生成する段階と、
前記生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与した後で合わせ、前記生成されたBase映像で歪曲現象を相殺する段階と、を含むことを特徴とする映像処理方法。
【請求項２】
前記エイリアシングを相殺する段階は、
前記カラーチャネル及び近赤外線チャネルで異なって示される相特性を考慮し、前記ＭＦＡパターン映像のカラーチャネル及び近赤外線チャネルを合わせることを特徴とする請求項１に記載の映像処理方法。
【請求項３】
前記高解像度のBase映像を生成する段階で、
前記エイリアシングが除去されたそれぞれの前記カラーチャネル及び前記近赤外線チャネルを、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させることを特徴とする請求項１に記載の映像処理方法。
【請求項４】
前記Ｓｉｎｃ関数は、０．５Π以上のカットオフ周波数を利用することを特徴とする請求項３に記載の映像処理方法。
【請求項５】
前記Ｓｉｎｃ関数のカットオフ周波数Ｗｃは、前記ＭＦＡパターン映像で求められた局所領域の統計的特性によって適応的に設定され、その場合、カットオフ周波数Ｗｃは、前記局所領域の変化量が多い場合、前記Ｓｉｎｃ関数のパスバンドを高めるように設定され、前記局所領域の変化量が少ない場合、前記Ｓｉｎｃ関数のパスバンドを低めるように設定されることを特徴とする請求項３に記載の映像処理方法。
【請求項６】
Base（ｉ，ｊ）＝（Ｇｓ（ｉ，ｊ）＋Ｎｓ（ｉ，ｊ）＋Ｒｓ（ｉ，ｊ）＋Ｂｓ（ｉ，ｊ））＊Ｓｉｎｃ（ｉ，ｊ）であり、
Ｒｓ（ｉ，ｊ）、Ｇｓ（ｉ，ｊ）及びＢｓ（ｉ，ｊ）は、前記ＭＦＡパターン映像のカラーチャネルを、Ｎｓ（ｉ，ｊ）は、前記ＭＦＡパターン映像の近赤外線チャネルを示し、前記カラーチャネル及び前記近赤外線チャネルの和を介してエイリアシングが除去され、前記Ｓｉｎｃ（ｉ，ｊ）関数を介して、Base映像の解像度ほど増幅されることを特徴とする請求項３に記載の映像処理方法。
【請求項７】
前記Ｓｉｎｃ関数のカットオフ周波数Ｗｃは、前記局所領域の変化量の値を変数とするｔａｎｈ関数に基づいて設定されることを特徴とする請求項３に記載の映像処理方法。
【請求項８】
前記Ｓｉｎｃ関数のカットオフ周波数は、
【数１】
2014116934.tif 000016
のように適応的に設定され、その場合、ｘは、
【数２】
2014116934.tif 000017
のように設定され、
ｘは、適応的なカットオフ周波数を求めるための入力であり、Ｓカーブ（ｔａｎｈ）加重値によって調節された局所領域の分散を示し、ｐとｋは、局所変化量を調節するファクタであることを特徴とする請求項３または７に記載の  映像処理方法。
【請求項９】
前記歪曲現象を相殺する段階は、
前記生成されたBase映像をブラーさせたブラー映像、及び前記生成されたBase映像それぞれに加重値を付与した後で合わせ、歪曲現象を相殺し、その場合、
歪曲現象が多いと把握されれば、前記ブラー映像に加重値を多く付与し、歪曲現象が少ないと把握されれば、前記生成されたBase映像に加重値を多く付与し、前記ブラー映像に付与する加重値、及び前記生成されたBase映像に付与する加重値の和は、１であることを特徴とする請求項１に記載の映像処理方法。
【請求項１０】
ＭＦＡ（multi-spectral  filter  array）パターン映像のカラーチャネル及び近赤外線チャネルの周波数特性を分析し、前記カラーチャネル及び近赤外線チャネルそれぞれの相特性が互いに相殺されるように、前記カラーチャネル及び近赤外線チャネルを合わせてエイリアシングを相殺する段階と、
前記エイリアシングが除去された前記カラーチャネル及び近赤外線チャネルの解像度を、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させて高解像度のBase映像を生成し、前記Ｓｉｎｃ関数のカットオフ周波数を、前記ＭＦＡパターン映像で求められた局所領域の統計的特性によって、適応的に設定する段階と、
前記生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与した後で合わせ、前記生成されたBase映像で歪曲現象を相殺する段階と、を含むことを特徴とする映像処理方法。
【請求項１１】
Base（ｉ，ｊ）＝（Ｇｓ（ｉ，ｊ）＋Ｎｓ（ｉ，ｊ）＋Ｒｓ（ｉ，ｊ）＋Ｂｓ（ｉ，ｊ））＊Ｓｉｎｃ（ｉ，ｊ）であり、
Ｒｓ（ｉ，ｊ）、Ｇｓ（ｉ，ｊ）及びＢｓ（ｉ，ｊ）は、前記ＭＦＡパターン映像のカラーチャネルを、Ｎｓ（ｉ，ｊ）は、前記ＭＦＡパターン映像の近赤外線チャネルを示し、前記カラーチャネル及び前記近赤外線チャネルの和を介してエイリアシングが除去され、前記Ｓｉｎｃ（ｉ，ｊ）関数を介して、Base映像の解像度ほど増幅され、前記高解像度のBase映像が生成されることを特徴とする請求項１０に記載の映像処理方法。
【請求項１２】
前記Ｓｉｎｃ関数のカットオフ周波数Ｗｃは、前記ＭＦＡパターン映像で求められた局所領域の統計的特性によって適応的に設定され、その場合、カットオフ周波数Ｗｃは、前記局所領域の変化量が多い場合、前記Ｓｉｎｃ関数のパスバンドを高めるように設定され、前記局所領域の変化量が少ない場合、前記Ｓｉｎｃ関数のパスバンドを低めるように設定されることを特徴とする請求項１０に記載の映像処理方法。
【請求項１３】
前記Ｓｉｎｃ関数のカットオフ周波数は、
【数３】
2014116934.tif 000018
のように適応的に設定され、その場合、ｘは、
【数４】
2014116934.tif 000019
のように設定され、
ｘは、適応的なカットオフ周波数を求めるための入力であり、Ｓカーブ（ｔａｎｈ）加重値によって調節された局所領域の分散を示し、ｐとｋは、局所変化量を調節するファクタであることを特徴とする請求項１０に記載の映像処理方法。
【請求項１４】
前記歪曲現象を相殺する段階は、
前記生成されたBase映像をブラーさせたブラー映像、及び前記生成されたBase映像それぞれに加重値を付与した後で合わせ、歪曲現象を相殺し、その場合、
歪曲現象が多いと把握されれば、前記ブラー映像に加重値を多く付与し、歪曲現象が少ないと把握されれば、前記生成されたBase映像に加重値を多く付与し、前記ブラー映像に付与する加重値、及び前記生成されたBase映像に付与する加重値の和は、１であることを特徴とする請求項１０に記載の映像処理方法。
【請求項１５】
ＭＦＡ（multi-spectral  filter  array）パターン映像のカラーチャネル及び近赤外線チャネルの周波数特性を分析し、エイリアシングを相殺するエイリアシング相殺部と、
前記エイリアシングが除去された前記カラーチャネル及び近赤外線チャネルの解像度を、Base映像の解像度ほど増幅させて高解像度のBase映像を生成する高解像度Base映像生成部と、
前記生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与した後で合わせ、前記生成されたBase映像で歪曲現象を相殺する歪曲相殺部と、を含むことを特徴とする映像処理装置。
【請求項１６】
前記エイリアシング相殺部は、
前記カラーチャネル及び近赤外線チャネルで異なって示される相特性を考慮し、前記ＭＦＡパターン映像のカラーチャネル及び近赤外線チャネルを合わせることを特徴とする請求項１５に記載の映像処理装置。
【請求項１７】
前記高解像度Base映像生成部は、
前記エイリアシングが除去されたそれぞれの前記カラーチャネル及び前記近赤外線チャネルを、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させることを特徴とする請求項１５に記載の映像処理装置。
【請求項１８】
前記Ｓｉｎｃ関数のカットオフ周波数Ｗｃは、
前記ＭＦＡパターン映像で求められた局所領域の統計的特性によって適応的に設定され、その場合、カットオフ周波数Ｗｃは、前記局所領域の変化量が多い場合、前記Ｓｉｎｃ関数のパスバンドを高めるように設定され、前記局所領域の変化量が少ない場合、前記Ｓｉｎｃ関数のパスバンドを低めるように設定されることを特徴とする請求項１７に記載の映像処理装置。
【請求項１９】
前記歪曲相殺部は、
前記生成されたBase映像をブラーさせたブラー映像、及び前記生成されたBase映像それぞれに加重値を付与した後で合わせ、歪曲現象を相殺し、その場合、
歪曲現象が多いと把握されれば、前記ブラー映像に加重値を多く付与し、歪曲現象が少ないと把握されれば、前記生成されたBase映像に加重値を多く付与し、前記ブラー映像に付与する加重値、及び前記生成されたBase映像に付与する加重値の和は、１であることを特徴とする請求項１５に記載の映像処理装置。
【請求項２０】
ＭＦＡ（multi-spectral  filter  array）パターン映像のカラーチャネル及び近赤外線チャネルの周波数特性を分析し、前記カラーチャネル及び近赤外線チャネルそれぞれの相特性が互いに相殺されるように、前記カラーチャネル及び近赤外線チャネルを合わせてエイリアシングを相殺するエイリアシング相殺部と、
前記エイリアシングが除去された前記カラーチャネル及び近赤外線チャネルの解像度を、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させて高解像度のBase映像を生成し、前記Ｓｉｎｃ関数のカットオフ周波数を、前記ＭＦＡパターン映像で求められた局所領域の統計的特性によって適応的に設定する高解像度Base映像生成部と、
前記生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与した後で合わせ、前記生成されたBase映像で歪曲現象を相殺する歪曲相殺部と、を含むことを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＦＡ（multi-spectral  filter  array）パターン映像処理に係り、さらに詳細には、ＭＦＡパターン映像の解像度改善及び歪曲現象改善を介して、高解像度映像を生成する映像処理方法に関する。
【背景技術】
【０００２】
可視光線帯域の映像と非可視帯域のＮＩＲ（near-infrared）映像とを同時に獲得するために、多重帯域フィルタ配列（ＭＦＡ）を使用して、各チャネルの映像を同時に獲得した。
【０００３】
しかし、ＭＦＡを介して獲得したパターン映像では、各カラーチャネル及びＮＩＲチャネルがサブサンプリングされて映像が獲得されることにより、解像度の低いという問題点がある。なお、当該技術分野の先行技術文献として、特許文献１及び２がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７２５１３４５Ａ号明細書
【特許文献２】特開２０１２−０６０６０２Ａ号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、可視帯域の映像と、非可視帯域のＮＩＲ映像とを同時に獲得する場合、各映像の解像度が制限されるという問題点を解決することである。
【０００６】
本発明が解決しようとする課題はまた、映像処理装置及び方法において、低解像度のＭＦＡパターン映像を入力映像として受け、高解像度のBase映像を生成することである。
【０００７】
詳細には、多重帯域フィルタ（multi-spectral  filter）を介して獲得されるカラーチャネルと、ＮＩＲチャネルとで獲得した低解像度のＭＦＡパターン映像から、高解像度のBase映像を生成するものであり、その場合、高周波情報を多く含みながら、アーティファクトが少ない高解像度映像を生成するものである。
【課題を解決するための手段】
【０００８】
本発明の望ましい一実施形態で、ＭＦＡパターン映像のカラーチャネル及びＮＩＲチャネルの周波数特性を分析し、エイリアシングを相殺する段階と、前記エイリアシングが除去された前記カラーチャネル及びＮＩＲチャネルの解像度を、Base映像の解像度ほど増幅させて高解像度のBase映像を生成する段階と、前記生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与し、前記生成されたBase映像で歪曲現象を相殺する段階と、を含むことを特徴とする。
【０００９】
望ましくは、エイリアシングを相殺する段階は、前記カラーチャネル及びＮＩＲチャネルで異なって示される相特性を考慮し、前記カラーチャネル及び前記ＮＩＲチャネルを合わせることを特徴とする。
【００１０】
望ましくは、前記増幅させる段階で、前記エイリアシングが除去されたそれぞれの前記カラーチャネル及び前記ＮＩＲチャネルを、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させることを特徴とする。
【００１１】
その場合、Ｓｉｎｃ関数のカットオフ周波数Ｗｃは、前記ＭＦＡパターン映像で求められた局所領域の統計的特性によって適応的に設定され、その場合、カットオフ周波数Ｗｃは、前記局所領域の変化量が多い場合、前記Ｓｉｎｃ関数のパスバンド（pass-band）を高めるように設定され、前記局所領域の変化量が少ない場合、前記Ｓｉｎｃ関数のパスバンドを低めるように設定されることを特徴とする。
【００１２】
詳細には、前記Ｓｉｎｃ関数のカットオフ周波数Ｗｃは、前記局所領域の変化量の値を変数とするｔａｎｈ関数に基づいて設定されることを特徴とする。
【００１３】
望ましくは、歪曲現象を相殺する段階は、前記生成されたBase映像をブラーさせたブラー映像、及び前記生成されたBase映像それぞれに加重値を付与した後で合わせ、歪曲現象を相殺し、その場合、歪曲現象が多いと把握されれば、前記ブラー映像に加重値を多く付与し、歪曲現象が少ないと把握されれば、前記生成されたBase映像に加重値を多く付与し、前記ブラー映像に付与する加重値、及び前記生成されたBase映像に付与する加重値の和は、１であることを特徴とする。
【００１４】
本発明の他の望ましい一実施形態として、映像処理方法は、ＭＦＡパターン映像のカラーチャネル及びＮＩＲチャネルの周波数特性を分析し、前記カラーチャネル及びＮＩＲチャネルそれぞれの相特性が互いに相殺されるように、前記カラーチャネル及びＮＩＲチャネルを合わせてエイリアシングを相殺する段階と、前記エイリアシングが除去された前記カラーチャネル及びＮＩＲチャネルの解像度を、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させて高解像度のBase映像を生成し、前記Ｓｉｎｃ関数のカットオフ周波数を、前記ＭＦＡパターン映像で求められた局所領域の統計的特性によって適応的に設定する段階と、前記生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与した後で合わせ、前記生成されたBase映像で歪曲現象を相殺する段階と、を含むことを特徴とする。
【００１５】
本発明のさらに他の望ましい一実施形態として、映像処理装置は、ＭＦＡパターン映像のカラーチャネル及びＮＩＲチャネルの周波数特性を分析し、エイリアシングを相殺するエイリアシング相殺部と、前記エイリアシングが除去された前記カラーチャネル及びＮＩＲチャネルの解像度を、Base映像の解像度ほど増幅させて高解像度のBase映像を生成する高解像度Base映像生成部と、前記生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与した後で合わせ、前記生成されたBase映像で歪曲現象を相殺する歪曲相殺部と、を含むことを特徴とする。
【００１６】
本発明のさらに他の望ましい一実施形態として、映像処理装置は、ＭＦＡパターン映像のカラーチャネル及びＮＩＲチャネルの周波数特性を分析し、前記カラーチャネル及びＮＩＲチャネルそれぞれの相特性が互いに相殺されるように、前記カラーチャネル及びＮＩＲチャネルを合わせてエイリアシングを相殺するエイリアシング相殺部と、前記エイリアシングが除去された前記カラーチャネル及びＮＩＲチャネルの解像度を、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させて高解像度のBase映像を生成し、前記Ｓｉｎｃ関数のカットオフ周波数を、前記ＭＦＡパターン映像で求められた局所領域の統計的特性によって適応的に設定する高解像度Base映像生成部と、前記生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与した後で合わせ、前記生成されたBase映像で歪曲現象を相殺する歪曲相殺部と、を含むことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、ＭＦＡパターン映像のサブサンプリングされたカラーチャネル及びＮＩＲチャネルの周波数特性を基に、エイリアシングを除去し、カーネルを通過させて高解像度のBase映像を獲得することができる。また、入力映像の局所的統計特性を利用して、歪曲現象を相殺することにより、高解像度の歪曲が除去された映像を獲得することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の望ましい一実施形態として、映像処理装置の内部構成図を図示する図面である。
【図２】本発明の望ましい一実施形態として、映像処理装置の入力映像であるＭＦＡパターン映像の一例を図示する図面である。
【図３】本発明の望ましい一実施形態として、映像処理装置の入力映像であるＭＦＡパターン映像のチャネル別スペクトルの一例を図示する図面である。
【図４Ａ】ＭＦＡパターン映像の単一チャネルを利用してBase映像を生成した場合を図示する図面である。
【図４Ｂ】ＭＦＡパターン映像の４個チャネルを利用してBase映像を生成した場合を図示する図面である。
【図５】本発明の望ましい一実施形態として、ＭＦＡパターン映像の各チャネルの周波数特性を図示する図面である。
【図６】本発明の望ましい一実施形態として、ＭＦＡパターン映像の各チャネルの周波数特性を考慮して、エイリアシングを除去する一実施形態を図示する図面である。
【図７】本発明の望ましい一実施形態として、高解像度のBase映像を生成する概念図を図示する図面である。
【図８】パスバンドによるＳｉｎｃ関数の周波数軸での応答を図示する図面である。
【図９】本発明の望ましい一実施形態として、入力映像の局所領域別統計的特性を示す図面である。
【図１０】本発明の望ましい一実施形態として、入力映像の局所領域別統計的特性を反映してカーネルを設計する例を図示する図面である。
【図１１】本発明の望ましい一実施形態として、入力映像の局所領域別統計的特性を反映してカーネルを設計する例を図示する図面である。
【図１２】局所変化量によってカットオフ周波数を設定するために、ｔａｎｈ関数（hyperbolic  tangent）を利用した場合を図示する図面である。
【図１３】本発明の望ましい一実施形態として、ＭＦＡパターン映像から、高解像度のBase映像を生成する映像処理方法のフローチャートを図示する図面である。
【発明を実施するための形態】
【００１９】
本明細書で使用された用語は、実施形態について説明するためのものであり、本発明を制限するものではない。本明細書で、単数形は、文言で特別に言及しない限り、複数形も含む。明細書で使用される「含む（comprises）」及び／または「含むところの（comprising）」は、言及された構成要素、段階、動作及び／または素子が、一つ以上の他の構成要素、段階、動作及び／または素子の存在または追加を排除するものではない。
【００２０】
取り立てた定義がなければ、本明細書で使用される全ての用語（技術的用語及び科学的用語を含む）は、本発明が属する技術分野で当業者に、共通して理解される意味で使用されるものである。また、一般的に使用される事前に定義されている用語は、明白に特別に定義されていない限り、理想的にまたは過度に解釈されるものではない。
【００２１】
図１は、本発明の望ましい一実施形態であり、映像処理装置の内部構成図を図示している。
【００２２】
図１の映像処理装置１００の一例としては、カメラ・システムなどがあり、カメラ・システムは、デジタルカメラ、カムコーダ、監視カメラのような映像撮影システムでもあり、コンピュータ、ＰＤＡ（personal  digital  assistant）、ＰＭＰ（portable  multimedia  player）、モバイルフォンなどに搭載される。
【００２３】
図１の映像処理装置１００は、カラーフィルタ及び近赤外線（ＮＩＲ：near-infrared）フィルタを含むマルチ帯域フィルタアレイ（ＭＦＡ：multi-spectral  filter  array）を具備した映像センサから出力されるＭＦＡパターン映像を入力映像として受信する。
【００２４】
本発明の望ましい一実施形態として、映像処理装置１００は、低解像度のＭＦＡパターン映像を入力映像として受け、高周波情報を多く含みながらアーティファクト（artifact）が少ない高解像度Base映像を生成する。
【００２５】
このために、映像処理装置１００は、エイリアシング相殺部１１０、高解像度Base映像生成部１２０及び歪曲相殺部１３０を含む。
【００２６】
エイリアシング相殺部１１０は、ＭＦＡパターンの入力映像Ｓ１０１からＲ（red）、Ｇ（green）、Ｂ（blue）のカラーチャネル及び近赤外線（ＮＩＲ）チャネルの周波数特性を分析する。ＭＦＡパターンの入力映像はＲ，Ｇ，Ｂカラーチャネル及びＮＩＲチャネルがそれぞれ１／４にサブサンプリングされており、エイリアシングがはなはだしく生成される。
【００２７】
エイリアシング相殺部１１０は、かような問題点を解決するために、Ｒ，Ｇ，Ｂカラーチャネル及びＮＩＲチャネルの高周波成分が類似しているという仮定の下に、Ｒ，Ｇ，Ｂカラーチャネル及びＮＩＲチャネルの周波数特性を分析し、各チャネル別に反復的に異なって示される相特性（phase  characteristic）を考慮して、Ｒ，Ｇ，Ｂ及びＮＩＲの４チャネルを合わせてエイリアシングを相殺する。
【００２８】
詳細な内容は、図２及び図３のエイリアシング相殺部１１０の入力映像であるＭＦＡパターン映像の特性と、図４Ａないし図８に記述されたＭＦＡパターン映像で発生するエイリアシング、及びエイリアシングを相殺するために利用する相特性内容とを参考にする。
【００２９】
高解像度Base映像生成部１２０は、エイリアシング相殺部１１０でエイリアシングが除去されたＲ，Ｇ，Ｂ及びＮＩＲチャネルの解像度を、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させて高解像度のBase映像を生成する。
【００３０】
高解像度Base映像生成部１２０は、またＭＦＡパターン映像の局所領域の統計的特性によって、Ｓｉｎｃ関数のカットオフ周波数を適応的に設定し、高解像度のBase映像を生成する。詳細には、高解像度Base映像生成部１２０では、ＭＦＡパターン映像で、detailな領域では、前記カットオフ周波数を高め（Ｗｃhigh）、高周波部分の情報を多く復元し、ＭＦＡパターン映像で、flatな領域では、前記カットオフ周波数を低め（Ｗｃlow）、高周波部分の歪曲（artifact）情報を少なく通過させる。具体的な一実施形態は、図９ないし図１４を参考にする。
【００３１】
エイリアシング相殺部１１０及び高解像度Base映像生成部１２０を介して、Base映像の生成時、高解像度Base映像生成部１２０で、Base映像の解像度向上のために、Ｓｉｎｃ関数のカットオフ周波数を高める場合、高周波帯域にアーティファクトが残っていることがある。また、ＭＦＡを具備した映像センサのノイズが均一ではなく、高解像度Base映像生成部１２０で、Base映像の生成時、アーティファクトの一部が除去されないで残ることもある。
【００３２】
以上の問題点を解決するために、歪曲相殺部１３０は、高解像度Base映像生成部１２０で生成された高解像度Base映像をブラー（blurr）させたブラー映像と、高解像度Base映像生成部１２０で生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与し、高解像度Base映像生成部１２０で生成された高解像度Base映像の歪曲現象を相殺する。
【００３３】
図２及び図３は、ＭＦＡパターン映像の形態とスペクトル特性を図示している。
【００３４】
ＭＦＡパターン映像は、図２に図示されているように、各チャネルが１／４チャネル２１０，２２０，２３０，２４０にサブサンプリングされている。ＭＦＡパターン映像の各チャネルは、目標解像度の横０．５倍、縦０．５倍の低解像度チャネルの特徴を有する。ＭＦＡパターン映像の単一チャネルを利用して、Base映像を高解像度に再構成する場合、図４Ａのように、細密なエッジ成分が分けられずに、エイリアシングがはなはだしく発生する。
【００３５】
再び図３を参照すれば、ＭＦＡパターンの入力映像を構成するＲ，Ｇ，Ｂカラーチャネル及びＮＩＲチャネルのスペクトルは、チャネルのスペクトル間に、情報が重なるという特徴が示される。
【００３６】
従って、エイリアシングを最小にするためには、低解像度のＲ，Ｇ，Ｂ及びＮＩＲチャネルをいずれも利用して、１つのBase映像を獲得しなければならない（図４Ｂ参照）。
【００３７】
図４Ａ及び図４Ｂは、ＭＦＡパターン映像の単一チャネルを利用して、Base映像を生成した場合と、ＭＦＡパターン映像の４個チャネルを利用して、Base映像を生成した場合とを図示している。
【００３８】
図４Ａは、ＮＩＲ単一チャネルを、補間（interpolation）過程を介して、高解像度Base映像に再構成した映像である。細密なエッジが分けられず、エイリアシングがはなはだしく発生するという問題がある。
【００３９】
図４Ｂは、本発明の望ましい一実施形態であり、ＭＦＡパターン映像のカラーチャネル及び近赤外線チャネルをいずれも利用して、高解像度Base映像を生成した例であり、エイリアシングが最小化され、細密なエッジが好ましく分けられているということが分かる。
【００４０】
図５は、本発明の望ましい一実施形態であり、ＭＦＡパターン映像の各チャネルの周波数特性を図示している。
【００４１】
サブサンプリングされたＧチャネル５００を、二次元フーリエ領域５０１から調べれば、原信号（original  signal）が８個のｐｉ部分（（−Π，−Π）、（−Π，０）、（−Π，Π）、（０，−Π）、（０，Π）、（Π，−Π）（Π，０）、（Π，Π））で、円信号のように、正の符号として反復的に示される。
【００４２】
サブサンプリングされたＮＩＲチャネル５１０は、ＭＦＡパターン映像でＧチャネル５００で、右側に１ピクセル横に位置する。それにより、サブサンプリングされたＮＩＲチャネル５１０の二次元フーリエ領域５０２は、Ｇチャネル５００の二次元フーリエ領域５０１と、縦方向５０２ａに相が反対に示される。
【００４３】
同様に、サブサンプリングされたＲチャネル５２０は、ＭＦＡパターン映像でＧチャネル５００で、下側に１ピクセル下に位置する。それにより、サブサンプリングされたＲチャネル５２０の二次元フーリエ領域５０３は、Ｇチャネル５００の二次元フーリエ領域５０１、と横方向５０３ａに相が反対に示される。
【００４４】
また、サブサンプリングされたＢチャネル５３０は、ＭＦＡパターン映像でＧチャネル５００で、右側対角線方向に１ピクセル下に位置する。それにより、サブサンプリングされたＢチャネル５３０の二次元フーリエ領域５０４は、Ｇチャネル５００の二次元フーリエ領域５０１と、対角線方向５０４ａに相が反対に示される。
【００４５】
図６は、本発明の望ましい一実施形態であり、ＭＦＡパターン映像の各チャネルの周波数特性を考慮して、エイリアシングを除去する一実施形態を図示している。
【００４６】
図６は、図１に図示されたエイリアシング相殺部１１０（図１）の詳細構成の一例を図示する。図５に図示されているように、ＭＦＡパターン映像の各チャネルの周波数特性によって、相が異なって反復的に示される特性を利用して、Ｒ，Ｇ，Ｂ及びＮＩＲチャネルをいずれも合わせれば、低周波領域に入ってきたエイリアシング成分を最小化することができる。
【００４７】
例えば、（０，Π）部分について述べれば、Ｇチャネル６１０とＮＩＲチャネル６２０とでは、信号の符号が（＋）であるが、相変化によって、Ｒチャネル６３０とＢチャネル６４０とでは、信号の符号が（−）になり、各信号が合わさる過程で、低周波領域に入ってきた高周波部分のエイリアシングが相殺される。
【００４８】
その後、（０，０）の位置で、外側部分に位置したエイリアシング成分は、低周波通過フィルタを利用して除去させれば、最終的なBase映像６１０を獲得することができる。
【００４９】
図７は、本発明の望ましい一実施形態であり、高解像度のBase映像を生成する概念図を図示している。
【００５０】
ＭＦＡパターン映像の各チャネル７１０，７２０，７３０，７４０は、周波数特性を考慮した後、エイリアシングが相殺されるように合され（summation  ７５０）、その後、カーネル７６０を通過しながら、エイリアシングが除去されたＲ，Ｇ，Ｂ及びＮＩＲチャネルの解像度を、Base映像の解像度ほど増幅させた高解像度のBase映像７７０が生成される。
【００５１】
数式で示せば、数式１の通りである。
【００５２】
【数１】
2014116934.tif 000003
【００５３】
数式１でBase（ｉ，ｊ）は、高解像度のBase映像を示し、Ｇｓ、Ｎｓ、Ｒｓ、Ｂｓそれぞれは、ＭＦＡパターン映像を構成するサブサンプリングされた各チャネルを意味する。数式１でカーネルは、サンプリングされた各チャネル映像の解像度を、Base映像の解像度ほど高める役割を行う。
【００５４】
カーネルは、図８のように、Ｓｉｎｃ関数で具現が可能である。図８は、パスバンドによるＳｉｎｃ関数の周波数軸での応答を図示している。カットオフ周波数が高いほど、さらに高い周波数帯域の情報を通過させる。高い周波数帯域を通過させれば、高周波帯域の情報を復元することができ、Base映像の解像度を向上させることができる（８００）。かようなＳｉｎｃ関数は、図８の８１０のように、実際のＭＦＡ映像では、二次元的に適用される。
【００５５】
Ideal  Ｓｉｎｃ関数を逆フーリエ変換したところを数式で示せば、数式２の通りである。
【００５６】
【数２】
2014116934.tif 000004
【００５７】
数式２でＨ（ｗ）は、Ｓｉｎｃ関数の周波数領域の特性を示し、ｈ（ｎ）は、spatial領域の特性を示す。また、Ｗｃは、カットオフ周波数を意味する。
【００５８】
本発明の他の望ましい一実施形態では、カーネルを、Lanczosカーネルに基づいたwindowed−Ｓｉｎｃ関数で具現した。数式３は、Lanczos基盤windowed−Ｓｉｎｃカーネルを示す。
【００５９】
【数３】
2014116934.tif 000005
【００６０】
数式３でａは、Lanczos基盤windowed−Ｓｉｎｃカーネルのカットオフ周波数を調節するファクタを示す。
【００６１】
【数４】
2014116934.tif 000006
【００６２】
数式４は、数式１で、カーネルをＳｉｎｃ関数で具現した場合の一例であり、Ｓｉｎｃカーネルを、ＭＦＡパターン映像でサブサンプリングされた各チャネルに適用し、高解像度のBase映像を生成する過程を示している。
【００６３】
図９は、本発明の望ましい一実施形態であり、入力映像の局所領域別統計的特性を示している。
【００６４】
本発明の望ましい一実施形態では、カーネルを設計するとき、入力映像の局所領域の統計的特性を反映する。局所領域の統計的特性の一例として、局部的変化量（local  variance）を考慮した。
【００６５】
Flat領域９１０では、局所領域の変化量が相対的に少なく、detail領域９２０では、局所領域の変化量が相対的に多い。
【００６６】
図１０及び図１１は、本発明の望ましい一実施形態であり、入力映像の局所領域別統計的特性を反映し、カーネルを設計する例を図示する。
【００６７】
本発明の望ましい一実施形態では、局所領域の変化量が相対的に少ない部分では、カーネルのパスバンドを狭め、アーティファクトを少なく通過させ（図１１参照）、局所領域の変化量が相対的に多い部分では、カーネルのパスバンドを広げ、高周波部分の情報を多く復元させて高解像度映像を獲得する（図１０参照）。
【００６８】
図１０は、Ｓｉｎｃ関数のカットオフ周波数Ｗｃを高く設定した場合の一例であり、周波数軸でパスバンド１０１０が広くなる。パスバンド１０１０が広いので、映像の高周波情報が多く通過されたBase映像が生成される。
【００６９】
その結果、局所領域の変化量が相対的に高いdetail領域９２０では、解像度が向上するが、局所領域の変化量が相対的に低いflat領域９１０では、高周波帯域のringing及びshootingのようなアーティファクトがさらに多く生成される。
【００７０】
図１１は、Ｓｉｎｃ関数のカットオフ周波数Ｗｃを低く設定した場合の一例であり、周波数軸でパスバンド１１１０が狭くなる。パスバンド１１１０が狭いので、映像のアーティファクトが少なく通過される。
【００７１】
その結果、局所領域の変化量が相対的に高いdetail領域９２０では、解像度が低下するが、局所領域の変化量が相対的に低いflat領域９１０では、アーティファクトが少なくなる。
【００７２】
従って、本発明の望ましい一実施形態で、カーネル設計時に利用されるＳｉｎｃ関数のカットオフ周波数Ｗｃは、ＭＦＡパターン映像で求められた局所領域の統計的特性によって適応的に設定され、その場合、カットオフ周波数Ｗｃは、前記局所領域の変化量が多い場合、前記Ｓｉｎｃ関数のパスバンドを広めるように設定され、前記局所領域の変化量が少ない場合、前記Ｓｉｎｃ関数のパスバンドを狭めるように設定される。
【００７３】
本発明の望ましい一実施形態では、また高解像度のBase映像を生成するために、カットオフ周波数は、０．５Π以上の高い値を有するように設定することができる。
【００７４】
本発明の望ましい一実施形態として、数式５は、局所変化量によって適応的に高解像度のBase映像を生成する数式を示す。入力映像の局所領域によって、detail領域では、高周波情報を最大限復元して解像度向上をさせ、flat領域では、アーティファクトを最小化し、結果的に高品質の高解像度Base映像を生成する。
【００７５】
【数５】
2014116934.tif 000007
【００７６】
本発明の望ましい一実施形態であり、Ｓｉｎｃ関数で利用する局所領域の統計的特性によって、適応的に設定されるカットオフ周波数Ｗｃａｄａｐは、数式６のように設定することができる。
【００７７】
【数６】
2014116934.tif 000008
【００７８】
数式６で、
【数７】
2014116934.tif 000009
は、ＭＦＡ入力映像で、局所領域の変化量を示し、ｘは、適応的なカットオフ周波数を求めるための入力であり、Ｓカーブ（ｔａｎｈ）加重値によって調節された局所領域の分散を示す。
【００７９】
ｘを数式で表現すれば、数式７の通りである。
【００８０】
【数８】
2014116934.tif 000010
【００８１】
数式７で、ｐとｋは、局所変化量を調節するファクタであり、ｐは、Ｓカーブで大きい加重値部分に適用され、ｋは、Ｓカーブで小さい加重値部分に適用される。
【００８２】
局所領域の変化量は、ＭＦＡパターン入力映像の各サブチャネルで求める。本発明の望ましい一実施形態では、エイリアシングが除去されたＭＦＡパターン映像のカラーチャネル及び近赤外線チャネルの解像度を、Base映像の解像度ほどＳｉｎｃ関数を利用して、増幅するとき、Ｓｉｎｃ関数のカットオフ周波数を、数式６のように適応的に設定する。
【００８３】
その場合、増加関数は、linear、ｓ−curve、exponentialなどが使用され、数式６では、一実施形態として、ｓ−curve形態のｔａｎｈ関数（hyperbolic  tangent）を利用し、その場合、カットオフ周波数は、図１２のような特性を有する。
【００８４】
図１２では、局所変化量によって、カットオフ周波数を設定するために、ｔａｎｈ関数を利用した場合を図示している。
【００８５】
図１２に図示されているように、既設定の高いカットオフ周波数Ｗｃhighと、低いカットオフ周波数Ｗｃlowとの間で局所変化量が増加するとき、カットオフ周波数は、ｓ−curve状に増大する。
【００８６】
エイリアシングを除去した後、高解像度のBase映像を生成する過程で、２つの原因によって、アーティファクトが発生する。前述のBase映像の解像度向上のために、高いカットオフ周波数をパスバンドとしたＳｉｎｃカーネルを、入力映像に通過させる過程で、高周波帯域にあったアーティファクトの残っている可能性がある。また、ＭＦＡを具備した映像センサのノイズが均一ではなく、Base映像の生成時、その一部が除去されないで残る。
【００８７】
本発明では、以上の問題をさらに解決するために、図７ないし図１２の過程を経て生成された高解像度のBase映像で、アーティファクトの有無を判断し、アーティファクトを相殺する。
【００８８】
【数９】
2014116934.tif 000011
【００８９】
数式８は、ＭＦＡパターン映像でサブサンプリングされたチャネルに対して、エイリアシングを最小化した後、Ｓｉｎｃトンネルを通過させたものを合わせ、高解像度のBase映像を生成した結果である。数式８で生成されたBase映像で、アーティファクトが発生することを抑制するために、数式９のようにブラーさせたアーティファクトがない映像と融合わせる。
【００９０】
【数１０】
2014116934.tif 000012
【００９１】
数式９は、Ｒチャネルに対して、アーティファクトを相殺するために、ブラーさせたアーティファクトがない映像と、アーティファクトがあるが解像度が高い映像と、を融合させる例を図示している。数式９でαは、Base映像のアーティファクト有無を判断するパラメータとして、Base映像のintensity値をweightとして有する５ｘ５領域中の平均値と、現在ピクセルとの差値を、thresholdとのminimum値と決定する。そのように求められたαは、アーティファクトを相殺するための加重値として使用される。
【００９２】
α加重値は、数式１０を介して求められる。
【００９３】
【数１１】
2014116934.tif 000013
【００９４】
解像度が高いが、アーティファクトがある映像と、アーティファクトがないブラー映像との差を求め、ｔｈ値を利用して、０〜１の範囲で加重値αを制限する。その場合、αが大きければ、アーティファクトが多いと把握してブラーを使用し、αが小さければ、解像度が高い映像を使用するようにする。
【００９５】
【数１２】
2014116934.tif 000014
【００９６】
数式１０及び１１でブラー映像は、アーティファクトがある映像で、周辺ピクセルとの加重値和（weighted  sum）として決定される。加重値は、Base映像で、現在ピクセルと周辺ピクセルとの差によって決定される。周辺ピクセルとの差が大きければ、異なるピクセルであると見なされて加重値が小さくなり、周辺ピクセルとの差が小さければ、類似のピクセルとして加重値が大きくなる。
【００９７】
以上の過程を、Ｒ，Ｇ，Ｂ及びＮＩＲチャネルにそれぞれ遂行した後、歪曲が相殺された各チャネルを合わせ、数式１２のような最終Base映像を獲得する。
【００９８】
【数１３】
2014116934.tif 000015
【００９９】
図１３は、本発明の望ましい一実施形態として、ＭＦＡパターン映像から、高解像度のBase映像を生成する映像処理方法のフローチャートを図示している。
【０１００】
図１３に図示されているように、ＭＦＡパターン映像のカラーチャネル及び近赤外線チャネルの周波数特性を分析する（Ｓ１３１０）。その後、図６に図示されているように、カラーチャネル及び近赤外線チャネルそれぞれの相特性が互いに相殺されるように、前記カラーチャネル及び近赤外線チャネルを合わせ、エイリアシングを最小化する（Ｓ１３２０）。
【０１０１】
その後、図７のように、エイリアシングが除去されたカラーチャネル及び近赤外線チャネルの解像度を、Ｓｉｎｃ関数を利用して、Base映像の解像度ほど増幅させ、高解像度のBase映像を生成する（Ｓ１３３０）。
【０１０２】
そのとき、Ｓｉｎｃ関数のカットオフ周波数を、ＭＦＡパターン映像で求められた局所領域の統計的特性によって、適応的に設定することができる。Ｓｉｎｃ関数で、カットオフ周波数を適応的に設定する方法は、数式６及び数式７を参考にする。
【０１０３】
以上を介して、高解像度のBase映像を獲得すれば、高解像度Base映像内の歪曲程度を判断する。その後、生成されたBase映像をブラーさせたブラー映像と、前記生成されたBase映像とのピクセル差値を基に、前記ブラー映像と、前記生成されたBase映像とに加重値を付与した後で合わせ、前記生成されたBase映像で、歪曲現象を相殺する（Ｓ１３４０）。
【０１０４】
その場合、歪曲現象が多いと把握されれば、前記ブラー映像に加重値を多く付与し、歪曲現象が少ないと把握されれば、前記生成されたBase映像に加重値を多く付与し、前記ブラー映像に付与する加重値、及び前記生成されたBase映像に付与する加重値の和は、１になるように設定する。歪曲現象を除去する方法は、数式９ないし数式１２の説明を参考にする。以上の段階を介して、最終的に歪曲現象が除去された高解像度のBase映像が獲得される（Ｓ１３５０）。
【０１０５】
本発明の実施形態は、ＲＧＢピクセルとＮＩＲピクセルとの構造を有するセンサを利用したデジタルカメラ・システム、特に監視カメラ分野に適用することができる。
【０１０６】
一方、本発明は、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードで具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータで保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only  memory）、ＲＡＭ（random-access  memory）、ＣＤ（compact  disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式で、コンピュータで読み取り可能なコードが保存されて実行される。本発明を具現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマによって容易に推論されるものである。
【０１０７】
以上、本発明について、望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明の本質的な特性からはずれない範囲で変形された形態で、本発明を具現することができるということを理解するであろう。従って、前記開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれるものであると解釈されなければならないのである。
【産業上の利用可能性】
【０１０８】
本発明の映像処理方法及びその装置は、例えば、カメラ・システム関連の技術分野に効果的に適用可能である。
【符号の説明】
【０１０９】
１００    映像処理装置
１１０    エイリアシング相殺部
１２０    高解像度Base映像生成部
１３０    歪曲相殺部
【図１】
2014116934.tif 000020
【図２】
2014116934.tif 000021
【図３】
2014116934.tif 000022
【図４Ａ】
2014116934.tif 000023
【図４Ｂ】
2014116934.tif 000024
【図５】
2014116934.tif 000025
【図６】
2014116934.tif 000026
【図７】
2014116934.tif 000027
【図８】
2014116934.tif 000028
【図９】
2014116934.tif 000029
【図１０】
2014116934.tif 000030
【図１１】
2014116934.tif 000031
【図１２】
2014116934.tif 000032
【図１３】
2014116934.tif 000033