(57)【要約】【課題】  複数合成による超解像処理を行う際に、本来合成すべきナイキスト周波数付近の領域が低周波領域と判定されてしまい、超解像処理を精度よく適用することが困難であった。【解決手段】  低周波領域と判定された領域に対しても、超解像処理の結果を用いてノイズあるいは輝度ムラではない高周波領域と判定し、超解像処理の結果を出力する。したがって、ノイズや輝度ムラによる画質劣化を抑えながら高精度に超解像処理を行うことが可能となる。【選択図】  図１
2016092806.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を取得する画像取得手段と、
前記複数の画像の中の少なくとも１つの画像において低周波領域を検出する判定手段と、
前記複数の画像から１枚の基準画像を選択する基準画像選択手段と、
前記基準画像に対し、選択されていない非基準画像の位置合わせを行う位置合わせ処理手段と、
前記基準画像を超解像化した際の欠落画素に対し、非基準画像の非欠落画素を挿入する画素挿入手段と、
前記欠落画素に対し、周辺画素を用いて補間処理を行う画素補間手段と、
前記画素挿入手段により画素挿入された基準画像を用いて、前記画素挿入手段の出力と前記画素補間手段の出力から最終的な画素出力を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記画素挿入された基準画像における着目位置の画素と、周辺の画素との差分値を元に前記画素挿入手段の出力と前記画素補間手段の出力とを切り替えること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記差分値が所定の閾値よりも大きく、かつ前記着目位置の画素が孤立点でないと判定された場合には前記画素挿入手段の出力を選択し、それ以外の場合には前記画素補間手段の出力を選択すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記差分値に応じて前記画素挿入手段の出力と前記画素補間手段の出力とを合成すること、
を特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
【請求項５】
複数の画像を取得する画像取得ステップと、
前記複数の画像の中の少なくとも１つの画像において低周波領域を検出する判定ステップと、
前記複数の画像から１枚の基準画像を選択する基準画像選択ステップと、
前記基準画像に対し、選択されていない非基準画像の位置合わせを行う位置合わせステップと、
前記基準画像を超解像化した際の欠落画素に対し、非基準画像の非欠落画素を挿入する画素挿入ステップと、
前記欠落画素に対し、周辺画素を用いて補間処理を行う画素補間ステップと、
前記画素挿入部により画素挿入された基準画像を用いて、前記画素挿入部の出力と前記画素補間部の出力とを切り替える生成ステップと、
を備えることを特徴とする画像処理方法。
【請求項６】
請求項５に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項７】
コンピュータに、請求項５に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば電子スチルカメラなどに用いて好適な、複数の低解像度の画像から１枚の高解像度の画像を生成する画像処理装置に関するものである。
【背景技術】
【０００２】
処理対象となる低解像度画像（以下、基準画像）において、もともと存在する画素の間に、新規に画素を生成し、折り返りを抑えた高解像度の画像を作成する超解像処理と呼ばれる技術において、これまで種々の方法が提案されている。その方法のうちのひとつとして、低解像度の画像を複数入力し、新規画素生成位置に位置ずれを補正した基準画像以外の低解像度画像（以下、非基準画像）の画素（以下、参照画素）を内挿する方法がある。
【０００３】
しかしながら、低周波領域に対して複数を合成すると、解像度の向上はあまり得られず、ノイズが強調されたり、複数撮影時のシャッターの切りムラによる輝度ずれが現れたりすることにより、画質が劣化してしまうという問題があった。そこで、画像における低周波領域を検出し、検出された領域を超解像処理の対象から除外することにより、上述した弊害を抑える方法が考えられた。
【０００４】
特許文献１では、エッジ量を判定し、その結果に基づいて複数合成による高解像度化処理の結果と、基準画像のみによる高解像度化処理の結果との合成係数を切り替える手段が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２２２４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている構成では、ナイキスト周波数付近の領域に対してエッジ検出が正しく行えず、その結果本来は複数合成により超解像処理を行うべき領域が低周波領域と判定され、処理の対象から除外されてしまう可能性がある。
【０００７】
上記課題を鑑み、本発明は、ノイズや輝度ムラの発生を抑えながら高解像度化および折り返りを低減することが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために本発明に係わる画像処理装置は、複数の画像を取得する画像取得手段と、前記複数の画像の中の少なくとも１つの画像において低周波領域を検出する判定手段と、前記複数の画像から１枚の基準画像を選択する基準画像選択手段と、前記基準画像に対し、選択されていない非基準画像の位置合わせを行う位置合わせ処理手段と、前記基準画像を超解像化した際の欠落画素に対し、非基準画像の非欠落画素を挿入する画素挿入手段と、前記欠落画素に対し、周辺画素を用いて補間処理を行う画素補間手段と、前記画素挿入手段により画素挿入された基準画像を用いて、前記画素挿入手段の出力と前記画素補間手段の出力から最終的な画素出力を生成する生成手段と、を備えることを特徴とする。
【０００９】
また、本発明に係わる画像処理方法は、複数の画像を取得する画像取得ステップと、前記複数の画像の中の少なくとも１つの画像において低周波領域を検出する判定ステップと、前記複数の画像から１枚の基準画像を選択する基準画像選択ステップと、前記基準画像に対し、選択されていない非基準画像の位置合わせを行う位置合わせステップと、前記基準画像を超解像化した際の欠落画素に対し、非基準画像の非欠落画素を挿入する画素挿入ステップと、前記欠落画素に対し、周辺画素を用いて補間処理を行う画素補間ステップと、前記画素挿入部により画素挿入された基準画像を用いて、前記画素挿入部の出力と前記画素補間部の出力とを切り替える生成ステップと、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明の特徴とする構成により、ノイズや輝度ムラの発生を抑えながら高解像度化および折り返りを低減することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明を適用できる構成図の一例
【図２】本発明の実施形態における、低周波領域判定部を示す図
【図３】本発明の実施形態における信号処理装置の動作処理フローチャート
【図４】第１の実施形態における拡大前後の基準画像の一例
【図５】第１の実施形態における挿入画素選択を示すフローチャート
【図６】基準画像の着目画素に対応する非基準画像の参照座標を示す図
【図７】基準画像の画素位置と色の関係を示す図
【図８】第１の実施形態における画素挿入を示すフローチャート
【図９】第１の実施形態における超高周波領域判定処理を示すフローチャート
【図１０】基準画像の着目画素と周辺画素を示す図
【図１１】補間、同時化処理前後の基準画像を示す図
【発明を実施するための形態】
【００１２】
以下、図を参照して本発明の実施形態を詳細に説明する。
【００１３】
（実施例１）
図１に本発明を適用できる画像処理装置の構成図を示す。図１において、画像取得部１００は、撮像素子から得られた電気信号がＡ／Ｄ変換された後に種々の信号処理を施された画像信号を、複数撮影された枚数分出力するための回路である。基準画像選択部１１０は、複数の画像の中から一枚を基準画像として選択するための回路である。
【００１４】
制御部１１５はメモリを備え、各回路の出力を制御、保持するためのものである。
【００１５】
低周波領域判定部１２０は、画像において任意の領域のエッジ量を検出し、領域ごとに低周波領域か否かを判別する回路である。基準画像拡大部１３０は、１１０が選択した基準画像を所定の倍率で拡大処理を行う回路である。また、本実施例では、超解像処理として拡大処理をトリガにして行っているが、これに限らず、基準画像を所定の画素数に超解像度化したい場合に、その基準画像の超解像化の指示に従って、本実施例の超解像処理が行われてもよい。
【００１６】
位置合わせ処理部１４０は、１１０が選択した基準画像を基準として、選択されていない非基準画像に対して幾何学変換を行うことにより位置合わせを行うための回路である。画素挿入部１５０は、１３０により拡大された基準画像において欠落している画素に対して、複数の非基準画像の信号を用いて埋めていく処理を１画素毎に行うための回路である。
【００１７】
生成部１５５は、１５０により画素挿入された基準画像を用いて、超解像処理をすべき領域であるかどうかの判定を１画素毎に行い、判定結果に従って、最終的な画素出力を生成する回路である。本実施形態では１画素毎の判定、生成を行っているが、複数画素毎でも構わない。
【００１８】
画素補間部１６０は、１３０により拡大された基準画像において欠落している画素に対して、周辺の画素を用いて補間処理を行うための回路である。
【００１９】
ＹＵＶ変換部１７０は、ＲＧＢ信号から所定の変換式によりＹＵＶ信号を生成するための回路である。
【００２０】
なお、図１における各部の動作についての詳細は後述する。
【００２１】
図２は低周波領域判定部１２０の一例を示すものである。図２において、２００は１１０により出力された基準画像である。水平ＨＰＦ２１０は、画像に対して横方向（水平方向）にハイパスフィルタを施すことにより高周波信号を抽出するための回路である。垂直ＨＰＦ２２０は、画像に対して縦方向（垂直方向）にハイパスフィルタを施すことにより高周波信号を抽出するための回路である。
【００２２】
加算器２３０は、２１０および２２０から出力された画像を加算する回路である。
【００２３】
ブロック分割部２５０は、２４０により得られる画像を所定サイズのブロック単位に分割するための回路である。ブロック積分部２６０は、２５０により分割されたブロック毎に画素値の積分を行うための回路である。
【００２４】
連続して入力された複数の画像から超解像処理を行うまでの流れを、図３に示したフローチャートを用いて説明していく。本実施例では、連続してｎ枚の画像が入力された場合の処理を例に述べていく。なお、本フローチャートの処理は制御部１１５の指示によって各部で実行されるか、制御部１１５による演算によって実行される。また、各ステップの一部あるいは全てがソフトウェア処理で行われてもよい。
【００２５】
（Ｓ３００）
画像取得部１００は、ベイヤー配列を持つ複数の画像を取得する。
【００２６】
（Ｓ３１０）
基準画像選択部１１０は、複数の画像から１枚目に撮影された画像を基準画像として選択する。
【００２７】
（Ｓ３２０）
基準画像と非基準画像間の位置合わせに必要な座標変換式の係数を算出する。本実施例では座標変換式として射影変換の式を用いる。画像の中心に位置する座標を（０，０）とした時、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を表す射影変換の式は、下記の（式１）で表される。
【００２８】
【数１】
2016092806.tif 000003
【００２９】
前記基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像の座標（ｘ’，ｙ’）を参照座標と呼称する。
【００３０】
（式１）の射影変換係数ａ０、ａ１、ａ２、ａ３、ａ４、ａ５、ａ６、ａ７の算出方法については、基準画像と非基準画像間でパターンマッチングによって求めた動きベクトルから連立方程式を用いて解くのが一般的である。
【００３１】
画像間の位置ずれ量を得る方法はこれに限らず、例えば特開２０１１−００４２８２で開示されているようにジャイロセンサが出力する撮影時のカメラの動きを検出する構成から取得しても良い。
【００３２】
（Ｓ３３０）
Ｓ３２０で求めた座標変換式の係数を非基準画像の枚数分メモリに保存する。保存した座標変換式の係数はステップＳ３６０で使用する。
【００３３】
（Ｓ３４０）
基準画像を水平方向、垂直方向それぞれ３倍に拡大する。本実施例では、ベイヤー配列を維持したまま、基準画像を拡大する。なお、ステップＳ３４０の処理は、ステップＳ３２０の処理の前に行っても良い。
【００３４】
図４を用いて本実施例の拡大方法について説明する。図４において、４００は拡大前の基準画像であり、水平画素数Ｗ、垂直画素数Ｈのベイヤー配列を有する。拡大前の基準画像４００を水平方向、垂直方向にそれぞれ３倍に拡大した基準画像が４１０である。３倍拡大した基準画像４１０上の拡大前の基準画像４００の画素を非欠落画素、それ以外の画素を基準画像を超解像化する際の欠落画素とし、本実施例では欠落画素には値として０を挿入する。
【００３５】
Ｓ３５０からステップＳ３８０では、ｎ−１枚の非基準画像を用いて、Ｓ３４０の処理により発生した欠落画素を非欠落画素に置き換える処理を１画素毎に行っていく。
【００３６】
（Ｓ３５０）
着目画素が欠落画素であるか、非欠落画素であるかの判定を行っている。本実施例では前記判定を着目画素の値が０の場合は着目画素が欠落画素であると判定し、０でない場合は、非欠落画像であると判定する。欠落画素である場合にはＳ３６０に移り、非欠落画素である場合にはＳ３８０に移る。
【００３７】
（Ｓ３６０）
欠落画素を非欠落画素にする為に、ｎ−１枚の非基準画像から非欠落画素の候補を選択する。図５のフローチャートを用いてＳ３６０の具体的な処理について述べていく。
【００３８】
なお、本フローチャートの処理は制御部１１５の指示によって各部で実行されるか、制御部１１５による演算によって実行される。また、各ステップの一部あるいは全てがソフトウェア処理で行われてもよい。
【００３９】
（Ｓ５０１）
ｎ−１枚の非基準画像を１枚１枚識別する為の変数ｉを初期化する。本実施例ではｉ＋１枚目の非基準画像を非基準画像［ｉ］、非基準画像［ｉ］に対応する座標変換式の係数を座標変換係数［ｉ］と示す事にする。Ｓ５０５以降で使用するｄ［ｉ］、ｐｉｘ［ｉ］についても、非基準画像［ｉ］に対応する事を示す。
【００４０】
（Ｓ５０２）
非基準画像［ｉ］をメモリから読み込む。
【００４１】
（Ｓ５０３）
非基準画像［ｉ］に対応する座標変換係数［ｉ］をメモリから読み込む。
【００４２】
（Ｓ５０４）
Ｓ５０３で読み出した座標変換係数［ｉ］を用いて、基準画像の着目画素の座標（ｘ、ｙ）に対応する非基準画像［ｉ］の参照座標（ｘ’，ｙ’）を座標変換式により算出する。本実施例では、座標変換式は前記射影変換の式（式１）を使用する。
【００４３】
（Ｓ５０５）
Ｓ５０４で算出した非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対し、最近傍にある非基準画像［ｉ］の画素（ｎｘ，ｎｙ）との距離ｄ［ｉ］を求める。以降、前記最近傍にある非基準画像［ｉ］の画素（ｎｘ，ｎｙ）を参照画素と呼称する。
【００４４】
図６を用いて本実施例で用いる前記Ｓ５０５の処理について説明する。
【００４５】
６ａは基準画像、６ｂは非基準画像である。基準画像６ａ上の着目画素６０１の座標（ｘ、ｙ）に対し、対応する非基準画像６ｂの参照座標６０２は（ｘ’，ｙ’）である。前記参照座標６０２を包含する位置にある画素が、参照座標６０２の最近傍に位置する参照画素６０３であり座標は（ｎｘ，ｎｙ）とする。前記参照画素と参照座標の距離ｄを算出する式は（式２）で表される。
【００４６】
【数２】
2016092806.tif 000004
【００４７】
上記の様にして非基準画像［ｉ］の参照座標（ｘ’，ｙ’）に対し、最近傍にある非基準画像［ｉ］の画素（ｎｘ，ｎｙ）との距離ｄ［ｉ］を算出し、次のＳ５０６に移る。
【００４８】
（Ｓ５０６）
非基準画像［ｉ］の参照画素と基準画像の着目位置の画素が同色であるか判定処理を行っている。基準画像の着目画素の色について図７を用いて説明する。
【００４９】
図７は、水平画素数Ｗ×３、垂直画素数Ｈ×３の基準画像の各画素の色を示した図であり、ベイヤー配列が特徴となっている。欠落画素を非欠落画素に置き換える為には、前記欠落画素の位置に記載されている色の画素を必要とする。
【００５０】
非基準画像［ｉ］の参照画素と基準画像の着目画素が同色である場合には、次のステップＳ５０７の処理へ移る。同色でない場合には、ステップＳ５０８の処理へ移る。
【００５１】
（Ｓ５０７）
基準画像の着目画素と同色と判定された非基準画像［ｉ］の参照画素をｐｉｘ［ｉ］として、Ｓ５０５で算出したｄ［ｉ］と共に、メモリに保存する。
【００５２】
（Ｓ５０８）
ｎ−１枚全ての非基準画像でＳ５０２からＳ５０７までの処理を行ったか判定を行っている。ｎ−１枚全ての非基準画像で処理を終えてない場合はＳ５０９へ移り、ｎ−１枚全ての非基準画像で処理を終えている場合はＳ５１０へ移る。
【００５３】
（Ｓ５０９）
ｎ−１枚の非基準画像を１枚１枚識別する為の変数ｉを更新した後、次の非基準画像に対し、Ｓ５０２からＳ５０７までの処理を行う。
【００５４】
（Ｓ５１０）
メモリに保存したｄの中で最小の値であるｄ［ｉ］の値をｄ＿ｍｉｎとして選択する。ステップＳ５０７でメモリ上に保存したｄ［ｉ］が１つもない場合、ｄ＿ｍｉｎには、設定可能な最大値を入れる。本実施例ではｄ＿ｍｉｎには値として１を代入する。
【００５５】
（Ｓ５１１）
Ｓ５１０で選択されたｄ［ｉ］に対応する参照画素ｐｉｘ［ｉ］を非欠落画素の候補ｐｉｘとして選択する。Ｓ５０７でメモリ上に保存したｄ［ｉ］が１つもない場合、ｐｉｘの値に０を代入する。
【００５６】
（Ｓ５１２）
Ｓ５１０で選択されたｄ＿ｍｉｎとＳ５１１で選択された非欠落画素の候補ｐｉｘを出力する。
【００５７】
以上で、Ｓ３６０の処理内容の説明を終了する。次に図３に戻り、Ｓ３７０の説明を行う。
【００５８】
（Ｓ３７０）
基準画像を超解像化する際の欠落画素の値を非欠落画素の候補の値に置き換える（挿入する）処理を行う。図８のフローチャートを用いてＳ３７０の具体的な処理内容について説明する。また、Ｓ３７０の入力データとして、Ｓ３６０で出力したｄ＿ｍｉｎ、ｐｉｘ、基準画像を使用する。なお、本フローチャートの処理は制御部１１５の指示によって各部で実行されるか、制御部１１５による演算によって実行される。また、各ステップの一部あるいは全てがソフトウェア処理で行われてもよい。
【００５９】
（Ｓ８０１）
ｄ＿ｍｉｎの値が閾値ＴＨ未満であるか判定を行っている。ｄ＿ｍｉｎの値が閾値ＴＨ未満である場合、Ｓ８０２に移り、ｄ＿ｍｉｎの値が閾値ＴＨ以上である場合、Ｓ８０３へ移る。
【００６０】
（Ｓ８０２）
基準画像の着目画素に非欠落画素の候補ｐｉｘを挿入する処理を行う。
【００６１】
（Ｓ８０３）
基準画像の着目画素に非欠落画素の候補ｐｉｘを挿入しない。この時、基準画像の着目画素は欠落画素のままである為、後のＳ３９０のＲ、Ｇ、Ｂ同時化処理の際に補間処理を行って値を補う。
【００６２】
以上、Ｓ３７０の処理内容の説明を終了する。図３に戻り、Ｓ３８０以降の説明を引き続き行う。
【００６３】
（Ｓ３８０）
基準画像の全ての画素に対して、Ｓ３７０までの処理を行ったか判定を行う。基準画像の全ての画素を処理していない場合、基準画像の着目画素を変更し、Ｓ３５０の処理に戻る。基準画像の全ての画素を処理した場合はＳ３９０に移る。
【００６４】
（Ｓ３９０）
基準画像の全ての画素に対して、非欠落画素を挿入した結果を用いるべき領域であるかどうかの判定を行う。図９のフローチャートを用いてＳ３９０の具体的な処理内容について説明する。なお、本フローチャートの処理は制御部１１５の指示によって各部で実行されるか、制御部１１５による演算によって実行される。また、各ステップの一部あるいは全てがソフトウェア処理で行われてもよい。
【００６５】
（Ｓ９００）
低周波領域判定部１２０は、拡大前の基準画像において１画素毎に低周波領域を判定する。判定方法は、既存の技術を用いて良い。例えば図２に示すように、基準画像２００に対して［−１  ０  ２  ０  −１］のフィルタを水平、垂直方向に各々かけた結果を加算することによりエッジ画像を生成する。得られたエッジ画像に対して、例えば３２×３２画素のブロックに分割し、ブロック毎に積分した値を算出し、積算値が所定の閾値以下であればその領域を低周波領域と判定する。そして３倍に拡大後の基準画像において対応する９６×９６画素の領域を低周波領域と判定する。
【００６６】
なお、水平および垂直の２方向にフィルタリングした画像を加算したが、さらに斜めの２方向にフィルタリングした画像を加算するようにしても良い。
【００６７】
（Ｓ９１０）
Ｓ９００で低周波領域と判定されなかった基準画像内の挿入済み画素については、Ｓ３８０までに行った画素挿入の結果を出力とする。
【００６８】
（Ｓ９２０）
Ｓ９００で低周波領域と判定された基準画像内の挿入済み画素について、周辺の挿入済み画素を用いて孤立点であるかどうかの判定を行う。処理内容について図１０を用いて説明する。
【００６９】
図１０において、１０００は挿入された基準画像内の着目画素、１０１０は挿入されていない欠落画素、１０２０は挿入された非欠落画素である。着目画素の周辺３×３の領域における非欠落画素の平均値（＝Ａｖｅ（ｐ１〜ｐ５））を算出し、着目画素との差分絶対値が所定の閾値（＝Ｔｈ１）以下であるか否かを判定する。すなわち、
【００７０】
【数３】
2016092806.tif 000005
【００７１】
を満たす場合、その着目画素は孤立点ではないと判定する。
【００７２】
（Ｓ９３０）
複数の撮影時にシャッターの切りムラが原因で各々の画像間に輝度のずれ、すなわち輝度ムラが発生することがある。このステップでは、Ｓ９２０で孤立点ではないと判定された着目画素について、周辺の挿入済み画素を用いて輝度ムラであるかどうかの判定を行う。図１０において、着目画素１０００と周辺画素ｐ１〜ｐ５との差分絶対値をそれぞれ算出し、その総和が閾値（＝Ｔｈ２）以上であるか否かを判定する。すなわち、
【００７３】
【数４】
2016092806.tif 000006
【００７４】
を満たす場合、その着目画素は輝度ムラではないと判定する。
【００７５】
（Ｓ９４０）
Ｓ９２０とＳ９３０において、孤立点でなくかつ輝度ムラでないと判定された着目画素に対しては、超解像処理が必要な領域と判断しＳ３８０までに行った画素挿入の結果を出力とする。
【００７６】
（Ｓ９５０）
Ｓ９２０で孤立点と判定されたか、あるいはＳ９３０で輝度ムラと判定された場合には着目画素に画素挿入の結果は用いず、画素が欠落した状態のまま保持し、後のＳ３９２のＲ、Ｇ、Ｂ同時化処理の際に補間処理を行って値を補う。
【００７７】
以上で、Ｓ３９０の処理内容の説明を終了する。次に図３に戻り、Ｓ３９２の説明を行う。
【００７８】
（Ｓ３９２）
基準画像の全ての画素に対して、Ｓ３７０までの処理を行った後の基準画像に対して補間処理およびＲ、Ｇ、Ｂの同時化処理を行う。図１１を用いて、Ｓ３９２の処理について説明する。
【００７９】
１１００は、Ｓ３７０までの処理を全ての画素に対して行った後の基準画像であり、水平画素数Ｗ×３、垂直画素数Ｈ×３のベイヤー配列の画像である。１１００に対して欠落画素の補間処理を行った画像が１１１０である。１１１０に対し、Ｒ、Ｇ、Ｂの同時化処理を行った画像が１１２０である。
【００８０】
基準画像１１００で存在しない画素に対して、同色である周辺の非欠落画素を用いて従来の方法による補間処理で作成する。例えば特開２００２−２３２９０４で開示されているように、周辺の画素を用いて補間対象の画素信号が水平方向あるいは垂直方向のいずれかに相関が大きいかを検出し、その結果を元にフィルタリングする方法であって良い。
【００８１】
水平画素数Ｗ×３、垂直画素数Ｈ×３の画像をＲ、Ｇ、Ｂ毎に作成し、グレーで示した基準画像１１１０で存在しない画素は、周辺に存在する画素を用いて特開２００２−２３２９０４で開示されているような補間処理により同時化画像１１２０を作成する。
【００８２】
（Ｓ３９５）
Ｓ３９２で同時化したＲ、Ｇ、Ｂの画像を用いて、画素毎にＲＧＢ信号からＹＵＶ信号への変換を行い、水平画素数Ｗ×３、垂直画素数Ｈ×３のＹＵＶ画像を作成する。ＲＧＢ信号からＹＵＶ信号への変換は例えば（式４）の様な式を用いる。
【００８３】
【数５】
2016092806.tif 000007
【００８４】
Ｓ３９５で作成したＹＵＶ画像を出力信号として超解像処理を終了とする。
【００８５】
以上の様に構成することで、ベイヤー配列の低解像度画像を複数用いて、水平、垂直方向それぞれ３倍に画素数を拡大したベイヤー配列の高解像度画像を生成し、高解像度化を実現する超解像処理を行うことが可能となる。
【００８６】
また、３倍だけでなく、５倍、７倍など奇数倍に水平、垂直方向それぞれ画素数を拡大した場合でも、本実施例の超解像処理を行うことが可能である。
【００８７】
また、本実施例ではＳ９３０において輝度ムラか否かの判定に応じて、Ｓ３７０における画素挿入結果とＳ３９２における補間処理の結果とで出力を切り替えているが、周辺画素との差分値に応じて２つの結果を合成しても良い。すなわち、着目画素と周辺画素との差分絶対値の総和が大きいほど画素挿入結果に対する重みを大きくし、差分絶対値の総和が小さいほど補間処理の結果に対する重みを大きくして加重加算しても良い。
【００８８】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００８９】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００９０】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００９１】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００９２】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【００９３】
１００  画像取得部
１１０  基準画像選択部
１１５  制御部
１２０  低周波領域判定部
１３０  基準画像拡大部
１４０  位置合わせ処理部
１５０  画素挿入部
１５５  生成部
１６０  画素補間部
１７０  ＹＵＶ変換部
２００  基準画像
２１０  水平ローパスフィルタ回路
２２０  垂直ローパスフィルタ回路
２３０  加算器
２５０  ブロック分割部
２６０  ブロック積分部
【図１】
2016092806.tif 000008
【図２】
2016092806.tif 000009
【図３】
2016092806.tif 000010
【図４】
2016092806.tif 000011
【図５】
2016092806.tif 000012
【図６】
2016092806.tif 000013
【図７】
2016092806.tif 000014
【図８】
2016092806.tif 000015
【図９】
2016092806.tif 000016
【図１０】
2016092806.tif 000017
【図１１】
2016092806.tif 000018