(57)【要約】【課題】サンプリングした色成分の画素の画素値を用いて、所望する色成分の画素の生成をより精度よく行う。【解決手段】局所領域抽出部２３１により、第１色成分の画素と、第２色成分の画素を含んで構成される画像データから、第１色成分の画素及び第２色成分の画素を含んで構成される局所領域を抽出する。次に、判定処理部２３２により、局所領域内の注目画素の第１色成分の画素の画素値が、局所領域内の第１色成分の画素の画素値のダイナミックレンジＤＲに寄与するか否かを判定する。そして、判定処理部２３２の判定結果に応じて、注目画素である第１色成分の画素の位置に補間する、第２色成分の画素の補間画素値を算出する生成式を切り換える。【選択図】図２
2013219466.tif 000002
【特許請求の範囲】
【請求項１】
第１色成分の画素と、第２色成分の画素を含んで構成される画像データから、第１色成分の画素及び第２色成分の画素を含んで構成される局所領域を抽出する局所領域抽出部と、
前記局所領域内の注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与するか否かを判定する判定処理部と、
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与しない場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出する第１画素値演算部と、
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与する場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出する第２画素値演算部と、
前記判定処理部の判定結果に応じて、前記第１画素値演算部と前記第２画素値演算部を切り換える切換え部と、
画像処理装置。
【請求項２】
前記第１画素値演算部又は第２画素値演算部で算出された補間画素値を用いて、前記注目画素である前記第１色成分の画素の位置に補間処理を行う補間部、を更に備える
請求項１に記載の画像処理装置。
【請求項３】
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与する場合、
前記第２画素値演算部は、
前記局所領域内の前記注目画素を含む前記第１色成分の画素の画素値と、前記第２色成分の画素の画素値を用いて、前記第２色成分の第１の補間画素値を算出する第１の補間画素値算出部と、
前記局所領域内の前記第２色成分の画素の画素値を加算平均して、前記第２色成分の第２の補間画素値を算出する第２の補間画素値算出部と、
前記注目画素の第１色成分の画素値と、前記第１の補間画素値算出部が算出した前記第２色成分の第１補間画素値と、前記第２の補間画素値算出部が算出した前記第２色成分の第２補間画素値の３つの値から、前記注目画素の位置に補間する前記第２色成分の補間画素値として、２番目の値を選択する補間画素値選択部と、を備える
請求項２に記載の画像処理装置。
【請求項４】
前記局所領域内において、前記第１色成分の画素と前記第２色成分の画素が交互に配置されている
請求項３に記載の画像処理装置。
【請求項５】
前記局所領域を構成する前記第１色成分の画素と前記第２色成分の画素が、前記画像データの水平方向又は垂直方向の少なくともいずれかの方向に配列されている
請求項４に記載の画像処理装置。
【請求項６】
前記第１色成分又は前記第２色成分は、赤、青又は緑のいずれかの色を表す成分である
請求項１に記載の画像処理装置。
【請求項７】
局所領域抽出部により、第１色成分の画素と、第２色成分の画素を含んで構成される画像データから、第１色成分の画素及び第２色成分の画素を含んで構成される局所領域を抽出することと、
判定処理部により、前記局所領域内の注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与するか否かを判定することと、
第１画素値演算部により、前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与しない場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出することと、
第２画素値演算部により、前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与する場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出することと、
切換え部により、前記判定処理部の判定結果に応じて、前記第１画素値演算部による処理と前記第２画素値演算部による処理を切り換えることと、を含む
画像処理方法。
【請求項８】
第１色成分の画素と、第２色成分の画素を含んで構成される画像データから、第１色成分の画素及び第２色成分の画素を含んで構成される局所領域を抽出する手順と、
前記局所領域内の注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与するか否かを判定する手順と、
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与しない場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出する手順と、
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与する場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出する手順と、
前記判定の結果に応じて、前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与しない場合の処理と、寄与する場合の処理を切り換える手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関し、特に、カラーフィルタを通して得られた画像に、色情報を精度よく補間する技術に関する。
【背景技術】
【０００２】
単板式の撮像装置では、レンズを通して得られる被写体光を例えばＲ（赤），Ｇ（緑），Ｂ（青）の３原色に分解するために、カラーフィルタが使用される。カラーフィルタとしては、ベイヤ配列のものがよく用いられている。ベイヤ配列とは、図１３にその例を示してあるように、輝度信号の寄与する割合の高いＧのフィルタを市松状に配列し、残りの部分にＲとＢのフィルタをそれぞれ格子状に配列したものである。撮像素子の各画素においてはＲ，Ｇ，Ｂのうちの対応する１色のデータしか得られないため、得られない他の色については、周辺の画素の画素値を用いた演算を行うことによって補間する必要がある。この補間処理を行うことで、単板式の撮像素子が出力する画像データから、３板式の撮像素子が出力する画像データに相当するＲ，Ｇ，Ｂの画像データが得られる。このような補間処理は、「デモザイク」などと呼ばれている。
【０００３】
一般に、デモザイクでは、まずＲやＢがサンプリングされた画素の位置にＧを補間する処理を行い、続いて、Ｒがサンプリングされた画素の位置にＢを、Ｂがサンプリングされた画素の位置にＲを補間する処理を行う。そして最後に、Ｇがサンプリングされた画素の位置へのＲとＢの補間を行う。
【０００４】
補間対象の色だけを使った補間の場合には、サンプリングされた解像度での補間しかできないため、なまった波形が生成されることになる。図１４を参照して、補間対象の画素（ここでは中央の画素）の位置に補間する色成分の補間画素値を算出する方法を説明する。図１４は、ベイヤ配列の画像データ（現実世界）の各位置におけるＲ，Ｇの波形（画素値）の例を示している。この例では、画像データの水平方向のある行から「ＧＲＧＲＧ」の画素を抽出している。ただし、説明の便宜上、Ｇの画素とＲの画素の間で、画素値を垂直方向にずらして示している。隣接するＲの画素値ｒ０とｒ１の平均より中央のＧの画素の位置にＲの補間画素値ｒ´を補間する。しかし、図１４に示すように、ＲがＧに連動して変化をしているのであれば、補間画素値ｒ´は補間対象位置のＧの画素値ｇの値をとるはずであるが、そのような変化はＲからだけでは生成できないため、図のように鈍った波形となる。
【０００５】
これに対して、所望の画素を他の色成分の画素値を使用して生成する場合、一例として次のような式が用いられる。例えばＧの画素の位置にＧの画素値を利用してＲの画素を生成する場合、Ｒの補間画素値をｒ´とすると、次式で表される。
ｒ´＝ｇ＋ｒａ−ｇａ
ここで、ｇはＧの画素の画素値、ｒａはＧの画素の周辺にあるＲの画素の画素値から算出した平均画素値、ｇａはＧの画素の周辺にあるＲの画素の位置に生成したＧの平均画素値である。
【０００６】
またデモザイク処理により、単板ＣＣＤが出力する画像データから、より精度よく高精細な３板ＣＣＤ出力相当の画像データを得ることができる技術が開示されている（例えば、特許文献１を参照。）特許文献１には、各色の相関の度合いを示す相関コードと、ＡＤＲＣ処理されたクラスタップとに基づいて注目画素をクラスに分類するクラス分類適応処理を行って、３板ＣＣＤ出力相当の画像を生成する方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１９５０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記式を用いた方法には、次のような不都合があった。
画像の急峻なエッジ（境界線）など２つの画素の画素値の波形の変化量が異なる場合には、補間された画素値は不自然な値となり、画像に破綻を生じてしまう。
また、注目するＧの画素の周辺にある生成したい色成分の画素の位置にＧの画素を正しく生成できなかった場合には、その影響を受けて補間された画素値は不自然な値となり、画像に破綻を生じてしまう。
また、注目するＧの画素の周辺にある生成したい色成分の画素の位置にＧの画素を予め生成する必要があるため、他の補間処理との並列化ができず、処理速度を向上させることができない。
さらに、倍密ベイヤ配列等のＧの画素を新たに生成する必要のないカラーフィルタが設けられた撮像素子の場合でも、上記方式によればＧの補間画素値を生成することになるため、処理が重くなる。
【０００９】
他方、特許文献１に記載の方法は、相関コードを生成する処理、クラスタップにＡＤＲＣ処理を施す処理、相関コードとＡＤＲＣ処理されたクラスタップとに基づいて注目画素をクラスに分類するクラス分類適応処理など、複雑な処理が必要であるため、計算量が多く処理負荷が重くなる。なお、特許文献１に記載の方法では、例えば補間対象の画素のある色成分の画素値の波形の変化量が大きいとき、その画素値の波形の情報をそのまま所望する色成分の画素値の補間に使用することはなかった。
【００１０】
以上のような状況から、この技術分野では、サンプリングした色成分の画素の画素値を用いて、所望する色成分の画素の生成をより精度よく行える手法が要望されていた。
【課題を解決するための手段】
【００１１】
本開示の一側面は、局所領域抽出部により、第１色成分の画素と、第２色成分の画素を含んで構成される画像データから、第１色成分の画素及び第２色成分の画素を含んで構成される局所領域を抽出する。次に、判定処理部により、局所領域内の注目画素の第１色成分の画素の画素値が、局所領域内の第１色成分の画素の画素値のダイナミックレンジに寄与するか否かを判定する。そして、判定処理部の判定結果に応じて、注目画素である第１色成分の画素の位置に補間する、第２色成分の画素の補間画素値を算出する生成式を切り換える。
【００１２】
本開示の一側面によれば、局所領域内の注目画素の第１色成分の画素の画素値が、局所領域内の第１色成分の画素の画素値のダイナミックレンジに寄与するか否かに応じて、注目画素である第１色成分の画素の位置に補間する、第２色成分の画素の補間画素値を算出する生成式が切り換えられる。それにより、局所領域内の第１及び／又は第２色成分の画素の画素値を用いて、第１色成分の注目画素の位置に第２色成分の補間画素値をより精度よく算出できる。
【発明の効果】
【００１３】
本開示によれば、サンプリングした第１及び／又は第２色成分の画素の画素値を用いて、第１色成分の注目画素の位置に第２色成分の画素をより精度よく生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本開示の一実施形態に係る補間処理部の内部構成例を示すブロック図である。
【図３】本開示の一実施形態に係る補間処理部による補間処理の概要を示すフローチャートである。
【図４】画像データ（ＲＡＷデータ）から抽出した局所領域の一例を示す説明図である。
【図５】Ｇの画素の画素値ｇがダイナミックレンジに直接寄与しない例を示した説明図である。
【図６】Ｇの画素の画素値ｇがダイナミックレンジに直接寄与する例を示した説明図である。
【図７】本開示の一実施形態に係る補間処理部による補間処理の具体例を示すフローチャートである。
【図８】一般的な補間処理の例を示すフローチャートである。
【図９】本開示の一実施形態に係る補間処理の第１変形例を示すフローチャートである。
【図１０】本開示の一実施形態に係る補間処理の第２変形例を示すフローチャートである。
【図１１】本開示の一実施形態に係る補間処理の第３変形例を示すフローチャートである。
【図１２】コンピュータのハードウェアの構成例を示すブロック図である。
【図１３】一般的なデモザイク処理の説明図である。
【図１４】注目画素の位置に該注目画素の色成分と異なる色成分の画素値を、他の単色の色成分の画素値を用いて算出する方法の説明図である。
【発明を実施するための形態】
【００１５】
本開示の一実施形態に係る画像処理装置の一例を、図面を参照しながら下記の順序で説明する。なお、本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。
１．一実施形態（注目画素の位置に、所望する色成分の画素値を他の色成分のダイナミックレンジを参照して補間する例）
１．撮像装置の構成例
２．補間処理部の構成例
３．補間処理の例
４．変形例
【００１６】
＜１．撮像装置の構成例＞
図１は、本開示の一実施形態に係る撮像装置の構成例を示すブロック図である。本例では、本開示に係る画像処理装置を、一例として撮像装置に適用している。この撮像装置１は、レンズ１１と、撮像素子１２と、Ａ／Ｄ（アナログ／デジタル）変換器１３と、カメラ信号処理部１４とを備えている。
【００１７】
レンズ１１は、被写体の像光を取り込んで撮像素子１２の図示せぬ撮像面に結像させるものである。撮像素子１２は、レンズ１１から受光した光を電気信号に変換する光電変換回路である。この撮像素子１２の前面には、マトリクス状に配列された各画素の光電変換素子ごとに、例えばＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが設けられている。カラーフィルタは、例えば図１３に示したようなベイヤ配列のフィルタであり、第１の色成分としてのＧのフィルタが市松状に配置されるとともに、第２又は第３の色成分としてのＲ及びＢのフィルタが、それ以外の位置に一行ごとに交互に配置されている。
【００１８】
撮像素子１２は、例えばＣＣＤ（Charge Coupled Devices：電荷結合素子）に代表される電荷転送型固体撮像素子や、ＭＯＳ（Metal Oxide Semiconductor:金属酸化型半導体）に代表されるＸ−Ｙアドレス型固体撮像素子などにより実現される。撮像素子１２内には、画素に対応する複数の光電変換素子が二次元的に配置されており、各画素の光電変換素子は、カラーフィルタを通過した各色成分の光を光電変換して画素信号（アナログ信号）として出力する。カラーフィルタを構成するＲ，Ｇ，Ｂの各カラーフィルタの配置位置は、撮像素子１２の画素の配置位置と対応している。すなわち、各画素では、Ｒ，Ｇ，Ｂのいずれか１つの色成分を有する画素信号が生成される。
【００１９】
Ａ／Ｄ変換器１３は、撮像素子１２から出力される画像信号をアナログ信号からデジタル信号に変換するものである。このデジタル信号は、カメラ信号処理部１４に入力される。
【００２０】
カメラ信号処理部１４は、光学系補正部２１と、ホワイトバランス（ＷＢ）部２２と、補間処理部２３と、ガンマ補正部２４と、ＹＣ変換部２５とを備える。
【００２１】
光学系補正部２１は、カメラ信号処理部１４に入力されるデジタル信号（画像信号）に対して黒レベルを合わせるデジタルクランプ、撮像素子１２の欠陥を補正する欠陥補正、レンズ１１の周辺光量落ちを補正するシェーディング補正など、撮像素子１２や光学系に起因する補正を行うものである。
【００２２】
ホワイトバランス部２２は、光学系補正部２１を経た画像信号に対して、白い被写体に対してＲＧＢの各色が同じレベルになるようにホワイトバランス調整処理を行うものである。
【００２３】
補間処理部２３は、ホワイトバランス部２２から出力される画像信号（モザイク画像：ＲＡＷデータ）の各画素の画素信号に対して、その画素信号が有さない色成分を推定し、推定した色成分を補間する処理（デモザイク）を行う。それにより、ｎ×ｍの単板式撮像素子が出力する画像データから、ｎ×ｍのＲ（赤）の画像データ、ｎ×ｍのＧ（緑）の画像データ、ｎ×ｍのＢ（青）の画像データを生成する。
【００２４】
このように補間処理部２３は、単板式の撮像素子１２から出力されたＲの画素値を有する画素、Ｇの画素値を有する画素、及びＢの画素値を有する画素から構成される画像データを、Ｒの画素値、Ｇの画素値、及びＢの画素値を有する画素から構成される３板撮像素子出力相当の画像データに変換する。この補間処理部２３における補間処理の詳細については後述する。
【００２５】
ガンマ補正部２４では、補間処理部２３から出力された各色の画像データの値をガンマ曲線に沿って補正する。なお、ガンマ補正部２４は、補間処理部２３の前段に配置してもよい。補間処理部２３における補間処理に先立って、ガンマ補正のような非線形の画素信号変換を施して、暗い画素信号域を持ち上げて（明るい画素に近づけて）、画素信号の分散をある程度抑制することにより、補間処理部２３において実行される補間処理の信頼性を向上させることができる。
【００２６】
ＹＣ変換部２５は、各色の画像に、マトリックス処理及びクロマ成分に対する帯域制限を行うことで、Ｙ画像（Ｙ信号）及びＣ画像（Ｃｒ色差信号、Ｃｂ色差信号）を生成するものである。
【００２７】
＜２．補間処理部の構成例＞
図２は、本開示の一実施形態に係る補間処理部２３の内部構成例を示すブロック図である。
補間処理部２３は、局所領域抽出部２３１、ダイナミックレンジ判定処理部２３２、切換え部２３３、第１画素値演算部２３４、第２画素値演算部２３５、画素値補間部２３６を備えて構成される。
【００２８】
局所領域抽出部２３１は、ホワイトバランス調整された画像データ（ＲＡＷデータ）から、注目画素周辺のある大きさの局所領域に含まれる画素を切り出す。ここでは一例として、切り出す領域を、図４に示すような注目画素を中心とした水平方向における５×１画素の領域とする。
【００２９】
ダイナミックレンジ判定処理部２３２は、判定処理部の一例であり、第１色成分ダイナミックレンジ算出部２３２ａと、ダイナミックレンジ寄与判定部２３２ｂを備えて構成される。ダイナミックレンジ判定処理部２３２には、局所領域を構成する、注目画素を含む第１色成分の各画素の画素値が入力される。
【００３０】
第１色成分ダイナミックレンジ算出部２３２ａは、局所領域内の注目画素と同じ色成分（第１色成分）の各画素の画素値の最大値ｍａｘ及び最小値ｍｉｎを検出し、検出された画素値の最大値と最小値との差であるダイナミックレンジＤＲを算出する。
【００３１】
ＤＲ＝ｍａｘ−ｍｉｎ      ・・・・（式１）
【００３２】
ダイナミックレンジ寄与判定部２３２ｂは、注目画素の第１色成分の画素値が、第１色成分ダイナミックレンジ算出部２３２ａで算出された、局所領域内の第１色成分のダイナミックレンジＤＲに寄与するか否かを判定する。注目画素の第１色成分の画素値が、最大値又は最小値と同じ値であって、他にこの最大値又は最小値と同じ値の画素値を持つ第１色成分の画素が存在しなければ、注目画素の画素値は、ダイナミックレンジＤＲに寄与していると判定する。この判定基準によれば、注目画素の画素値がダイナミックレンジに寄与している場合、注目画素の画素値がないことによってダイナミックレンジの値が変わる。しかし、注目画素の画素値がダイナミックレンジに寄与していない場合、注目画素の画素値の有無によってダイナミックレンジの値は変わらない。
【００３３】
切換え部２３３は、ダイナミックレンジ寄与判定部２３２ｂの指令に従い、局所領域抽出部２３１と、第１画素値演算部２３４又は第２画素値演算部２３５のいずれかを接続するよう、切り替えるものである。すなわち、ダイナミックレンジ寄与判定部２３２ｂにおいて注目画素の画素値がダイナミックレンジＤＲに寄与していないと判定された場合、切換え部２３３は、局所領域抽出部２３１と第１画素値演算部２３４を接続する。一方、注目画素の画素値がダイナミックレンジＤＲに寄与していると判定された場合、切換え部２３３は、局所領域抽出部２３１と第２画素値演算部２３５を接続する。
【００３４】
第１画素値演算部２３４は、第２色成分ダイナミックレンジ算出部２３４ａと、第１補間画素値算出部２３４ｂを備えて構成される。第１画素値演算部２３４には、局所領域を構成する、注目画素を含む第１色成分の各画素の画素値と、第２色成分の各画素の画素値が入力される。この第１画素値演算部２３４は、注目画素の画素値がダイナミックレンジＤＲに寄与していないときに動作する。
【００３５】
第２色成分ダイナミックレンジ算出部２３４ａは、局所領域内の注目画素の第１色成分と異なる第２色成分の各画素の画素値の最大値ｍａｘ及び最小値ｍｉｎを検出し、検出された画素値の最大値と最小値との差であるダイナミックレンジＤＲ（ＤＲ＝ｍａｘ−ｍｉｎ）を算出する。
【００３６】
第１補間画素値算出部２３４ｂは、第１色成分ダイナミックレンジ算出部２３２ａで算出された第１色成分のダイナミックレンジＤＲと、第２色成分ダイナミックレンジ算出部２３４ａで算出された第１色成分のダイナミックレンジＤＲを利用して、第１補間画素値を算出する。
【００３７】
第２画素値演算部２３５は、第２補間画素値算出部２３５ａと、第３補間画素値算出部２３５ｂと、補間画素値選択部２３５ｃを備えて構成される。第２画素値演算部２３５には、局所領域を構成する、注目画素を含む第１色成分の各画素の画素値と、第２色成分の各画素の画素値が入力される。この第２画素値演算部２３５は、注目画素の画素値がダイナミックレンジＤＲに寄与しているときに動作する。
【００３８】
第２補間画素値算出部２３５ａは、第１の補間画素値算出部の一例であり、局所領域内のサンプリングされた、注目画素を含む第１色成分の各画素の画素値と、第２色成分の各画素の画素値を用いて、第２色成分の第２補間画素値を算出する。
【００３９】
第３補間画素値算出部２３５ｂは、第２の補間画素値算出部の一例であり、局所領域内のサンプリングされた第２色成分の各画素の画素値を加算平均し、第２色成分の第３補間画素値を算出する。
【００４０】
補間画素値選択部２３５ｃは、注目画素の第１色成分の画素値と、第２補間画素値算出部２３５ａが算出した第２色成分の第２補間画素値と、第３補間画素値算出部２３５ｂが算出した第２色成分の第３補間画素値の３つの値を比較して、２番目の値を選択して出力する。
【００４１】
画素値補間部２３６は、第１画素値演算部２３４又は第２画素値演算部２３５のいずれかより入力される値を用いて、第１色成分の注目画素の位置に第２色成分の補間画素値を補間する処理を行う。そして、画像データ（ＲＡＷデータ）のすべての画素において補間処理を行い、色成分ごとに画像データを出力する。
【００４２】
＜３．補間処理の例＞
［補間処理の概要］
次に、図３のフローチャートを参照して、補間処理部２３により画像データ（ＲＡＷデータ）に対して行われる補間処理を説明する。
【００４３】
まず、ステップＳ１において、局所領域抽出部２３１は、ホワイトバランス部２２から入力される画像データから、注目画素を含む局所領域（ブロック）を抽出する。そして、局所領域抽出部２３１は、局所領域を構成する画素の画素値を、ダイナミックレンジ判定処理部２３２、及び切換え部２３３に供給する。
【００４４】
ステップＳ２において、第１色成分ダイナミックレンジ算出部２３２ａが、局所領域抽出部２３１から供給された局所領域を構成する画素の画素値から、局所領域内において注目画素と同じ色成分（第１色成分）の画素値のダイナミックレンジを計算する。そして、算出した第１色成分のダイナミックレンジを、ダイナミックレンジ寄与判定部２３２ｂへ供給する。
【００４５】
ステップＳ３において、ダイナミックレンジ寄与判定部２３２ｂは、第１色成分ダイナミックレンジ算出部２３２ａから供給された第１色成分のダイナミックレンジより、第１色成分の注目画素の画素値が局所領域内の第１色成分のダイナミックレンジに直接寄与するか否かを判定する。そして、ダイナミックレンジ寄与判定部２３２ｂは、判定結果を切換え部２３３に供給する。
【００４６】
ステップＳ４において、第１色成分の注目画素の画素値が局所領域内の第１色成分のダイナミックレンジに直接寄与しない場合（ステップＳ３のＮＯ）、切換え部２３３は、局所領域抽出部２３１と第１画素値演算部２３４を接続する。第２色成分ダイナミックレンジ算出部２３４ａは、局所領域抽出部２３１より供給される局所領域を構成する画素の画素値より、注目画素の位置に補間する色成分である第２色成分の画素値のダイナミックレンジを算出する。そして、算出した第２色成分のダイナミックレンジを第１補間画素値算出部２３４ｂへ供給する。また、ダイナミックレンジ寄与判定部２３２ｂも、第１色成分のダイナミックレンジを第１補間画素値算出部２３４ｂへ供給する。
【００４７】
ステップＳ５において、第１補間画素値算出部２３４ｂは、第１色成分及び第２色成分のダイナミックレンジを利用して、注目画素の位置における第２色成分の第１補間画素値を算出し、画素値補間部２３６へ供給する。
【００４８】
一方、ステップＳ６において、第１色成分の注目画素の画素値が局所領域内の第１色成分のダイナミックレンジに直接寄与する場合（ステップＳ３のＹＥＳ）、切換え部２３３は、局所領域抽出部２３１と第２画素値演算部２３５を接続する。第２補間画素値算出部２３５ａは、局所領域内のサンプリングされた、注目画素を含む第１色成分の画素の画素値と、局所領域内のサンプリングされた第２色成分の画素の画素値を用いて、注目画素の位置における第２色成分の第２補間画素値を算出する。
【００４９】
ステップＳ７において、第３補間画素値算出部２３５ｂは、局所領域内のサンプリングされた第２色成分の画素の画素値の平均をとり、注目画素の位置における第３補間画素値を算出する。
【００５０】
ステップＳ８において、補間画素値選択部２３５ｃは、注目画素の第１色成分の画素値と、第２補間画素値算出部２３５ａが算出した第２補間画素値と、第３補間画素値算出部２３５ｂが算出した第３補間画素値の３つの値を比較して、２番目の値を選択する。そして、選択した値を画素値補間部２３６へ供給する。
【００５１】
ステップＳ９において、画素値補間部２３６は、第１画素値演算部２３４又は第２画素値演算部２３５のいずれかより入力される値を用いて、第１色成分の注目画素の位置に第２色成分の画素値を補間する。
【００５２】
ステップＳ１０において、補間処理部２３は、ホワイトバランス部２２から供給された画像データ（ＲＡＷデータ）の必要なすべての画素について補間処理が終了したか判定する。供給されたＲＡＷデータのすべての画素について補間処理が終了した場合は、一連の補間処理を終了する。一方、供給されたＲＡＷデータに対して未処理の画素がある場合は、ステップＳ１以降の処理を繰り返す。
【００５３】
［補間処理の具体例］
次に、図４〜図７を参照して補間処理部２３により画像データ（ＲＡＷデータ）に対する補間処理について具体例を挙げて説明する。ここでは、Ｇの画素の位置にＲの画素値を補間する場合の例としている。Ｇの画素の波形変化はＲの画素のものと同じと考え、Ｇの画素の波形変化と同じになるようにＧの画素の位置にＲの画素を生成する。
【００５４】
図４は、画像データ（ＲＡＷデータ）から抽出した局所領域の一例を示す説明図である。この例では、ＲＡＷデータの垂直方向の座標ｖ、水平方向の座標ｈ−２〜ｈ＋２における「ＧＲＧＲＧ」の５個の画素から構成される局所領域Ａｒを抽出している。
すなわち、３つのＧの画素が一つおきに配置され、中央のＧの画素の左右にＲの画素が配置されている。以降の例では、これら５個の画素のうち中央に位置するＧの画素（図中、ドット表示）を注目画素とする。Ｇは第１色成分に相当し、Ｒは第２色成分に相当する。
【００５５】
次に、注目画素であるＧの画素の画素値ｇがダイナミックレンジに直接寄与しない場合の例と、寄与する場合の例を説明する。
【００５６】
図５は、Ｇの画素の画素値ｇがダイナミックレンジに直接寄与しない例を示した説明図である。また図６は、Ｇの画素の画素値ｇがダイナミックレンジに直接寄与する例を示した説明図である。横方向は撮像素子の水平方向における座標、縦方向は画素値を示している。ただし、説明の便宜上、Ｇの画素とＲの画素の間で、画素値を垂直方向にずらして示している。
【００５７】
図５の例では、局所領域Ａｒ内で一つおきに配置された３つのＧの画素の画素値ｇ０，ｇ，ｇ１のうち、中央のＧの画素の画素値ｇは最小値であるが、画素値ｇ０も同じ最小値である。この場合、画素値ｇは、ＧのダイナミックレンジＤＲｇに寄与しないと判定される。
【００５８】
一方、図６の例では、局所領域Ａｒ内の３つのＧの画素の画素値ｇ０，ｇ，ｇ１のうち、中央のＧの画素の画素値ｇは最大値であり、かつ、同じ値の画素値を持つ画素が存在しない。この場合、画素値ｇは、ＧのダイナミックレンジＤＲｇに寄与すると判定される。
【００５９】
図７は、本開示の一実施形態に係る補間処理部２３による補間処理の具体例を示すフローチャートである。
補間処理を開始すると、ステップＳ１１において、第１色成分ダイナミックレンジ算出部２３２ａは、局所領域抽出部２３１で画像データから切り出された物局所領域Ａｒを構成するＧの画素の画素値のダイナミックレンジＤＲｇを計算する。
【００６０】
ステップＳ１２において、ダイナミックレンジ寄与判定部２３２ｂは、算出されたダイナミックレンジＤＲｇから、注目画素のＧの画素値ｇがダイナミックレンジＤＲｇに寄与するか否かを判定する。具体的には、画素値ｇが最大値又は最小値である（ｇ＝ｍｉｎ又はｍａｘ）か否か、かつ、画素値ｇの他に最大値又は最小値となる画素値が存在しない（ｇ！＝ｇ（ｉ））かどうかを判定する。
【００６１】
ステップＳ１３において、注目画素のＧの画素値ｇがダイナミックレンジＤＲｇに寄与する場合（ステップＳ１２のＹＥＳ）、第２補間画素値算出部２３５ａは、式２により、サンプリングしたＲの画素の画素値ｒ（ｉ）（ｉ＝０，１）に、サンプリングしたＧの画素の画素値の変化量を反映した補正画素値ｒｔ（ｉ）を計算する。
【００６２】
ｒｔ（ｉ）＝ｒ（ｉ）＋（ｇ−ｇ（ｉ））／２    （ｉ＝０，１）  ・・・・（式２）
【００６３】
次に、ステップＳ１４において、第２補間画素値算出部２３５ａは、補正画素値ｒｔ（０），ｒｔ（１）の平均をとり、注目画素の位置に補間するＲの補間画素値ｒ＿ｔｍｐを計算する。
【００６４】
ｒ＿ｔｍｐ＝（ｒｔ（０）＋ｒｔ（１））／２      ・・・・（式３）
【００６５】
一方、ステップＳ１５において、第３補間画素値算出部２３５ｂは、式４により、Ｒの画素値ｒ０，ｒ１の平均をとって補間画素値ｒａを算出する。なお、ここでは、加算平均しているが、フィルタ処理など他の方法を適用してもよい。
【００６６】
ｒａ＝（ｒ０＋ｒ１）／２      ・・・・（式４）
【００６７】
そして、ステップＳ１６において、補間画素値選択部２３５ｃは、注目画素のＧの画素値ｇ、補間画素値ｒ＿ｔｍｐ、補間画素値ｒａの３つの値のうち、補間画素値ｒ＿ｔｍｐが２番目の値であるか否かを判定する。
【００６８】
ステップＳ１７において、補間画素値選択部２３５ｃは、補間画素値ｒ＿ｔｍｐが２番目の値である場合（ステップＳ１６のＹＥＳ）、注目画素のＧの位置に補間するＲの補間画素値ｒ´として、補間画素値ｒ＿ｔｍｐを選択する。補間画素値ｒ´として補間画素値ｒ＿ｔｍｐを選択した場合、Ｇの変化に連動する解像度の高い波形が再現できるＲ（赤）の値をＧの画素の位置に補間することができる。
【００６９】
また、ステップＳ１８において、補間画素値選択部２３５ｃは、注目画素のＧの画素値ｇ、補間画素値ｒ＿ｔｍｐ、補間画素値ｒａの３つの値のうち、補間画素値ｒａが２番目の値であるか否かを判定する。
【００７０】
ステップＳ１９において、補間画素値選択部２３５ｃは、補間画素値ｒａが２番目の値である場合（ステップＳ１８のＹＥＳ）、注目画素のＧの位置に補間するＲの補間画素値ｒ´として、補間画素値ｒａを選択する。補間画素値ｒ´として補間画素値ｒａを選択した場合、補間対象のＧの画素に隣接する２つのＲの画素の画素値の平均値を用い、安全な値で補間することができる。
【００７１】
一方、ステップＳ２０において、補間画素値選択部２３５ｃは、補間画素値ｒ＿ｔｍｐに続いて補間画素値ｒａも２番目の値ではない場合（ステップＳ１８のＮＯ）、注目画素のＧの位置に補間するＲの補間画素値ｒ´として、画素値ｇを選択する。補間画素値ｒ´として画素値ｇを選択した場合、Ｇの変化に連動し、グレーに近い色となるため、比較的安全な値で補間することができる。
【００７２】
上記ステップＳ１６〜Ｓ２０の処理において、３つの値の中で２番目の値を、補間画素値として選択することにより、平均値（ｒ＿ｔｍｐ、ｒａ）やＲの色に関係のない画素値ｇなどの安全な値を用いて補間処理を行うことができる。
【００７３】
一方、注目画素のＧの画素値ｇがダイナミックレンジＤＲｇに寄与しない場合（ステップＳ１２のＮＯ）、第１画素値演算部２３４は、以下の式５−８により、注目画素のＧに補間するＲの画素値を計算する。
【００７４】
まず、ステップＳ２１において、第２色成分ダイナミックレンジ算出部２３４ａは、式５により、局所領域Ａｒ内のＲの画素のダイナミックレンジＤＲｇを計算する。
【００７５】
ＤＲｒ＝｜ｒ０−ｒ１｜      ・・・・（式５）
【００７６】
次に、ステップＳ２２において、第１補間画素値算出部２３４ｂは、式６により、局所領域Ａｒ内のＧの画素値のダイナミックレンジＤＲｇを、Ｒの画素値のダイナミックレンジＤＲｒを反映して正規化する処理を行う。ここで、式６における数字の２は、Ｇの注目画素（ｈ）と隣接するＧの画素（ｈ−２）との距離を表している。
【００７７】
ｄｇ（ｉ）＝（ＤＲｒ／（２＊ＤＲｇ））＊（ｇ−ｇ（ｉ）） （ｉ＝０，１）
・・・・（式６）
但し、ＤＲｇ＝０のとき、ｄｇ（ｉ）＝０
【００７８】
そして、ステップＳ２３において、第１補間画素値算出部２３４ｂは、ｄｇ（ｉ）を用いて、式７により、Ｇ及びＲの画素値のダイナミックレンジＤＲｇ，ＤＲｒを反映したＲの補正画素値ｄｒ（ｉ）を計算する。
【００７９】
ｄｒ（ｉ）＝ｒ（ｉ）＋ｄｇ（ｉ）    （ｉ＝０，１）  ・・・・（式７）
【００８０】
そして、ステップＳ２４において、第１補間画素値算出部２３４ｂは、式８により、補正画素値ｄｒ（０）とｄｒ（１）の平均値を計算し、注目画素のＧの位置に補間するＲの補間画素値ｒ´を求める。
【００８１】
ｒ´＝（ｄｒ（０）＋ｄｒ（１））／２             ・・・・（式８）      
【００８２】
なお、ここでは補正画素値ｄｒ（０）とｄｒ（１）の平均値を求めているが、他の色成分の画素値から補正画素値ｄｒ（０）及びｄｒ（１）との相関を調べ、それにより各々に重みをつけて足し合わせるようにしてもよい。
【００８３】
上述した本開示の一実施形態によれば、サンプリングした第１及び／又は第２の色成分の画素の画素値だけを用いて、第１色成分の画素の位置に所望する第２の色成分の画素値を補間することができる。例えば、所望の色（例えばＲ）を生成したい画素の位置に存在する別の色（例えばＧ）の波形情報を利用して、解像度の高い色の画素を生成することができる。
【００８４】
さらに、サンプリングした色成分の画素の波形情報（画素値の変化量）を活用して、補間する色成分の画素値の波形（画素値）を鈍らないようにすることができる。例えば、別の色成分（例えばＧ）のダイナミックレンジ（局所領域内の最大画素値−最小画素値）と、生成する所望の色成分（例えばＲ）のダイナミックレンジを用いて、別の色成分の波形情報（例えばｄｒ（ｉ））を生成できる。
【００８５】
また、生成する画素の位置における別の色成分（例えばＧ）の画素値が、局所領域内の当該別の色成分の画素値のダイナミックレンジに寄与する（最大値又は最小値となる唯一の画素値）かどうかを判定する。そして、判定の結果に基づいて、生成する画素の色成分（例えばＲ）の画素値を求める計算式を切り替える。なお、別の色成分の画素値がダイナミックレンジに寄与する場合には、生成する色成分の画素値も当該別の色成分の画素値のダイナミックレンジに寄与させるようにする。すなわち、生成する色成分の画素値に、他の色成分の画素値の変化量を反映させる。
【００８６】
上記の生成する色成分（例えばＲ）の画素値のダイナミックレンジが使えない場合、生成する画素の位置の別の色成分の画素値（画素値ｇ）、生成する色成分のみによる処理で生成した画素値（例えばｒａ）、などを使って不適切な画素値を生じさせない。よって、画像に破綻を生じさせないようにすることができるので、各色成分ごとに高画質の画像データを生成することができる。
【００８７】
なお、図５〜図７に示した例では、注目画素のＧの位置にＲの画素値を補間する例を説明したが、Ｒに代えてＢでもよい。また、本開示の技術を用いて、Ｒ，Ｂの画素の位置に、Ｇの画素値を補間してもよい。特に、本開示において、画像データに含まれる輝度信号の主成分となるＧの画素の画素値が、局所領域内のＧのダイナミックレンジに寄与するかどうかに応じて補間する色成分の画素値の計算を切り換えるようにした場合、もっとも高い効果が期待できると考えられる。
【００８８】
また、上述した実施形態では、水平方向に配列された第１色成分と第２色成分を含む５画素から構成される領域を抽出したが、この例に限られない。例えば、第１色成分と第２色成分の画素を含む５画素以上の画素から構成される領域を抽出してもよい。また、垂直方向に配列された第１色成分と第２色成分を含む５画素以上の画素から構成される領域を抽出してもよい。さらに、注目画素を中心として水平方向と垂直方向に配列された第１色成分と第２色成分の画素を含む５画素以上の画素から構成される領域を抽出してもよい。
【００８９】
［一般的な補間処理の例］
次に、補間処理部２３による色成分の補間処理の例について、図８のフローチャートを参照して説明する。図８は、一般的な補間処理の例を示すフローチャートである。
まず、ＲやＢがサンプリングされた位置にＧを補間する（ステップＳ３１）。次に、Ｒがサンプリングされた位置にＢの画素値を補間し（ステップＳ３２）、Ｂがサンプリングされた位置にＲの画素値を補間する（ステップＳ３３）。そして、Ｇがサンプリングされた位置にＲの画素値を補間し（ステップＳ３４）、Ｇがサンプリングされた位置にＢの画素値を補間する（ステップＳ３５）。
【００９０】
本開示に係る補間処理は、ある色成分の注目画素の位置に所望の色成分の画素値を補間するものであるから、本開示の一実施形態をステップＳ３１〜Ｓ３５のいずれの処理にも適用することが可能である。
【００９１】
背景技術の欄で説明したように、従来、例えばＧの画素の位置にＲの画素を生成する場合、生成するＲの画素の周辺に存在するＲの画素の位置に一旦Ｇの画素を生成し、生成したＧの画素値ｇ´を、補間するＲの画素値ｒ´を算出するのに利用していた。しかし、本開示の一実施形態によれば、例えばＧの画素の位置に補間するＲの画素値´を算出する場合、サンプリングしたＧ及び／又はＲの画素値のみを直接的に用いる。それゆえ、Ｇの画素値ｇ´を算出する処理を省くことができ、補間処理部２３による補間処理の軽量化と高速化を実現できる。
【００９２】
また、本開示の一実施形態によれば、サンプリングした各色成分の画素の画素値を直接的に用いて、所望する色成分の画素を他の色成分の画素の位置に生成するので、複数の色成分について新たに画素を生成する処理を並行して実行することができる。例えば、従来ではステップＳ３１の処理でＲやＢがサンプリングされた位置に補間するＧの補間画素値を算出し、このＧの補間画素値を他の処理ステップに利用することが行われるが、本開示の技術を用いれば、ステップＳ３１の処理と他のステップＳ３２〜Ｓ３５の処理を並行して行うことができる。よって、補間処理部２３による補間処理の高速化を実現できる。
【００９３】
なお、斜め画素配列のベイヤ配列、いわゆる倍密ベイヤ配列に適用した場合、Ｇの画素の画素値はすべてサンプリングした値を利用できることから、補間処理としては図８のステップＳ３１に相当する処理を行う必要がなくなる。しかし、Ｇがサンプリングされた位置にＲやＢを補間する際に、該当Ｇの画素の周辺のＲやＢの画素の位置に一旦Ｇの補間画素値を求める必要がある。一方、本開示に係る補間処理の技術を倍密ベイヤ配列に適用した場合、注目するＧの画素の周辺のＲやＢの画素の位置に一旦Ｇの補間画素値を求める処理を行う必要がない。よって、本開示に係る補間処理の技術を倍密ベイヤ配列に適用した場合、このような無駄な処理が必要ないため、補間処理の高速化が可能である。
【００９４】
＜４．変形例＞
［第１変形例］
第１変形例は、上述した一実施形態の補間処理（図７参照）において補間画素値ｒ＿ｔｍｐを算出する過程で導出した値を用いて、補間画素値選択部２３５ｃによる補間画素値の選択を行う場合の例である。
【００９５】
図９は、本開示の一実施形態に係る補間処理の第１変形例を示すフローチャートである。図７のステップＳ１５における、Ｒの画素値ｒ０，ｒ１を平均化して補間画素値ｒａを算出する処理が終了後、ステップＳ４１に進む。
【００９６】
まずステップＳ４１において、補間画素値選択部２３５ｃは、注目画素のＧの画素値ｇ、補正画素値ｒｔ（ｉ）（ｉ＝０，１）、補間画素値ｒａの３つの値のうち、補正画素値ｒｔ（ｉ）が２番目の値であるか否かを判定する。補正画素値ｒｔ（ｉ）は、サンプリングしたＲの画素の画素値ｒ（ｉ）（ｉ＝０，１）に、サンプリングしたＧの画素の画素値の変化量を反映した値であり、補間画素値ｒ＿ｔｍｐを算出する過程で式２により求められる。
【００９７】
ステップＳ４２において、補間画素値選択部２３５ｃは、補正画素値ｒｔ（ｉ）が２番目の値である場合（ステップＳ４１のＹＥＳ）、注目画素のＧの位置に補間するＲの補間画素値ｒ´として、補間画素値ｒｔ（ｉ）を選択する。補間画素値ｒ´として補正画素値ｒｔ（ｉ）を選択した場合、Ｇの変化に連動する解像度の高い波形が再現できるＲ（赤）の値をＧの画素の位置に補間することができる。これは、補間画素値ｒ＿ｔｍｐを算出する前であっても、画素値ｇと補間画素値ｒａの中間値があれば積極的に使用してＧの画素値の変化を反映するということであり、計算量が削減されるので補間処理の軽量化につながる。
【００９８】
また、ステップＳ４３において、補間画素値選択部２３５ｃは、注目画素のＧの画素値ｇ、補間画素値ｒ＿ｔｍｐ、補間画素値ｒａの３つの値のうち、補間画素値ｒａが２番目の値であるか否かを判定する。
【００９９】
ステップＳ４４において、補間画素値選択部２３５ｃは、補間画素値ｒａが２番目の値である場合（ステップＳ４３のＹＥＳ）、注目画素のＧの位置に補間するＲの補間画素値ｒ´として、補間画素値ｒ＿ｔｍｐと補間画素値ｒａの平均値を選択する。補間画素値ｒ´として、補間画素値ｒ＿ｔｍｐと補間画素値ｒａの平均値を選択した場合、補間画素値ｒ＿ｔｍｐを取り入れつつ安全な値で補間することができる。
【０１００】
一方、ステップＳ４５において、補間画素値選択部２３５ｃは、補間画素値ｒ＿ｔｍｐに続いて補間画素値ｒａも２番目の値ではない場合（ステップＳ４３のＮＯ）、注目画素のＧの位置に補間するＲの補間画素値ｒ´として、補間画素値ｒ＿ｔｍｐと画素値ｇの平均値を選択する。補間画素値ｒ´として、補間画素値ｒ＿ｔｍｐと画素値ｇの平均値を選択した場合、補間画素値ｒ＿ｔｍｐを取り入れつつＲの色を抑えた値で補間することができるので、Ｒを入れつつＧの変化に連動し、グレーに近い色となるため、比較的安全な値で補間することができる。
【０１０１】
［第２変形例］
第２変形例は、上述した一実施形態の補間処理（図７参照）において、補間画素値選択部２３５ｃによる補間画素値の選択を、補間画素値ｒ＿ｔｍｐを取り入れつつ、より安全な方向で行う場合の例である。
【０１０２】
図１０は、本開示の一実施形態に係る補間処理の第２変形例を示すフローチャートである。図７のステップＳ１５における、Ｒの画素値ｒ０，ｒ１を平均化して補間画素値ｒａを算出する処理が終了後、ステップＳ５１に進む。
【０１０３】
本例の補間処理は、ステップＳ１５の処理が終了後、図９のステップＳ４１相当の処理をスキップして、ステップＳ４３の処理に進むことと同じである。したがって、図１０のステップＳ５１〜Ｓ５３の処理は、図９のステップＳ４３〜Ｓ４５の処理と同じであるので、説明を割愛する。
【０１０４】
本例によれば、図９のステップＳ４１相当の処理をスキップすることにより、補間画素値ｒ＿ｔｍｐの値を単独で用いて補間することがなく、補間画素値ｒ＿ｔｍｐと他の値との平均値により補間する。したがって、補間画素値ｒ＿ｔｍｐを取り入れつつ、より安全な方向で補間を行うことができる。
【０１０５】
［第３変形例］
第３変形例は、上述した一実施形態の補間処理（図７参照）において、補間画素値選択部２３５ｃによる補間画素値の選択を、補間画素値ｒ＿ｔｍｐを取り入れつつ、第１及び第２変形例よりもさらに安全な方向で行う場合の例である。
【０１０６】
図１１は、本開示の一実施形態に係る補間処理の第３変形例を示すフローチャートである。図７のステップＳ１５における、Ｒの画素値ｒ０，ｒ１を平均化して補間画素値ｒａを算出する処理が終了後、ステップＳ６１に進む。
【０１０７】
ステップＳ６１において、補間画素値選択部２３５ｃは、注目画素のＧの位置に補間するＲの補間画素値ｒ´として、補間画素値ｒ＿ｔｍｐと補間画素値ｒａと画素値ｇの平均値を算出する。
これにより、Ｒの補間画素値ｒ´に、画像を高精細にするための補間画素値ｒ＿ｔｍｐ、Ｒの補間画素値として中心色となる補間画素値ｒａ、色を安定させる画素値ｇの３つの要素が含まれるので、より安全な補間が行える。
【０１０８】
[その他]
また、上述した実施形態では、図１２に示すような一般的なベイヤ配列に適用した例を説明したが、その他のベイヤ配列など、複数の色成分が配置されたカラーフィルタが設けられた撮像素子から得られる画像データの補間処理に適用できることは勿論である。
【０１０９】
また、上述した実施形態では、本開示の画像処理装置を撮像装置に適用した例をあげたが、これに限定されるものではない。撮像装置で得られた画像信号を取り込んで画像処理を行う、撮像装置を有さない画像処理装置等にも適用することができる。本開示は、動画像を撮影するデジタルビデオカメラ、静止画像を撮像するデジタルスチルカメラ、カメラ一体型ＶＴＲ（Video Tape Recorder）等の映像機器、放送業務に用いられる画像処理装置、プリンタ、スキャナなどに適用することができる。
【０１１０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。また、これらの処理を実行する機能はハードウェアとソフトウェアの組み合わせによっても実現できることは言うまでもない。
【０１１１】
図１２は、上述した一連の処理をソフトウェアにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１１２】
図１２のコンピュータにおいて、ＣＰＵ(Central Processing Unit)１０１、ＲＯＭ(Read Only Memory)１０２、ＲＡＭ(Random Access Memory)１０３は、バス１０４により相互に接続されている。
【０１１３】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【０１１４】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【０１１５】
以上のように構成されるコンピュータでは、ＣＰＵ１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５及びバス１０４を介してＲＡＭ１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１６】
コンピュータ（ＣＰＵ１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１７】
コンピュータでは、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１１８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含むものでもよい。
【０１１９】
なお、本開示は以下のような構成も取ることができる。
（１）
第１色成分の画素と、第２色成分の画素を含んで構成される画像データから、第１色成分の画素及び第２色成分の画素を含んで構成される局所領域を抽出する局所領域抽出部と、
前記局所領域内の注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与するか否かを判定する判定処理部と、
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与しない場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出する第１画素値演算部と、
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与する場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出する第２画素値演算部と、
前記判定処理部の判定結果に応じて、前記第１画素値演算部と前記第２画素値演算部を切り換える切換え部と、
画像処理装置。
（２）
前記第１画素値演算部又は第２画素値演算部で算出された補間画素値を用いて、前記注目画素である前記第１色成分の画素の位置に補間処理を行う補間部、を更に備える
上記（１）に記載の画像処理装置。
（３）
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与する場合、
前記第２画素値演算部は、
前記局所領域内の前記注目画素を含む前記第１色成分の画素の画素値と、前記第２色成分の画素の画素値を用いて、前記第２色成分の第１の補間画素値を算出する第１の補間画素値算出部と、
前記局所領域内の前記第２色成分の画素の画素値を加算平均して、前記第２色成分の第２の補間画素値を算出する第２の補間画素値算出部と、
前記注目画素の第１色成分の画素値と、前記第１の補間画素値算出部が算出した前記第２色成分の第１補間画素値と、前記第２の補間画素値算出部が算出した前記第２色成分の第２補間画素値の３つの値から、前記注目画素の位置に補間する前記第２色成分の補間画素値として、２番目の値を選択する補間画素値選択部と、を備える
上記（１）又は（２）に記載の画像処理装置。
（４）
前記局所領域内において、前記第１色成分の画素と前記第２色成分の画素が交互に配置されている
上記（１）〜（３）のいずれかに記載の画像処理装置。
（５）
前記局所領域を構成する前記第１色成分の画素と前記第２色成分の画素が、前記画像データの水平方向又は垂直方向の少なくともいずれかの方向に配列されている
上記（１）〜（４）のいずれかに記載の画像処理装置。
（６）
前記第１色成分又は前記第２色成分は、赤、青又は緑のいずれかの色を表す成分である
上記（１）〜（５）のいずれかに記載の画像処理装置。
（７）
局所領域抽出部により、第１色成分の画素と、第２色成分の画素を含んで構成される画像データから、第１色成分の画素及び第２色成分の画素を含んで構成される局所領域を抽出することと、
判定処理部により、前記局所領域内の注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与するか否かを判定することと、
第１画素値演算部により、前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与しない場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出することと、
第２画素値演算部により、前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与する場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出することと、
切換え部により、前記判定処理部の判定結果に応じて、前記第１画素値演算部による処理と前記第２画素値演算部による処理を切り換えることと、を含む
画像処理方法。
（８）
第１色成分の画素と、第２色成分の画素を含んで構成される画像データから、第１色成分の画素及び第２色成分の画素を含んで構成される局所領域を抽出する手順と、
前記局所領域内の注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与するか否かを判定する手順と、
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与しない場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出する手順と、
前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与する場合に、前記注目画素である前記第１色成分の画素の位置に補間する、前記第２色成分の画素の補間画素値を算出する手順と、
前記判定の結果に応じて、前記注目画素の前記第１色成分の画素の画素値が、前記局所領域内の前記第１色成分の画素の画素値のダイナミックレンジに寄与しない場合の処理と、寄与する場合の処理を切り換える手順と
をコンピュータに実行させるプログラム。
【０１２０】
以上、本発明は上述した各実施形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
【符号の説明】
【０１２１】
１…撮像装置、  １２…撮像素子、  ２３…補間処理部、  ２３１…局所領域抽出部、
２３２…ダイナミックレンジ判定処理部、  ２３２ａ…第１色成分ダイナミックレンジ算出部、  ２３２ｂ…ダイナミックレンジ寄与判定部、  ２３３…切換え部、  ２３４…第１画素値演算部、  ２３４ａ…第２色成分ダイナミックレンジ算出部、  ２３４ｂ…第１補間画素値算出部、  ２３５…第２画素値演算部、  ２３５ａ…第２補間画素値算出部、  ２３５ｂ…第３補間画素値算出部、  ２３５ｃ…補間画素値選択部、  ２３６…画素値補間部
【図１】
2013219466.tif 000003
【図２】
2013219466.tif 000004
【図３】
2013219466.tif 000005
【図４】
2013219466.tif 000006
【図５】
2013219466.tif 000007
【図６】
2013219466.tif 000008
【図７】
2013219466.tif 000009
【図８】
2013219466.tif 000010
【図９】
2013219466.tif 000011
【図１０】
2013219466.tif 000012
【図１１】
2013219466.tif 000013
【図１２】
2013219466.tif 000014
【図１３】
2013219466.tif 000015
【図１４】
2013219466.tif 000016