(57)【要約】【課題】広ダイナミックレンジを実現することができるようにする。【解決手段】飽和画素検出部は、露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出する。周囲画素特定部は、飽和画素の近傍に位置し、飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定する。予測演算部は、特定された周囲画素に基づいて、画像の予測演算処理を行う。本技術は、例えば、画像処理装置に適用できる。【選択図】図９
2013162347.tif 000002
【特許請求の範囲】
【請求項１】
露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出する飽和画素検出部と、
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定する周囲画素特定部と、
前記周囲画素に基づいて、画像の予測演算処理を行う予測演算部と
を備える画像処理装置。
【請求項２】
前記周囲画素特定部は、前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素のみからなる周囲画素を特定する
請求項１に記載の画像処理装置。
【請求項３】
前記露光時間の異なる複数の素子群として、第１の露光時間の第１の素子群と、前記第１の露光時間より短い第２の露光時間の第２の素子群があり、
前記周囲画素特定部は、前記飽和画素の近傍に位置し、前記飽和画素の属する前記第１の素子群とは異なる前記第２の素子群の画素からなる周囲画素を特定する
請求項２に記載の画像処理装置。
【請求項４】
前記露光時間の異なる複数の素子群は、色成分に応じて規則的に配列されており、前記第２の素子群は、複数の色成分のうちの一つの色成分である
請求項３に記載の画像処理装置。
【請求項５】
前記色成分の配列はベイヤ配列であり、前記第２の素子群の色成分は緑色である
請求項４に記載の画像処理装置。
【請求項６】
前記露光時間の異なる複数の素子群の信号レベルを合わせるレベル調整部をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記撮像素子を介して取得された画像がモザイク画像であり、
前記予測演算部は、デモザイク後の画像の予測演算処理を行う
請求項１に記載の画像処理装置。
【請求項８】
前記予測演算部は、前記予測演算処理により、前記撮像素子を介して取得された低解像度の画像から、それより高解像度の画像を生成し、出力する
請求項１に記載の画像処理装置。
【請求項９】
前記予測演算部は、前記予測演算処理により、前記撮像素子を介して取得された第１の色配列の画像から、それと異なる第２の色配列の画像を生成し、出力する
請求項１に記載の画像処理装置。
【請求項１０】
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素に基づいて、予測演算する画像の画素を所定のクラスに分類するクラス分類部をさらに備え、
前記予測演算部は、前記クラス分類部により分類された前記所定のクラスに対応する予測係数と、前記周囲画素特定部により特定された前記周囲画素の画素値とを用いて、前記画像の予測演算処理を行う
請求項１に記載の画像処理装置。
【請求項１１】
前記周囲画素特定部は、前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素と、前記飽和画素の属する素子群の前記飽和画素以外の画素からなる周囲画素を特定する
請求項１に記載の画像処理装置。
【請求項１２】
前記露光時間の異なる複数の素子群として、第１の露光時間の第１の素子群と、前記第１の露光時間より短い第２の露光時間の第２の素子群があり、
前記周囲画素特定部は、前記飽和画素の近傍に位置し、前記飽和画素の属する前記第１の素子群とは異なる前記第２の素子群の画素と、前記飽和画素以外の前記第１の素子群の画素からなる周囲画素を特定する
請求項１１に記載の画像処理装置。
【請求項１３】
前記露光時間の異なる複数の素子群は、色成分に応じて規則的に配列されており、前記第２の素子群は、複数の色成分のうちの一つの色成分である
請求項１２に記載の画像処理装置。
【請求項１４】
前記色成分の配列はベイヤ配列であり、前記第２の素子群の色成分は緑色である
請求項１３に記載の画像処理装置。
【請求項１５】
前記撮像素子を介して取得された画像がモザイク画像であり、
前記予測演算部は、デモザイク後の画像の予測演算処理を行う
請求項１に記載の画像処理装置。
【請求項１６】
前記予測演算部は、前記予測演算処理により、前記撮像素子を介して取得された低解像度の画像から、それより高解像度の画像を生成し、出力する
請求項１に記載の画像処理装置。
【請求項１７】
前記予測演算部は、前記予測演算処理により、前記撮像素子を介して取得された第１の色配列の画像から、それと異なる第２の色配列の画像を生成し、出力する
請求項１に記載の画像処理装置。
【請求項１８】
画像処理装置が、
露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出し、
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定し、
前記周囲画素に基づいて、画像の予測演算処理を行う
ステップを含む画像処理方法。
【請求項１９】
コンピュータを、
露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出する飽和画素検出部と、
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定する周囲画素特定部と、
前記周囲画素に基づいて、画像の予測演算処理を行う予測演算部
として機能させるためのプログラム。
【請求項２０】
露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出し、
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定し、
前記周囲画素に基づいて、画像の予測演算処理を行う指示を実行可能なプロセッサと、
コンピュータで実行可能な前記指示を記録するメモリと
を備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、画像処理方法、プログラム、および装置に関し、特に、広ダイナミックレンジを実現することができるようにする画像処理装置、画像処理方法、プログラム、および装置に関する。
【背景技術】
【０００２】
一般的なイメージセンサの撮影では、全画素同一の露光時間で撮影される。しかし、このような撮影方法では、撮像範囲として、室内と窓の外などのように暗い被写体と明るい被写体が共存するような撮影が難しい。
【０００３】
例えば、図１Bに示されるような、室内と窓の外の両方を含む被写体を、図１Aに示されるベイヤ配列のイメージセンサで撮影する場合を考える。ベイヤ配列は、２つのR画素と、G画素およびB画素で構成される２×２（垂直方向×水平方向）の計４画素が、垂直方向及び水平方向に繰り返し配置される配列方法である。図中、「R」で示されるR画素は、赤色の画素信号を出力する画素であり、「G」で示されるG画素は、緑色の画素信号を出力する画素であり、「B」で示されるB画素は、青色の画素信号を出力する画素である。
【０００４】
室内の暗い被写体に合わせて撮影を行うには、図２Aに示されるように、各画素の露光時間を長く設定する必要がある。図２Aにおいて、「LR」は、長い露光時間が設定されたR画素、「LG」は、長い露光時間が設定されたG画素、「LB」は、長い露光時間が設定されたB画素を示す。このような条件で撮影が行われた場合、撮影画像は、図２Bに示されるように、明るい被写体部分の画素値が飽和して、いわゆる「白とび」した状態となる。
【０００５】
一方、窓の外の明るい被写体に合わせて撮影を行うには、図３Aに示されるように、各画素の露光時間を短く設定する必要がある。図３Aにおいて、「SR」は、短い露光時間が設定されたR画素、「SG」は、短い露光時間が設定されたG画素、「SB」は、短い露光時間が設定されたB画素を示す。このような条件で撮影が行われた場合、撮影画像は、図３Bに示されるように、暗い被写体部分が表現されず、いわゆる「黒つぶれ」した状態となる。
【０００６】
したがって、図４に示されるような、暗い被写体の部分と、明るい被写体の部分の両方が表現されるような画像は得られない。
【０００７】
そこで、露光時間を変えて撮影した複数枚の画像を用意し、その複数枚の画像を合成する方法、非飽和画素を用いて飽和画素を補間するなどして、広ダイナミックレンジを実現する方法が提案されている（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−２０１０９４号公報
【特許文献２】特開２００６−３３３３１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、飽和画素を間違いなく補間する技術は存在しておらず、広ダイナミックレンジを実現するための研究が進められている。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、広ダイナミックレンジを実現することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の画像処理装置は、露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出する飽和画素検出部と、前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定する周囲画素特定部と、前記周囲画素に基づいて、画像の予測演算処理を行う予測演算部とを備える。
【００１２】
本技術の一側面の画像処理方法は、画像処理装置が、露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出し、前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定し、前記周囲画素に基づいて、画像の予測演算処理を行うステップを含む。
【００１３】
本技術の一側面のプログラムは、コンピュータを、露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出する飽和画素検出部と、前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定する周囲画素特定部と、前記周囲画素に基づいて、画像の予測演算処理を行う予測演算部として機能させるためのものである。
【００１４】
本技術の一側面の装置は、露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出し、飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定し、前記周囲画素に基づいて、画像の予測演算処理を行う指示を実行可能なプロセッサと、コンピュータで実行可能な前記指示を記録するメモリとを備える。
【００１５】
本技術の一側面においては、露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素が検出され、飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素が特定され、前記周囲画素に基づいて、画像の予測演算処理が行われる。
【００１６】
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【００１７】
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１８】
本技術の一側面によれば、広ダイナミックレンジを実現することができる。
【図面の簡単な説明】
【００１９】
【図１】従来の撮影を説明する図である。
【図２】露光時間を長くした従来の撮影を説明する図である。
【図３】露光時間を短くした従来の撮影を説明する図である。
【図４】撮影で求めたい理想的な画像例を説明する図である。
【図５】本技術が適用された撮像装置の第１の実施の形態のブロック図である。
【図６】図５のイメージセンサの例を示す図である。
【図７】露光時間と信号レベルの関係を示す図である。
【図８】ゲイン調整回路の処理を説明する図である。
【図９】デモザイク処理回路の第１の構成を示すブロック図である。
【図１０】クラスタップおよび予測タップの例を示す図である。
【図１１】飽和画素の例を示す図である。
【図１２】飽和画素が存在する場合のクラスタップと予測タップの例を示す図である。
【図１３】デモザイク処理回路の処理を説明する図である。
【図１４】デモザイク処理回路の処理を説明する図である。
【図１５】デモザイク処理回路の処理を説明する図である。
【図１６】デモザイク処理回路の処理を説明する図である。
【図１７】デモザイク処理回路の処理を説明する図である。
【図１８】デモザイク処理回路の処理を説明する図である。
【図１９】デモザイク処理回路の処理を説明する図である。
【図２０】デモザイク処理回路の処理を説明する図である。
【図２１】デモザイク処理回路の処理を説明する図である。
【図２２】デモザイク処理回路の処理を説明する図である。
【図２３】デモザイク処理回路の処理を説明する図である。
【図２４】デモザイク処理回路の処理を説明する図である。
【図２５】撮像装置によるデモザイク画像生成処理を説明するフローチャートである。
【図２６】学習装置の構成例を示すブロック図である。
【図２７】学習用画像信号生成部の構成例を示すブロック図である。
【図２８】学習処理を説明するフローチャートである。
【図２９】デモザイク処理回路の第２の構成を示すブロック図である。
【図３０】デモザイク処理回路の第２の構成におけるクラスタップと予測タップの例を示す図である。
【図３１】第２の実施の形態におけるデモザイク画像生成処理を説明するフローチャートである。
【図３２】本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（長畜画素を除外する構成例）
２．第２の実施の形態（飽和画素のみを除外する構成例）
【００２１】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図５は、本技術を適用した撮像装置の第１の実施の形態の構成例を示すブロック図である。
【００２２】
図５の撮像装置１は、レンズ１１、イメージセンサ１２、ゲイン調整回路１３、デモザイク処理回路１４、圧縮処理回路１５、記録回路１６、および表示装置１７から構成される。撮像装置１は、被写体からの光（被写体光）を受光し、被写体に対応する画像信号を記録媒体に記録したり、その画像信号から得られる画像を表示する。この撮像装置１は、例えば、ビデオカメラ、デジタルスチルカメラ、携帯電話機などに適用することができる。
【００２３】
レンズ１１は、被写体光をイメージセンサ１２に集光する。イメージセンサ１２は、CCDやCMOS(Complementary Metal Oxide Semiconductor)センサなどの撮像素子で構成され、被写体光を受光し、その受光量に応じたアナログの電気信号をA/D（Analog to Digital）変換し、デジタルの画像信号としてゲイン調整回路１３に供給する。
【００２４】
イメージセンサ１２の色配列は、図１に示したベイヤ配列とするが、各画素の露光時間は同一ではなく、長い露光時間で受光する画素（以下、長畜画素という。）と、それより短い露光時間で受光する画素（以下、短畜画素という。）の組み合わせで構成されている。ここで、イメージセンサ１２の長畜画素と短畜画素の露光時間の比率は、N：１（Nは１より大の整数）であるとする。
【００２５】
図６は、イメージセンサ１２の画素の一部を示している。
【００２６】
図６では、イメージセンサ１２の各画素の露光時間の違いが、図２および図３と同様に表現されている。すなわち、撮像装置１イメージセンサ１２では、R画素とB画素は、短畜画素に設定されている。また、G画素は、その位置によって、短畜画素または長畜画素のどちらかに設定されている。換言すれば、規則的に配列される２×２からなる４画素のうち、R画素およびB画素が短畜画素（SR画素，SB画素）に割り当てられるとともに、２つのG画素については、長畜画素（LG画素）と短畜画素（SG画素）に１つずつ割り当てられている。
【００２７】
図７は、画素の露光時間と信号レベル（画素値）との関係を示している。
【００２８】
信号レベルと露光時間は比例関係にあり、例えば、露光時間が２倍になれば、信号レベルも２倍になる。ただし、イメージセンサ１２の画素（素子）が８ビット出力であれば、信号レベル（画素値）は、８ビットの最大値、すなわち、２５５で飽和する。
【００２９】
ここで、例えば、長畜画素と短畜画素の露光時間の比率が１０：１であり、イメージセンサ１２に入射された被写体光の信号レベルが、１０ビットカウントで１０００となるような受光量であったとする。この場合、長畜画素の画素値は２５５で飽和するが、短畜画素の画素値は、露光時間が短いため、１００となり、８ビットの範囲内に収まる。そして、短畜画素の画素値である１００を露光比に応じて１０倍することで、被写体の真の画素値（＝１０００）を得ることができる。したがって、イメージセンサ１２に短畜画素を設けることにより、広ダイナミックレンジを実現することができる。
【００３０】
しかしながら、ノイズに関しては、ノイズがもつランダム性のため、信号レベルと露光時間の間に比例関係は存在せず、露光時間が長いほど有利になる。換言すれば、ノイズに関しては、短畜画素は長畜画素に比べて不利となる。一般的には、露光時間を２倍にすると、ノイズ量は１／√２となる。したがって、イメージセンサ１２の全てを短畜画素とすることはできない。
【００３１】
以上の理由から、撮像装置１のイメージセンサ１２では、露光時間の異なる複数の素子群（短畜の画素群、長畜の画素群）が規則的に配列された構成が採用されている。
【００３２】
なお、本実施の形態では、R画素、B画素、G画素の一部を短畜画素、G画素の残りの一部を長畜画素としたが、その他、例えば、R画素、B画素、G画素の一部を長畜画素、G画素の残りの一部を短畜画素としてもよい。すなわち、どの画素を短畜画素、長畜画素に設定するかは適宜決定することができる。また、色配列についても、ベイヤ配列に限定されず、その他のRGB配列や、R,G,Bの画素に、感度向上のためのホワイト画素を加えた配列などでもよい。すなわち、色の選択および組み合わせ並びにそれらの配列方法は任意である。
【００３３】
図５に戻り、ゲイン調整回路１３は、短畜画素の画素値（画素信号）に対して、露光時間の比率であるN倍のゲインをかけ、短畜画素と長畜画素の信号レベルを合わせる。
【００３４】
図８は、ゲイン調整回路１３によるゲイン処理を概念的に示した図である。図８左側に示される太枠のSR画素、SG画素、およびSB画素は、ゲイン調整回路１３によるゲイン処理前の状態を示しており、図８右側に示される細枠のSR画素、SG画素、およびSB画素は、長畜画素の信号レベルに調整された、ゲイン処理後の状態を示している。図９以降の図についても同様に、細枠のSR画素、SG画素、およびSB画素は、ゲイン処理後の画素値であることを示す。
【００３５】
図５に戻り、デモザイク処理回路１４は、ゲイン調整回路１３から供給される、R、G,Bのいずれかの色成分の画素信号に基づいて、各画素がR、G,Bの全ての色成分の画素信号を持つように、色成分を補完するデモザイク処理を実行する。
【００３６】
ここで、デモザイク処理回路１４は、ゲイン調整回路１３から供給される画像を構成する画素のなかに、信号レベルが飽和している画素（以下、飽和画素ともいう。）が存在する場合、その飽和画素を用いずにデモザイク処理を実行する。換言すれば、デモザイク処理回路１４は、ゲイン調整回路１３から供給される画像を構成する画素のなかに、飽和画素が存在する場合、飽和していない画素（以下、非飽和画素ともいう。）の画素値から、飽和画素の画素値を予測演算して、出力する。
【００３７】
なお、本実施の形態において、画素値の飽和は長畜画素のみに発生し、短畜画素では飽和することがないものとする。換言すれば、イメージセンサ１２では、短畜画素では飽和することがないように、長畜画素と短畜画素の露光比Nが決定されている。
【００３８】
デモザイク処理回路１４は、デモザイク処理後の画像信号を、圧縮処理回路１５と表示装置１７に供給する。
【００３９】
圧縮処理回路１５は、JPEG(Joint Photographic Experts Group）などの所定のフォーマットに従い、指定された圧縮比で画像信号を圧縮符号化し、記録回路１６に供給する。また、圧縮処理回路１５は、撮像された画像のサイズを縮小または拡大する、画像信号の解像度変換処理なども併せて行ってもよい。
【００４０】
記録回路１６は、圧縮符号化された画像信号を、記録媒体としての半導体メモリに記録（記憶）する。なお、画像信号を記録する記録媒体としては、半導体メモリの他、DVD(Digital Versatile Disc)などの光ディスク、またはハードディスク等とすることもできる。
【００４１】
表示装置１７は、LCD(Liquid Crystal display)などにより構成され、デモザイク処理回路１４から供給される画像信号に対応する画像を表示する。
【００４２】
従って、図５の撮像装置１によれば、イメージセンサ１２が被写体光を受光して画像信号を出力し、デモザイク処理回路１４が、その画像信号を対象としてデモザイク処理を行い、その処理結果としての画像信号を後段の圧縮処理回路１５に出力する。
【００４３】
［デモザイク処理回路の詳細構成例］
図９は、図５のデモザイク処理回路１４の詳細な構成を示すブロック図である。
【００４４】
デモザイク処理回路１４は、飽和画素存在判定部２１、予測タップ抽出部２２、クラス分類部２３、係数発生部２４、および予測演算部２５から構成され、クラス分類部２３は、クラスタップ抽出部３１とクラスコード発生部３２で構成される。
【００４５】
ゲイン調整回路１３（図５）が出力する、短畜画素に対してゲインが調整された後の画像信号は、飽和画素存在判定部２１、予測タップ抽出部２２、および、クラスタップ抽出部３１に供給される。
【００４６】
なお、以下では、ゲイン調整回路１３から出力される、短畜画素に対してゲインが調整された後の画像信号をモザイク画像、デモザイク処理回路１４が出力するデモザイク処理後の画像を、デモザイク画像ともいう。
【００４７】
デモザイク処理回路１４は、クラス分類適応処理を用いて、モザイク画像から、デモザイク画像を予測演算により求め、出力する。クラス分類適応処理では、予測演算して求めるデモザイク画像の各画素を順次、注目画素とし、注目画素の画像信号を求める処理が、全ての画素について実行する。
【００４８】
具体的には、デモザイク処理回路１４は、注目画素に対して複数の画素を予測タップとして抽出し、その予測タップの画素値と、教師画像および生徒画像を用いた学習（図２６等で後述）により予め求めておいた予測係数を用いた所定の予測演算により、デモザイク画像を生成する。
【００４９】
飽和画素存在判定部２１は、飽和画素を検出し、検出結果を出力する。具体的には、飽和画素存在判定部２１は、飽和画素が存在するか否かを、予測タップ抽出部２２において予測タップとして抽出される複数の画素、および、クラスタップ抽出部３１においてクラスタップとして抽出される複数の画素のそれぞれについて判定する。そして、飽和画素存在判定部２１は、予測タップとして抽出される複数の画素のいずれかに飽和画素が存在すると判定された場合、その判定結果を示す検出信号を、予測タップ抽出部２２に供給する。また、クラスタップとして抽出される複数の画素のいずれかに飽和画素が存在すると判定された場合、飽和画素存在判定部２１は、その判定結果を示す検出信号を、クラスタップ抽出部３１に供給する。
【００５０】
予測タップ抽出部２２は、デモザイク画像の注目画素の画素値を予測するのに用いる、モザイク画像を構成する画素（の画素値）を、予測タップとして抽出する。
【００５１】
具体的には、予測タップ抽出部２２は、注目画素に対応するモザイク画像の画素（例えば、注目画素に対して空間的に最も近い位置にあるモザイク画像の画素）に対して、空間的に近い位置（近傍）にあるモザイク画像の複数の画素を、予測タップとして抽出する。
【００５２】
また、予測タップ抽出部２２は、飽和画素存在判定部２１から、飽和画素が存在する旨の判定結果が供給された場合、予測タップとして抽出するモザイク画像の複数の画素のうち、長畜画素を除いた短畜画素のみを、予測タップとして抽出する。
【００５３】
クラス分類部２３は、注目画素を、幾つかのクラスのうちのいずれかのクラスにクラス分けするクラス分類を行う。
【００５４】
クラスタップ抽出部３１は、注目画素のクラス分類を行うのに用いるモザイク画像の複数の画素を、クラスタップとして抽出する。具体的には、クラスタップ抽出部３１は、注目画素に対応するモザイク画像の画素に対して、空間的に近い位置（近傍）にあるモザイク画像の複数の画素を、クラスタップとして抽出する。
【００５５】
また、クラスタップ抽出部３１は、飽和画素存在判定部２１から、飽和画素が存在する旨の判定結果が供給された場合、クラスタップとして抽出するモザイク画像の複数の画素のうち、長畜画素を除いた短畜画素のみを、クラスタップとして抽出する。
【００５６】
図１０は、注目画素に対してクラスタップおよび予測タップとして抽出される画素の例を示している。
【００５７】
図１０Aは、クラスタップの例を示しており、図１０Bは、予測タップの例を示している。図１０Aおよび図１０Bにおいて、５×５の２５画素の中央の画素に示されるバツ（×）印は、注目画素であることを示し、丸（○）印が、クラスタップまたは予測タップを示している。
【００５８】
図１０Aの例では、クラスタップは、注目画素に対して、自分自身と、隣接する８画素、および、注目画素から水平・垂直の４方向に２画素離れた画素の、計１３画素で構成されている。
【００５９】
図１０Bの例では、予測タップは、注目画素に対して、自分自身を中心とする５×５の計２５画素で構成されている。
【００６０】
このように、予測タップ抽出部２２およびクラスタップ抽出部３１では、注目画素に対して、どの位置の画素をクラスタップまたは予測タップとして抽出するかが予め決められている。
【００６１】
なお、図１０は、予測タップとクラスタップのタップ構造の一例であり、これ以外のタップ構造を採用することも勿論可能である。また、予測タップとクラスタップは、同一のタップ構造としてもよいし、異なるタップ構造としてもよい。
【００６２】
ここで、例えば、注目画素を中心とする５×５の２５画素のうち、図１１に示されるように、一番上の行の最も左側の画素と、それから右方向に２画素移動した画素の２つが飽和画素となっており、その旨の検出信号が予測タップ抽出部２２と、クラスタップ抽出部３１に供給されたとする。
【００６３】
図１２は、図１１のように飽和画素が検出された場合の、クラスタップと予測タップの例を示している。
【００６４】
図１２Aは、クラスタップの例を示しており、図１２Bは、予測タップの例を示している。
【００６５】
飽和画素が存在する場合、長畜画素はクラスタップから除外されるので、クラスタップは、図１２Aに示されるように、注目画素に対して、自分自身に隣接する８画素のみで構成される。
【００６６】
また、予測タップは、図１２Bに示されるように、自分自身を中心とする５×５の２５画素のうち、長畜画素を除いた１６画素で構成される。
【００６７】
予測タップ抽出部２２で得られた予測タップは、図９の予測演算部２５に供給され、クラスタップ抽出部３１で得られたクラスタップは、図９のクラスコード発生部３２に供給される。
【００６８】
クラスコード発生部３２は、クラスタップ抽出部３１から供給されるクラスタップを構成する画素に基づき、クラス分類を行い、その結果得られるクラスに対応するクラスコードを発生して、係数発生部２４に供給する。
【００６９】
クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００７０】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００７１】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラスコード発生部３２は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして発生（出力）する。
【００７２】
なお、クラスコード発生部３２は、クラス分類を行う方法として、その他、例えば、DCT(Discrete Cosine Transform)、VQ(ベクトル量子化)、DPCM（Differential Pulse Code Modulation：予測符号化）などのデータ圧縮方式を応用し、クラスタップを構成する画素をデータ圧縮した結果のデータ量をクラス分類結果とするなどの方法を用いても良い。
【００７３】
係数発生部２４は、図２６乃至図２８を参照して後述する学習によって予め求められたクラスごとの予測係数を記憶している。そして、係数発生部２４は、記憶している予測係数のうちの、クラスコード発生部３２から供給されるクラスコードに対応するアドレスに記憶されている予測係数（クラスコード発生部３２から供給されるクラスコードが表すクラスの予測係数）を、予測演算部２５に供給する。
【００７４】
予測演算部２５は、予測タップ抽出部２２が出力する予測タップと、係数発生部２４が出力する予測係数とを取得し、その予測タップと予測係数とを用いて、注目画素のデモザイク画像の画素値を求める所定の予測演算を行う。ここで得られるデモザイク画像の画素値とは、R、G,Bの全ての色成分の画素信号を表す。
【００７５】
［デモザイク処理回路の処理］
次に、図１３乃至図２４を参照して、従来の処理と比較しつつ、デモザイク処理回路１４によるデモザイク画像の画素値の求め方について説明する。
【００７６】
従来、撮影された画像に飽和画素が存在し、飽和画素に対する対策（の処理）が入っていない場合には、飽和画素の画素値がそのまま利用されることになる。
【００７７】
例えば、図１３に示されるような被写体を撮影する場合について考える。
【００７８】
図１３左側の図は、被写体を説明する画像であり、被写体は、垂直方向の上側が明るく、下側に行くほど暗い輝度を有している。
【００７９】
図１３右側の図は、左側の被写体のラインａ上の各位置（垂直方向位置）における被写体の真の輝度値を示している。図１３右側の図の縦軸は、ラインａ上の垂直方向位置を示し、横軸は、被写体の真の輝度値（明るさ）を示している。
【００８０】
被写体の真の輝度値は、ラインａ上の垂直方向位置Vbより下側では、イメージセンサ１２の長畜画素の飽和レベルSV未満となっているが、ラインａ上の垂直方向位置Vb以上では、飽和レベルSV以上の輝度値となっている。
【００８１】
図１３の被写体のラインａが、図１４左側に示される、イメージセンサ１２の、長畜画素のLG画素と短畜画素のSB画素が交互に配列されたラインａ’の５画素で撮影されたとする。
【００８２】
この場合、図１４右側に示されるように、２つのSB画素の画素値は、飽和レベルSV以下の画素値に対して、露光比Nに応じたゲインがかけられることにより、被写体の真の輝度値と等しい値となっている。一方、３つのLG画素の画素値は、飽和レベルSVの値となる。
【００８３】
したがって、飽和画素対策が施されない撮像装置では、LG画素については飽和レベルSVの画素値を出力することになるので、図１５Aの実線で示されるように被写体の真の輝度値からずれた画素値が得られる。
【００８４】
これに対して、デモザイク処理回路１４は、飽和レベルSVに達したLG画素の画素値は用いずに、短畜画素であるSB画素のゲイン処理後の画素値のみを用いてデモザイク画像を求めるので、図１５Bの実線で示されるように、被写体の真の輝度値と一致した、正しい画素値を得ることができる。すなわち、撮像装置１によれば、被写体に対応した正確な画像を出力することができる。
【００８５】
また、従来、飽和画素対策として、飽和画素の画素値を、その周辺の画素の画素値で補間して求める方法がある。
【００８６】
例えば、図１６に示されるように、明部と暗部が、ある境界（エッジ）で急峻に切り替わるような被写体を撮影する場合について考える。図１６右側の図は、図１６左側の被写体のラインｂ上の各位置（垂直方向位置）における被写体の真の輝度値を示しており、暗部の真の輝度値がＰ１、明部の真の輝度値がＰ２であるとする。
【００８７】
図１６の被写体のラインｂが、図１７左側に示されるように、イメージセンサ１２の、長畜画素のLG画素と短畜画素のSB画素が交互に配列されたラインｂ’の５画素で撮影されたとする。
【００８８】
この場合、図１７右側に示されるように、２つのSB画素の画素値は、飽和レベルSV以下の画素値に対して、露光比Nに応じたゲインがかけられた画素値となっており、被写体の真の輝度値と等しい値となっている。一方、３つのLG画素の画素値のうち、図中一番下のLG画素の画素値は、飽和レベルSV以下の値であるので、被写体の真の輝度値と一致しているが、図中上側の２つのLG画素の画素値は、真の輝度値が飽和レベルSVより大きい値であるので、飽和レベルSVでクリップされている。
【００８９】
このようにして得られたイメージセンサ１２のラインｂ’における５画素の画素値に対して、従来、飽和レベルSVでクリップされた２つのLG画素の画素値が、その周辺の画素の画素値で補間して求められる。
【００９０】
図１８は、飽和レベルSVでクリップされた２つのLG画素の補間後の状態を示している。
【００９１】
図１８に示されるように、一番上のLG画素は、明部の画素値Ｐ２に修正されるが、上から２番目のLG画素は、明部の画素値Ｐ２と、暗部の画素値Ｐ１の中間値（（Ｐ１＋Ｐ２）／２）に修正される。その結果、図１９に示されるような、エッジ部分が明部と暗部の中間色となり、エッジがぼやけた画像になってしまう。
【００９２】
ここで、従来においても、上から２番目のLG画素がエッジ上の画素であることを考慮して、明部と暗部の画素値の中間値（（Ｐ１＋Ｐ２）／２）を、明部の画素値Ｐ２か、または、暗部の画素値Ｐ１のどちらかに切り分ける処理を追加的に行うことが考えられる。
【００９３】
しかしながら、明部の画素値Ｐ２および暗部の画素値Ｐ１自体もノイズ等によりばらつきがある。そして、補間により求められる２番目のLG画素の画素値は、それらにばらつきによって、図２０に示されるように明部側の画素値Ｐ２となる場合や、図２１に示されるように暗部側の画素値Ｐ１となる場合がある。その結果、図２２に示されるように、最終的に出力される画像は、エッジ部分の画素値が画素ごとに揺れた画像となることがある。
【００９４】
これに対して、デモザイク処理回路１４は、飽和レベルSVに達したLG画素の画素値は用いずに、短畜画素であるSB画素のゲイン処理後の画素値のみを用いて各画素の画素値を求める。そのため、図２３に示されるように、エッジが画素ごとに揺れることがない。図２３の例では、エッジ部分の画素値が、明部側の画素値Ｐ２として出力されている。したがって、デモザイク処理回路１４では、図２４に示されるように、被写体の真の輝度値と一致した、正しい画素値を得ることができる。すなわち、撮像装置１によれば、被写体に対応した正確な画像を出力することができる。
【００９５】
［予測演算と予測係数の学習について］
次に、デモザイク処理回路１４の予測演算部２５における予測演算と、その予測演算に用いられる予測係数の学習について説明する。
【００９６】
いま、飽和画素が補間された画像信号を高画質画像信号とするとともに、その飽和画素がそのまま含まれた画像信号を低画質画像信号として、低画質画像信号から予測タップを抽出し、その予測タップと予測係数を用いて、高画質画像信号の画素（以下、適宜、高画質画素という。）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００９７】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【００９８】
【数１】
2013162347.tif 000003
【００９９】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像信号の画素（以下、適宜、低画質画素という。）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目の予測係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１００】
高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１０１】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１０２】
【数２】
2013162347.tif 000004
【０１０３】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１０４】
【数３】
2013162347.tif 000005
【０１０５】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１０６】
式（３）（または式（２））の予測誤差ｅkを０とする予測係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような予測係数ｗnを求めることは、一般には困難である。
【０１０７】
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１０８】
【数４】
2013162347.tif 000006
【０１０９】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１１０】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１１１】
【数５】
2013162347.tif 000007
【０１１２】
そこで、上述の式（３）を予測係数ｗnで偏微分すると、次式が得られる。
【０１１３】
【数６】
2013162347.tif 000008
【０１１４】
式（５）と式（６）から、次式（７）が得られる。
【０１１５】
【数７】
2013162347.tif 000009
【０１１６】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１１７】
【数８】
2013162347.tif 000010
【０１１８】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
【０１１９】
式（８）の正規方程式をクラスごとにたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラスごとに求めることができる。
【０１２０】
［撮像処理のフローチャート］
図２５のフローチャートを参照して、撮像装置１によるデモザイク画像生成処理について説明する。
【０１２１】
初めに、ステップＳ１において、イメージセンサ１２は、被写体を撮像する。即ち、イメージセンサ１２は、被写体光を受光し、その受光量に応じたアナログの電気信号をデジタルの電気信号に変換して、画像信号としてゲイン調整回路１３に供給する。イメージセンサ１２では、図６に示したように、画素位置によって長畜画素かまたは短畜画素かが予め決められており、各画素は、長畜画素かまたは短畜画素かに応じて予め決められた露光時間で受光している。
【０１２２】
ステップＳ２において、ゲイン調整回路１３は、短畜画素の画素値に対して、露光比であるN倍のゲインをかけ、短畜画素と長畜画素の信号レベルを合わせる。ゲイン調整後の画像信号は、デモザイク処理回路１４に出力される。
【０１２３】
ステップＳ３において、デモザイク処理回路１４の飽和画素存在判定部２１は、注目画素を設定する。すなわち、飽和画素存在判定部２１は、予測演算により求めるデモザイク画像を構成する所定の画素を、予測演算対象の画素として注目する注目画素に設定する。
【０１２４】
ステップＳ４において、飽和画素存在判定部２１は、予測タップおよびクラスタップとなる複数の画素のなかに飽和画素があるか否かを判定する。予測タップとなる複数の画素のなかに飽和画素を検出した場合、飽和画素存在判定部２１は、飽和画素が存在する旨の検出信号を予測タップ抽出部２２に供給する。また、クラスタップとなる複数の画素のなかに飽和画素を検出した場合、飽和画素存在判定部２１は、飽和画素が存在する旨の検出信号をクラスタップ抽出部３１に供給する。
【０１２５】
ステップＳ５において、クラスタップ抽出部３１は、注目画素に対して設定するクラスタップのなかに飽和画素が存在するか、すなわち、飽和画素が存在した旨の検出信号が飽和画素存在判定部２１から供給されたかを判定する。
【０１２６】
ステップＳ５で、飽和画素が存在しないと判定された場合、処理はステップＳ６に進み、クラスタップ抽出部３１は、注目画素近傍の所定の位置の複数の画素を、クラスタップとして抽出し、クラスコード発生部３２に供給する。ここでクラスタップとして抽出される複数の画素には、長畜画素と短畜画素の両方が含まれている。
【０１２７】
一方、ステップＳ５で、飽和画素が存在すると判定された場合、処理はステップＳ７に進み、クラスタップ抽出部３１は、クラスタップとして設定対象の注目画素近傍の所定の位置の複数の画素のうち、長畜画素を除外した短畜画素のみを、クラスタップとして抽出し、クラスコード発生部３２に供給する。
【０１２８】
ステップＳ８において、クラスコード発生部３２は、クラスタップ抽出部３１から供給されるクラスタップを１ビットADRC処理することによって、注目画素のクラスコードを求め、係数発生部２４に供給する。
【０１２９】
ステップＳ９において、係数発生部２４は、クラスコード発生部３２から供給される注目画素のクラスコードが表すクラスの予測係数を予測演算部２５に供給する。
【０１３０】
ステップＳ１０において、予測タップ抽出部２２は、注目画素に対して設定する予測タップのなかに飽和画素が存在するか、すなわち、飽和画素が存在した旨の検出信号が飽和画素存在判定部２１から供給されたかを判定する。
【０１３１】
ステップＳ１０で、飽和画素が存在しないと判定された場合、処理はステップＳ１１に進み、予測タップ抽出部２２は、注目画素近傍の所定の位置の複数の画素を、予測タップとして抽出し、予測演算部２５に供給する。ここで予測タップとして抽出される複数の画素には、長畜画素と短畜画素の両方が含まれている。
【０１３２】
一方、ステップＳ１０で、飽和画素が存在しないと判定された場合、処理はステップＳ１２に進み、予測タップ抽出部２２は、予測タップとして予め設定されている注目画素近傍の所定の位置の複数の画素のうち、長畜画素を除外した短畜画素のみを、予測タップとして抽出し、予測演算部２５に供給する。
【０１３３】
ステップＳ１３において、予測演算部２５は、予測タップ抽出部２２から供給された予測タップと、係数発生部２４から供給された予測係数とを用い、式（１）の演算（予測演算）を行うことにより、注目画素の画素値を求める。
【０１３４】
ステップＳ１４において、予測演算部２５は、生成画像としてのデモザイク画像の全画素を注目画素として求めたか否かを判定する。
【０１３５】
ステップＳ１４で、全画素をまだ注目画素としていないと判定された場合、処理がステップＳ３に戻され、注目画素にまだ設定されていない画素を次の注目画素として、上述したステップＳ３乃至ステップＳ１４の処理が繰り返される。
【０１３６】
一方、ステップＳ１４で、全画素を注目画素としたと判定された場合、処理は終了する。
【０１３７】
以上の処理が、イメージセンサ１２で被写体が撮像され、イメージセンサ１２からフレーム画像（フィールド画像）の画像信号が出力される度、繰り返し実行される。
【０１３８】
［学習装置の構成例］
図２６は、式（８）の正規方程式をたてて解くことによりクラスごとの予測係数ｗnを求める学習を行う学習装置５１の構成例を示している。
【０１３９】
学習装置５１の学習用画像信号生成部６１は、予測係数ｗnの学習に用いられる学習用画像信号としての教師データと生徒データを生成する。
【０１４０】
図２７を参照して、学習用画像信号としての教師データと生徒データの生成について説明する。図２７は、学習用画像信号生成部６１の詳細構成例を示している。なお、以下の学習用画像信号の生成の説明において、露光比Nは１０（長畜画素の露光時間：短畜画素の露光時間＝１０：１）であるとする。
【０１４１】
学習用画像信号生成部６１は、積算部７１、合成部７２、ゲイン調整回路７３、およびクリップ部７４を少なくとも有する。
【０１４２】
初めに、全画素同一露光時間のイメージセンサで所定の被写体を撮影して得られた１枚の画像が積算部７１に入力される。積算部７１に入力される画像は、これから生成する教師画像と生徒画像のもととなる画像であり、基本画像と称する。
【０１４３】
積算部７１は、入力された１枚の基本画像を、露光比Ｎに応じて積算した画像を生成し、教師画像として出力する。すなわち、積算部７１は、基本画像の各画素の画素値を１０倍する処理を行い、その結果得られる画像を、教師画像として出力する。
【０１４４】
合成部７２には、入力された１枚の基本画像と、積算部７１で生成された教師画像が供給される。合成部７２は、予測演算を行う撮像装置１のイメージセンサ１２の長畜画素及び短畜画素の位置に対応するように、基本画像の画素値、または、教師画像の画素値を選択して、合成した合成画像を生成する。すなわち、合成部７２は、イメージセンサ１２の長畜画素の位置の画素値には、教師画像の対応する位置の画素値を選択し、イメージセンサ１２の短畜画素の位置の画素値には、基本画像の対応する位置の画素値を選択した画像を、合成画像として生成する。生成した合成画像は、ゲイン調整回路７３に供給される。
【０１４５】
ゲイン調整回路７３は、図５の撮像装置１において短畜画素と長畜画素の信号レベルを合わせるため短畜画素の画素値にゲインがかけられるのと同様に、短畜画素の位置の画素値に、露光比Ｎのゲインをかける処理を実行する。
【０１４６】
クリップ部７４は、ゲイン調整回路７３から供給される、ゲイン処理後の合成画像の所定の１以上の長畜画素の画素値を、予め設定した飽和レベルでクリップさせる。飽和レベルでクリップされた長畜画素は、撮像装置１のイメージセンサ１２で撮影した場合の飽和画素に対応する。したがって、以下では、合成画像の飽和レベルでクリップされた画素も、飽和画素と呼ぶことにする。クリップ部７４は、クリップ処理後の画像を、生徒画像として出力する。
【０１４７】
クリップ部７４の後段には、クリップ部７４で生成された生徒画像に、ランダムノイズを付加する処理、撮像装置１に特有の画像ボケや歪みを付加する処理などを行う付加処理部７５を設けることができる。
【０１４８】
学習用画像信号生成部６１は、被写体を変える、クリップさせる画素位置を変える、などして、多数の教師画像と生徒画像の組を生成する。生成された多数の教師画像が、教師データとして教師データ記憶部６２に記憶され、生成された多数の生徒画像が、生徒データとして生徒データ記憶部６３に記憶される。
【０１４９】
図２６の教師データ記憶部６２は、教師データを記憶する。教師データ記憶部６２に記憶されている教師画像を構成する画素が、順次、注目教師画素とされる。生徒データ記憶部６３は、生徒データを記憶する。
【０１５０】
飽和画素存在判定部６４は、図９の飽和画素存在判定部２１と同様の飽和画素の存在判定を行う。すなわち、飽和画素存在判定部６４は、注目教師画素に対して設定される予測タップとクラスタップの画素に、飽和画素が存在するか否かを判定し、判定結果を、予測タップ抽出部６５とクラスタップ抽出部６６に出力する。
【０１５１】
予測タップ抽出部６５は、生徒データ記憶部６３から供給される、注目教師画素に対応する生徒画像の画素近傍の複数の画素を、予測タップとして抽出し、足し込み部６８に供給する。ここで、予測タップ抽出部６５が抽出する予測タップの位置は、図９の予測タップ抽出部２２が抽出する予測タップの位置と同一の位置である。また、予測タップ抽出部６５は、飽和画素存在判定部６４から、飽和画素が存在する旨の検出信号が供給された場合には、図９の予測タップ抽出部２２と同様に、短畜画素に対応する位置の複数の画素のみを抽出する。
【０１５２】
クラスタップ抽出部６６は、生徒データ記憶部６３から供給される、注目教師画素に対応する生徒画像の画素近傍の複数の画素を、クラスタップとして抽出し、クラスコード発生部６７に供給する。ここで、クラスタップ抽出部６６が抽出するクラスタップの位置は、図９のクラスタップ抽出部３１が抽出するクラスタップの位置と同一の位置である。また、クラスタップ抽出部６６は、飽和画素存在判定部６４から、飽和画素が存在する旨の検出信号が供給された場合には、図９のクラスタップ抽出部３１と同様に、短畜画素に対応する位置の複数の画素のみを抽出する。
【０１５３】
クラスコード発生部６７は、クラスタップ抽出部６６が出力するクラスタップに基づき、図９のクラスコード発生部３２と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部６８に出力する。
【０１５４】
足し込み部６８は、教師データ記憶部６２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部６５から供給される、注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラスコード発生部６７から供給されるクラスコードごとに行う。
【０１５５】
即ち、足し込み部６８には、教師データ記憶部６２に記憶された教師データｙk、予測タップ抽出部６５が出力する予測タップｘn,k、クラスコード発生部６７が出力するクラスコードが供給される。
【０１５６】
そして、足し込み部６８は、クラスコード発生部６７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１５７】
さらに、足し込み部６８は、やはり、クラスコード発生部６７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１５８】
即ち、足し込み部６８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１５９】
そして、足し込み部６８は、教師データ記憶部６２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、予測係数算出部６９に供給する。
【０１６０】
予測係数算出部６９は、足し込み部６８から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適な予測係数ｗnを求めて出力する。
【０１６１】
図９のデモザイク処理回路１４の係数発生部２４には、以上のようにして求められたクラスごとの予測係数ｗmが記憶されている。
【０１６２】
なお、上述の場合には、教師画像が、飽和画素が存在しない画像、生徒画像が、長畜画素に対応する所定の画素の画素値が所定の飽和レベルでクリップされた画像とされている。これにより、学習装置５１で生成される予測係数としては、撮像装置１による撮影において、イメージセンサ１２の長畜画素が飽和していた場合であっても、短畜画素のみを用いて適切に補間した画素値を生成するものを得ることができる。
【０１６３】
さらに、図２７の学習用画像信号生成部６１において、ランダムノイズを付加する付加処理部７５が追加された構成とされている場合には、飽和画素を適切に補間し、かつ、ランダムノイズを除去（低減）した画素値を生成する予測係数を生成することができる。
【０１６４】
また、図２７の学習用画像信号生成部６１において、撮像装置１に特有の画像ボケや歪みを付加する処理などを行う付加処理部７５が追加された構成とされている場合には、飽和画素を適切に補間し、かつ、画像ボケや歪みを除去（低減）した画素値を生成する予測係数を生成することができる。
【０１６５】
［学習処理のフローチャート］
次に、図２８のフローチャートを参照して、学習装置５１の学習処理について説明する。
【０１６６】
最初に、ステップＳ４１において、学習用画像信号生成部６１は、学習用画像信号としての教師データと生徒データを生成し、生成した教師データを教師データ記憶部６２に、生成した生徒データを生徒データ記憶部６３にそれぞれ記憶させる。
【０１６７】
ステップＳ４２において、予測タップ抽出部６５は、教師データ記憶部６２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。
【０１６８】
ステップＳ４３において、飽和画素存在判定部６４は、注目教師画素に対応して予測タップおよびクラスタップとする生徒データの画素のなかに、飽和画素が存在するか否かを検出する。飽和画素存在判定部６４は、予測タップとなる画素に飽和画素が存在する場合には、検出信号を予測タップ抽出部６５に供給し、クラスタップとなる画素に飽和画素が存在する場合には、検出信号をクラスタップ抽出部６６に供給する。
【０１６９】
ステップＳ４４において、予測タップ抽出部６５は、注目教師画素について、生徒データ記憶部６３に記憶された生徒データから予測タップを抽出し、足し込み部６８に供給する。ここで、予測タップ抽出部６５は、飽和画素存在判定部６４から、飽和画素が存在する旨の検出信号が供給されている場合には、長畜画素を除いた短畜画素のみを用いて予測タップを構成する。
【０１７０】
ステップＳ４５において、クラスタップ抽出部６６は、注目教師画素について、生徒データ記憶部６３に記憶された生徒データからクラスタップを抽出し、クラスコード発生部６７に供給する。ここで、クラスタップ抽出部６６は、飽和画素存在判定部６４から、飽和画素が存在する旨の検出信号が供給されている場合には、長畜画素を除いた短畜画素のみを用いてクラスタップを構成する。
【０１７１】
そして、ステップＳ４６において、クラスコード発生部６７は、注目教師画素についてのクラスタップに基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部６８に出力する。
【０１７２】
ステップＳ４７において、足し込み部６８は、教師データ記憶部６２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部６５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラスコード発生部６７から供給されるクラスコード（クラス）ごとに行う。
【０１７３】
ステップＳ４８において、予測タップ抽出部６５は、教師データ記憶部６２に、まだ注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ４８で、注目教師画素としていない教師データが、教師データ記憶部６２にまだ記憶されていると判定された場合、処理はステップＳ４２に戻り、予測タップ抽出部６５は、まだ注目教師画素としていない教師データを、新たに注目教師画素として、以下、同様の処理が繰り返される。
【０１７４】
一方、ステップＳ４８で、注目教師画素としていない教師データが、教師データ記憶部６２に記憶されていないと判定された場合、処理はステップＳ４９に進む。ステップＳ４９おいて、足し込み部６８は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、予測係数算出部６９に供給する。
【０１７５】
また、ステップＳ４９では、予測係数算出部６９は、足し込み部６８から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、クラスごとに予測係数ｗnを求めて、処理を終了する。
【０１７６】
以上の学習処理が学習装置５１で実行されることにより、図９のデモザイク処理回路１４の係数発生部２４に記憶されるクラスごとの予測係数が求められる。
【０１７７】
なお、学習用画像信号の数が十分でないこと等に起因して、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、予測係数算出部６９は、例えば、デフォルトの予測係数を出力するようになっている。
【０１７８】
＜２．第２の実施の形態＞
次に、本技術を適用した撮像装置の第２の実施の形態について説明する。
【０１７９】
撮像装置１の第２の実施の形態は、図５の撮像装置１に対してデモザイク処理回路１４の構成のみが異なる。そこで、第２の実施の形態のデモザイク処理回路１４の構成について説明する。以下では、第１の実施の形態のデモザイク処理回路１４を、デモザイク処理回路１４の第１の構成と称し、第２の実施の形態のデモザイク処理回路１４を、デモザイク処理回路１４の第２の構成と称する。
【０１８０】
［デモザイク処理回路の構成例］
図２９は、デモザイク処理回路１４の第２の構成を示すブロック図である。
【０１８１】
図２９のデモザイク処理回路１４は、上述したデモザイク処理回路１４の第１の構成と比較すると、飽和画素存在判定部８１、予測タップ抽出部８２、および、クラスタップ抽出部８３が異なる。図２９のデモザイク処理回路１４のうち、第１の構成と同一部分についての説明は適宜省略する。
【０１８２】
上述した第１の構成の飽和画素存在判定部２１は、注目画素に対して予測タップおよびクラスタップとなる画素に、飽和画素が存在するか否かを判定し、判定結果を出力する。
【０１８３】
図２９の第２の構成では、飽和画素存在判定部８１は、注目画素に対して予測タップおよびクラスタップとなる画素に、飽和画素が存在するか否かを判定し、飽和画素が存在すると判定された場合、その飽和画素の位置を示す飽和画素位置情報を出力する。
【０１８４】
すなわち、飽和画素存在判定部８１は、予測タップ抽出部８２で予測タップとして抽出される複数の画素に飽和画素が存在するか否かを判定し、飽和画素が存在すると判定された場合、その飽和画素の位置を示す飽和画素位置情報を予測タップ抽出部８２に出力する。また、飽和画素存在判定部８１は、クラスタップとして抽出される複数の画素のいずれかに飽和画素が存在するか否かを判定し、飽和画素が存在すると判定された場合、その飽和画素の位置を示す飽和画素位置情報をクラスタップ抽出部８３に出力する。
【０１８５】
飽和画素位置情報は、例えば、予測タップまたはクラスタップとされる（予定の）複数の画素を、所定の順番（例えば、ラスター走査の順番）に、飽和画素を「１」、非飽和画素を「０」として表した情報とすることができる。また、「１」または「０」が画素数だけ連続する飽和画素位置情報に対して、DPCM（予測符号化）などのデータ圧縮技術を使用すれば、さらに、データ量を削減して、予測タップ抽出部８２およびクラスタップ抽出部８３に提供することができる。
【０１８６】
予測タップ抽出部８２は、第１の構成の予測タップ抽出部２２と同様に、予測するデモザイク画像の注目画素の画素値を予測するのに用いる、モザイク画像を構成する画素（の画素値）を、予測タップとして抽出し、予測演算部２５に供給する。
【０１８７】
具体的には、予測タップ抽出部８２は、飽和画素存在判定部８１から飽和画素が存在しないことを示す飽和画素位置情報が供給された場合、モザイク画像の注目画素近傍の複数の画素を、予測タップとして抽出し、予測演算部２５に供給する。この場合、予測タップとして抽出される複数の画素は、第１の構成の予測タップ抽出部２２と同一となる。
【０１８８】
一方、飽和画素存在判定部８１から飽和画素が存在していることを示す飽和画素位置情報が供給された場合、予測タップ抽出部８２は、モザイク画像の注目画素近傍の複数の画素のうち、飽和画素位置情報で飽和画素と示された画素を除いた画素を、予測タップとして抽出し、予測演算部２５に供給する。
【０１８９】
クラスタップ抽出部８３は、第１の構成のクラスタップ抽出部３１と同様に、注目画素のクラス分類を行うのに用いるモザイク画像の複数の画素を、クラスタップとして抽出する。飽和画素存在判定部８１から飽和画素が存在しないことを示す飽和画素位置情報が供給された場合、クラスタップ抽出部８３は、注目画素に対応するモザイク画像の画素に対して、空間的に近い位置（近傍）にあるモザイク画像の複数の画素を、クラスタップとして抽出する。この場合、クラスタップとして抽出される複数の画素は、第１の構成のクラスタップ抽出部３１と同一となる。
【０１９０】
一方、飽和画素存在判定部８１から飽和画素が存在していることを示す飽和画素位置情報が供給された場合、クラスタップ抽出部８３は、クラスタップとして抽出するモザイク画像の複数の画素のうち、飽和画素位置情報で飽和画素と示された画素を除いた画素を、クラスタップとして抽出する。
【０１９１】
図１０を参照して説明したクラスタップ及び予測タップの例で、予測タップ抽出部８２とクラスタップ抽出部８３の動作について説明する。
【０１９２】
クラスタップの抽出対象画素として、図１０Aに示される画素が、予測タップの抽出対象画素として、図１０Bに示される画素が、それぞれ決められている。また、そのうち、図１１に示される、一番上の行の最も左側の画素と、それから右方向に２画素移動した画素の２つが飽和画素として検出され、その飽和画素位置情報が予測タップ抽出部８２およびクラスタップ抽出部８３に供給されたとする。
【０１９３】
この場合、クラスタップと予測タップは、図３０に示されるようになる。図３０Aは、クラスタップ抽出部８３により抽出されるクラスタップの例を示しており、図３０Bは、予測タップ抽出部８２により抽出される予測タップの例を示している。
【０１９４】
クラスタップ抽出部８３では、図１２Aと比較して明らかなように、飽和画素ではないLG画素も、クラスタップとして抽出される。予測タップ抽出部８２でも同様に、図１２Bと比較して明らかなように、飽和画素ではないLG画素も、予測タップとして抽出される。
【０１９５】
係数発生部２４には、第１の実施の形態と同様に、学習装置５１の学習処理により得られたクラスごとの予測係数が記憶される。ただし、第２の実施の形態のための学習処理では、飽和画素の検出、クラスタップの抽出、および予測タップの抽出が、飽和画素存在判定部８１、予測タップ抽出部８２、およびクラスタップ抽出部８３と同様に行われる点が第１の実施の形態のための学習処理と異なる。
【０１９６】
なお、本実施の形態では、飽和画素位置情報が予測タップ抽出部８２に供給され、予測タップ抽出部８２が、飽和画素の画素値を予測演算部２５に出力しないことにより、予測演算部２５では、式（１）の予測演算の飽和画素部分が省略される。しかし、飽和画素位置情報が予測演算部２５に供給されるようにして、予測演算部２５が、式（１）の予測演算の飽和画素部分の予測係数を「０」に置き換えるなどして省略するようにしてもよい。この場合、予測タップ抽出部８２は、飽和画素が存在するか否かに関わらず、注目画素に対する所定位置の複数画素の画素値を常に予測演算部２５に出力することになる。
【０１９７】
［撮像処理のフローチャート］
図３１のフローチャートを参照して、第２の実施の形態におけるデモザイク画像生成処理について説明する。
【０１９８】
ステップＳ６１乃至Ｓ６３は、上述した図２５のステップＳ１乃至Ｓ３と同様であるので、その説明は省略する。
【０１９９】
ステップＳ６４において、飽和画素存在判定部８１は、予測タップおよびクラスタップとなる複数の画素のなかに飽和画素があるか否かを判定する。予測タップとなる複数の画素のなかに飽和画素を検出した場合、飽和画素存在判定部８１は、飽和画素の位置を示す飽和画素位置情報を予測タップ抽出部８２に供給する。また、クラスタップとなる複数の画素のなかに飽和画素を検出した場合、飽和画素存在判定部８１は、飽和画素の位置を示す飽和画素位置情報をクラスタップ抽出部８３に供給する。
【０２００】
ステップＳ６５において、クラスタップ抽出部８３は、注目画素に対して設定するクラスタップのなかに飽和画素が存在するか、すなわち、飽和画素の存在を示す飽和画素位置情報が飽和画素存在判定部８１から供給されたかを判定する。
【０２０１】
ステップＳ６５で、飽和画素が存在しないと判定された場合、処理はステップＳ６６に進み、クラスタップ抽出部８３は、注目画素近傍の所定の位置の複数の画素を、クラスタップとして抽出し、クラスコード発生部３２に供給する。
【０２０２】
一方、ステップＳ６５で、飽和画素が存在すると判定された場合、処理はステップＳ６７に進む。ステップＳ６７では、クラスタップ抽出部８３は、クラスタップとして設定対象の注目画素近傍の所定の位置の複数の画素のうち、飽和画素を除いた画素を、クラスタップとして抽出し、クラスコード発生部３２に供給する。
【０２０３】
次のステップＳ６８およびＳ６９では、図２５のステップＳ８およびＳ９と同様に、クラスコード発生部３２が注目画素のクラスコードを求め、係数発生部２４が、クラスコードに対応する予測係数を予測演算部２５に供給する。
【０２０４】
ステップＳ７０において、予測タップ抽出部８２は、注目画素に対して設定する予測タップのなかに飽和画素が存在するか、すなわち、飽和画素の存在を示す飽和画素位置情報が飽和画素存在判定部８１から供給されたかを判定する。
【０２０５】
ステップＳ７０で、飽和画素が存在しないと判定された場合、処理はステップＳ７１に進み、予測タップ抽出部８２は、注目画素近傍の所定の位置の複数の画素を、予測タップとして抽出し、予測演算部２５に供給する。
【０２０６】
一方、ステップＳ７０で、飽和画素が存在しないと判定された場合、処理はステップＳ７２に進む。ステップＳ７２では、予測タップ抽出部２２は、予測タップとして設定対象の注目画素近傍の所定の位置の複数の画素のうち、飽和画素を除いた画素を、予測タップとして抽出し、予測演算部２５に供給する。
【０２０７】
ステップＳ７３およびＳ７４の処理は、上述した図２５のステップＳ１３およびＳ１４の処理と同様であるので、説明は省略する。
【０２０８】
以上の処理が、イメージセンサ１２で被写体が撮像され、イメージセンサ１２からフレーム画像（フィールド画像）の画像信号が出力される度、繰り返し実行される。
【０２０９】
以上のように、第１の実施の形態では、デモザイク処理回路１４は、飽和画素が検出された場合に、クラスタップまたは予測タップの対象画素のうち、長畜画素の全ての画素値を除いた画素を、クラスタップまたは予測タップとした。
【０２１０】
一方、第２の実施の形態では、デモザイク処理回路１４は、飽和画素が検出された場合に、クラスタップまたは予測タップの対象画素のうち、飽和画素のみを除いた画素を、クラスタップまたは予測タップとした。
【０２１１】
第１の実施の形態および第２の実施の形態のいずれを採用した場合でも、飽和画素を含まない注目画素近傍の複数の画素を用いてクラスコードを決定するので、クラス分類部２３では、注目画素を、間違ったクラスにクラス分類することを防止（低減）することができる。また、予測演算部２５では、飽和画素の画素値を用いずに予測演算を行うことができるので、撮像装置１では、飽和画素を適切に補間したデモザイク画像を生成することができる。すなわち、撮像装置１では、広ダイナミックレンジを実現したデモザイク画像を生成することができる。
【０２１２】
なお、撮像装置１では、上述したデモザイク処理回路１４の第１の実施の形態と第２の実施の形態を選択的に実行させるようにすることも可能である。
【０２１３】
また、従来、飽和画素の画素値を非飽和画素から補間して求める場合、補間の精度は回路規模とトレードオフの関係にあり、補間の精度を向上させようとすると、補間処理の回路規模が大きくなる。撮像装置１では、回路規模を増大させることなく、飽和画素を正しく補間したデモザイク処理を実行することができる。
【０２１４】
なお、上述した実施の形態では、イメージセンサ１２は、長い露光時間で受光する画素と、それより短い露光時間で受光する画素の２種類の露光時間の画素の組み合わせとされていた。
【０２１５】
しかし、本技術は、２種類の異なる露光時間の画素（画素群）の組み合わせに限らず、３種類以上の露光時間の画素（画素群）の組み合わせでもよい。例えば、イメージセンサ１２を、露光時間の長い方から、長畜画素、中畜画素、短畜画素（長畜画素＞中畜画素＞短畜画素）の３種類の露光時間の画素（画素群）の組み合わせとして、長畜画素の飽和画素を検出して、上述のデモザイク画像生成処理を実行することができる。この場合、長畜画素の飽和画素が検出された場合、予測タップおよびクラスタップとして中畜画素と短畜画素のみを用いるようにしてもよいし、中畜画素及び短畜画素と非飽和の長畜画素を用いるようにしてもよい。また、長畜画素と中畜画素の飽和画素を検出して、予測タップおよびクラスタップとして短畜画素のみを用いるようにしてもよいし、短畜画素と非飽和の長畜画素及び中畜画素を用いるようにしてもよい。
【０２１６】
上述した例では、デモザイク処理回路１４が、撮像装置１の一部として組み込まれた構成として説明したが、露光時間の異なる複数の画素群が規則的に配列された撮像素子から出力される画像信号を、上述のようにデモザイク処理する画像処理装置として独立して構成することができる。この場合、デモザイク処理回路１４は、それ単独で、または、必要に応じてゲイン調整回路１３や圧縮処理回路１５などを加えた形で、１チップ（SOC :System On Chip）で構成することができる。
【０２１７】
また、上述した例は、イメージセンサ１２が出力する画像信号から飽和画素を検出し、検出された飽和画素を除いたクラスタップおよび予測タップを用いるクラス分類適応処理を、デモザイク処理に適用した例である。しかし、デモザイク処理以外の処理に、上述のクラス分類適応処理を適用してもよい。例えば、R,G,Bの画素配列を、R,G,B＋W（ホワイト）の画素配列へ変換するリデモザイク処理、画像のスケールを変換するスケール変換処理、画像の解像度を高解像度に変換する高解像度処理（超解像処理）などに適用してもよい。また、上述のクラス分類適応処理を適用したデモザイク処理、リデモザイク処理、スケール変換処理、および高解像度処理の２以上を直列または並列に実行してもよい。
【０２１８】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２１９】
図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０２２０】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０２２１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
【０２２２】
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性の半導体メモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
【０２２３】
以上のように構成されるコンピュータでは、処理プロセッサとしてのCPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０２２４】
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０２２５】
なお、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
【０２２６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２７】
なお、本技術は以下のような構成も取ることができる。
（１）
露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出する飽和画素検出部と、
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定する周囲画素特定部と、
前記周囲画素に基づいて、画像の予測演算処理を行う予測演算部と
を備える画像処理装置。
（２）
前記周囲画素特定部は、前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素のみからなる周囲画素を特定する
前記（１）に記載の画像処理装置。
（３）
前記露光時間の異なる複数の素子群として、第１の露光時間の第１の素子群と、前記第１の露光時間より短い第２の露光時間の第２の素子群があり、
前記周囲画素特定部は、前記飽和画素の近傍に位置し、前記飽和画素の属する前記第１の素子群とは異なる前記第２の素子群の画素からなる周囲画素を特定する
前記（１）乃至（２）のいずれかに記載の画像処理装置。
（４）
前記周囲画素特定部は、前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素と、前記飽和画素の属する素子群の前記飽和画素以外の画素からなる周囲画素を特定する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記露光時間の異なる複数の素子群として、第１の露光時間の第１の素子群と、前記第１の露光時間より短い第２の露光時間の第２の素子群があり、
前記周囲画素特定部は、前記飽和画素の近傍に位置し、前記飽和画素の属する前記第１の素子群とは異なる前記第２の素子群の画素と、前記飽和画素以外の前記第１の素子群の画素からなる周囲画素を特定する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記露光時間の異なる複数の素子群は、色成分に応じて規則的に配列されており、前記第２の素子群は、複数の色成分のうちの一つの色成分である
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記色成分の配列はベイヤ配列であり、前記第２の素子群の色成分は緑色である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記露光時間の異なる複数の素子群の信号レベルを合わせるレベル調整部をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記撮像素子を介して取得された画像がモザイク画像であり、
前記予測演算部は、デモザイク後の画像の予測演算処理を行う
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（１０）
前記予測演算部は、前記予測演算処理により、前記撮像素子を介して取得された低解像度の画像から、それより高解像度の画像を生成し、出力する
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記予測演算部は、前記予測演算処理により、前記撮像素子を介して取得された第１の色配列の画像から、それと異なる第２の色配列の画像を生成し、出力する
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群を少なくとも含む画素からなる周囲画素に基づいて、予測演算する画像の画素を所定のクラスに分類するクラス分類部をさらに備え、
前記予測演算部は、前記クラス分類部により分類された前記所定のクラスに対応する予測係数と、前記周囲画素特定部により特定された前記周囲画素の画素値とを用いて、前記画像の予測演算処理を行う
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
画像処理装置が、
露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出し、
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定し、
前記周囲画素に基づいて、画像の予測演算処理を行う
ステップを含む画像処理方法。
（１４）
コンピュータを、
露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出する飽和画素検出部と、
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定する周囲画素特定部と、
前記周囲画素に基づいて、画像の予測演算処理を行う予測演算部
として機能させるためのプログラム。
（１５）
露光時間の異なる複数の素子群が規則的に配列された撮像素子を介して取得された画像から、飽和画素を検出し、
前記飽和画素の近傍に位置し、前記飽和画素の属する素子群とは異なる素子群の画素を含む周囲画素を特定し、
前記周囲画素に基づいて、画像の予測演算処理を行う指示を実行可能なプロセッサと、
コンピュータで実行可能な前記指示を記録するメモリと
を備える装置。
【符号の説明】
【０２２８】
１  撮像装置，  １２  イメージセンサ，  １３  ゲイン調整回路，  １４  デモザイク処理回路，  ２１  飽和画素存在判定部，  ２２  予測タップ抽出部，  ２３  クラス分類部，  ２４  係数発生部，  ２５  予測演算部，  ３１  クラスタップ抽出部，  ３２  クラスコード発生部，  ８１  飽和画素存在判定部，  ８２  予測タップ抽出部，  ８３  クラスタップ抽出部
【図１】
2013162347.tif 000011
【図２】
2013162347.tif 000012
【図３】
2013162347.tif 000013
【図４】
2013162347.tif 000014
【図５】
2013162347.tif 000015
【図６】
2013162347.tif 000016
【図７】
2013162347.tif 000017
【図８】
2013162347.tif 000018
【図９】
2013162347.tif 000019
【図１０】
2013162347.tif 000020
【図１１】
2013162347.tif 000021
【図１２】
2013162347.tif 000022
【図１３】
2013162347.tif 000023
【図１４】
2013162347.tif 000024
【図１５】
2013162347.tif 000025
【図１６】
2013162347.tif 000026
【図１７】
2013162347.tif 000027
【図１８】
2013162347.tif 000028
【図１９】
2013162347.tif 000029
【図２０】
2013162347.tif 000030
【図２１】
2013162347.tif 000031
【図２２】
2013162347.tif 000032
【図２３】
2013162347.tif 000033
【図２４】
2013162347.tif 000034
【図２５】
2013162347.tif 000035
【図２６】
2013162347.tif 000036
【図２７】
2013162347.tif 000037
【図２８】
2013162347.tif 000038
【図２９】
2013162347.tif 000039
【図３０】
2013162347.tif 000040
【図３１】
2013162347.tif 000041
【図３２】
2013162347.tif 000042